1. Pendahuluan

Jumlah jurnal profesional dan laporan penelitian sudah cukup banyak dipublikasikan, yang menunjukkan bahwa penelitian sudah banyak dilakukan. Banyaknya jumlah tersebut tentu saja memberi kemungkinan keberagaman kualitas penelitian yang sudah dilakukan. Untuk dapat dipublikasikan, suatu laporan penelitian/jurnal harus diverifikasi sesuai dengan standar yang berlaku. Selain itu juga terdapat banyak tim pemeriksa yang memverifikasi laporan penelitian/jurnal tersebut, tapi tetap saja kualitas laporan penelitian/jurnal yang dipublikasikan tergantung kemampuan si pemeriksa. Hal ini dapat ditunjukkan melalui fakta bahwa laporan penelitian yang diserahkan kepada penyedia dana lebih sedikit daripada proposal penelitian yang mereka terima.

Beberapa paper yang dipublikasikan—dipresentasikan di kalangan profesional—juga seringkali tidak di review. Sama halnya dengan paper yang beredar di internet, yang belum tentu di review atau belum terbukti validitas dan kebenaran informasinya. Oleh karena itu, dalam menentukan paper yang akan dipakai sebagai referensi haruslah teliti untuk menghindari penggunaan paper yang “kurang baik” dalam literatur. Sehingga dapat dikatakan bahwa paper yang tercantum dalam literatur tidak menjamin penelitian dilakukan dengan baik atau dilaporkan dengan baik.

2. types of errors and shortcomings in reports

Penelitian merupakan proses yang rumit, maka tidak jarang terjadi kesalahan dalam melakukan dan melaporkannya. Kesalahan yang sering terjadi adalah kesalahan teknikal, seperti referensi yang kurang sempurna serta kesalahan di dalam praktek penelitian, seperti penggunaan gambaran yang tidak tepat mengenai permasalahan yang akan diteliti.

Banyak penelitian dibidang edukasi yang dipublikasikan dalam jurnal profesional dan tentu saja jurnal tersebut dijadikan sumber utama dari informasi penelitian. Contohnya, jumlah laporan disertasi yang mengacu kepada jurnal penelitian melebihi jumlah jurnal penelitian itu sendiri. Laporan disertasi juga sering dilaporkan tidak jauh berbeda dengan jurnal yang sudah ada sebelumnya. Sehingga kesalahan yang ada pada jurnal sebelumnya hampir sama dengan laporan disertasi.

Hall, Ward, dan Corner (1988) melakukan evaluasi terhadap 43 laporan penelitian yang sudah dipublikasikan dan mereka menemukan 42% dari laporan penelitian tersebut tidak layak untuk dipublikasikan, atau memerlukan revisi yang cukup besar supaya laporan penelitian tersebut bisa diterima.

Kesalahan yang paling banyak ditemukan pada kasus 43%, yang merupakan kelalaian, adalah kurangnya validitas dan kurang terpercayanya informasi.

Tingle, DeSimone, and Covington (2003) mendapati kesamaan ketika mengevaluasi penelitian pada sebelas program pencegahan rokok di sekolah. Mereka mereview empatbelas teori dan hanya menemukan empat informasi yang terpercaya dan satu informasi yang valid dari keseluruhan.

Bagian dari laporan penelitian yang sesuai dengan metode dan prosedur juga sangat rentan berisi kesalahan, karena ada kemungkinan desain penelitian yang diterapkan kurang tepat, sampel yang diambil kurang baik, dan analisis yang dilakukan bisa jadi dilakukan dengan kurang tepat atau bahkan bisa jadi salah. Jadi meskipun prosedur dan analisis sudah dilakukan dengan baik, masih ada penyebab kesalahan pada penelitian/laporan penelitian yaitu kesalahpahaman si peneliti. Untuk itu seorang peneliti harus bisa menghindari penyempitan pemahaman yang disebabkan oleh cara penyampaian yang salah serta ketidaksinambungan antar kalimat yang membuat pembaca bingung, karena hal itu bisa saja terjadi meskipun penelitian dilakukan dengan benar.

3. critiquing major sections of a research report

Pembahasan di bab 4 mengenai efektivitas dalam mengomunikasikan penelitian harus dipastikan juga sudah dilakukan dalam proses mengevaluasi laporan penelitian.

3.1 Introduction

Pada bagian pendahuluan seharusnya terdapat permasalahan yang dibahas dalam penelitian dan disampaikan dengan jelas dan dengan bahasa yang mudah dimengerti pembaca. Hipotesis yang dianggap sudah tepat seharusnya juga dicantumkan dan manfaat dari penelitian tersebut setidaknya sudah disampaikan meskipun dalam makna yang tersirat. Demikian juga dengan variabel-variabel yang digunakan, meskipun belum didefinisikan secara operasional. Sehingga dapat disimpulkan bahwa pendahuluan haruslah berisi penjelasan mengenai masalah yang akan diteliti, konteks ilmu yang digunakan dalam penelitian, serta manfaat dari penelitian tersebut.

3.2 Review of the Literature

Dalam membuat tinjauan pustaka diperlukan kemampuan menulis yang mumpuni terkait peninjauan tersebut untuk menghasilkan relevansi terhadap masalah yang akan diteliti. Jika tidak, maka hal tersebut akan menjadi kelemahan utama dari penelitian.

Beberapa pertanyaan yang seharusnya ditanyakan pada saat memembuat tinjauan pustaka, yaitu:

1. Apakah hasil dari referensi memiliki alur logika yang dikelola dengan baik?

2. Apakah peneliti mengambil hasil dari referensi dan menunjukkan relevansinya terhadap permasalahan yang diteliti, tidak sekedar mencantumkan hasil tersebut sebagai kesatuan yang tidak relevan?

3. Apakah ada kesimpulan atau penutup yang tepat supaya hasil review tersebut tidak muncul secara tiba-tiba di akhir?

4. Apakah review tersebut mencerminkan pemahaman peneliti tentang bagaimana hasil yang tercantum di dalam review tersebut terintegrasi dan berkaitan terhadap permasalahan yang diteliti atau memiliki pengaruh terhadapnya

Kesalahan dalam membuat tinjauan pustaka rentan terjadi bahkan terkait penulisan/pengejaan nama penulis referensi yang digunakan. Oleh sebab itu ada beberapa karakteristik dalam me-review literatur yang harus diperhatikan yaitu relevansi dengan permasalahan yang diteliti, penyusunan kalimat, kesinambungan antar kalimat serta bagian penutup. Oleh sebab itu, dalam mengevaluasi hasil review hal yang terpenting adalah memahami informasi yang tersedia didalamnya, bukan justru informasi yang tidak tersedia didalamnya.

3.3 Methods or Procedure

Bagian Methods atau Procedures merupakan bagian yang sangat penting ketika ingin mengevaluasi laporan, karena dari bagian ini seorang pembaca harus mengetahui bagaimana penelitian tersebut dapat berhasil.

Berikut merupakan pertanyaan yang mungkin muncul saat mengevaluasi bagian methods.

1. Bagaimana tolak ukur dari suatu penelitian dapat mendeskripsikan variable yang digunakan?

2. Apakah data yang dipakai cukup untuk digunakan sebagai hipotesa atau dapat menangani masalah dalam penelitian?

3. Apakah perencanaan yang dilakukan sudah dapat diidentifikasi, dan sudahkah tepat?

4. Jika menggunakan sample, apakah perencanaan sudah mendeskripsikan penelitian dari sample sudah tepat dan jumlah subjeknya sudah mencukupi?

5. Apakah analisa yang dilakukan sesuai untuk hipotesa atau menangani masalah penelitian dan pengumpulan data?

6. Saat melakukan penelitian, apakah muncul variabel yang dapat menggagalkan penelitian dan faktor lain yang dapat mengancam internal atau eksternal validitas dari penelitian?

7. Apakah analisa yang dilakukan jelas bagi pembaca?

8. Pada bagian penutup apakah sudah dapat dipahami oleh pembaca bagaimana penelitian dilakukan?

3.4 Results

Salah satu masalah besar dengan banyaknya hasil laporan penelitian, tetapi data laporannya masih kurang mencukupi.

Pertanyaan yang mungkin muncul ketika mengevaluasi Results Section, diantaranya :

1. Apakah Results tersusun dengan baik, jelas pengidenifikasiannya dan penyajian tidak membingungkan?

2. Apakah bentuk persetujuannya dapat dipertanggung jawabkan untuk menjelaskan dari Resluts tersebut?

3. Apakah hasil dari Results dari sebuah analisa?

4. Apakah Results komprehensif?

5. Apakah informasinya sudah dapat menjelaskan mengenai hasil Results, seperti tingkat kepentingan yang digunakan jika ingin menguji hipotesa?

6. Apakah Results tersebut membingungkan dan terdapat tanda-tanda yang tidak dikenal?

7. Apakah bagian Results terdapat penutup dengan adanya beberapa ringkasan?

3.5 Conclusions, Recommendations, and Implications

Kesimpulan penelitian adalah pernyataan singkat tentang hasil analisis deskripsi dan pembahasan tentang hasil percobaan hipotesis yang telah dilakukan pada BAB sebelumnya. Implikasi berfungsi membandingkan antara hasil penelitian yang lalu dengan hasil penelitian yang baru dilakukan. Rekomendasi adalah suatu yang diberikan kepada pembaca yang didasarkan atas hasil temuan dalam studi yang telah dilakukan dan bukan berupa pendapat atau tinjauan idealis pribadi peneliti.

Pertanyaan yang berhubungan dengan bagian ini antara lain :

1. Apakah bagian ini memiliki ringkasan dari beberapa pernyataan?

2. Apakah hasil penelitian sudah jelas dengan kesimpulan yang diambil dari Results?

3. Apakah ada kalimat penutup yang mencakup seluruh laporan?

Tujuan penulisan kesimpulan adalah untuk memberikan kesempatan dan informasi kepada para pembaca guna mengetahui secara cepat teatang apa hasil akhir yang diperoleh dari penelitian yang telah dilakukan.

Rekomendasi merupakan saran yang dirumuskan oleh peneliti namun bukan untuk menjawab permasalahan dalam pokok penelitian, rekomendasi dirumuskan berdasarkan penelusuran yang menurut penulis dapat bermanfaat secara praktis maupun bermanfaat bagi pengembangan ilmu pengetahuan berdasarkan kedekatan objek.

4. Overall impressions when evaluating a report

Ada beberapa pertanyaan spesifik yang bisa diambil ketika mengevaluasi bagian dari laporan riset, tapi adapun beberapa yang menimbulkan impresi dan berdampak terhadap kualitas laporan. Secara teknikal laporan harus bebas dari kesalahan penulisan, menggunakan judul dan format yang tepat, serta mengikuti logika organisasi.

Semua laporan haruslah jelas dan bisa terbaca, dan harus bebas dari bahasa yang terspesialisasi. Setiap profesi memilliki bahasa yang khusus atau yang biasa disebut dengan bahasa teknis, sebab itu bukan jadi alasan bagi penulisan laporan ilmiah.

Kesimpulannya pembaca harus mendapatkan penjelasan secara lengkap dan kohesif mengenai laporan ilmiah. Riset harus mempunyai konteks edukasi secara implisit ataupun eksplisit.

5. The review process for journals

Evaluasi yang ada pada laporan riset, terutama laporan yang nantinya akan dipertimbangkan akan di publikasi menurut Klausmeier (2010) menjelaskan beberapa jumlah pembahasan proses yang dibutuhkan oleh jurnal, dimana beberapa jurnal yang diterbitkan harus dinilai secara ketat. Manuskrip yang dikumpulkan lebih dari yang dapat mereka terima, oleh karena itu mereka terbatas dari segi halaman yang mereka dapat terbitkan tiap tahunnya. Banyak jurnal yang seperti ini tingkat penolakannya tinggi. Journal lainnya juga menerima manuskrip dan mempunyai alokasi halaman yang baik, namun mereka menerima sedikit manuskrip beserta tingkat penolakan yang sedang. Jurnal lainnya punya tingkat penolakan yang rendah beberapa diantaranya pengaturan tiap halaman yang fleksibel. Manuskrip yang diterima pun tidak dinilai oleh pihak lain melainkan editor jurnal.

Contoh dari penilaian form untuk jurnal yang akan diterbitkan, yaitu :

5.1 Suggested Disposition

Jurnal yang diterima dengan sedikit revisi. Manuskrip yang akan diterbitkan mempunyai beberapa revisi namun tidak bersifat substansial, Editor bisa memilih apakah akan merevisi manuskrip atau dikirim kembali untuk dinilai kembali kepada tim penilai aslinya.

5.2 Standards for Publications

· The American Educational Research telah menetapkan beberapa standar, yaitu publikasi AERA (2006) yang telah diterapkan studi riset secara kualitatif maupun kuantitaif. Standar dari publikasi diterapkan dengan sangat bagus untuk semua laporan riset, baik itu mereka akan dipublikasikan ataupun tidak

· Standar dari publikasi ini dibagi menjadi delapan area yang general serta beberapa poin yang diutarakan secara spesifik.

5.2.1 Problem formulations

1.1 Formulasi dari masalah harus dinyatakan secara jelas tujuan dan ruang lingkup dari studi

1.2 Laporan harus jelas tentang bagaimana studi berdampak kepada pengetahuan.

1.3 Laporan harus memasukkan pembahasan yang relevan berrdasarkan beasiswa yang berisi langsung kepada topik laporan

1.4 Kebenaran konseptual, metodologi atau orientasi teoritis dari studi harus dijelaskan dan di deskripsikan.

1.5 Kebenaran rasional harus disediakan untuk formulasi problem yang berelasi terhadap grup studi tertentu.

5.2.2 Design and Logic of the Study

2.1.Laporan penelitian harus diikuti dengan logika atau penjelasan yang jelas sehingga memungkinkan pembaca untuk mengetahui permasalahan yang dibahas

2.2.Terdapat deskripsi desain yang spesifik dan tidak ambigu.

5.2.3 Source of Evidence

3.1.Keseluruhan studi literatur yang digunakan seperti site, group, partisipan kejadian dan unit lainnya, dan digunakan pada laporan penelitian harus dideskripsikan secara jelas.

3.2.Kumpulan data harus secara dideskripsikan secara jelas termasuk bagaimana, kapan, oleh siapa dan apa tujuan pengumpulan data.

5.2.4 Measurement and Classification

4.1.Pengembangan pengukuran dan klasifikasi harus jelas dideskripsikan

4.2.Klasifikasi skema harus dideskripsikan secara komprehensif dan diilustrasikan dengan contoh yang konkret.

4.3.Ketika pengukuran merupakan keharusan dan penitng, laporan seharusnya mendeskripsikan elemen data dan organisasi dengan cara yang spesifik dan tidak ambigu.

4.4.Ketika transkrip audio atau rekaman video disediakan, konvensi dan simbol digunakan untuk merepresentasikan atau menyampaikan karakter atau interaksi secara jelas dideskripsikan.

4.5.Alasan harus disediakan untuk pengukuran yang relevan dari pengukuran atau klasifikasi untuk memperoleh karakteristik penting dimana pertanyaan mungkin muncul.

5.2.5 Analysis and Interpretation

5.1.Prosedur digunakan untuk analisis harus dideskripsikan secara tepat dan transparan.

5.2.Teknik analisis seharusnya dideskripsikan dengan detail agar pembaca mengetahui bagaimana data dianalisis.

5.3.Analisis dan penyajian dari analisis harus secara jelas bagaimana mereka membuat kesimpulan dari penelitian.

5.4.Analisis dan interpretasi harus mengandung informasi tentang keadaan yang dimaksud ataupun tidak yang mungkin akan memiliki dampak yang signifikan terhadap hasil.

5.5. Penyajan dari kesimpulan seharusnya

(a) Menyediakan kalimat bagaimana tujuan permasalahan masalah

(b) Menampilkan bagaimana keterhubungan kesimpulan untuk mendukung, menjelaskan atau membuat kesimpulan pada awalnya

Dengan metode kuantitatif(dijelaskan pada poin 5.6-5.10) :

5.6.Pelaporan harus secara jelas menyatakan bahwa analisis statistik telah diikutsertakan,dijelaskan secara detail dan dapat diulang kembali oleh seorang data analyst.

5.7.Statistik yang deskriptif dan inferensial akan disediakan pada setiap analisis statistik.

5.8.Setiap pertimbangan yang diidentifikasi selama pengumpulan dan pemrosesan data mungkin dapat mengubah validasi dari analisis statistik atau kesimpulan harus dilaporkan.

5.10.Hal yang harus ada pada setiap hasil statistik adalah :

(a) Index dari relasi kuantitatif antar variabel

(b) Index ketidakpastian

(d) Interpretasi efek secara kualitatif

Dengan metode kuantitatif(dijelaskan pada poin 5.11-5.14) :

5.11.Prosese pengembangan deskripsi dan interpretasi harus dideskripsikan secara jelas

5.12.Bukti surat perintah untuk setiap klaim harus disertakan.

5.13.Latihan yang digunakan untuk mengembangkan surat perintah harus dijelaskan, termasuk pencarian bukti yang tidak diubah dan penjelasan alternatif

5.14.Komentar interpretatif harus menyediakan pemahaman yang rinci mengenai klaim.

5.2.6 Generalization

6.1.Generalisasi adalah hal yang penting untuk menjelaskan secara spesifik partisipan, konteks, aktivitas, kumpulan data dan manipulasi yang terdapat pada kajian.

6.2.Penulis harus secara jelas membuat cakupan dari generalisasi yang digunakan pada kajian.

6.3.Penulis juga harus membuat secara jelas dan logis bagaimana dasar pemilihan cakupan dari generalisasi.

5.2.7 Ethics in Reporting

7.1.Etika para laporan mempertimbangkan kumpulan data, analisis dan laporan yang seharusnya ditujukan secara eksplisit.

7.2.Pelaporan pada penelitian seharusnya diselesaikan dengan perjanjian persetujuan,

7.3.Pelaporan seharusnya berisi deskripsi konflik kepentingan atau bias dari peneliti.

7.4.Pelaporan juga seharusnya dinyatakan secara akurat.

7.5.Data atau material harus diperhatikan dan dijaga sehingga seorang peneliti dapat mengulang analisis atau melacak jejak bukti.

7.6.Pendanaan yang diperoleh seharusnya dicantumkan pada catatan publikasi.

5.2.8 Title, Abstract, and Headings

8.1.Judul pada laporan harus jelas dan menyampaikan isi atau bahasan pada laporan.

8.2.Abstrak berisi sebuah kesimpulan dari laporan yang lengkap, ringkas dan akurat.

8.3.Judul besar dan sub-judul harus memperjelas logika yang mendasari laporan.

6. The evaluation of proposals

Secara umum kriteria-kriteria evaluasi dari lembaga pendanaan sama di seluruh instansi. Kecuali untuk instansi tersebut menambahkan kriteria khusus, seperti kewajaran anggaran, kriteria evaluasi lembaga donor adalah sama dengan yang untuk setiap proposal, termasuk proposal disertasi. Evaluasi berfokus terutama pada dua isu: (1) Signifikansi penelitian yang diusulkan dan (2) kualitas penelitian yang diusulkan. Isu-isu berikut dipertimbangkan dalam mengevaluasi proposal relatif terhadap dua karakteristik.

Signifikansi Penelitian yang diusulkan

1. Kontribusi terhadap pengetahuan dasar yang relevan untuk solusi dari masalah pendidikan

2. Kontribusi untuk teori pendidikan

3. Kontribusi untuk pengembangan alat metodologis, juga untuk penelitian praktik pendidikan

4. Kontribusi untuk solusi dari masalah pendidikan juga jarak atau jangka pendek

5. Potensi generalisasi dari hasil yang diharapkan

6. Potensi hasil diharapkan untuk mempengaruhi perbaikan praktek pendidikan

Kualitas Penelitian Usulan

1. Sejauh mana penulis menunjukkan pengetahuan mendalam tentang penelitian sebelumnya yang relevan

2. Sejauh mana penelitian sebelumnya berkaitan dengan penelitian yang diusulkan

3. Kelengkapan dan kesesuaian desain penelitian

4. Kesesuaian instrumentasi dan metodologi

5. Kesesuaian analisis diharapkan

6. Kemungkinan bahwa penelitian yang diusulkan dapat diselesaikan dengan sukses seperti yang dijelaskan

Proses peninjauan proposal kadang berdasarkan kriteria yang jelas, beserta dengan bobot poin di setiap kriterianya. Berikut ini contoh dari bentuk penilaian proposal yang digunakan untuk Request for Proposal.

Criteria for RFP
Evaluation Parameters	Evaluation Criteria	Score
Comprehension/ understanding of project	General understanding - memahami aspek-aspek penting dari proyek Needs identification - menyadari tantangan / masalah potensial dalam proyek Solutions identification - berisi kreatif dan berwawasan, kelayakan, solusi untuk tantangan / masalah	/25
Methodology and project administration	Suitability and soundness of methodology - memberikan probabilitas tinggi untuk mencapai tujuan studi Technical integrity - berdasarkan prinsip-prinsip desain penelitian yang baik	/25
Relevance	Applicability of findings to policy and practice - Temuan mengatasi kebijakan pertanyaan / masalah dan / atau masalah terkait lainnya yang berkaitan dengan bidang studi lima prioritas dalam RFP	/25
Qualifications and experience	Education/technical expertise - menunjukkan pengetahuan dan keahlian yang dibutuhkan untuk melaksanakan proyek Experience - menunjukkan pengalaman dalam bidang studi yang dipertimbangkan	/10
Budget	Budget - memadai tapi realistis, mengingat jumlah pekerjaan yang terlibat	/10
Overall assessment	Strategy - usulan memberikan strategi yang unggul untuk tujuan mencapai proyek Style - menulis jelas dan ringkas, hati-hati diedit, konsep disajikan dengan baik, menarik dan mudah dipahami tata letak Overall quality of proposal - memberikan kesan keseluruhan bahwa perawatan yang memadai, perhatian terhadap detail, dan usaha masuk ke dalam perencanaan dan penciptaan proposal	/5
	Total	/100

Under Renovation

Jumat, 21 Oktober 2016

Chapter 5 : Review of the Literature