1.
Pendahuluan
Jumlah jurnal profesional dan laporan
penelitian sudah cukup banyak dipublikasikan, yang menunjukkan bahwa penelitian
sudah banyak dilakukan. Banyaknya jumlah tersebut tentu saja memberi
kemungkinan keberagaman kualitas penelitian yang sudah dilakukan. Untuk dapat
dipublikasikan, suatu laporan penelitian/jurnal harus diverifikasi sesuai
dengan standar yang berlaku. Selain itu juga terdapat banyak tim pemeriksa yang
memverifikasi laporan penelitian/jurnal tersebut, tapi tetap saja kualitas
laporan penelitian/jurnal yang dipublikasikan tergantung kemampuan si
pemeriksa. Hal ini dapat ditunjukkan melalui fakta bahwa laporan penelitian
yang diserahkan kepada penyedia dana lebih sedikit daripada proposal penelitian
yang mereka terima.
Beberapa paper yang dipublikasikan—dipresentasikan
di kalangan profesional—juga seringkali tidak di review. Sama halnya dengan
paper yang beredar di internet, yang belum tentu di review atau belum terbukti
validitas dan kebenaran informasinya. Oleh karena itu, dalam menentukan paper yang
akan dipakai sebagai referensi haruslah teliti untuk menghindari penggunaan
paper yang “kurang baik” dalam literatur. Sehingga dapat dikatakan bahwa paper
yang tercantum dalam literatur tidak menjamin penelitian dilakukan dengan baik
atau dilaporkan dengan baik.
2.
types of
errors and shortcomings in reports
Penelitian merupakan proses yang rumit,
maka tidak jarang terjadi kesalahan dalam melakukan dan melaporkannya.
Kesalahan yang sering terjadi adalah kesalahan teknikal, seperti referensi yang
kurang sempurna serta kesalahan di dalam praktek penelitian, seperti penggunaan
gambaran yang tidak tepat mengenai permasalahan yang akan diteliti.
Banyak penelitian dibidang edukasi yang
dipublikasikan dalam jurnal profesional dan tentu saja jurnal tersebut dijadikan
sumber utama dari informasi penelitian. Contohnya, jumlah laporan disertasi
yang mengacu kepada jurnal penelitian melebihi jumlah jurnal penelitian itu
sendiri. Laporan disertasi juga sering dilaporkan tidak jauh berbeda dengan
jurnal yang sudah ada sebelumnya. Sehingga kesalahan yang ada pada jurnal
sebelumnya hampir sama dengan laporan disertasi.
Hall,
Ward, dan Corner (1988) melakukan evaluasi terhadap 43 laporan penelitian yang
sudah dipublikasikan dan mereka menemukan 42% dari laporan penelitian tersebut
tidak layak untuk dipublikasikan, atau memerlukan revisi yang cukup besar
supaya laporan penelitian tersebut bisa diterima.
Kesalahan yang paling banyak ditemukan pada
kasus 43%, yang merupakan kelalaian, adalah kurangnya validitas dan kurang terpercayanya
informasi.
Tingle,
DeSimone, and Covington (2003) mendapati kesamaan ketika mengevaluasi
penelitian pada sebelas program pencegahan rokok di sekolah. Mereka mereview
empatbelas teori dan hanya menemukan empat informasi yang terpercaya dan satu
informasi yang valid dari keseluruhan.
Bagian dari laporan penelitian yang sesuai
dengan metode dan prosedur juga sangat rentan berisi kesalahan, karena ada
kemungkinan desain penelitian yang diterapkan kurang tepat, sampel yang diambil
kurang baik, dan analisis yang dilakukan bisa jadi dilakukan dengan kurang
tepat atau bahkan bisa jadi salah. Jadi meskipun prosedur dan analisis sudah
dilakukan dengan baik, masih ada penyebab kesalahan pada penelitian/laporan
penelitian yaitu kesalahpahaman si peneliti. Untuk itu seorang peneliti harus
bisa menghindari penyempitan pemahaman yang disebabkan oleh cara penyampaian
yang salah serta ketidaksinambungan antar kalimat yang membuat pembaca bingung,
karena hal itu bisa saja terjadi meskipun penelitian dilakukan dengan benar.
3.
critiquing
major sections of a research report
Pembahasan di bab 4 mengenai efektivitas
dalam mengomunikasikan penelitian harus dipastikan juga sudah dilakukan dalam
proses mengevaluasi laporan penelitian.
3.1
Introduction
Pada bagian pendahuluan seharusnya terdapat
permasalahan yang dibahas dalam penelitian dan disampaikan dengan jelas dan
dengan bahasa yang mudah dimengerti pembaca. Hipotesis yang dianggap sudah
tepat seharusnya juga dicantumkan dan manfaat dari penelitian tersebut
setidaknya sudah disampaikan meskipun dalam makna yang tersirat. Demikian juga
dengan variabel-variabel yang digunakan, meskipun belum didefinisikan secara
operasional. Sehingga dapat disimpulkan bahwa pendahuluan haruslah berisi
penjelasan mengenai masalah yang akan diteliti, konteks ilmu yang digunakan
dalam penelitian, serta manfaat dari penelitian tersebut.
3.2
Review of the Literature
Dalam membuat tinjauan pustaka diperlukan
kemampuan menulis yang mumpuni terkait peninjauan tersebut untuk menghasilkan
relevansi terhadap masalah yang akan diteliti. Jika tidak, maka hal tersebut
akan menjadi kelemahan utama dari penelitian.
Beberapa pertanyaan yang seharusnya
ditanyakan pada saat memembuat tinjauan pustaka, yaitu:
1.
Apakah hasil dari referensi
memiliki alur logika yang dikelola dengan baik?
2.
Apakah peneliti mengambil hasil dari referensi dan
menunjukkan relevansinya terhadap permasalahan yang diteliti, tidak sekedar
mencantumkan hasil tersebut sebagai kesatuan yang tidak relevan?
3.
Apakah ada kesimpulan atau
penutup yang tepat supaya hasil review tersebut tidak muncul secara tiba-tiba
di akhir?
4.
Apakah review tersebut
mencerminkan pemahaman peneliti tentang bagaimana hasil yang tercantum di dalam
review tersebut terintegrasi dan berkaitan terhadap permasalahan yang diteliti
atau memiliki pengaruh terhadapnya
Kesalahan dalam membuat tinjauan pustaka
rentan terjadi bahkan terkait penulisan/pengejaan nama penulis referensi yang
digunakan. Oleh sebab itu ada beberapa karakteristik dalam me-review literatur yang harus
diperhatikan yaitu relevansi dengan permasalahan yang diteliti, penyusunan
kalimat, kesinambungan antar kalimat serta bagian penutup. Oleh sebab itu,
dalam mengevaluasi hasil review hal yang terpenting adalah memahami informasi
yang tersedia didalamnya, bukan justru informasi yang tidak tersedia
didalamnya.
3.3
Methods or Procedure
Bagian Methods atau Procedures merupakan bagian yang
sangat penting ketika ingin mengevaluasi laporan, karena dari bagian ini
seorang pembaca harus mengetahui bagaimana penelitian tersebut dapat berhasil.
Berikut merupakan pertanyaan yang mungkin muncul saat mengevaluasi
bagian methods.
1.
Bagaimana tolak ukur dari suatu
penelitian dapat mendeskripsikan variable yang digunakan?
2.
Apakah data yang dipakai cukup
untuk digunakan sebagai hipotesa atau dapat menangani masalah dalam penelitian?
3.
Apakah perencanaan yang
dilakukan sudah dapat diidentifikasi, dan sudahkah tepat?
4.
Jika menggunakan sample, apakah
perencanaan sudah mendeskripsikan penelitian dari sample sudah tepat dan jumlah
subjeknya sudah mencukupi?
5.
Apakah analisa yang dilakukan
sesuai untuk hipotesa atau menangani masalah penelitian dan pengumpulan data?
6.
Saat melakukan penelitian,
apakah muncul variabel yang dapat menggagalkan penelitian dan faktor lain yang
dapat mengancam internal atau eksternal validitas dari penelitian?
7.
Apakah analisa yang dilakukan
jelas bagi pembaca?
8.
Pada bagian penutup apakah
sudah dapat dipahami oleh pembaca bagaimana penelitian dilakukan?
3.4
Results
Salah satu masalah besar dengan banyaknya hasil laporan penelitian,
tetapi data laporannya masih kurang mencukupi.
Pertanyaan yang mungkin muncul ketika mengevaluasi Results Section,
diantaranya :
1.
Apakah Results tersusun dengan
baik, jelas pengidenifikasiannya dan penyajian tidak membingungkan?
2.
Apakah bentuk persetujuannya
dapat dipertanggung jawabkan untuk menjelaskan dari Resluts tersebut?
3.
Apakah hasil dari Results dari
sebuah analisa?
4.
Apakah Results komprehensif?
5.
Apakah informasinya sudah dapat
menjelaskan mengenai hasil Results, seperti tingkat kepentingan yang digunakan
jika ingin menguji hipotesa?
6.
Apakah Results tersebut
membingungkan dan terdapat tanda-tanda yang tidak dikenal?
7.
Apakah bagian Results terdapat
penutup dengan adanya beberapa ringkasan?
3.5
Conclusions, Recommendations, and Implications
Kesimpulan penelitian adalah pernyataan singkat tentang hasil
analisis deskripsi dan pembahasan tentang hasil percobaan hipotesis yang telah
dilakukan pada BAB sebelumnya. Implikasi berfungsi membandingkan antara hasil
penelitian yang lalu dengan hasil penelitian yang baru dilakukan. Rekomendasi
adalah suatu yang diberikan kepada pembaca yang didasarkan atas hasil temuan dalam
studi yang telah dilakukan dan bukan berupa pendapat atau tinjauan idealis
pribadi peneliti.
Pertanyaan yang berhubungan dengan bagian ini antara lain :
1.
Apakah bagian ini memiliki
ringkasan dari beberapa pernyataan?
2.
Apakah hasil penelitian sudah
jelas dengan kesimpulan yang diambil dari Results?
3.
Apakah ada kalimat penutup yang
mencakup seluruh laporan?
Tujuan penulisan kesimpulan adalah untuk memberikan kesempatan dan
informasi kepada para pembaca guna mengetahui secara cepat teatang apa hasil
akhir yang diperoleh dari penelitian yang telah dilakukan.
Rekomendasi merupakan saran yang dirumuskan
oleh peneliti namun bukan untuk menjawab permasalahan dalam pokok penelitian,
rekomendasi dirumuskan berdasarkan penelusuran yang menurut penulis dapat bermanfaat
secara praktis maupun bermanfaat bagi pengembangan ilmu pengetahuan berdasarkan
kedekatan objek.
4.
Overall
impressions when evaluating a report
Ada beberapa pertanyaan spesifik yang bisa
diambil ketika mengevaluasi bagian dari laporan riset, tapi adapun beberapa
yang menimbulkan impresi dan berdampak terhadap kualitas laporan. Secara teknikal laporan harus bebas dari
kesalahan penulisan, menggunakan judul dan format yang tepat, serta mengikuti
logika organisasi.
Semua laporan haruslah jelas dan bisa
terbaca, dan harus bebas dari bahasa yang terspesialisasi. Setiap profesi memilliki bahasa yang khusus
atau yang biasa disebut dengan bahasa teknis, sebab itu bukan jadi alasan bagi
penulisan laporan ilmiah.
Kesimpulannya pembaca harus mendapatkan penjelasan
secara lengkap dan kohesif mengenai laporan ilmiah. Riset harus mempunyai konteks edukasi secara
implisit ataupun eksplisit.
5.
The review
process for journals
Evaluasi yang ada pada laporan riset,
terutama laporan yang nantinya akan dipertimbangkan akan di publikasi menurut
Klausmeier (2010) menjelaskan beberapa jumlah pembahasan proses yang dibutuhkan
oleh jurnal, dimana beberapa jurnal yang diterbitkan harus dinilai secara
ketat. Manuskrip yang dikumpulkan lebih
dari yang dapat mereka terima, oleh karena itu mereka terbatas dari segi
halaman yang mereka dapat terbitkan tiap tahunnya. Banyak jurnal yang seperti ini tingkat
penolakannya tinggi. Journal lainnya
juga menerima manuskrip dan mempunyai alokasi halaman yang baik, namun mereka
menerima sedikit manuskrip beserta tingkat penolakan yang sedang. Jurnal lainnya punya tingkat penolakan yang
rendah beberapa diantaranya pengaturan tiap halaman yang fleksibel. Manuskrip yang diterima pun tidak dinilai
oleh pihak lain melainkan editor jurnal.
Contoh dari penilaian form untuk jurnal
yang akan diterbitkan, yaitu :
5.1
Suggested Disposition
Jurnal yang diterima dengan sedikit
revisi. Manuskrip yang akan diterbitkan
mempunyai beberapa revisi namun tidak bersifat substansial, Editor bisa memilih
apakah akan merevisi manuskrip atau dikirim kembali untuk dinilai kembali
kepada tim penilai aslinya.
5.2
Standards for Publications
·
The American Educational Research telah
menetapkan beberapa standar, yaitu publikasi AERA (2006) yang telah diterapkan
studi riset secara kualitatif maupun kuantitaif. Standar dari publikasi diterapkan dengan
sangat bagus untuk semua laporan riset, baik itu mereka akan dipublikasikan
ataupun tidak
·
Standar dari publikasi ini
dibagi menjadi delapan area yang general serta beberapa poin yang diutarakan
secara spesifik.
5.2.1 Problem formulations
1.1
Formulasi dari masalah harus
dinyatakan secara jelas tujuan dan ruang lingkup dari studi
1.2
Laporan harus jelas tentang
bagaimana studi berdampak kepada pengetahuan.
1.3
Laporan harus memasukkan
pembahasan yang relevan berrdasarkan beasiswa yang berisi langsung kepada topik
laporan
1.4
Kebenaran konseptual,
metodologi atau orientasi teoritis dari studi harus dijelaskan dan di
deskripsikan.
1.5
Kebenaran rasional harus
disediakan untuk formulasi problem yang berelasi terhadap grup studi tertentu.
5.2.2 Design and Logic of the Study
2.1.Laporan
penelitian harus diikuti dengan logika atau penjelasan yang jelas sehingga
memungkinkan pembaca untuk mengetahui permasalahan yang dibahas
2.2.Terdapat
deskripsi desain yang spesifik dan tidak ambigu.
5.2.3 Source of Evidence
3.1.Keseluruhan
studi literatur yang digunakan seperti site, group, partisipan kejadian dan
unit lainnya, dan digunakan pada laporan penelitian harus dideskripsikan secara
jelas.
3.2.Kumpulan
data harus secara dideskripsikan secara jelas termasuk bagaimana, kapan, oleh
siapa dan apa tujuan pengumpulan data.
5.2.4 Measurement and Classification
4.1.Pengembangan
pengukuran dan klasifikasi harus jelas dideskripsikan
4.2.Klasifikasi
skema harus dideskripsikan secara komprehensif dan diilustrasikan dengan contoh
yang konkret.
4.3.Ketika
pengukuran merupakan keharusan dan penitng, laporan seharusnya mendeskripsikan
elemen data dan organisasi dengan cara yang spesifik dan tidak ambigu.
4.4.Ketika
transkrip audio atau rekaman video disediakan, konvensi dan simbol digunakan
untuk merepresentasikan atau menyampaikan karakter atau interaksi secara jelas
dideskripsikan.
4.5.Alasan
harus disediakan untuk pengukuran yang relevan dari pengukuran atau klasifikasi
untuk memperoleh karakteristik penting dimana pertanyaan mungkin muncul.
5.2.5 Analysis and Interpretation
5.1.Prosedur
digunakan untuk analisis harus dideskripsikan secara tepat dan transparan.
5.2.Teknik
analisis seharusnya dideskripsikan dengan detail agar pembaca mengetahui
bagaimana data dianalisis.
5.3.Analisis
dan penyajian dari analisis harus secara jelas bagaimana mereka membuat
kesimpulan dari penelitian.
5.4.Analisis
dan interpretasi harus mengandung informasi tentang keadaan yang dimaksud
ataupun tidak yang mungkin akan memiliki dampak yang signifikan terhadap hasil.
5.5. Penyajan dari kesimpulan seharusnya
(a) Menyediakan kalimat bagaimana tujuan permasalahan
masalah
(b) Menampilkan bagaimana keterhubungan kesimpulan
untuk mendukung, menjelaskan atau membuat kesimpulan pada awalnya
(c) Menekankan ukuran dampak teoritikan, praktik dan
metedologi
Dengan metode kuantitatif(dijelaskan pada poin
5.6-5.10) :
5.6.Pelaporan
harus secara jelas menyatakan bahwa analisis statistik telah
diikutsertakan,dijelaskan secara detail dan dapat diulang kembali oleh seorang
data analyst.
5.7.Statistik
yang deskriptif dan inferensial akan disediakan pada setiap analisis statistik.
5.8.Setiap
pertimbangan yang diidentifikasi selama pengumpulan dan pemrosesan data mungkin
dapat mengubah validasi dari analisis statistik atau kesimpulan harus
dilaporkan.
5.10.Hal
yang harus ada pada setiap hasil statistik adalah :
(a) Index dari relasi kuantitatif antar variabel
(b) Index ketidakpastian
(c) Pengujian statistik dan tingkat signifikan
(d) Interpretasi efek secara kualitatif
Dengan
metode kuantitatif(dijelaskan pada poin 5.11-5.14) :
5.11.Prosese
pengembangan deskripsi dan interpretasi
harus dideskripsikan secara jelas
5.12.Bukti
surat perintah untuk setiap klaim harus disertakan.
5.13.Latihan
yang digunakan untuk mengembangkan surat perintah harus dijelaskan, termasuk
pencarian bukti yang tidak diubah dan penjelasan alternatif
5.14.Komentar
interpretatif harus menyediakan pemahaman yang rinci mengenai klaim.
5.2.6 Generalization
6.1.Generalisasi
adalah hal yang penting untuk menjelaskan secara spesifik partisipan, konteks,
aktivitas, kumpulan data dan manipulasi yang terdapat pada kajian.
6.2.Penulis
harus secara jelas membuat cakupan dari generalisasi yang digunakan pada
kajian.
6.3.Penulis
juga harus membuat secara jelas dan logis bagaimana dasar pemilihan cakupan
dari generalisasi.
5.2.7 Ethics in Reporting
7.1.Etika
para laporan mempertimbangkan kumpulan data, analisis dan laporan yang
seharusnya ditujukan secara eksplisit.
7.2.Pelaporan
pada penelitian seharusnya diselesaikan dengan perjanjian persetujuan,
7.3.Pelaporan
seharusnya berisi deskripsi konflik kepentingan atau bias dari peneliti.
7.4.Pelaporan
juga seharusnya dinyatakan secara akurat.
7.5.Data
atau material harus diperhatikan dan dijaga sehingga seorang peneliti dapat
mengulang analisis atau melacak jejak bukti.
7.6.Pendanaan
yang diperoleh seharusnya dicantumkan pada catatan publikasi.
5.2.8 Title, Abstract, and Headings
8.1.Judul
pada laporan harus jelas dan menyampaikan isi atau bahasan pada laporan.
8.2.Abstrak
berisi sebuah kesimpulan dari laporan yang lengkap, ringkas dan akurat.
8.3.Judul
besar dan sub-judul harus memperjelas logika yang mendasari laporan.
6.
The
evaluation of proposals
Secara umum kriteria-kriteria evaluasi dari
lembaga pendanaan sama di seluruh instansi. Kecuali untuk instansi tersebut
menambahkan kriteria khusus, seperti kewajaran anggaran, kriteria evaluasi
lembaga donor adalah sama dengan yang untuk setiap proposal, termasuk proposal
disertasi. Evaluasi berfokus terutama pada dua isu: (1) Signifikansi penelitian
yang diusulkan dan (2) kualitas penelitian yang diusulkan. Isu-isu berikut
dipertimbangkan dalam mengevaluasi proposal relatif terhadap dua karakteristik.
Signifikansi Penelitian yang diusulkan
1.
Kontribusi terhadap pengetahuan
dasar yang relevan untuk solusi dari masalah pendidikan
2.
Kontribusi untuk teori
pendidikan
3.
Kontribusi untuk pengembangan
alat metodologis, juga untuk penelitian praktik pendidikan
4.
Kontribusi untuk solusi dari
masalah pendidikan juga jarak atau jangka pendek
5.
Potensi generalisasi dari hasil
yang diharapkan
6.
Potensi hasil diharapkan untuk
mempengaruhi perbaikan praktek pendidikan
Kualitas Penelitian Usulan
1. Sejauh mana penulis
menunjukkan pengetahuan mendalam tentang penelitian sebelumnya yang relevan
2. Sejauh mana penelitian
sebelumnya berkaitan dengan penelitian yang diusulkan
3. Kelengkapan dan
kesesuaian desain penelitian
4. Kesesuaian instrumentasi
dan metodologi
5. Kesesuaian analisis
diharapkan
6. Kemungkinan bahwa
penelitian yang diusulkan dapat diselesaikan dengan sukses seperti yang
dijelaskan
Proses peninjauan proposal kadang
berdasarkan kriteria yang jelas, beserta dengan bobot poin di setiap
kriterianya. Berikut ini contoh dari bentuk penilaian proposal yang digunakan
untuk Request for Proposal.
|
Criteria for RFP
|
||
|
Evaluation Parameters
|
Evaluation
Criteria
|
Score
|
|
Comprehension/ understanding of project
|
General understanding - memahami aspek-aspek
penting dari proyek
Needs identification - menyadari tantangan / masalah
potensial dalam proyek
Solutions identification - berisi kreatif dan berwawasan,
kelayakan, solusi untuk tantangan / masalah
|
/25
|
|
Methodology
and project administration
|
Suitability and soundness of methodology - memberikan
probabilitas tinggi untuk mencapai tujuan studi
Technical integrity
- berdasarkan prinsip-prinsip desain penelitian yang baik
|
/25
|
|
Relevance
|
Applicability
of findings to policy and practice - Temuan mengatasi kebijakan
pertanyaan / masalah dan / atau masalah terkait lainnya yang berkaitan dengan
bidang studi lima prioritas dalam RFP
|
/25
|
|
Qualifications
and experience
|
Education/technical
expertise - menunjukkan pengetahuan dan keahlian yang dibutuhkan untuk
melaksanakan proyek
Experience - menunjukkan
pengalaman dalam bidang studi yang dipertimbangkan
|
/10
|
|
Budget
|
Budget - memadai tapi
realistis, mengingat jumlah pekerjaan yang terlibat
|
/10
|
|
Overall
assessment
|
Strategy - usulan memberikan strategi yang unggul untuk tujuan
mencapai proyek
Style - menulis jelas dan
ringkas, hati-hati diedit, konsep disajikan dengan baik, menarik dan mudah
dipahami tata letak
Overall quality of proposal - memberikan kesan keseluruhan bahwa
perawatan yang memadai, perhatian terhadap detail, dan usaha masuk ke dalam
perencanaan dan penciptaan proposal
|
/5
|
|
|
Total
|
/100
|