Script Concordance Test: Sebuah Terobosan Baru dalam Metode Penilaian UKMPPD

By /

Latar Belakang

Pada Kamis, 26 Desember 2024, telah berlangsung rapat internal antara Kementerian Kesehatan RI (Kemenkes), Asosiasi Institusi Pendidikan Kedokteran Indonesia (AIPKI), Kolegium Kesehatan, dan Kolegium Dokter Umum. Agenda utama rapat ini berfokus pada Uji Kompetensi Mahasiswa Program Profesi Dokter (UKMPPD), mencakup pengembangan sistem baru UKMPPD, pelaksanaan UKMPPD, serta tanggal uji coba dan tanggal pelaksanaan UKMPPD baru.

Salah satu perubahan besar yang menjadi sorotan dalam rapat tersebut adalah penerapan metode Script Concordance Test (SCT). Setelah dokter dinyatakan lulus dari fakultas kedokteran masing-masing perguruan tinggi, mereka harus mengikuti ujian nasional berupa SCT. Ujian ini akan menjadi syarat utama untuk memperoleh sertifikat kompetensi, menjalani program internship, dan mendapatkan izin praktik sebagai dokter umum.

Apa Itu Script Concordance Test (SCT)?

Script Concordance Test adalah metode evaluasi yang dirancang untuk mengukur kemampuan penalaran klinis dalam situasi yang tidak pasti dan kompleks, sebagaimana sering dijumpai dalam praktik kedokteran sehari-hari. Berbeda dengan metode tes konvensional yang mengandalkan jawaban tunggal yang benar, SCT menilai sejauh mana respons peserta ujian sesuai dengan pola berpikir para ahli klinis.

Dalam pelaksanaannya, peserta ujian dihadapkan pada serangkaian skenario klinis singkat yang diikuti oleh informasi tambahan. Mereka kemudian diminta untuk menentukan pengaruh informasi tersebut terhadap keputusan klinis yang harus diambil. Jawaban peserta dibandingkan dengan distribusi jawaban dari panel ahli yang berpengalaman dalam bidang terkait, sehingga penilaian mencerminkan pendekatan profesional dalam menghadapi ketidakpastian klinis.

Perbedaan SCT dan MCQ

Untuk memahami keunggulan Script Concordance Test (SCT) sebagai metode evaluasi, penting untuk membandingkannya dengan metode yang lebih konvensional, yaitu Multiple Choice Questions (MCQ). Tabel berikut menyajikan perbedaan utama antara SCT dan MCQ dari berbagai aspek penilaian.

AspekSCTMCQ
Tujuan UtamaMenilai penalaran klinis dalam situasi tidak pasti dan ambigu.Menilai pengetahuan faktual dan pengetahuan sebelumnya.
Struktur PertanyaanSketsa klinis dengan informasi tidak lengkap dan opsi berbasis skala.Pertanyaan dengan jawaban yang pasti, diikuti beberapa pilihan jawaban.
PendekatanBerdasarkan kesesuaian jawaban dengan panel dokter ahli.Berdasarkan pemilihan jawaban yang benar.
KeunggulanMeningkatkan keterampilan penalaran klinis melalui skenario nyataMudah digunakan untuk mengukur pengetahuan dalam jumlah besar.
KeterbatasanMemerlukan panel ahli untuk evaluasi dan fokus pada ketidakpastian.Tidak mencerminkan kompleksitas dunia nyata dan kurang efektif untuk mengukur penalaran klinis.

Meskipun MCQ telah lama digunakan sebagai standar dalam berbagai ujian kompetensi, SCT menawarkan pendekatan yang lebih kontekstual dan sesuai dengan kompleksitas praktik klinis. Oleh karena itu, integrasi SCT diharapkan mampu melengkapi kelemahan MCQ dalam menilai kemampuan penalaran klinis dalam situasi yang tidak pasti.

Implementasi SCT di Berbagai Negara

Berbagai negara telah mengadopsi SCT sebagai bagian dari sistem asesmen pendidikan kesehatan. Di Prancis, SCT digunakan di empat universitas kedokteran untuk menilai residen anestesiologi. Brasil memanfaatkannya dalam evaluasi mahasiswa kedokteran, sementara Amerika Serikat mengimplementasikannya dalam tiga program residensi kedokteran darurat. Iran telah menerapkan SCT dalam ujian komprehensif untuk mahasiswa kebidanan.

Di Kanada, SCT digunakan untuk menilai kemampuan penalaran klinis mahasiswa keperawatan, dan di Inggris diterapkan pada mahasiswa kedokteran hewan tahun akhir di University of Nottingham. Selain itu, negara-negara seperti Lebanon, Spanyol, Jerman, Australia, dan Pakistan juga telah mengintegrasikan SCT ke dalam sistem pendidikan kesehatan mereka. Hal ini mencerminkan fleksibilitas dan keandalan SCT sebagai alat asesmen global dalam dunia medis.

Pro dan Kontra Metode SCT

Seiring dengan rencana penerapan Script Concordance Test (SCT) dalam Uji Kompetensi Mahasiswa Program Profesi Dokter (UKMPPD), muncul beragam respons dari kalangan akademisi, praktisi, dan pemangku kebijakan. Sebagian pihak menilai bahwa SCT adalah langkah maju dalam menilai kemampuan penalaran klinis yang realistis, namun tidak sedikit pula yang menyampaikan kekhawatiran terkait implementasi dan validitasnya di konteks lokal.

Tabel berikut merangkum berbagai kelebihan (pro) dan tantangan (kontra) yang sering dikemukakan dalam diskusi mengenai SCT:

PROKONTRA
SCT meniru skenario klinis nyata yang sering kali mengandung ketidakpastian, sehingga memungkinkan mahasiswa untuk mengintegrasikan berbagai informasi dalam mengambil keputusan.
Perlunya adaptasi pada mahasiswa, terutama jika mereka lebih terbiasa dengan soal pilihan ganda tradisional.
Umpan balik dari panel ahli yang dapat membantu mengidentifikasi area yang perlu ditingkatkan dan memandu studi lebih lanjut.Ketergantungan pada konsensus panel ahli untuk penilaian dapat menimbulkan variabilitas, sehingga dapat menyebabkan ketidakkonsistenan dalam penilaian di berbagai penyelenggara tes.
SCT memungkinkan pemberian kredit parsial berdasarkan seberapa dekat respons siswa dengan konsensus ahli.Mempersiapkan diri untuk SCT dapat memakan waktu bagi mahasiswa, karena tidak hanya memerlukan pengetahuan tetapi juga kemampuan untuk menerapkan pengetahuan tersebut dalam kondisi ketidakpastian.

Mengenali sisi positif dan tantangan dari metode ini sangat penting untuk memastikan penerapannya berjalan efektif dan sesuai dengan kebutuhan sistem pendidikan kedokteran di Indonesia. Dengan evaluasi yang matang, SCT berpotensi menjadi bagian integral dari asesmen kompetensi dokter masa depan.

Validitas dan Reliabilitas Script Concordance Test (SCT)

Sebagai metode asesmen yang relatif baru dalam pendidikan kedokteran di Indonesia, validitas dan reliabilitas Script Concordance Test (SCT) menjadi aspek penting yang perlu dikaji secara mendalam. Berbagai studi internasional telah memberikan bukti bahwa SCT memiliki karakteristik pengukuran yang dapat diandalkan, meskipun tetap menghadapi beberapa tantangan dalam implementasinya.

Reliabilitas Internal

SCT menunjukkan reliabilitas internal yang baik, dengan nilai Cronbach’s alpha berkisar antara 0,70 hingga 0,85 untuk ujian berdurasi antara 60 hingga 90 menit. Cronbach’s alpha adalah ukuran statistik yang digunakan untuk menilai konsistensi internal sebuah instrumen tes—yaitu, sejauh mana butir-butir soal di dalam tes tersebut saling berkorelasi dan secara konsisten mengukur konstruk yang sama.

Nilai alpha di atas 0,70 umumnya dianggap sebagai ambang minimal reliabilitas yang dapat diterima. Dengan demikian, SCT dinilai cukup stabil dan terpercaya dalam mengukur kemampuan penalaran klinis peserta didik.

Validitas Konstruksi

Validitas konstruksi SCT juga telah dibuktikan melalui studi empiris yang menunjukkan adanya peningkatan skor seiring bertambahnya pengalaman klinis. Artinya, peserta yang lebih berpengalaman cenderung memperoleh skor lebih tinggi, mendukung anggapan bahwa SCT memang mengukur penalaran klinis yang berkembang melalui praktik.

  • Wan S. Using the script concordance test to assess clinical reasoning skills in undergraduate and postgraduate medicine. Hong Kong Medical Journal. 2015 Aug 28;21(5):455-61.
  • Taber KS. The Use of Cronbach’s Alpha When Developing and Reporting Research Instruments in Science Education. Research in Science Education. 2018 Jun 7;48(6):1273–96. 
  • Wan MSH, Tor E, Hudson JN. Construct validity of script concordance testing: progression of scores from novices to experienced clinicians. International Journal of Medical Education. 2019 Sep 20;10:174–9.
Hambatan terhadap Validitas

Meski reliabel dan valid secara teoretis, penerapan SCT tetap memiliki potensi hambatan yang dapat memengaruhi validitas hasilnya. Beberapa di antaranya meliputi:

  1. Pemilihan panelis ahli yang kurang tepat, baik dari segi kualifikasi maupun keragaman pengalaman.
  2. Minimnya pelatihan panelis dalam memahami metodologi SCT, termasuk cara menyusun dan mengevaluasi soal.
  3. Kekeliruan dalam konstruksi soal, misalnya hipotesis yang terlalu kabur atau informasi tambahan yang tidak jelas.
  4. Kurangnya pelatihan peserta ujian tentang format SCT, sehingga berisiko terjadi kesalahpahaman dalam menjawab soal.
Solusi yang Direkomendasikan

Untuk mengatasi hambatan tersebut dan memastikan asesmen SCT berjalan secara optimal, beberapa langkah strategis dapat dilakukan, antara lain:

  1. Merekrut panelis ahli yang kompeten dan berpengalaman, serta memberikan pelatihan khusus mengenai metodologi SCT.
  2. Memberikan pelatihan atau simulasi ujian kepada peserta tes, agar mereka memahami format dan pola penilaian SCT dengan baik.
  3. Menggunakan umpan balik dari peserta didik untuk mengevaluasi kualitas soal dan terus menyempurnakan sistem asesmen yang digunakan.

Script Concordance Test (SCT) merupakan metode asesmen yang efektif untuk menilai kemampuan penalaran klinis dalam menghadapi ketidakpastian, dengan mengevaluasi kesesuaian jawaban peserta terhadap keputusan panel ahli melalui skenario klinis berbasis simulasi. Namun, sebelum mengimplementasikan SCT, penyelenggara ujian perlu memastikan kesiapan panel ahli dalam melakukan penilaian, sementara institusi pendidikan harus memperhatikan kesiapan peserta ujian agar metode ini dapat diterapkan secara optimal.

Artikel ini ditulis oleh:
HRD Team SCOME CIMSA 2024–2025
Rosalia Dwi Permatasari
Leia Karunia Kuntoro
Citra Amira Maheswari

Daftar Pustaka

  1. Abouzeid, E. and Sallam, M. (2021). Individual versus team-based responses to script concordance test in teaching clinical reasoning.. https://doi.org/10.21203/rs.3.rs-196274/v1
  2. Abouzeid, E. and Sallam, M. (2022). Teaching by concordance: individual versus team-based performance. Innovations in Education and Teaching International, 60(4), 513-523. https://doi.org/10.1080/14703297.2022.2061568
  3. Bashardoust, N., Mohammadpour, H., Asgari, F., Basirat, M., Khoshtarash, M., & Mirfarhadi, N. (2022). Assessment of clinical reasoning in the evaluation of the oral diseases course in final-year dental students using script concordance test (sct).. https://doi.org/10.21203/rs.3.rs-2264712/v1
  4. Begun, Y. (2023). Script concordance testing in genetic counseling training: a pilot study. Journal of Genetic Counseling, 32(6), 1121-1130. https://doi.org/10.1002/jgc4.1752
  5. Bhardwaj, P., Black, E., Fantone, J., Lopez, M., & Kelly, M. (2022). Script concordance tests for formative clinical reasoning and problem-solving assessment in general pediatrics. Mededportal. https://doi.org/10.15766/mep_2374-8265.11274
  6. Brentnall, J., Thackray, D., & Judd, B. (2022). Evaluating the clinical reasoning of student health professionals in placement and simulation settings: a systematic review. International Journal of Environmental Research and Public Health, 19(2), 936. https://doi.org/10.3390/ijerph19020936
  7. Ganesan, S. (2023). Developing script concordance test items in otolaryngology to improve clinical reasoning skills: validation using consensus analysis and psychometrics. International Journal of Applied and Basic Medical Research, 13(2), 64-69. https://doi.org/10.4103/ijabmr.ijabmr_604_22
  8. Ganesan, S., Bhandary, S., Thulasingam, M., Chacko, T., Rajan, Z., Ravichandran, S., … & Saxena, S. (2021). Consensus analysis for the panel responses and the psychometrics properties in script concordance testing.. https://doi.org/10.21203/rs.3.rs-133349/v1
  9. Hudon, A. (2024). Using chatgpt in psychiatry to design script concordance tests in undergraduate medical education: mixed methods study. Jmir Medical Education, 10, e54067-e54067. https://doi.org/10.2196/54067
  10. Kün-Darbois, J., Annweiler, C., Lerolle, N., & Lebdai, S. (2022). Script concordance test acceptability and utility for assessing medical students’ clinical reasoning: a user’s survey and an institutional prospective evaluation of students’ scores. BMC Medical Education, 22(1). https://doi.org/10.1186/s12909-022-03339-1
  11. Leclerc, A., Nguyen, L., Charlin, B., Lubarsky, S., & Ayad, T. (2021). Assessing the acceptability of script concordance testing: a nationwide study in otolaryngology. Canadian Journal of Surgery, 64(3), E317-E323. https://doi.org/10.1503/cjs.014919
  12. Leinster, S., Pereira, J., Down, S., & Simpson, A. (2021). Blended learning in healthcare education. Medical Research Archives, 9(8). https://doi.org/10.18103/mra.v9i8.2527
  13. Levy, J., Frediani, J., Tyburski, E., Wood, A., Figueroa, J., Kempker, R., … & Waggoner, J. (2021). Impact of repeated nasal sampling on detection and quantification of sars-cov-2. Scientific Reports, 11(1). https://doi.org/10.1038/s41598-021-94547-0
  14. Moghadami, M., Amini, M., Moghadami, M., Dalal, B., & Charlin, B. (2021). Teaching clinical reasoning to undergraduate medical students by illness script method: a randomized controlled trial. BMC Medical Education, 21(1). https://doi.org/10.1186/s12909-021-02522-0
  15. Naylor, K. (2023). Adapting to a pandemic: web-based residency training and script concordance testing in emergency medicine during covid-19. Disaster Medicine and Public Health Preparedness, 17. https://doi.org/10.1017/dmp.2023.195
  16. Naylor, K. (2024). The impact of script concordance testing on clinical decision-making in paramedic education. Healthcare, 12(2), 282. https://doi.org/10.3390/healthcare12020282
  17. Nomura O, Itoh T, Mori T, Ihara T, Tsuji S, Inoue N and Carrière B (2021) Creating Clinical Reasoning Assessment Tools in Different Languages: Adaptation of the Pediatric Emergency Medicine Script Concordance Test to Japanese. Front. Med. 8:765489. doi: 10.3389/fmed.2021.765489
  18. O’Brien, S., Dillon, N., Linsky, M., Lagueras, K., Uhl, J., Conroy, S., … & Sturm, E. (2023). Initial validation of a script concordance test to measure the development of clinical reasoning among physical therapy residents. The Journal of Clinical Education in Physical Therapy, 5. https://doi.org/10.52214/jcept.v5.9014
  19. Peyrony, O., Hutin, A., Truchot, J., Borie, R., Calvet, D., Albaladejo, A., … & Roux, D. (2020). Impact of panelists’ experience on script concordance test scores of medical students. BMC Medical Education, 20(1). https://doi.org/10.1186/s12909-020-02243-w
  20. Radović, M., Petrović, N., & Tošić, M. (2022). An ontology-driven learning assessment using the script concordance test. Applied Sciences, 12(3), 1472. https://doi.org/10.3390/app12031472
  21. Ross, L., Semaan, E., Gosling, C., Fisk, B., & Shannon, B. (2023). Clinical reasoning in undergraduate paramedicine: utilisation of a script concordance test. BMC Medical Education, 23(1). https://doi.org/10.1186/s12909-023-04020-x
  22. Si, J. (2022). Strategies for developing pre-clinical medical students’ clinical reasoning based on illness script formation: a systematic review. Korean Journal of Medical Education, 34(1), 49-61. https://doi.org/10.3946/kjme.2022.219
  23. Steinberg, E., Cowan, E., Lin, M., Sielicki, A., & Warrington, S. (2020). Assessment of emergency medicine residents’ clinical reasoning: validation of a script concordance test. Western Journal of Emergency Medicine, 21(4). https://doi.org/10.5811/westjem.2020.3.46035
  24. Roberti A, Maria, Regina E, Maria. Script concordance test in medical schools in Brazil: possibilities and limitations. Sao Paulo Medical Journal. 2016 Jan 16;134(2):116–20.
  25. ‌Subra J, Chicoulaa B, Stillmunkès A, Mesthé P, Oustric S, Rougé Bugat ME. Reliability and validity of the script concordance test for postgraduate students of general practice. European Journal of General Practice. 2017 Aug 18;23(1):209–14.
  26. Cobb KA, Brown G, Hammond R, Mossop LH. Students’ Perceptions of the Script Concordance Test and Its Impact on Their Learning Behavior: A Mixed Methods Study. Journal of Veterinary Medical Education. 2015 Mar;42(1):45–52.
  27. ‌Kazour F, Richa S, Zoghbi M, El-Hage W, Haddad FG. Using the Script Concordance Test to Evaluate Clinical Reasoning Skills in Psychiatry. Academic Psychiatry. 2016 May 13;41(1):86–90.
  28. ‌Aubart FC, Papo T, Hertig A, Renaud MC, Steichen O, Z. Amoura, et al. Are script concordance tests suitable for the assessment of undergraduate students? A multicenter comparative study. La Revue de Médecine Interne. 2020 Dec 4;42(4):243–50.
  29. ‌Nseir S, Elkalioubie A, Deruelle P, Lacroix D, Gosset D. Accuracy of script concordance tests in fourth-year medical students. International Journal of Medical Education. 2017 Feb 25;8:63–9.
  30. ‌Faucher C, Dufour-Guindon MP, Lapointe G, Gagnon R, Charlin B. Assessing clinical reasoning in optometry using the script concordance test. Clinical and Experimental Optometry. 2016 Apr 18;99(3):280–6.
  31. ‌Iravani K, Amini M, Doostkam A, Mahnaz Dehbozorgian. The validity and reliability of script concordance test in otolaryngology residency training. PubMed. 2016 Apr 1;4(2):93–6.
  32. ‌Steinberg E, Cowan E, Lin M, Sielicki A, Warrington S. Assessment of Emergency Medicine Residents’ Clinical Reasoning: Validation of a Script Concordance Test. Western Journal of Emergency Medicine. 2020 Jun 24;21(4).
  33. ‌Ducos G, Lejus C, François Sztark, Nathan N, Fourcade O, Tack I, et al. The Script Concordance Test in anesthesiology: Validation of a new tool for assessing clinical reasoning. 2015 Feb 1;34(1):11–5.
  34. ‌Nazim SM, Talati JJ, Pinjani S, Biyabani SR, Ather MH, Norcini JJ. Assessing clinical reasoning skills using Script Concordance Test (SCT) and extended matching questions (EMQs): A pilot for urology trainees. J Adv Med Educ Prof. 2019;7(1):7-13. DOI: 10.30476/JAMP.2019.41038.
  35. Iglesias Gómez C, González Sequeros O, Salmerón Martínez D. Clinical reasoning evaluation using script concordance test in primary care residents. Anales de Pediatría (English Edition). 2022 Aug;97(2):87–94.
  36. ‌Goos M, Schubach F, Seifert G, Boeker M. Validation of undergraduate medical student script concordance test (SCT) scores on the clinical assessment of the acute abdomen. BMC Surgery. 2016 Aug 17;16(1).
  37. ‌Nalini YC, Shivasakthy Manivasakan, Pai DR. Script Concordance Test in Physiology: Preparation, Scoring, and Student Perceptions – A Mixed Method Study. International Journal of Applied and Basic Medical Research. 2024 Oct 1;14(4):246–51.
  38. ‌Leclerc AA, Nguyen LHP, Charlin B, Lubarsky S, Ayad T. Assessing the acceptability of script concordance testing: a nationwide study in otolaryngology. Canadian Journal of Surgery. 2021 Jun;64(3):E317–23.
  39. ‌Kojich L, Miller SA, Axman K, Eacret T, Koontz JA, Smith C. Evaluating clinical reasoning in first year DPT students using a script concordance test. BMC Medical Education. 2024 Mar 22;24(1).
  40. ‌Wan MSH, Tor E, Hudson JN. Construct validity of script concordance testing: progression of scores from novices to experienced clinicians. International Journal of Medical Education. 2019 Sep 20;10:174–9.
  41. ‌Funk KA, Kolar C, Schweiss SK, Tingen JM, Janke KK. Experience with the script concordance test to develop clinical reasoning skills in pharmacy students. Currents in Pharmacy Teaching and Learning. 2017 Nov;9(6):1031–41.
  42. ‌Delavari S, Amini M, Sohrabi Z, Koohestani H, Delavari S, Rezaee R, et al. Development and psychometrics of script concordance test (SCT) in midwifery. Medical Journal of The Islamic Republic of Iran. 2018 Oct 30;32(1):434–9.
  43. ‌Marie-France Deschênes, Marc-André Maheu-Cadotte, Fontaine G, Dionne É. Scoring Methods in Script Concordance Tests: An Exploratory Psychometric Study. Journal of nursing education/˜The œJournal of nursing education. 2023 Oct 1;62(10):549–55.
  44. Cobb KA, Brown G, Hammond R, Mossop LH. Students’ Perceptions of the Script Concordance Test and Its Impact on Their Learning Behavior: A Mixed Methods Study. Journal of Veterinary Medical Education. 2015 Mar;42(1):45–52.
  45. Thamer Nouh, Boutros M, Gagnon R, Reid S, Leslie KA, Pace D, et al. The script concordance test as a measure of clinical reasoning: a national validation study. The American Journal of Surgery. 2012 Apr 1;203(4):530–4.
  46. Phan SV. Evaluation of the use of script concordance test in a multicampus psychiatric pharmacy elective course. Mental Health Clinician. 2019 Sep 1;9(5):304–8.
  47. Subra J, Chicoulaa B, Stillmunkès A, Mesthé P, Oustric S, Rougé Bugat ME. Reliability and validity of the script concordance test for postgraduate students of general practice. European Journal of General Practice. 2017 Aug 18;23(1):209–14.
  48. Wan S. Using the script concordance test to assess clinical reasoning skills in undergraduate and postgraduate medicine. Hong Kong Medical Journal. 2015 Aug 28;
  49. Wan S. Using the script concordance test to assess clinical reasoning skills in undergraduate and postgraduate medicine. Hong Kong Medical Journal. 2015 Aug 28;21(5):455-61. 
  50. Taber KS. The Use of Cronbach’s Alpha When Developing and Reporting Research Instruments in Science Education. Research in Science Education. 2018 Jun 7;48(6):1273–96. 
  51. ‌Gawad N, Wood TJ, Malvea A, Cowley L, Raiche I. The Impact of Surgeon Experience on Script Concordance Test Scoring. Journal of Surgical Research. 2021 Sep;265:265–71.
  52. ‌Habes EV, Kolk JEM, Van Brunschot MFM, Bouwes A. Development of script concordance test for assessment of clinical reasoning in nursing: Lessons learned regarding construct validity. Heliyon. 2024 Jul 24;10(15):e35151.
Scroll to Top