“Pengodean klinis merupakan salah satu proses penting dalam pelayanan rumah sakit. Kode yang dihasilkan berhubungan dengan klaim INA-CBGs, statistik kesehatan, dan pelaporan rumah sakit. Namun dalam praktiknya, proses pengodean masih banyak dilakukan secara manual. Koder harus memahami narasi diagnosis yang terkadang tidak terstruktur, menggunakan singkatan, atau memiliki lebih dari satu diagnosis. Kondisi ini membutuhkan waktu dan pengalaman, sehingga diperlukan teknologi yang dapat membantu koder dalam mencari kandidat kode secara lebih cepat.”

“Berdasarkan penelitian terdahulu, sebagian besar pendekatan menggunakan model yang harus dilatih atau di-fine-tune terlebih dahulu. Pendekatan tersebut membutuhkan infrastruktur dan dataset yang cukup besar. Penelitian kami mencoba pendekatan yang lebih sederhana, yaitu menggunakan LLM komersial melalui API key tanpa melakukan pelatihan model dari awal. LLM kemudian diintegrasikan ke dalam SIMRS dan tetap menempatkan PMIK sebagai pengambil keputusan akhir melalui mekanisme human-in-the-loop.”

“Tujuan penelitian ini adalah merancang sebuah purwarupa yang dapat memberikan rekomendasi kode ICD menggunakan LLM. Selanjutnya, LLM diintegrasikan melalui API key ke dalam SIMRS. Kami kemudian mengevaluasi seberapa akurat rekomendasi yang diberikan dibandingkan dengan kode dari validator ahli. Selain akurasi, kami juga melihat tingkat kesepakatan dan bagaimana pengguna menilai kemudahan serta kegunaan sistem.”

“Penelitian ini menggunakan pendekatan kuantitatif dengan metode Research and Development. Penelitian dilakukan dalam tiga tahap, yaitu analisis kebutuhan dan perancangan arsitektur, pengembangan purwarupa, kemudian evaluasi akurasi dan usability. Data yang digunakan terdiri dari 25 narasi diagnosis sintesis yang mewakili Bab I ICD-10, yaitu penyakit infeksi dan parasit tertentu. Untuk evaluasi usability, digunakan 20 responden yang terdiri dari mahasiswa dan dosen RMIK.”

“Alur sistem dimulai ketika PMIK memasukkan atau memilih narasi diagnosis dari SIMRS. Data kemudian diproses oleh backend dan dikirimkan ke layanan LLM melalui API key dengan koneksi yang aman. Prompt yang diberikan kepada LLM dilengkapi dengan konteks dari indeks ICD-10. Selanjutnya, LLM menghasilkan tiga kandidat kode teratas beserta alasan dan tingkat keyakinannya. Hasil tersebut ditampilkan kepada PMIK untuk diverifikasi. PMIK tetap memiliki kewenangan untuk menerima, mengubah, atau menolak rekomendasi sebelum kode ditetapkan sebagai kode final.”

“Hasil penelitian menunjukkan bahwa akurasi Top-1 sistem adalah 64 persen, sedangkan akurasi Top-3 mencapai 76 persen. Artinya, dari 25 kasus yang diuji, sebanyak 16 kasus memiliki kode yang tepat pada rekomendasi pertama, sedangkan 19 kasus memiliki kode yang tepat di dalam tiga rekomendasi teratas. Nilai Cohen’s Kappa sebesar 0,58 menunjukkan tingkat kesepakatan yang moderat dengan validator ahli. Rata-rata waktu respons sistem adalah sekitar 3,2 detik per kasus.”

“Selain akurasi, kami juga melakukan evaluasi terhadap usability sistem menggunakan System Usability Scale. Hasilnya menunjukkan skor total sebesar 74,5 dan masuk dalam kategori baik. Kemudahan penggunaan memperoleh skor 78, efisiensi waktu kerja 75, sedangkan kepercayaan terhadap rekomendasi memperoleh skor 70,5. Hasil ini menunjukkan bahwa sistem cukup mudah digunakan dan dapat membantu pekerjaan, tetapi pengguna tetap merasa perlu melakukan verifikasi terhadap rekomendasi yang diberikan LLM.”

“Dari hasil penelitian dapat dilihat bahwa LLM memiliki potensi sebagai alat bantu pengodean, tetapi belum tepat jika digunakan sebagai pengambil keputusan secara otomatis. Perbedaan antara akurasi Top-1 dan Top-3 menunjukkan bahwa sistem lebih bermanfaat ketika memberikan beberapa kandidat kode kepada koder. Dengan demikian, LLM dapat membantu mempersempit pencarian kode, sedangkan keputusan akhir tetap dilakukan oleh PMIK. Pendekatan API key juga lebih praktis karena tidak membutuhkan proses training dari awal dan tidak membutuhkan infrastruktur komputasi yang besar.”

“Sebagai kesimpulan, penelitian ini menunjukkan bahwa integrasi Large Language Model melalui API key ke dalam SIMRS dapat dilakukan secara teknis dan memberikan hasil awal yang cukup menjanjikan. Akurasi Top-1 mencapai 64 persen, Top-3 mencapai 76 persen, dan usability memperoleh skor 74,5 dengan kategori baik. Namun, sistem belum dapat menggantikan peran koder karena masih terdapat kemungkinan kesalahan dan halusinasi dari model. Oleh karena itu, LLM sebaiknya digunakan sebagai asisten pengodean, sementara keputusan akhir tetap berada pada PMIK. Penelitian selanjutnya perlu dilakukan menggunakan data klinis riil, jumlah sampel yang lebih besar, cakupan seluruh bab ICD-10, serta melibatkan koder praktisi sebagai validator.”