Mengapa jawaban AI keliru, dan enam kontrol agar Digital Mind tetap berpijak pada fakta

Jawaban AI bisa keliru ketika model menebak alih-alih mengakui keraguan, mengandalkan fakta usang, terdengar yakin tanpa alasan, menyimpang dari instruksi, menjawab pertanyaan lain, atau menangani suatu bahasa dengan buruk. Enam kontrol dalam Digital Mind mengurangi masing-masing risiko. Tidak ada yang menghilangkannya, jadi manusia tetap terlibat dalam keputusan penting.

Mengapa model bahasa mengarang fakta?

Halusinasi adalah istilah sehari-hari untuk apa yang disebut NIST sebagai konfabulasi: “konten yang dinyatakan dengan yakin tetapi keliru atau salah” (terbuka di tab baru)^[3]. Profil AI generatif NIST (Juli 2024, panduan sukarela pemerintah AS) menyebut konfabulasi sebagai hasil alami dari cara model ini dibangun, karena model memprediksi teks yang mungkin muncul berdasarkan pola dalam data pelatihannya. Profil itu menyoroti prompt terbuka untuk jawaban panjang dan bidang yang membutuhkan keahlian kontekstual atau bidang tertentu, yaitu tempat bisnis dengan keahlian khusus ingin asisten AI bekerja.

Makalah tahun 2025 oleh peneliti OpenAI dan Georgia Tech, “Why Language Models Hallucinate” (terbuka di tab baru)^[1], menyalahkan sistem penilaian sebagai salah satu penyebabnya. Kebanyakan benchmark memberi satu poin untuk jawaban benar dan tidak memberi apa pun untuk pengakuan ketidakpastian, sehingga tebakan selalu mendapat nilai setidaknya sama baiknya dengan jawaban jujur “tidak yakin”. Para penulis menyatakan bahwa model “dioptimalkan agar pandai mengerjakan tes.” Contoh mereka sendiri: sebuah model open-source ditanya tanggal lahir seorang peneliti, dengan instruksi untuk menjawab hanya jika tahu, lalu memberikan tiga tanggal salah yang berbeda dalam tiga percobaan.

Fakta tanpa pola di baliknya adalah yang paling sulit. Untuk fakta semacam itu, termasuk tanggal lahir, analisis dalam makalah tersebut menetapkan batas bawah tingkat kesalahan model yang telah dilatih sebelumnya, yang kira-kira setara dengan proporsi fakta tersebut yang hanya muncul sekali dalam pelatihan. Makalah itu tidak menguji rincian bisnis, jadi berikut adalah simpulan yang ditarik artikel ini: jam buka, harga, dan ketentuan pengembalian dana sebuah toko tampak seperti fakta semacam ini, karena tidak ada dalam bahasa yang memungkinkan model menyimpulkannya. Fakta-fakta itu harus diberikan.

Namun, menebak bukanlah keharusan. Para penulis mengusulkan penilaian dengan target keyakinan yang jelas, sehingga pengakuan ketidakpastian di bawah target tidak lagi dikenai penalti, dan mereka berpendapat bahwa mengutamakan keakuratan ucapan model di atas kelengkapannya penting untuk mengurangi halusinasi. Konsekuensinya adalah model yang mengatakan lebih sedikit. Pengalihan ke manusia dimaksudkan untuk meringankan pilihan antara cakupan dan kepastian itu.

Apakah menjawab dari dokumen Anda sendiri menyelesaikannya?

Cara itu membantu, tetapi tidak menyelesaikan semuanya. Salah satu kasus yang diukur berasal dari bidang hukum, di mana para vendor mengatakan bahwa alat mereka menghindari atau menghilangkan halusinasi dengan menggunakan sumber tepercaya. Dalam studi Stanford dan Yale yang didaftarkan sebelumnya (terbuka di tab baru)^[2] (pracetak, Mei 2024), para peneliti menjalankan 202 kueri riset hukum antara Maret dan Mei 2024. Respons dianggap mengandung halusinasi jika berisi informasi yang salah atau secara keliru mengklaim bahwa suatu sumber mendukung sebuah pernyataan. Berdasarkan definisi itu, Lexis+ AI dan Ask Practical Law AI berhalusinasi pada 17% kueri, dan AI-Assisted Research milik Westlaw pada 33%. GPT-4, yang menjawab tanpa basis pengetahuan, berhalusinasi pada 43%.

Penggunaan sumber sebagai dasar mengurangi kesalahan dibandingkan model tanpa dasar tersebut, tetapi tidak menghilangkannya. Ask Practical Law AI menunjukkan trade-off itu: proporsi halusinasinya sama dengan Lexis+ AI, tetapi memberikan jawaban tidak lengkap, yaitu penolakan atau jawaban benar yang tidak menyebutkan otoritas pendukung, pada lebih dari 60% kueri.

Ada dua hal yang perlu diperhatikan. Studi itu menguji produk hukum tersebut dan tidak menyatakan apa pun tentang alat lain, termasuk Plandora. Para penulisnya juga merancang kueri agar sulit, sehingga angka-angka itu bukan perkiraan tanpa bias atas tingkat kesalahan di dunia nyata.

Sitasi juga tidak menyelesaikan persoalan. Studi itu menghitung sumber nyata yang tidak mendukung klaim sebagai halusinasi, dan para penulisnya menyimpulkan bahwa pengguna “harus terus memverifikasi bahwa pernyataan utama didukung secara akurat oleh sitasi.”

Bagaimana jawaban AI bisa keliru?

1. Fakta rekaan. Harga, kebijakan, atau kredensial yang terdengar masuk akal tetapi tidak muncul dalam materi yang Anda berikan. Inilah tebakan yang dijelaskan di atas.
2. Pengetahuan usang. Jawaban yang pernah benar. Dalam studi Stanford, satu jawaban Lexis+ AI menganggap suatu aturan masih berlaku sambil mengutip perkara berikutnya yang membatalkannya, dan para penulis mencatat bahwa dokumen hukum sering berisi informasi usang. Materi Anda sendiri juga menjadi usang: daftar harga musim lalu, penawaran yang telah berakhir, kebijakan pengembalian dana yang tidak berlaku lagi.
3. Nada terlalu yakin. Jawaban salah disampaikan dengan nada yang sama seperti jawaban benar. Makalah OpenAI mengamati bahwa gertakan sering kali terlalu yakin dan spesifik, “30 September” alih-alih “Suatu saat di musim gugur”. NIST mencatat bahwa risiko muncul ketika pengguna percaya pada konten salah, sering kali karena jawaban itu terdengar yakin.
4. Mengabaikan batasan. Definisi konfabulasi NIST mencakup “keluaran yang dihasilkan dan menyimpang dari prompt atau masukan lainnya”. Boundary adalah bagian dari masukan itu, dan sistem yang menghasilkan teks secara statistik dapat melewati instruksi yang diberikan kepadanya.
5. Salah memahami maksud. Model menjawab pertanyaan yang diharapkannya, atau menemukan materi untuk pertanyaan lain. Dalam studi Stanford, pencarian yang buruk, yaitu kegagalan menemukan sumber paling relevan, berkontribusi pada 20% hingga 47% respons yang mengandung halusinasi, tergantung alatnya (penyebab dalam studi itu saling tumpang tindih). Ketika diminta mendefinisikan “moral wrong doctrine”, Lexis+ AI mengandalkan sumber yang mendefinisikan moral turpitude, istilah yang terdengar mirip tetapi tidak berkaitan. Dalam contoh lain yang ditunjukkan para penulis, sebuah alat menjelaskan mengapa seorang hakim berbeda pendapat dalam perkara ketika hakim itu justru bergabung dengan mayoritas, alih-alih mengoreksi premisnya.
6. Kesalahan bahasa dan terjemahan. NIST mencatat bahwa “LLM mungkin bekerja kurang baik untuk bahasa selain bahasa Inggris atau dialek tertentu”, dan bahwa orang dapat keliru mempercayai sistem bekerja sama baiknya untuk setiap kelompok. Mind yang melayani pengunjung dalam beberapa bahasa perlu diuji dalam masing-masing bahasa.

Enam kontrol apa yang menjaga Digital Mind tetap berpijak pada fakta?

1. Hanya pengetahuan yang disetujui

Digital Mind berbicara berdasarkan materi yang Anda berikan: dokumen dan jawaban FAQ di Drive, serta postingan dari akun Social media yang terhubung. Apa pun di Trash diabaikan. Search web adalah sakelar terpisah, yang sebaiknya dimatikan kecuali informasi publik terkini membantu percakapan. Mulailah dengan lima pertanyaan yang paling sering diajukan kepada Anda, tulis setiap jawaban sekali, dan uji dalam pratinjau percakapan, tempat jawaban dapat menampilkan sitasi sumber yang bisa dibuka pengunjung. Sitasi adalah petunjuk untuk diperiksa, bukan bukti, karena alasan yang diberikan dalam studi hukum tersebut. Cara Digital Mind belajar dari dokumen Anda membahas rinciannya.

2. Tanggal berlaku

Set dates… pada dokumen atau file membatasi penggunaannya pada rentang antara dua tanggal, cocok untuk materi musiman, penawaran, dan kebijakan yang memiliki akhir. Pindahkan versi yang telah digantikan ke Trash alih-alih membiarkan dua harga di Drive. Tanggal hanya menetapkan rentang waktu penggunaan suatu item. Menjaga keakuratan harga, jam buka, dan ketentuan tetap menjadi tanggung jawab Anda, jadi jadwalkan peninjauan rutin.

3. Boundaries dalam Playbook

Playbook memiliki empat bagian: Goal, Role & style, Boundaries, dan Flow. Boundaries menyimpan batasan Anda dan menentukan kapan pertanyaan memerlukan manusia alih-alih jawaban AI. Contoh dalam dokumentasi adalah “Kirim permintaan pengembalian dana ke @Sam”. Tandai orang tersebut dari pemilih, karena mengetik nama sebagai teks biasa tidak membuat tag. Simpan fakta seperti harga di Knowledge, bukan di Boundaries. Jawaban singkat dalam Role & style juga dapat membantu: dalam studi Stanford, dari tiga alat hukum, alat dengan jawaban terpanjang (rata-rata sekitar 350 kata tanpa menghitung penolakan, dibandingkan 175 hingga 219 untuk yang lain) juga paling sering berhalusinasi, dan para penulis mencatat bahwa jawaban lebih panjang memuat lebih banyak klaim yang bisa salah dan membutuhkan waktu lebih lama untuk diperiksa. Tiga alat tidak dapat menunjukkan bahwa panjang jawaban menyebabkan perbedaan itu. Cara menulis Playbook menjelaskan setiap bagian.

4. Pengalihan dan Take over

Ketika percakapan membutuhkan manusia, Mind dapat memintanya. Tim Anda diberi tahu, dan Mind terus menjawab sampai seseorang mengambil alih, sehingga pengalihan tidak terjadi seketika. Buka percakapan di Inbox dan pilih Take over, atau cukup kirim jawaban, yang akan menjeda Mind dan menugaskan percakapan kepada Anda. Pilih Release to AI ketika Mind harus menjawab lagi. Filter Unreplied dan AI handling menunjukkan bagian yang perlu dilihat terlebih dahulu. Inbox berada di bawah Audience, yang dapat tersedia melalui peluncuran terpandu atau layanan mandiri tergantung paket Anda. Pengalihan percakapan AI ke manusia membahas rancangannya.

5. Saran Improve

Improve membuat draf perubahan pada instruksi Anda. Di Playbook dan Specialists, fitur ini dapat menyusun saran berdasarkan percakapan nyata dalam tujuh hari terakhir, misalnya dari pertanyaan yang belum terjawab, jawaban yang kurang memadai, dan pengalihan ke manusia. Dalam Specialist atau Automation, Anda juga dapat menjelaskan sendiri perubahan, misalnya “tanyakan juga anggaran mereka”. Perubahan muncul di tempatnya, dengan teks lama dicoret dan teks baru disorot, dan Anda menerima atau menolak masing-masing perubahan. Improve juga menggunakan AI untuk membuat draf, jadi baca setiap perubahan alih-alih mengandalkan Accept all, dan uji lagi setelahnya: perubahan yang diterima disimpan seperti perubahan lainnya.

6. Meninjau percakapan di Inbox

Baca percakapan nyata, bukan hanya dasbor. Di Inbox, filter AI handling mencantumkan apa yang sedang ditangani Mind, Contact details menampilkan jawaban dan catatan yang dikumpulkan, dan Add comment menyimpan catatan internal yang tidak pernah dilihat kontak. Di Insights, laporan Conversations mencantumkan pertanyaan teratas dan cakupan jawaban, dan untuk No answer atau Partial answer, Add an answer membuka FAQ dengan pertanyaan yang sudah diisi. Dokumentasi Plandora menyatakan bahwa Answered adalah penilaian sistem, bukan bukti bahwa pengunjung puas, jadi baca percakapannya sebelum menilai kualitas. Analisis jawaban dapat bergantung pada paket Anda.

Kontrol mana yang menangani setiap kegagalan?

Bisakah kontrol menghilangkan kesalahan?

Tidak. Setiap kontrol mengurangi peluang terjadinya kesalahan atau dampaknya, dan tidak ada yang menghilangkan peluang maupun dampak tersebut sepenuhnya. Artikel ini tidak membuat klaim akurasi tentang Plandora, dan studi yang dikutip di sini mengukur alat lain. Digital Mind bukanlah pakar manusia dan tidak boleh ditampilkan seolah-olah demikian.

Jawaban AI bisa salah, jadi libatkan manusia dalam keputusan keuangan, hukum, medis, dan keputusan penting lainnya. NIST memberikan alasan di luar tingkat kesalahan. NIST menggambarkan bias otomasi, yaitu kecenderungan terlalu mempercayai sistem otomatis, sebagai sesuatu yang dapat memperburuk risiko konfabulasi, dan menyatakan bahwa konten hasil konfabulasi mungkin sangat penting untuk dipantau dalam aplikasi yang melibatkan pengambilan keputusan penting. Dalam praktiknya, masukkan topik tersebut ke Boundaries dengan orang yang ditunjuk dan ditandai, lalu uji. Jika Anda bekerja di bidang yang diatur seperti penasihat keuangan, tanyakan kepada profesional yang kompeten tentang harapan regulator Anda terkait AI dalam percakapan dengan klien. Artikel ini adalah informasi umum, bukan nasihat hukum, medis, atau keuangan.

Dari mana Anda harus memulai?

1. Tulis jawaban untuk lima pertanyaan yang paling sering diajukan dalam FAQ, dan tetapkan tanggal pada materi musiman.
2. Di Boundaries, daftarkan topik yang harus ditangani manusia dan tandai orang tersebut.
3. Dalam pratinjau percakapan, uji permintaan biasa, permintaan yang harus dialihkan ke manusia, dan pertanyaan yang tidak dijawab oleh materi Anda.
4. Setelah Mind aktif, baca percakapan selama minggu pertama di Inbox sebelum mempercayai ringkasan apa pun.
5. Gunakan Improve dan Insights untuk memperbaiki masalah yang Anda temukan, satu per satu, dan uji setelah setiap perubahan.