Mengapa jawapan AI tersilap, dan enam kawalan yang membantu Digital Mind berpandukan fakta

Jawapan AI boleh tersilap apabila model meneka dan tidak mengakui keraguan, bergantung pada fakta yang sudah lama, kedengaran yakin tanpa sebab, menyimpang daripada arahan, menjawab soalan lain, atau kurang cekap menggunakan sesuatu bahasa. Enam kawalan dalam Digital Mind mengurangkan setiap risiko. Tiada yang menghapuskannya, jadi manusia tetap terlibat dalam keputusan penting.

Mengapa model bahasa mereka-reka maklumat?

Halusinasi ialah istilah umum bagi apa yang NIST panggil konfabulasi: “kandungan yang dinyatakan dengan yakin tetapi silap atau palsu” (dibuka dalam tab baharu)^[3]. Profil AI generatif NIST (Julai 2024, panduan sukarela kerajaan AS) menyifatkan konfabulasi sebagai hasil semula jadi cara model ini dibina, kerana model meramalkan teks yang mungkin berdasarkan corak dalam data latihannya. Ia khusus menyebut arahan terbuka untuk respons panjang dan bidang yang memerlukan kepakaran konteks atau bidang, iaitu bidang yang ingin digunakan oleh perniagaan berasaskan kepakaran untuk pembantu AI.

Makalah 2025 oleh penyelidik OpenAI dan Georgia Tech, “Why Language Models Hallucinate” (dibuka dalam tab baharu)^[1], meletakkan sebahagian kesalahan pada pemarkahan. Kebanyakan penanda aras memberikan satu markah untuk jawapan betul dan tiada markah untuk mengakui ketidakpastian, jadi tekaan sentiasa mendapat markah sekurang-kurangnya setara dengan jawapan jujur “tidak pasti”. Penulis menyatakan bahawa model “dioptimumkan untuk menjadi peserta ujian yang baik.” Contoh mereka sendiri: model sumber terbuka ditanya tarikh lahir seorang penyelidik, dengan arahan supaya menjawab hanya jika tahu, dan memberikan tiga tarikh salah yang berbeza dalam tiga percubaan.

Fakta yang tidak mempunyai corak di sebaliknya adalah yang paling sukar. Bagi fakta sedemikian, termasuk tarikh lahir, analisis makalah itu menetapkan had minimum kadar kesilapan model yang telah dipralatih, kira-kira bersamaan dengan bahagian fakta tersebut yang muncul hanya sekali dalam latihan. Makalah itu tidak menguji butiran perniagaan, jadi yang berikut ialah kesimpulan artikel ini: waktu operasi kedai, harga dan syarat bayaran balik kelihatan seperti fakta jenis ini, kerana tiada apa-apa dalam bahasa yang membolehkan model menentukannya. Maklumat itu perlu dibekalkan.

Namun, meneka bukanlah wajib. Penulis mencadangkan pemarkahan dengan sasaran keyakinan yang jelas, supaya pengakuan ketidakpastian di bawah sasaran tidak lagi dihukum, dan mereka berhujah bahawa mengutamakan ketepatan apa yang dikatakan model berbanding kelengkapannya penting untuk mengurangkan halusinasi. Kesannya ialah model akan berkata lebih sedikit. Penyerahan kepada manusia bertujuan mengurangkan kesan pilihan antara liputan dan kepastian itu.

Adakah menjawab berdasarkan dokumen anda sendiri menyelesaikan masalah?

Ia membantu, tetapi tidak menyelesaikannya sepenuhnya. Satu kes yang diukur datang daripada bidang undang-undang, apabila vendor mengatakan alat mereka mengelakkan atau menghapuskan halusinasi dengan menggunakan sumber yang dipercayai. Dalam kajian Stanford dan Yale yang didaftarkan terlebih dahulu (dibuka dalam tab baharu)^[2] (pracetak, Mei 2024), penyelidik menjalankan 202 pertanyaan penyelidikan undang-undang antara Mac dan Mei 2024. Respons dikira sebagai halusinasi jika mengandungi maklumat salah atau mendakwa secara palsu bahawa sesuatu sumber menyokong satu pernyataan. Menurut takrif itu, Lexis+ AI dan Ask Practical Law AI berhalusinasi dalam 17% pertanyaan, dan AI-Assisted Research oleh Westlaw dalam 33%. GPT-4, yang menjawab tanpa pangkalan pengetahuan, berhalusinasi dalam 43%.

Penggunaan sumber mengurangkan kesilapan berbanding model tanpa sumber, tetapi tidak menghapuskannya. Ask Practical Law AI menunjukkan pertukaran ini: kadar halusinasinya sama dengan Lexis+ AI, tetapi ia memberikan jawapan tidak lengkap, iaitu penolakan atau jawapan betul tanpa rujukan yang menyokongnya, bagi lebih daripada 60% pertanyaan.

Dua perkara perlu diberi perhatian. Kajian itu menguji produk undang-undang tersebut dan tidak membuktikan apa-apa tentang alat lain, termasuk Plandora. Penulisnya juga mereka pertanyaan supaya sukar, jadi angka itu bukan anggaran kadar kesilapan dunia sebenar yang bebas daripada bias.

Rujukan sumber juga tidak menyelesaikan persoalan ini. Kajian itu mengira sumber sebenar yang tidak menyokong dakwaan sebagai halusinasi, dan penulisnya menyimpulkan bahawa pengguna “mesti terus mengesahkan bahawa pernyataan utama disokong dengan tepat oleh rujukan sumber.”

Bagaimanakah jawapan AI boleh tersilap?

1. Fakta yang direka. Harga, polisi atau kelayakan yang kelihatan munasabah tetapi tiada dalam apa-apa yang anda berikan. Inilah tekaan yang diterangkan di atas.
2. Pengetahuan lapuk. Jawapan yang pernah benar. Dalam kajian Stanford, satu jawapan Lexis+ AI menganggap suatu peraturan masih sah sambil memetik kes kemudian yang membatalkannya, dan penulis menyatakan bahawa dokumen undang-undang sering mengandungi maklumat lapuk. Bahan anda juga menjadi lapuk: senarai harga musim lalu, tawaran yang tamat, polisi bayaran balik yang tidak lagi digunakan.
3. Nada terlalu yakin. Jawapan salah disampaikan dengan nada yang sama seperti jawapan betul. Makalah OpenAI memerhatikan bahawa tekaan kosong sering terlalu yakin dan khusus, “30 September” berbanding “Pada suatu masa dalam musim luruh”. NIST menyatakan bahawa risiko timbul apabila pengguna percaya kandungan palsu, selalunya kerana sifat respons yang yakin.
4. Mengabaikan batasan. Takrif konfabulasi NIST merangkumi “output yang dijana dan menyimpang daripada arahan atau input lain”. Boundary ialah sebahagian daripada input itu, dan sistem yang menjana teks secara statistik boleh gagal mematuhi arahan yang diberikan.
5. Niat disalah tafsir. Model menjawab soalan yang dijangkanya, atau mencari bahan untuk soalan lain. Dalam kajian Stanford, carian yang lemah, iaitu kegagalan mencari sumber paling relevan, menyumbang kepada antara 20% dan 47% respons yang berhalusinasi, bergantung pada alat (punca dalam kajian itu bertindih). Apabila diminta mentakrifkan “moral wrong doctrine”, Lexis+ AI bergantung pada sumber yang mentakrifkan moral turpitude, istilah yang kedengaran serupa tetapi tidak berkaitan. Dalam contoh lain yang ditunjukkan penulis, satu alat menerangkan sebab seorang hakim tidak bersetuju dalam kes yang sebenarnya diputuskan oleh hakim itu bersama majoriti, tanpa membetulkan premis tersebut.
6. Kesilapan bahasa dan terjemahan. NIST menyatakan bahawa “LLM mungkin berprestasi kurang baik untuk bahasa selain bahasa Inggeris atau dialek tertentu”, dan orang mungkin tersilap mempercayai bahawa sistem berprestasi sama untuk setiap kumpulan. Mind yang melayani pelawat dalam beberapa bahasa perlu diuji dalam setiap bahasa.

Apakah enam kawalan yang membantu Digital Mind berpandukan fakta?

1. Pengetahuan yang diluluskan sahaja

Digital Mind bercakap berdasarkan bahan yang anda berikan: dokumen dan jawapan FAQ dalam Drive, serta hantaran daripada akaun Social media yang disambungkan. Apa-apa dalam Trash diabaikan. Search web ialah suis berasingan, yang sebaiknya dibiarkan dimatikan kecuali maklumat awam terkini membantu perbualan. Mulakan dengan lima soalan yang paling kerap ditanya, tulis setiap jawapan sekali, dan uji dalam pratonton perbualan, tempat jawapan mungkin memaparkan rujukan sumber yang boleh dibuka oleh pelawat. Rujukan sumber ialah petunjuk untuk diperiksa, bukan bukti, atas sebab yang diberikan oleh kajian undang-undang itu. Cara Digital Mind belajar daripada dokumen anda menerangkan butirannya.

2. Tarikh sah laku

Set dates… pada dokumen atau fail mengehadkan penggunaannya kepada tempoh antara dua tarikh, sesuai untuk bahan bermusim, tawaran dan polisi yang mempunyai tarikh tamat. Pindahkan versi yang digantikan ke Trash dan jangan biarkan dua harga dalam Drive. Tarikh hanya menetapkan tempoh sesuatu item digunakan. Anda tetap bertanggungjawab memastikan harga, waktu dan syarat tepat, jadi jadualkan semakan berkala.

3. Boundaries dalam Playbook

Playbook mempunyai empat bahagian: Goal, Role & style, Boundaries dan Flow. Boundaries mengandungi batasan anda dan menyatakan bila soalan memerlukan manusia dan bukannya jawapan AI. Contoh dalam dokumentasi ialah “Hantar permintaan bayaran balik kepada @Sam”. Tag orang itu daripada pemilih, kerana menaip nama sebagai teks biasa tidak menghasilkan tag. Simpan fakta seperti harga dalam Knowledge, bukan dalam Boundaries. Jawapan pendek dalam Role & style juga mungkin membantu: dalam kajian Stanford, antara tiga alat undang-undang, alat dengan jawapan terpanjang (purata kira-kira 350 perkataan tidak termasuk penolakan, berbanding 175 hingga 219 bagi yang lain) juga paling banyak berhalusinasi, dan penulis menyatakan bahawa jawapan lebih panjang mengandungi lebih banyak dakwaan yang boleh salah dan mengambil masa lebih lama untuk diperiksa. Tiga alat tidak dapat menunjukkan bahawa panjang jawapan menyebabkan perbezaan itu. Cara menulis Playbook menerangkan setiap bahagian.

4. Penyerahan kepada manusia dan Take over

Apabila perbualan memerlukan manusia, Mind boleh memintanya. Pasukan anda dimaklumkan, dan Mind terus menjawab sehingga seseorang mengambil alih, jadi penyerahan tidak berlaku serta-merta. Buka perbualan dalam Inbox dan pilih Take over, atau terus hantar jawapan, yang akan menjeda Mind dan menyerahkan perbualan kepada anda. Pilih Release to AI apabila Mind patut menjawab semula. Penapis Unreplied dan AI handling menunjukkan tempat yang perlu dilihat dahulu. Inbox terletak di bawah Audience, yang mungkin tersedia melalui pelancaran berpandu atau layan diri bergantung pada pelan anda. Penyerahan perbualan AI kepada manusia menerangkan reka bentuknya.

5. Cadangan Improve

Improve merangka suntingan kepada arahan anda. Dalam Playbook dan Specialists, ia boleh menjana cadangan berdasarkan perbualan sebenar dalam tujuh hari lalu, termasuk soalan yang tidak dijawab, jawapan lemah dan penyerahan kepada manusia. Dalam Specialist atau Automation, anda juga boleh menerangkan sendiri perubahan, contohnya “tanya juga bajet mereka”. Suntingan muncul di tempat asal, dengan teks lama dipotong dan teks baharu diserlahkan, dan anda menerima atau menolak setiap satu. Improve juga menggunakan AI untuk merangka, jadi baca setiap perubahan daripada bergantung pada Accept all, dan uji semula selepas itu: perubahan yang diterima disimpan seperti suntingan lain.

6. Menyemak perbualan dalam Inbox

Baca perbualan sebenar, bukan hanya papan pemuka. Dalam Inbox, penapis AI handling menyenaraikan apa yang dikendalikan Mind, Contact details menunjukkan jawapan dan nota yang dikumpulkan, dan Add comment menyimpan nota dalaman yang tidak pernah dilihat kenalan. Dalam Insights, laporan Conversations menyenaraikan soalan utama dan liputan jawapan, dan bagi No answer atau Partial answer, Add an answer membuka FAQ dengan soalan yang telah diisi. Dokumentasi Plandora menyatakan bahawa Answered ialah penilaian sistem, bukan bukti pelawat berpuas hati, jadi baca perbualan sebelum menilai kualiti. Analisis jawapan boleh bergantung pada pelan anda.

Kawalan manakah menangani kegagalan yang mana?

Bolehkah mana-mana kawalan menghapuskan kesilapan?

Tidak. Setiap kawalan mengurangkan kemungkinan atau kos kesilapan, dan tiada yang menjadikan mana-mana satu sifar. Artikel ini tidak membuat dakwaan ketepatan tentang Plandora, dan kajian yang dipetik di sini mengukur alat lain. Digital Mind bukan pakar manusia dan tidak patut dipersembahkan sedemikian.

Jawapan AI boleh salah, jadi libatkan manusia dalam keputusan kewangan, undang-undang, perubatan dan keputusan penting yang lain. NIST memberikan sebab selain kadar kesilapan. Ia menerangkan bias automasi, iaitu kecenderungan terlalu mengikut keputusan sistem automatik, sebagai sesuatu yang boleh memburukkan risiko konfabulasi, dan menyatakan bahawa kandungan konfabulasi mungkin amat penting untuk dipantau dalam aplikasi yang melibatkan keputusan penting. Secara praktikal, letakkan topik tersebut dalam Boundaries dengan orang yang dinamakan dan ditag, dan ujinya. Jika anda bekerja dalam bidang terkawal seperti nasihat kewangan, sahkan dengan profesional bertauliah apa yang diharapkan oleh pengawal selia anda daripada AI dalam perbualan dengan pelanggan. Artikel ini ialah maklumat umum, bukan nasihat undang-undang, perubatan atau kewangan.

Di manakah anda patut bermula?

1. Tulis jawapan kepada lima soalan paling lazim anda dalam FAQ, dan tetapkan tarikh pada apa-apa yang bermusim.
2. Dalam Boundaries, senaraikan topik yang mesti dikendalikan manusia dan tag orang tersebut.
3. Dalam pratonton perbualan, uji permintaan biasa, permintaan yang patut diserahkan kepada manusia, dan soalan yang tidak dijawab oleh bahan anda.
4. Setelah Mind mula digunakan, baca perbualan minggu pertama dalam Inbox sebelum mempercayai sebarang ringkasan.
5. Gunakan Improve dan Insights untuk membetulkan apa yang anda temui, satu perubahan pada satu masa, dan uji selepas setiap perubahan.