Cara mengukur perbualan AI: apa yang boleh dan tidak boleh ditunjukkan oleh Insights

Insights menunjukkan jumlah aktiviti yang diterima Digital Mind anda, soalan yang tidak dijawabnya dengan baik dan asal pelawat. Ia tidak menunjukkan sama ada pelawat berpuas hati, sama ada perbualan membawa kepada jualan atau berapa banyak masa yang anda jimatkan. Gunakannya untuk menentukan perkara yang perlu dibaiki seterusnya, dan ukur hasil dalam data CRM atau tempahan anda sendiri.

Apa yang ditunjukkan oleh Insights, dan untuk tempoh berapa lama?

Insights mempunyai sehingga lima tab. Mulakan di Overview, kemudian buka tab yang menjawab soalan anda.

Pilih 7 hari, 30 hari, 90 hari atau All time; lalainya ialah 30 hari. Setiap tempoh dibandingkan dengan tempoh sebelumnya yang sama panjang, dan All time tiada perbandingan. Carta trend melabelkan hari dan minggu dalam UTC dan data hari ini belum lengkap, jadi hari terkini kelihatan kurang aktif. Kad Active times ialah pengecualian: ia menunjukkan mesej pelawat mengikut hari dan waktu dalam zon waktu anda sendiri. Apabila tempoh sebelumnya kecil (kurang daripada 30, menurut nota rujukan Plandora), Insights menunjukkan perubahan sebenar dan bukannya peratusan, dan itu wajar: lima perbualan menjadi lapan ialah kenaikan 60% yang tidak banyak membawa makna.

Angka manakah yang perlu diteliti semula sebelum anda bertindak?

Answered ialah penilaian sistem. Dokumentasi Plandora menyebutnya begitu, menyatakan bahawa ia bukan bukti pelawat gembira, dan menasihatkan agar perbualan dibaca sebelum menilai kualiti. Bar liputan membahagikan setiap soalan yang direkodkan kepada Answered, Partial, No answer dan Unclassified. Kadar jawapan ialah bilangan soalan yang dijawab dibahagikan dengan bilangan soalan dalam tiga kategori yang dikelaskan sahaja, jadi kedua-dua angka menggunakan penyebut yang berbeza dan tidak akan sepadan.

Dokumentasi Insights Plandora tidak menerangkan cara penilaian dibuat, dan artikel ini tidak membuat sebarang dakwaan mengenainya. Penyelidikan tentang pemarkahan automatik secara umum menunjukkan mengapa semakan sampel itu munasabah. Kajian 2023 mendapati GPT-4 sebagai penilai sependapat dengan undian manusia sebanyak 85% bagi perbandingan MT-bench yang tidak seri, berbanding 81% antara manusia, dan mendokumentasikan bias kedudukan, panjang jawapan dan kecenderungan mengutamakan jawapan sendiri (Zheng et al. (dibuka dalam tab baharu)^[2]). Kajian itu menguji jawapan mana antara dua yang disukai orang, bukan sama ada jawapan menjawab soalan, jadi kajian itu tidak memberikan maklumat tentang ketepatan Plandora. Amalan yang sama tetap berguna: semak sampel yang ditandakan Answered.

Quick Chat mengira kemasukan, bukan individu unik. Opened boleh merangkumi lawatan berulang, dan Replied memerlukan balasan pelawat, yang tidak diberikan oleh mesej pembukaan automatik. Reply rate ialah Replied dibahagikan dengan Opened, bukan kadar penukaran.

Negara ialah anggaran. Audience menentukan negara daripada alamat IP dan tidak pernah menunjukkan bandar. MaxMind, yang menjual data geolokasi IP, menyifatkan kaedah itu sebagai "lokasi anggaran, bukan lokasi tepat" dan menyatakan ketepatan pada peringkat negara secara umumnya sangat tinggi, tetapi menurun pada peringkat bandar (MaxMind (dibuka dalam tab baharu)^[6]). Pelawat yang menggunakan VPN boleh kelihatan berada di tempat lain.

Analisis jawapan bergantung pada pelan anda. Dokumentasi Plandora menyatakan bahawa ia memerlukan pelan berbayar, manakala laporan aktiviti, penglibatan dan audiens berfungsi tanpa pelan tersebut. Jika Conversations kelihatan kurang berisi, semak perkara itu dahulu.

Metrik manakah yang patut dimasukkan dalam rangka kerja pengukuran?

Lima ukuran merangkumi kebanyakan perkara yang ingin diketahui oleh pemilik: jumlah, liputan, kadar penyerahan kepada manusia, masa respons dan isyarat niat. Insights melaporkan dua yang pertama. Inbox dan Stages membekalkan kebanyakan yang lain, dan sistem anda sendiri membekalkan hasilnya.

Jumlah ialah bilangan perbualan, pelawat dan mesej dalam suatu tempoh. Ia menunjukkan permintaan dan sama ada pautan atau penempatan berkesan, bukan kualiti: lonjakan boleh berpunca daripada satu pautan yang dikongsi atau audiens yang tidak sepadan.

Liputan ialah bahagian soalan yang dapat dijawab oleh Mind. Anggap ia sebagai senarai tugasan, bukan skor: soalan No answer dan Partial answer yang berulang wajar dibaiki, dan butang Add answer di sebelah soalan membuka Knowledge › Drive dengan soalan itu telah diisi. Ia tidak dapat memberitahu anda sama ada jawapan itu baik.

Kadar penyerahan kepada manusia ialah bahagian perbualan yang menyaksikan Mind meminta bantuan manusia. Permintaan penyerahan memberitahu pasukan anda dan Mind terus membalas sehingga seseorang mengambil alih, jadi permintaan dan pengambilalihan ialah peristiwa yang berasingan. Dokumentasi Insights Plandora mengarahkan anda ke Inbox apabila permintaan bantuan manusia meningkat, dan tiada tab Insights yang menunjukkan bilangan penyerahan, jadi kira permintaan dalam Inbox. Kadar yang tinggi atau rendah tidak dengan sendirinya bermakna baik. Kadar hampir sifar boleh bermakna Mind tidak mempunyai cara untuk menawarkan bantuan manusia, manakala kadar tinggi boleh bermakna batasan yang anda tetapkan untuk topik yang membawa kesan besar berfungsi. Penyerahan kepada manusia untuk perbualan AI membincangkan reka bentuk penyerahan itu sendiri.

Masa respons mempunyai dua bahagian. Kepantasan Mind membalas bukan angka yang dilaporkan Insights: Typical duration pada tab Conversations ialah tempoh perbualan berlangsung, bukan kepantasan balasan tiba. Kepantasan seseorang membalas selepas penyerahan ialah bahagian yang dirasai pelawat. Penapis Unreplied dalam Inbox menunjukkan siapa yang sedang menunggu; untuk melihat trend, catat sendiri waktu permintaan dan balasan. Kepantasan menghubungi bakal pelanggan dengan Digital Mind menjelaskan mengapa bahagian itu penting dari segi komersial.

Isyarat niat datang daripada Stages. Anda menentukan peringkat seperti New contact, Qualified dan Customer, masing-masing dengan kriteria "Move here when". Mind boleh memindahkan kenalan ke peringkat yang ditetapkan kepada Automatic apabila balasan memberikan bukti yang mencukupi, dan peringkat won sentiasa manual. Mengira kenalan mengikut peringkat menunjukkan kedudukan mereka berdasarkan kriteria anda, bukan siapa yang akan membeli. Memindahkan kenalan sendiri menjeda kemas kini automatik untuknya, jadi kiraan itu menggabungkan keputusan mesin dan manusia. Dalam Quick Chat, kad Shopper signals boleh memetik kenyataan pelawat di sebalik label seperti Buying intent atau Unmet request, supaya anda boleh menyemak buktinya. Daripada perbualan kepada audiens yang layak menerangkan Stages dengan lebih mendalam.

Metrik manakah yang menjawab soalan mana?

Apakah perbezaan antara containment dan penyelesaian?

Containment ialah bahagian perbualan automatik yang berakhir tanpa penyerahan kepada manusia. Penyelesaian ialah bahagian perbualan yang masalah pelawatnya benar-benar diselesaikan. Kedua-duanya berbeza apabila seseorang berputus asa. Glosari satu penyedia mentakrifkan containment sebagai "bahagian perbualan automatik yang berakhir tanpa diserahkan kepada manusia", mengira perbualan yang ditinggalkan dalam containment, dan menasihatkan agar ia dilihat bersama kadar penyelesaian (Fin (dibuka dalam tab baharu)^[5]).

Penyelidikan menunjukkan jurangnya boleh menjadi besar, walaupun tiada yang mengukurnya untuk sektor anda. Dalam tinjauan Gartner terhadap 5,728 pelanggan, yang dilaporkan oleh CX Today (dibuka dalam tab baharu)^[3] pada Ogos 2024 dan dijalankan pada Disember 2023 menurut Digit (dibuka dalam tab baharu)^[4], pelanggan menyelesaikan sepenuhnya 14% isu khidmat dan sokongan pelanggan mereka melalui layan diri. Bagi isu yang mereka anggap sangat mudah, angkanya ialah 36%. Tinjauan itu meliputi layan diri secara umum, bukan perbualan AI, dan laporan tersebut tidak mentakrifkan "diselesaikan sepenuhnya".

US Consumer Financial Protection Bureau menerangkan sisi yang lain pada Jun 2023, selepas meneliti aduan pengguna dan pasaran chatbot dalam kewangan pengguna. Ia menyatakan bahawa "doom loops" "sering berlaku apabila isu pelanggan berada di luar keupayaan terhad chatbot" (CFPB (dibuka dalam tab baharu)^[1]). Pelawat yang terperangkap dalam kitaran sedemikian tidak pernah sampai kepada manusia, jadi perbualan itu akan dikira dalam containment. Konteksnya ialah kewangan pengguna AS, jadi ambil iktibar daripada corak kegagalan itu, bukan angka tertentu.

Insights tidak menerbitkan angka containment atau penyelesaian, dan nota rujukan Plandora menyatakan bahawa isyarat sistem bukan penyelesaian yang disahkan pelanggan. Untuk menganggarkan penyelesaian sendiri, ambil sampel perbualan yang berakhir tanpa penyerahan kepada manusia dan tandakan setiap satu sebagai selesai, ditinggalkan atau tidak jelas. Dua puluh memberikan gambaran kasar, bukan kadar yang tepat.

Bolehkah Insights memberitahu nilai sesuatu perbualan?

Tidak, dan ia menyatakannya. Pembukaan produk bukan pembelian atau pendapatan. Laporan Quick Chat hanya mengira penglibatan, dan nota Plandora menyatakan bahawa tiada jualan fizikal atau penjimatan masa kakitangan disimpulkan daripadanya. Plandora tidak mendakwa bahawa Insights meningkatkan penukaran, menjimatkan masa atau menaikkan pendapatan: nota rujukannya menyatakan bahawa peningkatan hasil pemilik belum diukur dengan pengguna sebenar. Atribusi pembelian memerlukan peristiwa pesanan sebenar yang dipadankan, yang mesti datang daripada sistem yang menyimpan pesanan itu.

Atribusi juga merupakan pilihan pemodelan. Google Analytics Help mentakrifkannya sebagai "tindakan memberikan kredit bagi tindakan penting pengguna kepada iklan, klik dan faktor yang berbeza", dan laporannya menawarkan model berasaskan data dan model klik terakhir yang boleh memberikan kredit secara berbeza bagi penukaran yang sama (Google Analytics Help (dibuka dalam tab baharu)^[7]).

Cara praktikalnya ialah membawa maklumat sumber ke dalam sistem anda sendiri. Rekodkan pautan Quick Chat, penempatan atau saluran yang membawa seseorang kepada anda, kemudian padankan kenalan itu dengan tempahan, pesanan atau urus niaga CRM. Untuk projek perintis, nota Quick Chat Plandora mencadangkan satu kedai dan laman web, beberapa penempatan, serta perbandingan usaha, penglibatan, penyerahan kepada manusia dan kos penggunaan sepanjang tempoh yang setanding atau berbanding kumpulan kawalan laman web sebelum mendakwa adanya nilai tambahan. Quick Chat untuk perbualan dalam kedai membincangkan titik masuk tersebut.

Bagaimanakah tinjauan mingguan dilakukan?

1. Tetapkan 7 hari pada Overview dan baca perbandingannya. Catat perbualan dan pelawat, dan abaikan peratusan pada asas yang kecil. Jika anda menggunakan pautan Quick Chat, semak Quick Chat yang mendapat balasan, selain bilangan yang dibuka.
2. Buka Conversations dan senaraikan soalan No answer dan Partial answer yang berulang. Gunakan Add answer untuk apa-apa yang ditanya lebih daripada sekali. Biarkan soalan yang hanya ditanya sekali.
3. Baca sepuluh perbualan terkini dalam Inbox, termasuk beberapa tentang topik yang ditunjukkan sebagai Answered oleh Top questions. Tandakan setiap satu betul, salah atau tidak jelas, kemudian baiki mana-mana jawapan salah pada sumbernya dalam Knowledge atau Playbook.
4. Buka Inbox. Kira permintaan penyerahan kepada manusia, semak Unreplied untuk sesiapa yang menunggu dan catat tempoh menunggu paling lama. Kemudian lihat sepintas lalu kenalan mengikut Stage.
5. Tulis angka minggu itu dalam helaian anda sendiri, bersebelahan data CRM atau tempahan anda. Rekodkan perbualan, bahagian yang memerlukan manusia, kenalan yang layak, dan tempahan atau pesanan daripada sumber yang sama. Buat satu perubahan, catatkannya dan bandingkan pada minggu depan.