Cara mengukur percakapan AI: apa yang bisa dan tidak bisa dijelaskan Insights

Insights menunjukkan seberapa banyak aktivitas yang diterima Digital Mind Anda, pertanyaan mana yang kurang baik dijawabnya, dan dari mana pengunjung berasal. Insights tidak menunjukkan apakah pengunjung puas, apakah percakapan menghasilkan penjualan, atau berapa banyak waktu yang Anda hemat. Gunakan Insights untuk menentukan apa yang perlu diperbaiki berikutnya, dan ukur hasilnya dalam data CRM atau pemesanan Anda sendiri.

Apa yang ditampilkan Insights, dan untuk periode berapa lama?

Insights memiliki hingga lima tab. Mulailah dari Overview, lalu buka tab yang menjawab pertanyaan Anda.

Pilih 7 days, 30 days, 90 days, atau All time; pengaturan awalnya adalah 30 days. Setiap periode dibandingkan dengan periode sebelumnya yang sama panjang, dan All time tidak memiliki perbandingan. Grafik tren memberi label hari dan minggu dalam UTC dan hari ini belum selesai, sehingga hari terbaru terlihat lebih pendek. Kartu Active times adalah pengecualian: kartu ini menunjukkan pesan pengunjung menurut hari dan waktu dalam zona waktu Anda sendiri. Ketika periode sebelumnya kecil (kurang dari 30, menurut catatan referensi Plandora), Insights menunjukkan perubahan angka mentah alih-alih persentase, dan memang sebaiknya demikian: lima percakapan menjadi delapan adalah kenaikan 60% yang tidak banyak berarti.

Angka mana yang perlu diperiksa lagi sebelum Anda bertindak?

Answered adalah penilaian sistem. Dokumentasi Plandora menyebutnya demikian, menyatakan bahwa itu bukan bukti pengunjung puas, dan menyarankan untuk membaca percakapan sebelum menilai kualitasnya. Bilah cakupan membagi setiap pertanyaan yang tercatat menjadi Answered, Partial, No answer, dan Unclassified. Tingkat jawaban membagi jumlah pertanyaan yang terjawab hanya dengan jumlah dalam tiga status yang terklasifikasi, sehingga kedua angka menggunakan penyebut berbeda dan tidak akan sama.

Dokumentasi Insights Plandora tidak menjelaskan cara penilaian dibuat, dan artikel ini tidak membuat klaim tentang hal tersebut. Riset tentang penilaian otomatis secara umum menunjukkan mengapa pemeriksaan sampel masuk akal. Sebuah studi pada 2023 menemukan bahwa GPT-4 sebagai penilai sependapat dengan suara manusia dalam 85% perbandingan MT-bench yang tidak seri, dibandingkan 81% kesepakatan antarmanusia, dan mendokumentasikan bias posisi, panjang jawaban, serta pengunggulan diri (Zheng et al. (terbuka di tab baru)^[2]). Studi itu menguji jawaban mana dari dua jawaban yang lebih disukai orang, bukan apakah sebuah jawaban menjawab pertanyaan, sehingga tidak menunjukkan apa pun tentang akurasi Plandora. Kebiasaan yang sama tetap berlaku: periksa sampel yang ditandai Answered.

Quick Chat menghitung entri, bukan orang yang berbeda. Opened dapat mencakup kunjungan berulang, dan Replied memerlukan balasan pengunjung, yang tidak diberikan oleh pesan pembuka otomatis. Reply rate adalah Replied dibagi Opened, bukan tingkat konversi.

Negara adalah perkiraan. Audience memperkirakan negara dari alamat IP dan tidak pernah menampilkan kota. MaxMind, yang menjual data geolokasi IP, menyebut metode ini memberikan "perkiraan lokasi, bukan lokasi yang tepat" dan menyatakan bahwa akurasi tingkat negara umumnya sangat tinggi, tetapi menurun pada tingkat kota (MaxMind (terbuka di tab baru)^[6]). Pengunjung yang menggunakan VPN dapat terlihat berada di tempat lain.

Analisis jawaban bergantung pada paket Anda. Dokumentasi Plandora menyatakan bahwa fitur ini memerlukan paket berbayar, sedangkan laporan aktivitas, keterlibatan, dan audiens berfungsi tanpanya. Jika Conversations terlihat minim, periksa hal itu terlebih dahulu.

Metrik mana yang perlu dimasukkan dalam kerangka pengukuran?

Lima ukuran mencakup sebagian besar hal yang ingin diketahui pemilik: volume, cakupan, tingkat pengalihan, waktu respons, dan sinyal niat. Insights melaporkan dua yang pertama. Inbox dan Stages menyediakan sebagian besar sisanya, dan sistem Anda sendiri menyediakan data hasilnya.

Volume adalah jumlah percakapan, pengunjung, dan pesan dalam suatu periode. Ini menunjukkan permintaan dan apakah tautan atau penempatan berfungsi, bukan kualitas: lonjakan dapat berasal dari satu tautan yang dibagikan atau audiens yang tidak sesuai.

Cakupan adalah proporsi pertanyaan yang dapat dijawab Mind. Anggap ini sebagai daftar tugas, bukan skor: pertanyaan No answer dan Partial answer yang berulang layak diperbaiki, dan tombol Add answer di samping pertanyaan membuka Knowledge › Drive dengan pertanyaan yang sudah terisi. Cakupan tidak dapat memberi tahu Anda apakah jawabannya baik.

Tingkat pengalihan adalah proporsi percakapan ketika Mind meminta bantuan manusia. Permintaan pengalihan memberi tahu tim Anda dan Mind terus menjawab sampai seseorang mengambil alih, sehingga permintaan dan pengambilalihan adalah dua peristiwa terpisah. Dokumentasi Insights Plandora mengarahkan Anda ke Inbox saat permintaan bantuan manusia meningkat, dan tidak ada tab Insights yang menunjukkan jumlah pengalihan, jadi hitung permintaan di Inbox. Tingkat tinggi maupun rendah tidak otomatis baik. Tingkat mendekati nol dapat berarti Mind tidak memiliki cara untuk menawarkan bantuan manusia, sedangkan tingkat tinggi dapat berarti batasan yang Anda tetapkan untuk topik yang berdampak besar berfungsi. Pengalihan ke manusia untuk percakapan AI membahas cara merancang pengalihan itu sendiri.

Waktu respons memiliki dua bagian. Kecepatan Mind menjawab bukan angka yang dilaporkan Insights: Typical duration di tab Conversations adalah lamanya percakapan berlangsung, bukan seberapa cepat balasan tiba. Kecepatan manusia menjawab setelah pengalihan adalah bagian yang dirasakan pengunjung. Filter Unreplied di Inbox menunjukkan siapa yang sedang menunggu; untuk melihat tren, catat sendiri waktu permintaan dan balasan. Kecepatan merespons calon pelanggan dengan Digital Mind menjelaskan mengapa bagian itu penting secara komersial.

Sinyal niat berasal dari Stages. Anda menentukan tahap seperti New contact, Qualified, dan Customer, masing-masing dengan kriteria "Move here when". Mind dapat memindahkan kontak ke tahap yang diatur ke Automatic ketika jawaban memberikan cukup bukti, dan tahap won selalu dilakukan secara manual. Menghitung kontak berdasarkan tahap menunjukkan penempatan menurut kriteria Anda, bukan siapa yang akan membeli. Memindahkan kontak sendiri menjeda pembaruan otomatis untuk kontak tersebut, sehingga hitungannya mencampurkan keputusan mesin dan manusia. Di Quick Chat, kartu Shopper signals dapat mengutip pernyataan pengunjung di balik label seperti Buying intent atau Unmet request, sehingga Anda dapat memeriksa buktinya. Dari percakapan ke audiens yang memenuhi syarat membahas Stages lebih mendalam.

Metrik mana yang menjawab pertanyaan mana?

Apa perbedaan antara percakapan tanpa pengalihan dan penyelesaian masalah?

Containment adalah proporsi percakapan otomatis yang berakhir tanpa pengalihan ke manusia. Resolution adalah proporsi percakapan ketika masalah pengunjung benar-benar terselesaikan. Kedua ukuran ini bisa berbeda ketika seseorang menyerah. Glosarium salah satu vendor mendefinisikan containment sebagai "proporsi percakapan otomatis yang berakhir tanpa eskalasi ke manusia", menghitung percakapan yang ditinggalkan sebagai percakapan tanpa pengalihan, dan menyarankan agar tingkat containment dibaca bersama tingkat penyelesaian (Fin (terbuka di tab baru)^[5]).

Riset menunjukkan bahwa selisihnya bisa besar, meskipun tidak ada yang mengukurnya untuk sektor Anda. Dalam survei Gartner terhadap 5.728 pelanggan, yang dilaporkan oleh CX Today (terbuka di tab baru)^[3] pada Agustus 2024 dan dilakukan pada Desember 2023 menurut Digit (terbuka di tab baru)^[4], pelanggan menyelesaikan sepenuhnya 14% masalah layanan dan dukungan pelanggan melalui layanan mandiri. Untuk masalah yang mereka sebut sangat sederhana, angkanya adalah 36%. Survei ini mencakup layanan mandiri secara umum, bukan percakapan AI, dan laporan tersebut tidak mendefinisikan "terselesaikan sepenuhnya".

US Consumer Financial Protection Bureau menjelaskan sisi lainnya pada Juni 2023, setelah meninjau keluhan konsumen dan pasar chatbot dalam keuangan konsumen. Lembaga itu menyatakan bahwa "doom loops" "sering disebabkan ketika masalah pelanggan berada di luar kemampuan chatbot yang terbatas" (CFPB (terbuka di tab baru)^[1]). Pengunjung yang terjebak dalam siklus seperti itu tidak pernah mencapai manusia, sehingga percakapan tersebut akan dihitung sebagai percakapan tanpa pengalihan. Konteksnya adalah keuangan konsumen AS, jadi ambil pola kegagalannya, bukan angkanya.

Insights tidak menerbitkan angka containment maupun resolution, dan catatan referensi Plandora menyatakan bahwa sinyal sistem bukanlah penyelesaian yang dikonfirmasi pelanggan. Untuk memperkirakan tingkat penyelesaian sendiri, ambil sampel percakapan yang berakhir tanpa pengalihan dan tandai masing-masing sebagai terselesaikan, ditinggalkan, atau tidak jelas. Dua puluh memberikan gambaran kasar, bukan tingkat yang presisi.

Bisakah Insights menunjukkan nilai sebuah percakapan?

Tidak, dan Insights menyatakannya. Pembukaan produk bukanlah pembelian atau pendapatan. Pelaporan Quick Chat hanya menghitung keterlibatan, dan catatan Plandora menyatakan bahwa tidak ada penjualan fisik atau penghematan waktu staf yang disimpulkan. Plandora tidak mengklaim bahwa Insights meningkatkan konversi, menghemat waktu, atau menaikkan pendapatan: catatan referensinya menyatakan bahwa peningkatan hasil bagi pemilik belum diukur dengan pengguna nyata. Atribusi pembelian memerlukan peristiwa pesanan nyata yang cocok, yang harus berasal dari sistem penyimpan pesanan.

Atribusi juga merupakan pilihan pemodelan. Google Analytics Help mendefinisikannya sebagai "tindakan memberikan kredit atas tindakan penting pengguna kepada berbagai iklan, klik, dan faktor", dan laporannya menawarkan model berbasis data serta model klik terakhir yang dapat memberikan kredit secara berbeda untuk konversi yang sama (Google Analytics Help (terbuka di tab baru)^[7]).

Cara praktisnya adalah membawa informasi sumber ke sistem Anda sendiri. Catat tautan Quick Chat, penempatan, atau kanal yang digunakan seseorang untuk datang, lalu cocokkan kontak tersebut dengan pemesanan, pesanan, atau kesepakatan CRM. Untuk uji coba, catatan Quick Chat Plandora menyarankan satu toko dan situs web, beberapa penempatan, serta perbandingan upaya, keterlibatan, pengalihan, dan biaya penggunaan selama periode yang sebanding atau terhadap kelompok pembanding situs web sebelum mengklaim adanya nilai tambahan. Quick Chat untuk percakapan di toko membahas titik masuknya.

Seperti apa tinjauan mingguan?

1. Atur 7 days di Overview dan baca perbandingannya. Catat percakapan dan pengunjung, dan abaikan persentase jika jumlah awalnya kecil. Jika menggunakan tautan Quick Chat, periksa Quick Chat mana yang mendapat balasan, selain jumlah yang dibuka.
2. Buka Conversations dan daftarkan pertanyaan No answer dan Partial answer yang berulang. Gunakan Add answer untuk apa pun yang ditanyakan lebih dari sekali. Biarkan pertanyaan yang hanya muncul sekali.
3. Baca sepuluh percakapan terbaru di Inbox, termasuk beberapa percakapan tentang topik yang ditampilkan Top questions sebagai Answered. Tandai masing-masing benar, salah, atau tidak jelas, lalu perbaiki jawaban yang salah pada sumbernya di Knowledge atau Playbook.
4. Buka Inbox. Hitung permintaan pengalihan, periksa Unreplied untuk siapa pun yang menunggu, dan catat waktu tunggu terlama. Lalu lihat sekilas kontak berdasarkan Stage.
5. Tulis angka minggu itu di lembar Anda sendiri, di samping data CRM atau pemesanan Anda. Catat percakapan, proporsi yang membutuhkan manusia, kontak yang memenuhi syarat, dan pemesanan atau pesanan dari sumber yang sama. Buat satu perubahan, catat, dan bandingkan minggu depan.