如何衡量 AI 对话：Insights 能告诉你什么，不能告诉你什么

Insights 展示你的 Digital Mind 有多少活动、哪些问题回答得不好，以及访客来自哪里。它不会显示访客是否满意、对话是否带来销售，或你节省了多少时间。用它决定下一步要修复什么，并在你自己的 CRM 或预约数据中衡量结果。

Insights 显示什么，覆盖多长时间？

Insights 最多有五个标签页。先从 Overview 开始，再打开能回答你问题的标签页。

可选择 7 天、30 天、90 天或全部时间；默认是 30 天。每个时间段都会与之前等长的时间段比较，全部时间则没有比较。趋势图中的日期和星期以 UTC 标记，今天的数据尚不完整，因此最新一天看起来较短。Active times 卡片是例外：它按你所在时区的星期和时间显示访客消息。当前一个时间段的基数较小（根据 Plandora 的参考说明，少于 30）时，Insights 显示实际变化量而非百分比，这是合理的：对话从五次增至八次虽然增长了 60%，但意义很有限。

哪些数字需要仔细核查后再采取行动？

Answered 是系统评估。 Plandora 的文档如此称呼它，指出它不能证明访客满意，并建议在判断质量前阅读对话。覆盖情况条将每个记录的问题分为 Answered、Partial、No answer 和 Unclassified。回答率仅用三个已分类状态的问题数作分母来计算已回答问题的比例，因此这两个数字的分母不同，不会一致。

Plandora 的 Insights 文档没有说明评估如何进行，本文也不对此作任何断言。关于自动评分的一般研究说明了为什么抽查是明智的。2023 年的一项研究发现，在 MT-bench 的非平局比较中，作为评判者的 GPT-4 与人类投票的一致率为 85%，人类之间的一致率为 81%，并记录了位置、冗长和自我偏好偏差（Zheng et al. （在新标签页中打开）^[2]）。该研究测试的是人们更喜欢两个回复中的哪一个，而非回复是否回答了问题，因此不能说明 Plandora 的准确性。无论如何，都应养成抽查标记为 Answered 的内容的习惯。

Quick Chat 统计进入次数，而非不重复人数。 Opened 可以包含重复访问，Replied 则需要访客回复，自动发送的开场消息不算访客回复。Reply rate 是 Replied 除以 Opened，并非转化率。

国家是近似值。 Audience 根据 IP 地址推断国家，从不显示城市。销售 IP 地理位置数据的 MaxMind 将这种方法称为“近似位置，而非精确位置”，并表示国家级准确率通常很高，到了城市级则会下降（MaxMind （在新标签页中打开）^[6]）。使用 VPN 的访客可能显示在其他地方。

回答分析取决于你的方案。 Plandora 的文档说明这需要付费方案，而活动、互动和受众报告无需付费方案也能使用。如果 Conversations 显示的内容很少，请先检查这一点。

衡量框架应该包含哪些指标？

五项指标涵盖了所有者最想了解的大部分内容：对话量、覆盖率、转接率、响应时间和意向信号。Insights 报告前两项。收件箱和 Stages 提供其余大部分信息，而结果来自你自己的系统。

对话量是一个时间段内的对话、访客和消息数量。它显示需求，以及链接或展示位置是否有效，但不反映质量：一个被分享的链接或不匹配的受众都可能造成数量激增。

覆盖率是 Mind 能回答的问题所占比例。把它当作待办清单，而非分数：反复出现的 No answer 和 Partial answer 问题值得修复，问题旁的 Add answer 按钮会打开 Knowledge › Drive 并自动填入问题。它无法告诉你回答是否出色。

转接率是 Mind 请求真人协助的对话所占比例。转接请求会通知你的团队，Mind 会继续回复，直到有人接手，因此请求和接手是两个独立事件。Plandora 的 Insights 文档建议在真人协助请求增加时查看收件箱，而且 Insights 的各标签页均不显示转接次数，因此请在收件箱中统计请求。转接率高或低本身都不一定是好事。接近零可能意味着 Mind 没有提供联系真人的途径，而高转接率可能说明你为重要话题设定的边界正在发挥作用。AI 对话如何转接真人介绍了如何设计转接流程。

响应时间分为两部分。Mind 回复有多快并不是 Insights 报告的数字：Conversations 标签页上的 Typical duration 是聊天持续时间，而非回复速度。转接后真人回复有多快，则是访客能切身感受到的部分。收件箱中的 Unreplied 筛选条件显示目前谁在等待；要了解趋势，请自行记录请求和回复时间。用 Digital Mind 加快潜在客户响应速度解释了这一部分为什么对业务重要。

意向信号来自 Stages。你可以定义 New contact、Qualified 和 Customer 等阶段，并为每个阶段设置“Move here when”条件。当回复提供足够证据时，Mind 可以将联系人移入设为 Automatic 的阶段，而成交阶段始终需要手动操作。按阶段统计联系人数只能显示你的条件将他们归入哪里，不能说明谁会购买。自行移动联系人会暂停对其进行自动更新，因此统计数字混合了机器和人工决定。在 Quick Chat 中，Shopper signals 卡片可以引用 Buying intent 或 Unmet request 等标签背后的访客原话，让你核查依据。从对话到合格受众进一步介绍了 Stages。

哪个指标回答哪个问题？

无需转接和问题解决有什么区别？

无需转接率是指结束时没有转接真人的自动对话所占比例。问题解决率是指访客的问题确实得到解决的对话所占比例。有人放弃时，两者就会出现差异。一家供应商的术语表将无需转接率定义为“结束时没有升级给真人的自动对话所占比例”，将中途放弃的聊天算作无需转接，并建议结合问题解决率一起查看（Fin （在新标签页中打开）^[5]）。

研究表明，两者的差距可能很大，但没有研究衡量你所在行业的差距。Gartner 对 5,728 名客户进行的一项调查显示，客户通过自助服务完全解决了 14% 的客户服务和支持问题；CX Today （在新标签页中打开）^[3] 于 2024 年 8 月报道了该调查，而据 Digit （在新标签页中打开）^[4] 报道，调查于 2023 年 12 月进行。对于客户认为非常简单的问题，这一比例为 36%。该调查涵盖一般自助服务，而非 AI 聊天，相关报道也没有定义“完全解决”。

美国消费者金融保护局在审查消费者投诉及消费金融聊天机器人市场后，于 2023 年 6 月描述了另一面。该机构表示，“死循环”“通常是由于客户的问题超出了聊天机器人的有限能力”（CFPB （在新标签页中打开）^[1]）。陷入这种循环的访客始终无法联系真人，因此该对话会被算作无需转接。背景是美国消费金融，因此应借鉴的是这种失败模式，而非任何数字。

Insights 不发布无需转接率或问题解决率，Plandora 的参考说明也指出，系统信号不等于客户确认问题已解决。要自行估算问题解决率，可以抽查没有转接就结束的对话，并将每条标记为已解决、已放弃或不清楚。抽查 20 条只能粗略了解情况，无法得出精确比例。

Insights 能告诉你一场对话的价值吗？

不能，Insights 也明确说明了这一点。产品打开次数不等于购买或收入。Quick Chat 报告只统计互动，Plandora 的说明指出不会推断实体销售或员工节省的时间。Plandora 不声称 Insights 能提高转化率、节省时间或增加收入：其参考说明指出，所有者成果的改善尚未通过真实用户衡量。购买归因需要实际匹配的订单事件，而这必须来自保存订单的系统。

归因也是一种建模选择。Google Analytics Help 将其定义为“将重要用户操作的功劳分配给不同广告、点击和因素的行为”，其报告提供数据驱动模型和末次点击模型，对同一次转化的归功结果可能不同（Google Analytics Help （在新标签页中打开）^[7]）。

实际做法是将来源记录到你自己的系统中。记录每个人通过哪个 Quick Chat 链接、展示位置或渠道进入，再将该联系人与预约、订单或 CRM 商机匹配。对于试点，Plandora 的 Quick Chat 说明建议先使用一家商店和一个网站、少量展示位置，并在声称具有增量价值前，比较相近时间段内的投入、互动、转接和使用成本，或与网站保留对照组比较。用于店内对话的 Quick Chat介绍了这些入口。

每周回顾该怎么做？

1. 在 Overview 选择 7 天并查看比较结果。 记录对话和访客数量，忽略基数较小时的百分比。如果使用 Quick Chat 链接，除了查看打开次数，还要检查哪些 Quick Chat 收到了回复。
2. 打开 Conversations，列出反复出现的 No answer 和 Partial answer 问题。 对出现过不止一次的问题使用 Add answer。只出现一次的问题暂时不处理。
3. 在收件箱阅读最近的十段对话，其中包括一些涉及 Top questions 中标为 Answered 的话题的对话。 将每条标记为正确、错误或不清楚，然后在 Knowledge 或行动手册中从源头修正错误回答。
4. 打开收件箱。 统计转接请求，查看 Unreplied 中是否有人等待，并记下最长等待时间。然后浏览各阶段的联系人数。
5. 将本周数字记在你自己的表格中，与你的 CRM 或预约数据放在一起。 记录对话数、需要真人协助的比例、合格联系人数，以及来自同一来源的预约或订单。做出一项改变，记录下来，并在下周比较。