AI 回复为什么会出错，以及让 Digital Mind 有据可依的六项控制措施

当模型不承认自己不确定而选择猜测、依赖过时信息、毫无依据地表现得很肯定、偏离指令、答非所问或处理不好某种语言时，AI 回复就会出错。Digital Mind 的六项控制措施可以降低这些风险，但无法彻底消除风险，因此重大决策仍需有人参与。

语言模型为什么会编造内容？

幻觉是人们对 NIST 所称的虚构（confabulation）的通俗说法：“语气肯定但有误或虚假的内容” （在新标签页中打开）^[3]。NIST 的生成式 AI 概况文件（2024 年 7 月，美国政府的自愿性指南）指出，虚构是模型构建方式的自然结果，因为模型根据训练数据中的模式预测可能出现的文本。文件特别指出了要求长篇回复的开放式提示，以及需要上下文知识或领域专业知识的领域，而这些正是提供专业服务的企业希望 AI 助手发挥作用的场景。

OpenAI 和 Georgia Tech 的研究人员于 2025 年发表的论文 “Why Language Models Hallucinate” （在新标签页中打开）^[1] 将部分原因归咎于评分方式。大多数基准测试对正确答案给分，对承认不确定不给分，因此猜测的得分至少与坦诚表示“不确定”一样高。作者写道，模型被“优化成擅长应试”。他们举了一个例子：有人询问一个开源模型某位研究人员的生日，并要求它只在知道答案时回答，结果三次尝试给出了三个不同的错误日期。

没有规律可循的事实最难处理。对于生日等这类事实，论文分析认为，预训练模型的错误率存在一个下限，大致等于这些事实在训练中仅出现一次的比例。论文没有测试商业信息，因此以下是本文的推论：商店的营业时间、价格和退款条款看起来属于这类事实，因为模型无法从语言中推断出它们。这些信息必须由人提供。

不过，猜测并非必然。作者建议在评分时设定明确的置信度目标，让模型在低于目标时承认不确定不再受到惩罚；他们还认为，要减少幻觉，把模型所说内容的准确性看得比全面性更重要。这需要付出的代价是模型说得更少。转交人工正是为了缓解这种覆盖范围与确定性之间的权衡。

根据你自己的文档回答能解决问题吗？

这有帮助，但不能彻底解决问题。法律领域有一个经过测量的例子：供应商曾表示，他们的工具通过使用可信来源来避免或消除幻觉。在一项预注册的 Stanford 和 Yale 研究 （在新标签页中打开）^[2]中（预印本，2024 年 5 月），研究人员在 2024 年 3 月至 5 月间进行了 202 次法律研究查询。如果回复包含错误信息，或错误地声称某个来源支持某项陈述，就被计为幻觉。按照这一定义，Lexis+ AI 和 Ask Practical Law AI 在 17% 的查询中出现幻觉，Westlaw 的 AI-Assisted Research 则为 33%。没有知识库的 GPT-4 在 43% 的查询中出现幻觉。

与没有知识库的模型相比，依据资料回答减少了错误，但没有消除错误。Ask Practical Law AI 展示了其中的权衡：它的幻觉比例与 Lexis+ AI 相同，但在超过 60% 的查询中给出了不完整的回答，包括拒绝回答或给出正确答案却没有引用支持依据。

这里有两点需要注意。研究测试的是这些法律产品，不能说明包括 Plandora 在内的其他工具的情况。研究作者还特意设计了高难度查询，因此这些数字并非对真实场景错误率的无偏估计。

引用也不能解决这个问题。研究将真实存在但不支持相关说法的来源计为幻觉，作者得出结论，用户“必须继续核实关键论断是否得到引用的准确支持”。

AI 回复会怎样出错？

1. 编造事实。 一个看似合理的价格、政策或资质，却没有出现在你提供的任何资料中。这就是上面所说的猜测。
2. 知识过时。 答案曾经正确。在 Stanford 的研究中，Lexis+ AI 的一个回答将一项规则视为仍然有效，却引用了后来推翻该规则的判例；作者指出，法律文件中经常包含过时信息。你自己的资料也会过时：上一季的价目表、已经结束的优惠、已停用的退款政策。
3. 语气过于自信。 错误答案和正确答案听起来一样。OpenAI 的论文观察到，虚张声势的回答往往过于自信且具体，例如说“9 月 30 日”，而不是“秋天的某个时候”。NIST 指出，当用户相信虚假内容时就会产生风险，而这往往是因为回复的语气很肯定。
4. 忽略边界。 NIST 对虚构的定义包括“偏离提示或其他输入的生成内容”。Boundary 是输入的一部分，而通过统计方式生成文本的系统可能会偏离收到的指令。
5. 误读意图。 模型回答了它预期的问题，或找到了针对另一个问题的资料。在 Stanford 的研究中，检索不佳，即未能找到最相关的来源，是 20% 至 47% 的幻觉回复的成因之一，具体比例取决于工具（研究中各原因有所重叠）。当被要求定义“moral wrong doctrine”时，Lexis+ AI 依赖了一个定义 moral turpitude 的来源，后者是一个听起来相似但无关的术语。作者展示的另一个例子中，某工具解释了一位法官为何在某案中持异议，而该法官实际上加入了多数意见；工具没有纠正这个前提。
6. 语言和翻译错误。 NIST 指出，“LLM 在非英语语言或某些方言上的表现可能较差”，而人们可能错误地相信系统对所有群体的表现都相同。为使用多种语言的访客服务的 Mind 需要在每种语言中接受测试。

哪六项控制措施能让 Digital Mind 有据可依？

1. 仅使用经批准的知识

Digital Mind 根据你提供的资料回答：Drive 中的文档和 FAQ 答案，以及已连接的社交媒体账号发布的帖子。Trash 中的内容都会被忽略。Search web 是一个独立开关，除非最新公开信息对对话有帮助，否则最好关闭。先从最常被问到的五个问题入手，为每个问题写好答案，然后在聊天预览中测试；回复可能会显示访客可以打开的来源引用。正如法律研究所示，引用是供核查的线索，并非证明。Digital Mind 如何从你的文档中学习介绍了详细信息。

2. 有效日期

对文档或文件设置 Set dates… 可以将其使用范围限制在两个日期之间，适合季节性资料、优惠和有结束时间的政策。将被替代的旧版本移至 Trash，避免 Drive 中同时存在两个价格。日期只决定内容在哪段时间内使用。确保价格、营业时间和条款准确仍是你的责任，因此应安排定期检查。

3. 行动手册中的 Boundaries

行动手册有四个部分：Goal、Role & style、Boundaries 和 Flow。Boundaries 记录你的限制，并说明何时需要由人而非 AI 回答问题。文档中的例子是“将退款请求发给 @Sam”。请从选择器中标记这个人，因为直接输入纯文本姓名不会创建标记。价格等事实应放在知识库中，而不是 Boundaries 中。在 Role & style 中要求简短回复也可能有帮助：在 Stanford 的研究中，三款法律工具里，回答最长的一款（不计拒答，平均约 350 个词，其他工具为 175 至 219 个词）出现的幻觉也最多；作者指出，较长的答案包含更多可能出错的论断，检查起来也更费时。仅凭三款工具无法证明长度造成了这种差异。如何编写行动手册逐一介绍了各个部分。

4. 转交人工和 Take over

当对话需要人工处理时，Mind 可以请求帮助。你的团队会收到通知，Mind 会继续回复，直到有人接手，因此转交不是即时完成的。在收件箱中打开对话并选择 Take over，或者直接发送回复，这会暂停 Mind 并将对话分配给你。当 Mind 应该再次回答时，选择 Release to AI。Unreplied 和 AI handling 筛选条件可以帮助你确定先查看哪里。收件箱位于受众下方，可能通过引导式开放或自助方式提供，具体取决于你的方案。AI 对话的人工接手介绍了这一设计。

5. Improve 建议

Improve 会为你的指令起草修改内容。在行动手册和专家中，它可以根据过去七天的真实聊天提出建议，例如针对未回答的问题、质量较弱的答案和转交人工的情况。在专家或 Automation 中，你也可以自己描述修改，例如“也询问他们的预算”。修改会在原处显示，旧文本带删除线，新文本高亮显示，你可以逐条接受或拒绝。Improve 也是由 AI 起草内容，因此应阅读每一项修改，而不是依赖 Accept all，并在之后重新测试：接受的修改会像其他编辑一样保存。

6. 在收件箱中审查对话

阅读真实对话，不要只看仪表板。在收件箱中，AI handling 筛选条件列出 Mind 正在处理的对话，Contact details 显示收集到的答案和备注，Add comment 可以保存联系人永远看不到的内部备注。在 Insights 中，Conversations 报告列出热门问题和回答覆盖情况；对于 No answer 或 Partial answer，选择 Add an answer 会打开已填入该问题的 FAQ。Plandora 的文档指出，Answered 是系统评估，并不证明访客满意，因此判断质量前应先阅读对话。答案分析功能可能取决于你的方案。

各项控制措施分别应对哪些问题？

有没有控制措施能消除错误？

没有。每项控制措施都能降低错误发生的概率或代价，但都无法将其中任何一项降为零。本文没有对 Plandora 的准确率作出任何声明，文中引用的研究测量的是其他工具。Digital Mind 不是真人专家，不应将其说成是真人专家。

AI 回复可能出错，因此财务、法律、医疗及其他重大决策应始终有人参与。NIST 提出了错误率之外的另一个原因：它指出，自动化偏见，即对自动化系统过度信赖，可能加剧虚构的风险；在涉及重大决策的应用中，监测虚构内容可能尤其重要。实际操作中，应将这些话题放入 Boundaries，标记具体负责人，并进行测试。如果你从事财务咨询等受监管领域，请向合格专业人士确认监管机构对客户对话中使用 AI 的要求。本文仅供一般参考，不构成法律、医疗或财务建议。

应该从哪里开始？

1. 在 FAQ 中写下最常见的五个问题的答案，并为季节性内容设置日期。
2. 在 Boundaries 中列出必须由人处理的话题，并标记负责人。
3. 在聊天预览中测试一个普通请求、一个应转交人工的请求，以及一个你的资料无法回答的问题。
4. Mind 上线后，在相信任何摘要之前，先阅读收件箱中第一周的对话。
5. 使用 Improve 和 Insights 逐项解决发现的问题，每次修改后都进行测试。