自动化应遵循判断:AI 可以自行做什么
一套判断 AI 自动化可以独立完成哪些操作的方法:根据后果和可逆性给每项操作分类,再设定审批和复查节奏。
更新于 阅读约 2 分钟

本文目录
简要概述
当一个步骤出错的代价低且容易撤销时,AI 可以自行执行:例如读取信息和起草供人审核的文字。发送消息和修改记录应等待审批。花钱和作出承诺则由人负责。在 Plandora Automations 中,一个触发条件、Read 或 Read / Write 工具以及 Runs,让你可以切实设置并检查这种分工。
要点
- 根据后果和可逆性给每个步骤分类,而不是看模型有多强。
- 读取和起草可以自动运行。发送和修改记录需要审批。花钱和作出承诺由人负责。
- 审批步骤只有在审核者能看到依据时才有效:同行评审研究已记录了自动化偏见。
- 为每个 Automation 设置一个触发条件、完成任务所需的最少工具,以及一位查看其 Runs 的负责人。
- 起初每天复查,然后每周、每月复查;行动手册、Stages 或集成发生任何变化后也要复查。
当一个步骤出错的代价低且容易撤销时,AI 可以自行执行:例如读取信息和起草供人审核的文字。发送消息和修改记录应等待审批。花钱和作出承诺则由人负责。判断标准是出错的代价以及能否撤销,而不是能力。
如何决定 AI 可以自行做什么?
针对每个步骤,而不是整个系统,问两个问题:这一步出错会付出什么代价?能否撤销?出错时不会引起察觉且可以撤销的步骤,可以无人值守运行。触达客户或涉及资金流动的步骤则不能。
这个想法早于语言模型。在 IEEE Transactions on Systems, Man, and Cybernetics 于 2000 年发表的一篇论文 (在新标签页中打开)[1]中,Parasuraman、Sheridan 和 Wickens 提出,自动化可以应用于“四大类功能”:信息获取、信息分析、决策与行动选择,以及行动实施。每一类都可以处于从完全手动到完全自动的任何位置,作者还将决策和行动后果的代价列为评估设计的次要标准之一。NIST 的 AI Risk Management Framework (在新标签页中打开)[2](1.0 版,2023 年 1 月)指出,人机配置“可以涵盖从完全自主到完全手动的各种形式”,有些系统需要人工监督,另一些则不需要。
OpenAI 的智能体构建指南 (在新标签页中打开)[3]提供了一条实用规则。根据“只读还是写入权限、可逆性、所需账户权限和财务影响”,将每个工具评为低、中或高风险,然后在高风险功能运行前暂停检查或转交给人。
从团队中任何人都能读懂的触发条件开始。“联系人更改 Stage”“访客停止回复”和“每周一上午 9 点”都可以检查和讨论。如果触发条件是 AI 感觉时机合适就启动,就等于把判断藏进了自动化流程。
哪些操作可以自动运行,哪些需要审批,哪些由人负责?
六类操作涵盖了大多数业务自动化,下面按撤销难度从低到高排列。
| 操作 | 示例 | 能否撤销? | 默认做法 |
|---|---|---|---|
| 读取 | 查找联系人、统计等待回复的人数、读取 Drive 文件 | 不会改变任何内容,但仍应限制对个人数据的访问 | 自动运行 |
| 起草 | 撰写回复、摘要或跟进内容供人审核 | 可以:在有人使用草稿之前,内容不会发出 | 自动运行,然后由人审核 |
| 发送 | 向联系人或名单发送消息 | 不可以:发出的消息无法收回 | 需要审批。只有经过一段时间观察、范围有限且风险低的消息才自动发送 |
| 修改记录 | 更新受众记录,例如联系人属性 | 通常可以,只要能看到改动。阶段变化也可能触发其他自动化 | 低风险字段可自动修改。如果修改会触发消息或其他步骤,应由人审核 |
| 花钱 | 退款、下单、向供应商付款 | 很少能撤销 | 由人负责 |
| 作出承诺 | 承诺价格、交付日期、退款或诊断 | 不可以:承诺一旦作出就已存在 | 由人负责 |
起草是大多数团队容易跳过的一行:AI 完成耗时的部分,决定权仍由人掌握。草稿仍会出现 AI 回复出错的原因中提到的失误,因此发出前要先审核。在财务咨询等受监管领域,应预计有更多操作需要由人负责,并将如何分工作为一个需要具备资质的专业人士审核的问题。
这些默认做法只是起点,并非标准。只有查看足够多的运行记录,了解某个步骤出错时会发生什么之后,才调整该行的分工。
“由人作判断”在实践中是什么意思?
Plandora 的原则包括“由人作判断”和“有目的地自动化”。后一条还指出“行动应遵循明确的决定”。在实践中,决定是在自动化流程创建之前作出的:你选择触发条件、可使用的工具,以及表中哪些操作需要人参与。然后由自动化流程执行。
超出既定流程的情况应在收件箱中交给人处理,这也是 AI 对话中的人工接手一文的主题。想从更广的视角了解 Digital Mind 如何将专业知识转化为行动,请参阅专业知识操作系统。
Plandora Automations 如何融入这套框架?
Automation 是一种在事件发生或你选定的时间执行任务的智能体。专家则不同:你的 Mind 在实时对话中咨询专家,而专家只能看到正在与其对话的人。Automation 可以查看你的整个受众,例如查找或统计联系人;这种更广的访问范围也是限制其权限的理由。
Automations 可能通过引导式开放或自助方式提供,具体取决于你的方案和开放安排,因此在据此规划之前,请确认你的账户有哪些功能。Automations 指南这样描述设置过程:
- 你只选择一个触发条件:事件(新消息、未回复、新联系人、阶段变化、文件、订单或链接点击)或每小时到每月一次的定时计划。
- 你描述任务并选择 Draft with AI、选择模板或从头开始。新建的 Automation 初始状态为 Off。
- 在 Context 下填写 Goal、Role & style 和 Boundaries。然后按顺序编写步骤,输入 @ 添加信息或标记团队成员,输入 / 使用工具。
- Tools 卡片列出它可以使用的所有工具:Contacts、Inbox、Message、Team 和 Store,以及智能体可以使用的集成。每项设置为 Read 或 Read / Write,而 Message 因为发送模板而设为 Write。Drive 和 Social media 始终启用,Web 则可选。
- Runs 显示每次运行做了什么,Improve 提出可逐一接受或拒绝的修改建议,状态旁的开关可以停止未来的运行。
| 框架中的操作 | 在 Automation 中的对应位置 |
|---|---|
| 读取 | 设为 Read 的工具 |
| 起草 | 保存结果供审核的步骤,或发给你的消息 |
| 发送 | Message 是 Write 工具。向多个联系人发送时,选择 Send after approval 或 Send automatically。审批项显示在 Broadcasts 中 |
| 修改记录 | 设为 Read / Write 的工具 |
| 花钱、作出承诺 | Boundaries,以及被标记以接手该情况的人员 |
指南描述了向多个联系人发送消息时的审批选项,但没有描述修改记录时相应的审批步骤,因此应依靠 Read 或 Read / Write 设置以及你自己对 Runs 的审核,并向团队询问你的账户还提供什么功能。
为什么仅有审批步骤还不够?
人们往往会相信系统提供的内容。Goddard、Roudsari 和 Wyatt 在 Journal of the American Medical Informatics Association 发表的 2012 年系统综述 (在新标签页中打开)[4]将自动化偏见定义为“过度依赖自动化的倾向”。对四项医疗研究进行的一项小规模合并分析比较了临床决策支持组和对照组,发现遵循错误建议后作出错误决定的风险比为 1.26(95% CI 1.11 至 1.44):决策支持组比对照组更常遵循错误建议。这些研究发生在临床环境中,因此应将这一数字视为一种趋势,而不是对客户消息场景的预测。作者列出的缓解措施包括培训和强调用户责任。
因此,如果审核者只是一路点击通过审批队列,这种监督就徒有其名。要让审核者看到自动化流程看到了什么、做了什么,让拒绝和批准一样容易,抽查已批准的项目是否出错,并指定一名负责人。NIST 明确要求界定并区分监督职责。GOVERN 3.2 (在新标签页中打开)[2] 写道:“制定政策和程序,明确区分人机配置和 AI 系统监督中的角色与责任。”
EU AI Act 将同样的担忧写入了针对一类系统的法律。Article 14 (在新标签页中打开)[5] 要求高风险 AI 系统的设计应使人能够有效监督。第 4(b) 点指出,监督人员应能够“始终意识到可能自动依赖或过度依赖输出结果的倾向”。Article 14 仅适用于高风险 AI 系统,European Commission 的 AI Act 页面 (在新标签页中打开)[6]指出,Annex III 所列领域高风险用例的规则自 2027 年 12 月 2 日起适用,该日期由 2026 年 7 月 27 日生效的 AI Omnibus 修正案确定(页面最后更新于 2026 年 10 月 19 日)。某个自动化流程是否属于高风险是法律分类问题,因此应咨询具备资质的顾问,不要自行假定。
启用自动化流程前应该检查什么?
- 分别用一句话写下触发条件和唯一任务。如果描述任务需要用到“和”,就把它拆成两个 Automation。
- 按照表格对每个步骤分类。任何发送、花钱或作出承诺的操作都需要审批或由人处理。
- 只提供最少数量的工具。OWASP 针对 LLM 应用的 Excessive Agency 条目 (在新标签页中打开)[7](2025)将功能过多、权限过大和自主性过高列为根本原因。除非某个步骤必须写入,否则将工具设为 Read;除非你的知识库无法回答,否则关闭 Web。
- 检查目标范围。定时计划可以只针对 This Mind、所有联系人、某个阶段或某个群组,基于联系人的定时计划会为每个匹配的联系人运行一次,因此大型群组意味着大量运行。
- 向多个联系人发送消息时,先使用 Send after approval。同一 OWASP 条目建议:“采用人工参与控制,要求人在执行高影响操作之前予以批准。”
- 编写 Boundaries,说明信息缺失时该怎么做,以及何时应询问人。Specialists 指南给出了这一建议,Automations 使用相同的 Context 字段。
- 检查同意和渠道规则。WhatsApp 外联可能需要经过批准的模板,而你仍需负责通知、同意、退出接收以及合法外联。请就你所在司法辖区的情况咨询具备资质的顾问。
- 可以选择目标范围时,从小群组开始。将其设为 On,查看 Runs,使用 Improve,然后扩大目标范围。有效编辑保存后即刻生效,因此重新调整步骤时应将其设为 Off。
- 指定一位查看 Runs 且知道开关位置的负责人。
应该多久复查一次自动化流程?
NIST 的 AI RMF 要求定义、评估并记录人工监督流程(MAP 3.5),但没有规定间隔。出错代价越高,复查就应越频繁;初期也应更频繁地复查。
| 时间 | 检查内容 |
|---|---|
| 第一周每天 | 对照预期查看 Runs 中的每次运行。扩大目标范围前先修正 Boundaries |
| 第一个月每周 | 抽查运行记录,记录编辑和被拒绝的审批,并查找从未触发或触发过于频繁的步骤 |
| 此后每月 | 检查接收对象和数量,并考虑各类操作是否应获得更多或更少的自主权 |
| 每次变更后 | 修改行动手册、Stages、Knowledge、模板或集成后重新查看 Runs。阶段变化可能触发自动化流程,断开集成会影响依赖它的所有流程 |
| 每季度 | 重新按表格评估,移除未使用的工具,停用没有负责人的 Automations |
常见问题
专家是你的 Digital Mind 在实时对话中咨询的助手,只能看到正在与其对话的人。Automation 在对话之外由一个事件或定时计划触发,可以查看你的受众。需要即时帮助时使用专家,需要后续工作时使用 Automation。
在 Plandora 中,向多个联系人发送消息可以设置为 Send after approval 或 Send automatically。本指南建议从审批开始,只有经过一段时间观察、范围有限且风险低的消息才改为自动发送。可用性取决于你的方案和开放安排,因此请确认账户包含哪些功能。
自动化偏见是过度依赖自动化的倾向。Journal of the American Medical Informatics Association 在 2012 年发表的一篇系统综述如此定义了它,并将培训和强调用户责任列为缓解措施。在实践中,这意味着人没有真正检查就批准了 AI 的输出。
不要求。EU AI Act 的 Article 14 针对高风险 AI 系统设定人工监督要求,并非针对每个 AI 工具。European Commission 表示,Annex III 的高风险规则自 2027 年 12 月 2 日起适用。某个自动化流程是否属于高风险是法律问题,应咨询具备资质的顾问。
不需要。NIST 指出,有些 AI 系统可能不需要人工监督,而另一些则明确需要。根据后果安排监督,可以让人负责重要的发送、花钱和承诺操作,同时让读取和起草自动运行。事事审批容易变成一路点击通过的习惯。
不一定。Plandora 常见问题说明,受众、Automations 和连接器可能需要设置和工作流验证;在确认账户可用之前,不应将产品中可见的功能视为已可用于生产。请先向团队确认,再据此规划。
来源
- A model for types and levels of human interaction with automationIEEE Transactions on Systems, Man, and Cybernetics, Part A (Parasuraman, Sheridan and Wickens, 2000) · 访问于 (在新标签页中打开)
- Artificial Intelligence Risk Management Framework (AI RMF 1.0)National Institute of Standards and Technology · 访问于 (在新标签页中打开)
- A practical guide to building agentsOpenAI · 访问于 (在新标签页中打开)
- Automation bias: a systematic review of frequency, effect mediators, and mitigatorsJournal of the American Medical Informatics Association (Goddard, Roudsari and Wyatt, 2012) · 访问于 (在新标签页中打开)
- Article 14: Human oversightEuropean Commission, AI Act Service Desk · 访问于 (在新标签页中打开)
- AI Act: regulatory framework for AIEuropean Commission · 访问于 (在新标签页中打开)
- LLM06:2025 Excessive AgencyOWASP Gen AI Security Project · 访问于 (在新标签页中打开)

