ROARKIST / SERIESROARKIST / 系列
系列目录06 / 08
  1. 01Agent 和聊天机器人,差别到底在哪?
  2. 02Agent 的基本循环:观察、决策、行动、复核
  3. 03工具不是魔法按钮,而是 Agent 与世界的契约
  4. 04状态、记忆与上下文,其实是三件不同的事
  5. 05Agent 什么时候应该先规划,再行动?
  6. 06人工检查点与权限边界应该放在哪里
  7. 07如何观察并评测一个 Agent 循环
  8. 08从零做一个足够小、但真正完整的研究 Agent

06Agent Foundations从零理解 AI Agent

人工检查点与权限边界应该放在哪里

把人工确认放在高影响、难撤回和信息不足的决策之前。

人工参与不应该意味着每一步都弹出确认。检查太多,人会机械点击;检查太少,错误会在真正重要的动作上越过边界。

按影响而不是按工具分类

同一个邮件工具既能保存草稿,也能向全部客户发送通知。风险来自动作影响,而不只是工具名称。可以把操作分成只读、可撤回写入、外部承诺和不可逆修改,并逐级增加限制。

当 Agent 缺少关键信息、多个方案取舍接近,或行动会影响他人时,也应该主动暂停。

确认界面要提供判断材料

有效的检查点需要展示即将执行的动作、依据、影响范围和可修改参数。只有“允许/拒绝”两个按钮,却不给上下文,并没有真正保留人的判断。

好的边界让低风险工作顺畅自动化,同时让高风险决定在执行前被认真看见。