系列目录06 / 08
06Agent Foundations从零理解 AI Agent
人工检查点与权限边界应该放在哪里
把人工确认放在高影响、难撤回和信息不足的决策之前。
人工参与不应该意味着每一步都弹出确认。检查太多,人会机械点击;检查太少,错误会在真正重要的动作上越过边界。
按影响而不是按工具分类
同一个邮件工具既能保存草稿,也能向全部客户发送通知。风险来自动作影响,而不只是工具名称。可以把操作分成只读、可撤回写入、外部承诺和不可逆修改,并逐级增加限制。
当 Agent 缺少关键信息、多个方案取舍接近,或行动会影响他人时,也应该主动暂停。
确认界面要提供判断材料
有效的检查点需要展示即将执行的动作、依据、影响范围和可修改参数。只有“允许/拒绝”两个按钮,却不给上下文,并没有真正保留人的判断。
好的边界让低风险工作顺畅自动化,同时让高风险决定在执行前被认真看见。