如何观察并评测一个 Agent 循环

最终答案正确，不代表 Agent 过程可靠。它可能调用了错误工具、使用了过期来源，或只是偶然猜对。评测必须同时看结果和路径。

先从真实任务建立样本

收集一小组代表性任务，包括正常情况、缺失信息、工具失败和需要拒绝的情况。为每项任务写清成功标准，不必一开始追求庞大数据集。

运行时记录每轮输入、模型决定、工具参数、返回结果、耗时和成本。这样失败时才能知道问题来自上下文、模型选择还是工具实现。

把失败变成下一轮评测

每次线上错误都应该匿名化后加入评测集。修复后不仅重跑这一例，也检查修改是否破坏其他任务。

Agent 评测不是上线前一次考试，而是一套持续反馈机制。目标不是证明系统聪明，而是知道它在哪些边界内可以被信任。