点击上方蓝字关注我们
Agent 演示时回答得漂亮，放进工作流程后却频繁返工、越用越贵，这种落差很多团队都遇到过。判断 Agent 有没有效，关键要看它能否在真实约束下稳定完成用户交给它的任务。
“回答看起来对”，只能说明链路中的一小段顺利。Agent 还得理解目标、调用工具、处理异常，最后交付可用的结果。只看模型答题分数，很容易漏掉流程中的失败和隐性成本。
评估前先说清任务边界：输入是什么，Agent 可以使用哪些工具，输出要满足什么条件，哪些错误不能接受。边界模糊，分数就容易沦为“看起来不错”的主观印象，团队之间也难以比较。
以“整理客户会议纪要并录入系统”为例，文字通顺不代表任务完成。还要检查关键信息是否遗漏、字段是否填错、录入是否成功，以及遇到重复客户或权限不足时，Agent 是否妥善处理。
评估应覆盖整条任务链路：意图识别、计划、工具调用、结果校验和最终交付。单测其中一环，可以帮助定位能力；要判断 Agent 的业务价值，还得看端到端结果。
先写清成功条件，再看分数高低。定义含糊，评估做得越精细，误导也可能越精确。
五个常用维度衡量的是不同风险。把它们压成一个总分虽然方便，却可能掩盖关键问题。
- · 准确性：事实、计算、引用和动作是否正确。高风险任务应单独标出严重错误，避免大量小项得分稀释一次关键失误。
- · 完成率：在约定条件下，最终交付达到验收标准的任务比例。它比“回答成功率”更接近业务结果；超时、用户中断和人工接管如何计入，也要事先明确。
- · 耗时：既看 Agent 的响应时间，也看用户从提出需求到拿到可用结果花了多久。快速给出错误答案，未必比稍慢但一次完成更有效。
- · 成本：关注模型调用、工具使用、重试和人工复核等总消耗。单次 token 价格只是账单的一部分，返工和兜底同样占用资源。
- · 用户体验：用户是否理解 Agent 在做什么、是否信任结果、需要纠正多少次。满意度可以提供线索，还要结合实际使用行为和任务完成情况。
这些指标会互相牵制。多次校验可能提高准确性，也会增加时延和成本；减少确认步骤会加快流程，却可能让高风险操作更难挽回。评估时要呈现这些权衡，不能只挑一个好看的数字。
建议先设底线，再谈优化：例如，关键操作的准确性必须达标，成本和耗时在可接受范围内，用户体验不出现明显退化。不同任务的风险不同，阈值也应分别制定。
测试集通常要覆盖三类内容：常见任务、容易出错的边界情况，以及过去真实发生过的失败案例。只用精心设计的标准问题，Agent 可能考得漂亮，却经不起含糊指令、信息缺失和工具异常。
例如，测试客户支持 Agent 处理退款咨询时，可以覆盖信息齐全、订单号缺失、政策例外、系统查询失败等场景。验收时分别看它能否答对、识别未知、判断是否需要转人工，以及转交时是否保留上下文。
固定测试集适合比较版本变化，但长期使用会产生“刷题效应”：系统针对旧题优化，真实表现却未必提升。可以留一部分不公开的回归样本，再定期从新日志中抽取案例，经脱敏和人工审核后补充进去。
自动评分也有局限。格式、字段和明确规则适合程序校验；答案是否有帮助、表达是否清楚，往往还要人工抽查或用户行为佐证。用模型评估模型可以扩大覆盖面，但评分标准、偏差和稳定性仍需定期校准。
小团队可以先用一张表记录任务类型、成功条件、实际结果、失败原因、耗时和费用。先找出最常见、对用户影响最大的失败，比一开始搭建庞大的指标平台更实际。
离线测试能说明系统在样本上的表现，线上日志则记录它实际经历的情况。建议记录任务类别、模型与工具调用、耗时、重试、错误类型、人工接管和最终验收结果，便于复盘失败。
日志能帮助团队找到流程中的问题。某类任务耗时变长，可能是工具响应慢，也可能是 Agent 反复补充查询；完成率下滑，也可能源于输入变化，而非模型本身退化。缺少过程信息，团队就只能凭感觉改提示词。
设想一个内部报销 Agent：员工常反馈“填完了，系统里却没记录”。复盘发现，Agent 整理好了表单内容，却没有确认提交结果。团队因此把“提交成功”纳入验收，并要求失败时明确告知用户或转人工。这个案例说明，观察任务链路比笼统要求回答更聪明更有用。
用户反馈也要尽量具体。一个点赞只能反映当下感受，难以指出该改哪里；“重复问了两次订单号”“结果没写入系统”则能对应到流程节点。把反馈与任务日志关联，再归类到信息理解、工具执行、结果校验或体验设计，改进方向会更明确。
改完后，要回到原有测试集检查问题是否修复，再观察线上是否出现新的代价。一次修补可能让流程更谨慎，也可能增加确认次数和耗时。持续评估要看整体变化是否带来可接受的收益。
日志采集要有边界：只保留改进和审计所需的信息，敏感字段尽量脱敏，并设定访问权限和保留期限。数据留得越多未必越有用；采集设计也要考虑用户隐私与合规要求。
评估要能串起“发现问题—定位原因—验证改动”这几步。每一步都可追溯，团队才知道 Agent 为什么变好，或为什么变差。
衡量 Agent 是否有效，可以从一项具体工作开始：列出成功标准，收集一批真实任务，持续观察准确性、完成率、耗时、成本和用户体验。指标不必一次做全，但每个数字都应能回答一个实际问题。
Agent 的完成率怎么定义？
先明确任务验收条件，再统计达到条件的任务比例。超时、用户中断和人工接管如何计算，应按业务目标提前约定，并保持口径稳定。
只看自动化测试分数够吗？
自动化测试能扩大覆盖面，也方便比较版本，但不能完整代表真实使用体验。建议结合线上日志、人工抽查和用户反馈，重点检查高风险及新出现的失败案例。
成本和准确性冲突时怎么取舍？
按任务风险设定边界。涉及资金、权限或重要业务操作时，先守住准确性和安全底线；低风险任务可以在满足体验要求后，再优化耗时与调用成本。
汤米哥
这里不堆晦涩术语，每天记录 AI 如何改变世界，也聊聊我们如何跟上变化。像朋友一样，陪你了解 AI。
你所在的团队，最难衡量 Agent 的哪项表现？欢迎留言分享；如果这套评估思路对你有帮助，也可以转给正在做 AI 产品或自动化流程的同事。
