《Agent评测白皮书》系列02:商家 AI 助手的评测与优化闭环实践
·
《Agent评测白皮书》系列关注如何将评测方法落到实际项目中。在系列第一篇《Agent评测全览》中,我们介绍了评测体系的整体构成,以及评测体系与 Agent 相互促进的两条迭代闭环。 作为系列的业务实践篇,本文以商家 AI 助手的巡检任务为贯穿案例,介绍如何构建业务 Benchmark,通过评测器校准和错误分析,同时推动评测体系完善与 Agent 能力提升,并借助图灵支撑持续回归与模型选型,为上述方法在具体业务中的落地提供参考。 一、背景 1.1 业务背景 商家广告助手是面向投放巡检、异常诊断、数据报告和计划编辑等场景的业务 Agent。执行任务时,它需要读取持续变化的真实账户数据、调用多个工具、遵守投放规则,并根据结果给出建议,必要时直接调整投放计划。 因此,判断它能否用于生产,不能只看最终回答是否“像对的”,还要验证整个任务是否正确完成:意图和时间范围是否理解准确,数据与工具调用是否正确,关键规则是否遵守,最终账户状态或交付物是否符合预期。 1.2 对标业界 为建立商家广告助手的评测体系,我们调研了代表性的 Agent Benchmark,重点关注三个问题:任务如何组织、执行环境如何构造、结果如何判定。 业界 Benchmark 的共同思路,是让 Agent 在可执行环境中完成完整任务,再通过测试、验证器或 Judge 检查结果。 公开 Benchmark 可以帮助我们设计评测,但它们的成绩不能直接作为商家广告助手的上线依据。 因为它们覆盖的任务、业务规则和数据,与广告投放不同。我们可以复用其任务设计、环境构造和判定方法,再围绕广告业务建立自己的 Task 集,配齐执行环境、判定机制和验证框架,验证 Agent 是否满足实际业务要求。 后文将介绍:如何把真实业务场景转化为 Task 集,明确成功标准与 Rubric,配置执行环境、判定机制和评测协议,再通过错误分析推动 Agent 迭代。 1.3 建设目标:可测、可信、可优化 我们希望这套评测体系做到三件事: 可测:把真实业务流程转化为可执行、可判定的场景和成功标准。 可信:稳定、规模化地执行评测,并让过程可观测、结论可复核。 可优化:从评测结果定位根因、验证改动,并逐步连接线上业务效果。 二、商家广告助手的 Benchmark 设计 商家广告助手需要完成巡检、诊断等任务。设计 Benchmark,首先要明确测哪些业务场景,以及每个场景下怎样算成功。再将这些要求落实为 Task 集、执行环境、判定机制和评测协议,让不同 Agent…