记录 Execution Trajectory
保留计划、Context、模型与工具调用、状态、人工判断和最终结果，形成完整运行证据。
返回技术总览
企业级保障 · Agent Reliability & Evaluation
智能体可靠性与评测
让每一次运行可观察、可评测，也推动下一次改进。
记录完整执行过程，让生产观测中发现的真实失败回到评测集、Evaluator 与回归门槛，形成“构建 → 运行 → 观测 → 改进”闭环，让每次升级都能被验证。
运行机制
从真实运行中的失败，建立可重复的改进闭环。
评测维度不应只由预设基准产生，也要从完整 Execution Trajectory 中持续发现新失败，再由领域专家建立判据并校准自动评估。
归纳失败分类
从真实运行记录中发现异常，合并为失败维度，并由领域专家建立判据与黄金样例。
校准 Evaluator
用人工判定的黄金样例对齐自动评估，对机器无法稳定判断的新型或主观失败保留人工复核。
设置回归门槛
模型、Context、Skills 或系统变更后重跑关键任务，只有通过门槛的改进才能进入生产。
企业价值
把偶然成功，变成可重复的能力。
在上线前定义可验证门槛
把关键任务、失败条件与人工复核标准转化为可重复的上线检查，而不是依赖演示效果。
快速定位问题发生在哪一层
通过 Execution Trajectory 区分模型、Context、Agent Harness、Skill、工具或流程问题，缩短排查与修复路径。
让升级不牺牲既有能力
基础模型、Skills 或系统变化后回归关键任务，确认改进不是以其他能力退化为代价。
验证与边界
评测本身，也必须被持续校准。
自动评测可以扩大覆盖，但新的失败类型、主观质量和高风险结果仍需要领域专家定义标准、校准 Evaluator 并保留责任边界。业务结果用于验证评测是否真正代表价值，而不是替代专业判断。
衡量方式
01
任务级成功率
02
Evaluator 与人工一致性
03
关键任务回归通过率
04
失败恢复成功率
边界与护栏
明确评测范围
区分模型输出、步骤正确性、任务完成与业务结果，避免单一指标替代完整判断。
人工校准与复核
由领域专家建立黄金样例、处理新失败类型，并复核高风险或主观结果。
区分当前能力与演进方向
清楚区分已运行的数据回流与人工迭代，以及仍在持续工程化的自动评测能力。
技术问题
理解它的机制、边界与生产要求。
01
离线评测与线上业务结果如何配合？
离线评测用于稳定复现关键任务与已知失败，线上结果则检验系统在真实环境中的完成质量和业务影响。两者需要通过同一任务定义与运行记录关联，避免离线分数提高却没有带来真实改进。
02
新的生产失败如何进入评测集？
先基于完整运行记录确认失败原因和责任边界，再由领域专家整理为可复现任务、期望行为与判定标准。案例应按场景和版本管理，进入后续模型、Skills、Context 与流程变更的回归测试。
03
不同模型或 Skills 版本如何公平比较？
需要固定任务定义、Context 快照、工具环境和判定标准，并同时记录质量、成本、时延、人工介入与失败恢复。只有在相同条件下完成多次运行，才能区分稳定改进与偶然成功。