RunResult 后,analyzer 会检查 trajectory、metrics、error、latency、模型输出和工具调用,并把结果写入每个 attempt 的 analysis_result.<AnalyzerId>,再聚合成 analysis_summary.json / analysis_summary.md。
Badcase 检测
识别异常、截断、JSON 错误、重复、延迟、终端误用等问题。
统计指标
统计 step 数、tool call 数、耗时、token 长度和 value-count 分布。
定性分析
用 LLM-backed analyzer 标注轨迹阶段、总结行为并生成 segment graph 报告。
组件注册表
agentcompass list analyzer 会在终端输出 analyzer 列表,agentcompass list dump 会导出到 agentcompass_components.md。随评测运行
对已有结果重新分析
analysis 会复制输入 run 到一个新的 timestamp sibling。使用 --output 指定复制目标,或使用 --override 原地覆盖。
选择规则
| 字段 | 含义 |
|---|---|
analyzers | 白名单;设置后只考虑这些 analyzer。 |
exclude_analyzers | 黑名单;即使兼容也会跳过。 |
<AnalyzerId> | 单个 analyzer 的参数,例如阈值、qualitative 模型配置等。 |
agentcompass list analyzer 输出包含 25 个 analyzer,覆盖基础统计、异常检测、效率分析、行为模式检测、reward-hacking 检测和 qualitative 分析。