结果 - AgentCompass Documentation

Results 是 AgentCompass run 的持久化记录。它既面向人工检查，也面向后续自动化：summary regeneration、post-analysis、badcase mining 和 result reuse 都从 run directory 开始。

目录结构

results/
  <benchmark>/
    <model>/
      <timestamp>/
        details/
        logs/
        params.json
        progress.json
        progress.jsonl
        summary.md
        analysis_summary.json
        analysis_summary.md

details/*.json 是真相来源。summary 文件是派生视图。

产物职责

Artifact	作用
`details/*.json`	per-task attempts、status、metrics、prediction、error、trajectory 和 analyzer output。
`summary.md`	人类可读的 run-level metrics 和 status。
`params.json`	用于复现的 request 和 output metadata。
`progress.jsonl`	append-only 结构化 progress stream。
`progress.json`	最新 progress snapshot。
`logs/*.log`	setup、execution、release 和 error 相关 runtime logs。
`analysis_summary.*`	启用或重跑 analysis 后的 analyzer aggregate output。

本地结果查看器

tools/result-browser 提供一个本地 Web 界面，用于查看已完成或正在运行的 run directory。它从源码 checkout 中启动，运行 UI 服务的机器需要安装 Node.js 和 npm。在仓库根目录执行：

cd tools/result-browser
npm install
npm run dev

打开 npm run dev 输出的 Vite 地址，通常是 http://localhost:5173，然后输入包含 summary.md 和 details/ 的 run directory 绝对路径，例如 /path/to/AgentCompass/results/swebench_verified/your-model/20260703_120000。输入路径会在运行 npm run dev 的机器上解析。如果通过 SSH 端口转发或远程转发地址访问 UI，仍然需要输入服务端机器上的 run directory 绝对路径。如需本地检查构建产物：

npm run build
npm run preview

Summary vs Analysis

summary 是轻量操作。它读取已有 details 并重新计算 benchmark aggregate metrics。

agentcompass summary \
  results/swebench_verified/your-model/20260703_120000

analysis 更重。它会对 task attempts 重新运行 analyzers，把 analysis_result.<AnalyzerId> 写入 details，并重新生成 analysis summaries。

agentcompass analysis \
  --input results/swebench_verified/your-model/20260703_120000 \
  --analysis-params '{"analyzers":["ExceptionAnalyzer","TruncationAnalyzer"]}'

默认情况下，analysis 会把输入 run 复制到新的 timestamp sibling。只有明确要修改原 run directory 时才使用 --override。

如何读取 Details

per-task detail 文件应包含足够信息，避免为了调试重新跑任务：

task id、category 和 benchmark metadata；
attempt status 和 correctness；
benchmark metric fields；
harness prediction 和 trajectory；
environment 或 evaluation errors；
analysis_result 下的 analyzer output。

Reuse 行为

Runtime 会在执行 pending tasks 前 materialize 并加载已有 details。这适用于 run 被中断后恢复，或只需要重算部分任务的情况。如果希望 reuse 和 summary regeneration 正常工作，应保持稳定 output path、稳定 task_id，并避免删除 details/。

Data 和 Output Roots

Setting	默认值	含义
`runtime.data_dir` / `--data-dir`	`data`	Benchmark datasets 和 prepared data cache。
`runtime.results_dir` / `--results-dir`	`results`	run outputs 根目录。
`--run-name`	empty	result root 下的可选 namespace。
`--run-id`	timestamp	显式指定新 result 目录的 run id。

runtime.data_dir 和 runtime.results_dir 是 config/defaults.yaml 中的 YAML 键，并有对应 CLI flag；--run-name 和 --run-id 是 per-run CLI flag（属于 RunRequest 的 output 字段，不是配置文件键）。

​目录结构

​产物职责

​本地结果查看器

​Summary vs Analysis

​如何读取 Details

​Reuse 行为

​Data 和 Output Roots

​相关页面