跳转到主要内容
AgentCompass 的 console script 是 agentcompass。推荐通过项目 .venv 执行:
uv run agentcompass --help
或激活环境:
source .venv/bin/activate

agentcompass --help

顶层命令

Command作用
agentcompass run直接运行 evaluation。
agentcompass summary对已有 run directory 重新生成 summary.md
agentcompass analysis对已有结果目录重新跑 post-analysis,更新 analysis_resultanalysis_summary
agentcompass list已注册组件查询命令组。
agentcompass config查看合并后的配置 YAML 和组件配置字段文档。
agentcompass --help查看帮助。
agentcompass --version查看版本。
agentcompass list dump 反映当前 checkout 已 import 的组件。拉取新代码后请重新运行;公开文档支持范围以 支持的组件 为准。

Run

export MODEL_BASE_URL="http://localhost:8000/v1"
export MODEL_API_KEY="EMPTY"

agentcompass run \
  swebench_verified \
  mini_swe_agent \
  glm-5.2 \
  --env docker \
  --benchmark-params '{"sample_ids":["astropy__astropy-12907"]}' \
  --model-base-url "$MODEL_BASE_URL" \
  --model-api-key "$MODEL_API_KEY" \
  --model-api-protocol openai-chat \
  --task-concurrency 1

Summary 和 Analysis 的区别

summary 只重新聚合已有 details 并生成 summary.md
agentcompass summary results/swebench_verified/your-model/20260703_120000
analysis 会重新执行 analyzers,并生成或更新 analysis_resultanalysis_summary.jsonanalysis_summary.md
agentcompass analysis \
  --input results/swebench_verified/your-model/20260703_120000 \
  --analysis-params '{"analyzers":["ExceptionAnalyzer","TruncationAnalyzer"]}'
默认情况下 analysis 会复制输入 run 到新的 timestamp sibling;只有明确想覆盖原结果时才使用 --override run 可重复传入 --recipe-dir <package-dir>,为当前 run 加载受信任的外部 recipe package。

Config

agentcompass config 当前包含两个子命令:
agentcompass config show [OPTIONS]
agentcompass config docs <kind> <component-id>
config show 默认以 YAML 打印合并后的生效配置,适合直接查看或重定向成可编辑配置文件:
agentcompass config show --benchmark swebench_verified --harness mini_swe_agent --env docker > configs/swebench-glm52-docker.yaml
不传 --benchmark--harness--env 时,config show 输出全局 runtimeexecution 配置。需要让某个组件默认字段进入 YAML 时,请显式添加对应 selector。可以重复使用 --config 先叠加已有配置,再打印结果;需要机器消费时可加 --format json
agentcompass config show --config config.yaml --config configs/private.yaml --benchmark swebench_verified --format json
config docs 以 Rich table 打印某个组件 config class 的字段、默认值和说明。kind 可取 benchmarkharnessenv
agentcompass config docs benchmark swebench_verified
agentcompass config docs harness mini_swe_agent
agentcompass config docs env docker