跳转到主要内容
用这个 cookbook 验证 AgentCompass、Docker 执行、本地 GLM-5.2 endpoint 和结果写入是否正常,再运行更大规模 benchmark。

前置条件

  • 已在仓库根目录安装 AgentCompass。
  • MODEL_BASE_URL 指向本地 OpenAI-compatible GLM-5.2 endpoint,例如 http://localhost:8000/v1
  • 已导出 MODEL_API_KEY。如果本地 endpoint 需要鉴权,请使用真实 key;如果本地服务忽略 API key,可以使用 EMPTY
  • Docker 已安装、daemon 正在运行,并且可以拉取 SWE-bench 任务镜像。
  • 已安装 SWE-bench 和 mini-SWE-agent 依赖:

命令

命令含义

部分含义
swebench_verified加载 curated repository repair 任务的 benchmark。
mini_swe_agent在准备好的 workspace 中运行 mini-SWE-agent 的 harness。
glm-5.2写入结果并传给本地 endpoint 的模型 id。
docker使用 SWE-bench recipe 选择的本地容器运行任务。

预期输出

结果会写到 results/swebench_verified/glm-5.2/<timestamp>/
文件用途
details/*.json逐样本预测、状态和 scoring payload。
summary.md运行级指标。
progress.jsonl结构化执行事件。
logs/*.logsetup 和模型调用诊断。

常见调整

需求调整
运行另一个 SWE-bench instance替换 sample_ids 中的 id。
运行更多任务smoke test 通过后提供多个 id,或移除 sample_ids
使用另一个本地 endpoint修改 model id、base URL、key 和 protocol。
不激活环境运行使用 uv run 前缀。