SWE-bench Verified

SWE-bench Verified 在 AgentCompass 中的任务配置、运行方式和结果结构。

SWE-bench Verified evaluates repository-level software engineering fixes against curated GitHub issue instances.

​

运行时状态

字段	值
Benchmark id	swebench_verified
Tags	Agentic Coding, Repository Repair, Verified
执行类型	remote environment
常用 harness	mini_swe_agent, openhands, claude_code, codex, or openclaw
常用 environment	docker, daytona, modal, or host_process
当前状态	已在直接运行时注册

​

参数

常用参数包括：

• sample_ids
• split
• k
• avgk
• resume

通用参数如 k、avgk、sample_ids、resume 和 category 遵循 Benchmark 参数 的约定。

​

运行示例

agentcompass run \
  swebench_verified \
  mini_swe_agent \
  your-model \
  --env <env-provider> \
  --benchmark-params '{"sample_ids":["<task-id>"]}' \
  --model-base-url "$MODEL_BASE_URL" \
  --model-api-key "$MODEL_API_KEY" \
  --model-api-protocol openai-chat

​

输出

单任务详情写入 results/swebench_verified/<model>/<run>/details/，聚合结果写入同一运行目录下的 summary.md。