Overview - AgentCompass Documentation

Environment 为 harness 提供统一执行面：运行命令、移动文件、创建目录、暴露 workspace，并释放资源。Benchmark 应描述任务需要什么，environment provider 决定任务在哪里执行。

Provider Map

Provider	适用场景	常见 workspace
`host_process`	轻量本地任务和快速调试	当前 checkout 或 `workspace/`
`docker`	本地可复现容器	`/workspace`
`modal`	基于 registry image 的云端 sandbox	recipe 选择的 `/testbed` 或 `/root`
`daytona`	远程开发式 sandbox	`/testbed` 或 recipe root

使用 --env 选择 provider：

agentcompass run <benchmark> <harness> <model> --env modal --model-base-url "$MODEL_BASE_URL" --model-api-key "$MODEL_API_KEY"

Provider 默认值放在 config/defaults.yaml 的 environments.<provider> 下。单次运行覆盖可以使用 --env-params。

agentcompass run <benchmark> <harness> <model> --env docker --env-params '{"image":"python:3.13-slim","workspace":"/workspace"}'

重型 benchmark 通常由 recipe 从任务元数据推导 provider 参数：

Benchmark family	Recipe 行为
SWE-bench Verified / Multilingual	选择任务镜像，并在兼容 provider 上使用 `/testbed`。
SWE-bench Pro	选择任务镜像，并使用 `/workspace`。
Terminal-Bench 2	选择任务镜像，并使用 `/root`。
SkillsBench / PinchBench / GDPval	应用 provider-specific workspace 和 resource 默认值。

当 recipe 能推导 image 时，不要手动传 image。手动覆盖适合 custom task 和调试，但会降低公开 benchmark run 的可复现性。

--task-concurrency 控制单个 run 内的任务并发；runtime.provider_limits 控制进程级 provider 使用上限。