> ## Documentation Index
> Fetch the complete documentation index at: https://agent-compass.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

# Python API

> 通过 Python API 构造请求、启动评测和复用运行时。

使用 `agentcompass.run_evaluation(...)` 可以把 AgentCompass 嵌入到 Python workflow 中。

```python theme={null}
from agentcompass import run_evaluation

result = run_evaluation(
    benchmark="swebench_verified",
    harness="mini_swe_agent",
    model="glm-5.2",
    environment="docker",
    benchmark_params={"sample_ids": ["astropy__astropy-12907"]},
    model_base_url="http://localhost:8000/v1",
    model_api_key="EMPTY",
    model_api_protocol="openai-chat",
    model_params={"temperature": 0},
    task_concurrency=1,
    results_dir="results",
    data_dir="data",
    progress="auto",
    log_level="INFO",
)
```

返回值包含聚合指标、输出路径和执行元数据。Per-task details 会写入 run directory，避免大型评测把所有 artifact 都留在内存中。

| 参数                   | 含义                                 |
| -------------------- | ---------------------------------- |
| `benchmark`          | 已注册 benchmark id。                  |
| `harness`            | 已注册 harness id。                    |
| `model`              | 模型 id，也用于结果路径。                     |
| `environment`        | environment provider id。           |
| `benchmark_params`   | benchmark 参数。                      |
| `harness_params`     | harness-specific 参数。               |
| `environment_params` | provider-specific 参数。              |
| `model_*`            | 模型 endpoint、协议和凭据。                 |
| `task_concurrency`   | 单次 run 内最大任务并发。                    |
| `recipe_dirs`        | 当前 run 使用的受信任外部 recipe package 目录。 |