Python API

通过 Python API 构造请求、启动评测和复用运行时。

使用 agentcompass.run_evaluation(...) 可以把 AgentCompass 嵌入到 Python workflow 中。

from agentcompass import run_evaluation

result = run_evaluation(
    benchmark="swebench_verified",
    harness="mini_swe_agent",
    model="glm-5.2",
    environment="docker",
    benchmark_params={"sample_ids": ["astropy__astropy-12907"]},
    model_base_url="http://localhost:8000/v1",
    model_api_key="EMPTY",
    model_api_protocol="openai-chat",
    model_params={"temperature": 0},
    task_concurrency=1,
    results_dir="results",
    data_dir="data",
    progress="auto",
    log_level="INFO",
)

返回值包含聚合指标、输出路径和执行元数据。Per-task details 会写入 run directory，避免大型评测把所有 artifact 都留在内存中。

参数	含义
benchmark	已注册 benchmark id。
harness	已注册 harness id。
model	模型 id，也用于结果路径。
environment	environment provider id。
benchmark_params	benchmark 参数。
harness_params	harness-specific 参数。
environment_params	provider-specific 参数。
model_*	模型 endpoint、协议和凭据。
task_concurrency	单次 run 内最大任务并发。
recipe_dirs	当前 run 使用的受信任外部 recipe package 目录。