Skip to main content
本节说明 Harness 在 AgentCompass 中的职责、接入流程和完成标准。 Harness 将 agent 框架、CLI 或直接调用 Model 的工作流适配到 AgentCompass runtime。它接收 PreparedTaskEnvironmentSession,负责执行循环,并返回供 Benchmark 评测使用的标准化 RunResult

集成边界

Harness 负责准备 agent,交接提示词与工作区,执行 Model 调用和工具交互,并记录轨迹、用量与完成状态。它还负责清理自己创建的资源,但不能加载 Benchmark 数据集、判断 Benchmark 结果是否正确、选择 provider 专属任务镜像,也不能自行创建 runtime 无法跟踪的 sandbox。

集成工作流

  1. 实现 Harness 契约,包括兼容性、会话生命周期、安装、限制、密钥和结果规范化。
  2. 更新公开文档,说明支持的协议、Environment、参数和完整命令。
  3. 验证集成,覆盖真实任务、协议、Environment、失败路径、并发和所有官方对齐声明。

完成标准

  • 根据能力判断兼容性,并在执行高成本操作前拒绝不支持的组合。
  • 准备、运行和清理阶段的职责与顺序明确。
  • 每个声称支持的协议、Environment 和安装策略都有实际运行证据。
  • 结果保留答案、轨迹、用量、限制、终止和错误语义。
  • 密钥在所有持久化和展示位置都已脱敏。
  • 公开文档与实现结构及可运行组合一致。