Skip to main content
理解 AgentCompass Harness 集成的职责边界、工作流和完成标准。 Harness 将 agent 框架、CLI 或直接 model 调用工作流适配到 AgentCompass runtime。它接收 PreparedTaskEnvironmentSession,负责执行循环,并返回供 Benchmark 评测使用的标准化 RunResult

集成边界

Harness 负责 agent 准备、提示词与工作区交接、model 交互、工具执行、轨迹采集、用量、完成状态和 Harness 清理。它不能加载 Benchmark 数据集、解释 Benchmark 正确性、选择 provider 专属任务镜像,也不能创建不受 runtime 跟踪的 sandbox 生命周期。

集成工作流

  1. 实现 Harness 契约,包括兼容性、会话生命周期、安装、限制、密钥和结果规范化。
  2. 更新公开文档,说明支持的协议、Environment、参数和完整命令。
  3. 验证集成,覆盖真实任务、协议、Environment、失败路径、并发和所有官方对齐声明。

完成标准

  • 兼容性基于能力,并在昂贵操作前失败。
  • 准备、运行和清理阶段行为明确。
  • 每个声称支持的协议、Environment 和安装策略都有真实证据。
  • 结果保留答案、轨迹、用量、限制、终止和错误语义。
  • 密钥在所有持久化和展示位置都已脱敏。
  • 公开文档与实现结构及可运行组合一致。