PreparedTask 和 EnvironmentSession,负责执行循环,并返回供 Benchmark 评测使用的标准化 RunResult。
集成边界
Harness 负责 agent 准备、提示词与工作区交接、model 交互、工具执行、轨迹采集、用量、完成状态和 Harness 清理。它不能加载 Benchmark 数据集、解释 Benchmark 正确性、选择 provider 专属任务镜像,也不能创建不受 runtime 跟踪的 sandbox 生命周期。集成工作流
- 实现 Harness 契约,包括兼容性、会话生命周期、安装、限制、密钥和结果规范化。
- 更新公开文档,说明支持的协议、Environment、参数和完整命令。
- 验证集成,覆盖真实任务、协议、Environment、失败路径、并发和所有官方对齐声明。
完成标准
- 兼容性基于能力,并在昂贵操作前失败。
- 准备、运行和清理阶段行为明确。
- 每个声称支持的协议、Environment 和安装策略都有真实证据。
- 结果保留答案、轨迹、用量、限制、终止和错误语义。
- 密钥在所有持久化和展示位置都已脱敏。
- 公开文档与实现结构及可运行组合一致。
