PreparedTask 和 EnvironmentSession,负责执行循环,并返回供 Benchmark 评测使用的标准化 RunResult。
集成边界
Harness 负责准备 agent,交接提示词与工作区,执行 Model 调用和工具交互,并记录轨迹、用量与完成状态。它还负责清理自己创建的资源,但不能加载 Benchmark 数据集、判断 Benchmark 结果是否正确、选择 provider 专属任务镜像,也不能自行创建 runtime 无法跟踪的 sandbox。集成工作流
- 实现 Harness 契约,包括兼容性、会话生命周期、安装、限制、密钥和结果规范化。
- 更新公开文档,说明支持的协议、Environment、参数和完整命令。
- 验证集成,覆盖真实任务、协议、Environment、失败路径、并发和所有官方对齐声明。
完成标准
- 根据能力判断兼容性,并在执行高成本操作前拒绝不支持的组合。
- 准备、运行和清理阶段的职责与顺序明确。
- 每个声称支持的协议、Environment 和安装策略都有实际运行证据。
- 结果保留答案、轨迹、用量、限制、终止和错误语义。
- 密钥在所有持久化和展示位置都已脱敏。
- 公开文档与实现结构及可运行组合一致。
