跳转到主要内容
Runtime extensions 包括新的 benchmark、harness、environment、recipe 或 analyzer。

扩展规则

  • 每个组件都要有稳定 id 和非空 description。
  • Benchmark 只处理数据、任务和评分。
  • Harness 只处理 agent/model 执行。
  • Environment 只暴露命令和文件 primitive。
  • Recipe 处理 provider-specific image、workspace 和兼容性。
  • Analyzer 处理后置 analysis,不影响原始评测结果。

推荐顺序

  1. 增加或更新组件契约。
  2. 注册组件。
  3. 添加最小 smoke run。
  4. 文档化参数、支持环境和输出形状。
  5. 如果需要 task image 或 workspace 自动选择,再添加 recipe。