Skip to main content
清楚记录 Benchmark 的行为、兼容性、参数、运行命令和输出。 创建或更新以下英文页面，并同步更新本地化页面。用户应能在不阅读源码的情况下运行 Benchmark。
页面归属、本地化、导航、链接和验证要求遵循共享的文档贡献指南。

​
必要内容

文档必须包含：
  • 评测目的和官方来源链接。
  • 所支持且已固定的数据集和评测器版本。
  • 任务数量、类别或数据划分、任务浏览器、许可证和访问权限要求。
  • 前置条件、可选依赖、任务镜像和凭证。
  • 官方推荐 Harness 和其他兼容 Harness。
  • 支持的 Environment，以及 Recipe 为不同 provider 推断出的专属行为。
  • Benchmark 专属参数、默认值、有效值和选择建议。
  • Benchmark 专属输出和指标语义。
  • 一条真实冒烟测试命令和一条完整评测命令。
  • 已知兼容性约束和官方对齐说明。

​
保持页面聚焦 Benchmark

  • 通用 k、avgk、sample_ids 和聚合控制项应链接到共享的 Benchmark 参数页面。
  • Harness 安装、步骤限制、成本跟踪、命令超时和 Model 设置应链接到 Harness 页面。
  • 不要把 Model 位置参数描述成 Benchmark 参数。
  • 除非 Benchmark 定义不同语义，否则不要重复通用 pass@k 或 avg@k 输出。
  • 默认值已经能够产生预期行为时，在命令中省略对应参数。
  • 将上游对齐路径标记为 推荐 Harness，替代项标记为 其他可选 Harness。
  • 每个可选 Harness 都提供完整评测命令，而不是命令片段。
命令必须可以直接复制运行，并通过环境变量引用凭证和 Model 配置。还要说明 Recipe 会推断哪些镜像、工作区、资源和网络字段，避免用户重复填写参数。

​
预览与验证

将页面加入 docs/docs.json，除非维护者同意分阶段本地化，否则保持语言版本路径对称；完成预览和验证：