文档更新

记录 Benchmark 负责的行为、兼容性、参数、命令和输出。

创建或更新 docs/en/user_guide/modules/benchmarks/<benchmark-id>.mdx 及其本地化对应页面。用户应能在不阅读源码的情况下运行 Benchmark。

​

必要内容

文档必须包含：

• 评测目的和官方来源链接。
• 支持的数据集与评测器版本，以及固定版本。
• 任务数量、类别或数据划分、任务浏览器、许可证和访问权限要求。
• 前置条件、可选依赖、任务镜像和凭证。
• 官方推荐 Harness 和其他兼容 Harness。
• 支持的 Environment，以及 Recipe 推断的 provider 专属行为。
• Benchmark 专属参数、默认值、有效值和选择建议。
• Benchmark 专属输出和指标语义。
• 一条真实冒烟测试命令和一条完整评测命令。
• 已知兼容性约束和官方对齐说明。

​

保持页面聚焦 Benchmark

• 通用 k、avgk、sample_ids 和聚合控制项应链接共享 Benchmark 参数页面。
• Harness 安装、步骤限制、成本跟踪、命令超时和 model 设置链接 Harness 页面。
• 不要把 model 位置参数描述成 Benchmark 参数。
• 除非 Benchmark 定义不同语义，否则不要重复通用 pass@k 或 avg@k 输出。
• 默认值已经能够产生预期行为时，在命令中省略对应参数。
• 将上游对齐路径标记为 推荐 Harness，替代项标记为 其他可选 Harness。
• 每个可选 Harness 都提供完整评测命令，而不是命令片段。

命令必须可复制，并使用环境变量引用凭证和 model 配置。解释 Recipe 推断的镜像、工作区、资源与网络字段，避免用户复制冗余参数。

​

预览与验证

将页面加入 docs/docs.json，除非维护者同意分阶段本地化，否则保持语言版本路径对称；完成预览和验证：

cd docs
mint dev
mint broken-links
mint validate