单次 Run 并发
--task-concurrency 控制当前 run 中可并行执行的 benchmark task 数量。
Provider Limits
Provider limit 来自代码默认,也可通过私有配置文件里的runtime.provider_limits 覆盖。默认每个 provider 都是 128,即使某个 run 请求更高 task concurrency,也会被进程级 provider limit 限制。
| 限制 | 控制对象 |
|---|---|
task_concurrency | 单个 run 中的任务。 |
runtime.provider_limits.<provider> | 进程级 provider session。 |
| Model endpoint rate limit | 外部 API 吞吐和 retry 行为。 |
实用流程
- 先用一个
sample_ids任务验证。 - 逐步提高
--task-concurrency。 - 观察模型错误、provider startup time 和 task timeout。
- 保持 provider limit 低于账号或集群 quota。
