| 参数 | 类型 | 默认值 | 可选值 / 取值 | 说明 |
|---|---|---|---|---|
category | 字符串 | 列表 | all | airline、retail、telecom、telecom-workflow、banking\_knowledge、all；或以上任意组合的列表 | 评测域。all = 四个文本域 airline/retail/telecom/banking\_knowledge。telecom-workflow 为电信的工作流策略版本。传列表可同时运行多个域。 |
task\_split | 字符串 | base | base、test、train；telecom 额外支持 small、full | 任务数据划分；base 是提交官方排行榜使用的数据划分，固定的 v1.0.1 数据集已包含其评测评分标准。banking\_knowledge 没有训练/测试数据划分，只提供已发布的完整集：仅接受 base（或省略）。因此 category=all（含银行业）搭配非 base 数据划分会直接报错，而非静默忽略 —— 此时请显式排除 banking\_knowledge 或改用 base。 |
max\_steps | 整数 | 200 | ≥ 1 的整数 | 单次仿真最大步数，超过即截断。 |
max\_errors | 整数 | 10 | ≥ 0 的整数 | 累计错误达到该数即提前终止仿真。 |
solo\_mode | 布尔值 | false | true / false | 单独模式：关闭用户模拟器，agent 仅与 Environment 交互。仅 telecom / telecom-workflow 支持（零售/航空/banking\_knowledge 不支持）。当 category=all 时会自动收窄到支持单独的域（并给出警告）；若显式指定了不支持的类别则直接报错，而非静默丢弃。 |
user\_model | 字典 | null | \{id, base\_url, api\_key, api\_protocol} | 扮演顾客的 LLM，不传则复用被测 model。 |
judge\_model | 字典 | 必填 | \{id, base\_url, api\_key, api\_protocol} | 裁判 LLM。必填 —— 不会回落到被测 model；未指定时该次评测直接报错。 |
retrieval\_variant | 字符串 | alltools | 20 个可选值（见 retrieval\_variant） | 仅 banking\_knowledge：agent 访问知识库的方式。 |
retrieval\_kwargs | 字典 | \{} | 见 retrieval\_kwargs 的字段 | 仅 banking\_knowledge：传给 resolve\_variant 的覆盖项。 |
embedding\_model | 字典 | null | \{id, base\_url, api\_key} | 仅 banking\_knowledge 且方案为稠密检索类时需要：嵌入端点。 |
reranker\_model | 字典 | null | \{id, base\_url, api\_key, api\_protocol} | 仅 banking\_knowledge 且方案为 \*\_reranker\* 时需要：LLM 重排端点，留空复用被测 model。 |
| 可选值 | embedding\_model | reranker\_model | srt sandbox | 说明 |
|---|---|---|---|---|
no\_knowledge | · | · | · | 不提供知识库（基线） |
full\_kb | · | · | · | 整库注入提示词（上界） |
golden\_retrieval | · | · | · | 仅提供相关文档（理想检索） |
bm25 | · | · | · | 纯 BM25 检索（离线） |
bm25\_grep | · | · | · | BM25 + grep 工具（离线） |
grep\_only | · | · | · | 仅 grep 工具（离线） |
bm25\_reranker | · | ✔ | · | BM25 + LLM 重排 |
bm25\_reranker\_grep | · | ✔ | · | BM25 + grep + LLM 重排 |
openai\_embeddings | ✔ (openai) | · | · | 稠密向量检索 |
openai\_embeddings\_grep | ✔ (openai) | · | · | 稠密 + grep |
openai\_embeddings\_reranker | ✔ (openai) | ✔ | · | 稠密 + 重排 |
openai\_embeddings\_reranker\_grep | ✔ (openai) | ✔ | · | 稠密 + grep + 重排 |
qwen\_embeddings | ✔ (openrouter) | · | · | 稠密（qwen） |
qwen\_embeddings\_grep | ✔ (openrouter) | · | · | 稠密（qwen）+ grep |
qwen\_embeddings\_reranker | ✔ (openrouter) | ✔ | · | 稠密（qwen）+ 重排 |
qwen\_embeddings\_reranker\_grep | ✔ (openrouter) | ✔ | · | 稠密（qwen）+ grep + 重排 |
terminal\_use | · | · | ✔ | 只读终端检索 |
terminal\_use\_write | · | · | ✔ | 可写终端检索 |
alltools | ✔ (openai) | · | ✔ | BM25 + 稠密 + 终端检索（官方默认 / 排行榜） |
alltools-qwen | ✔ (openrouter) | · | ✔ | 同上，稠密使用 qwen |
| 字段 | 类型 | 默认值 | 生效于 | 说明 |
|---|---|---|---|---|
top\_k | 整数 | 10 | bm25\* / \*embeddings\* / alltools\* | 知识库搜索（稠密/bm25）返回的文档数 |
grep\_top\_k | 整数 | 10 | \*\_grep / grep\_only | grep 工具返回条数 |
case\_sensitive | 布尔值 | false | \*\_grep / grep\_only | grep 是否区分大小写 |
reranker\_min\_score | 整数 | 5 | \*\_reranker\* | 重排器保留的最低分 |