跳转到主要内容
FrontierScience 评测专家级科学研究任务,并使用 judge model 评分。

Runtime Status

FieldValue
Benchmark idfrontierscience
TagsDeep Research, Science, Judge-Scored
Execution typelocal with judge
Typical harnessnaive_search_agentresearchharness
Typical environmenthost_process
Current statusregistered in the direct runtime

Run Example

agentcompass run \
  frontierscience \
  naive_search_agent \
  your-model \
  --env <env-provider> \
  --benchmark-params '{"sample_ids":["<task-id>"]}' \
  --model-base-url "$MODEL_BASE_URL" \
  --model-api-key "$MODEL_API_KEY"

Common Parameters

ParameterMeaning
category过滤任务类别。
subject过滤科学学科。
judge_model评分使用的 judge model spec。
research_pass_thresholdscorer 使用的通过阈值。

Outputs

单任务详情写入 results/frontierscience/<model>/<run>/details/,聚合结果写入 summary.md