研究概述
论文指出两类影响评测结果的问题：agent 可能获取泄漏的参考解或隐藏评测信息；部分任务的描述存在误导，测试范围也可能不合理。SWE-Bench Pro Verified 结合信息泄漏防护与任务修正，针对性地修改任务描述和测试。论文通过评测与轨迹分析，研究这些改动如何影响得分。与 AgentCompass 的关系
论文在 AgentCompass 中发布代码。你可以通过swebench_pro_verified 集成运行该 Benchmark；使用文档介绍了防护措施、支持的 Environment、参数与评测输出。