测试仅保留本地
AgentCompass 的开发测试和回归测试仅保留本地,不在公开代码仓库中维护测试文件。测试脚本和夹具,包括仓库自动化的测试,应放在已忽略的根目录tests/ 下。不能改放其他目录后提交,不能使用 git add -f 强制加入,也不能删除或放宽现有 .gitignore 规则。Benchmark 运行时的评测器和必要验证器资源属于集成本身,不属于这里的开发测试范围。
需要时可以通过本地测试验证行为,再在 PR description 中记录准确命令、结果及必要的脱敏证据。全新克隆不会包含这些本地文件,因此应说明复现检查所需的本地夹具。Code review 应评估验证证据和具体未验证行为,不能把提交测试文件作为要求。
运行基础检查
公开代码仓库目前没有统一的项目测试套件、已声明的pytest 工作流或 CI 测试任务,当前 PR 工作流只运行 pre-commit。不能把笼统的 pytest 命令列为代码仓库的验证结果,应记录实际执行的本地目标和准确命令。这不降低正确性要求;仍应结合现有静态检查、组件发现、配置检查、必要的本地检查和有代表性的单任务执行来验证变更。
开发期间,对修改的文件运行 pre-commit:
按变更范围验证
先根据当前安装版本检查组件与配置,不能依赖记忆中的组件列表:config docs 不支持 Analyzer 的 conf 字典和 Recipe 类;对于这些内容,应对照源码和 runtime 输出核对文档中的配置键。
在不启动评测的情况下检查合并后配置:
agentcompass run 没有 --dry-run 选项。编排试运行会验证并输出解析后的请求,但不会加载 Benchmark 任务、打开 Environment、执行 Harness、对结果评分或证明清理行为,因此不能替代单任务冒烟运行。
再运行一个已知任务。选择本地可用的公开 Benchmark 和稳定任务 ID,并尽量减少无关变量:
--max-retries 0,避免重试掩盖第一次失败。分享命令前必须删除凭证和私有端点信息。
根据变更内容检查生成的 run_info.json、params.json、details/、summary.md 和运行日志。仅凭进程退出不能证明结果正确;还应验证任务 ID、解析后的执行计划、状态、错误类别、最终答案或产物、Benchmark 得分、清理事件以及汇总指标使用的分母。
最后只补充所改范围特有的验证:
涉及生命周期或兼容性时,还应检查相关边界,例如可选输入与必需输入、有效零分与评测器失败,或超时、取消后的清理。持久化状态和错误必须能够区分 Harness、Environment 与 Model 故障,不能把不同失败统一成一个通用异常。只有共享 runtime 变更会影响其他公开 Environment 组合时,才扩展验证范围。
有意重写汇总前,先运行:
tests/ 下,在 PR description 中记录准确调用方式和结果;必要时可在描述中附小型脱敏夹具或摘录说明证据,但不提交测试文件,也不能把本地检查描述成仓库维护的测试套件。
记录验证证据
PR 中记录的每项检查都应包含:- 完整且已脱敏的命令、验证所用提交版本、相关依赖或 provider 版本,以及所选公开 Benchmark、任务 ID、Harness、Environment 和 Model 协议;
- 检查结果(通过或失败),以及重要的输出字段或产物路径;
- 未运行的检查、具体原因及其对风险判断的影响;
- 得分对比所使用的任务范围、设置和分母。
