回归评估（Regression） 评测与工程

它是什么

回归评估（Regression）回答的问题是「改动之后，以前能做到的还做不做得来」：改动前后各跑一遍同一个冻结任务集，用通过率与失败模式分布确认「没变坏」。它与能力评估（capability eval，问「能不能做到」）互补——能力评估通过率爬高的任务可以「毕业」进回归套件，长期盯防倒退。

两个前提

回归要成立，两个前提缺一不可：任务集冻结（同一批任务才能对比——今天加一个、明天删一个，分数就没法比了）与判分可复现（同样的 trace 永远得到同样的分数）。后者正是 mock model 的用武之地：真实模型每次输出不同、同一条 prompt 跑三次三个结果，没法对比；确定性脚本模型让回归零成本、零随机、可进 CI——每改一行 prompt 都能立刻看到通过率从 100% 掉到 50% 这种数字。

在本教程的位置

第 13 章用「改动前 100% / 改动后 50% + byMode 指向 planning」的演示把回归的用法讲透：改了一行「要简洁」的 prompt，t1–t6 里 t2、t3、t4 挂掉，报告直接告诉你「不查景点就回答」正是线上投诉的那个症状。第 14 章起这套评估 harness 就是产品演进的质量闸门。