行为回归测试

概述

行为回归测试（Behavioral Regression Testing）是 AI 系统特有的测试方法，通过维护覆盖多行为维度的评测套件，检测提示更新、配置变更或模型升级对系统行为的意外影响。

关键内容

1. 定义与传统回归测试的区别：行为回归测试是 AI 系统中用于检测变更对模型行为意外影响的测试方法。与传统软件的回归测试（验证代码逻辑是否正确）不同，行为回归测试关注的是 LLM 输出的"质量"和"行为"是否符合预期。传统回归测试有明确的对错标准，而行为回归测试需要定义行为维度的评测指标。

2. 在预防提示更新副作用中的作用：行为回归测试是阻止"意外影响"的关键防线。当提示词发生变更时，行为回归评测套件可以检测这一变更是否影响了模型在其他任务上的表现。这是预防提示更新副作用的核心手段。

3. 从事故中提炼：好的 Postmortem 实践会将失败案例加入评测套件，防止相同失败复发。Anthropic 的改进模式包括：将失败案例加入评测套件、改进部署流水线增加金丝雀发布阶段、加强生产监控添加特定行为质量指标。

4. 实施要点：维护覆盖多行为维度的回归评测套件，确保评测覆盖各类任务场景；将行为回归测试纳入 CI/CD 流水线，在提示或模型变更前自动执行；建立行为质量基线，检测行为偏离；监控不只是技术指标，还包括行为质量指标。

来源

• 18_postmortem.md — Anthropic Engineering Blog 原文《A postmortem of three recent issues》

相关

• 评测驱动开发 — extends（行为回归测试是评测驱动开发在 AI 系统中的具体实践）
• 提示更新副作用 — relates_to（行为回归测试是预防提示更新副作用的关键防线）
• Postmortem 文化 — relates_to（失败案例加入评测套件是 Postmortem 推动的系统改进）