持续验证循环
概述
持续验证循环是 Harness 中代码修改后自动运行测试并进入修复循环的质量保障机制,确保每次代码变更都经过适当层次的验证。
关键内容
-
验证流程:Agent 修改代码 → 自动运行单测(快速)→ 通过则继续下一步 → 失败则自动进入修复循环(最多 3 次尝试)→ 超过 3 次失败则触发 三级自主权模型 级别 2 协议(请求人工确认)。
-
多层次验证:应用开发有多层次的正确性标准——语法正确性(代码是否编译)、单测通过(功能是否如期工作)、集成测试(组件交互是否正确)、端到端测试(用户流程是否完整)。Harness 需要在每个检查点运行适当层次的验证。
-
与 Evaluator-Optimizer 模式 的关系:持续验证循环是 Evaluator-Optimizer 模式的具体实现——Agent 是 Optimizer(生成代码修改),测试套件是 Evaluator(验证正确性),修复循环是优化迭代过程。
-
快速反馈优先:验证循环优先运行快速的单测,只有通过单测后才可能运行更耗时的集成测试或端到端测试。这确保 Agent 能在最短时间内获得反馈,减少资源浪费。
-
自动修复限制:修复循环最多尝试 3 次,超过后自动升级到人机协作协议。这防止 Agent 在顽固问题上无限循环消耗资源,同时确保问题得到适当的人工关注。
来源
- 14_harness_design_long_running.md — 第四节"质量保障集成",持续验证循环章节
相关
- Harness 设计 — part_of (是质量保障的核心组件)
- Evaluator-Optimizer 模式 — extends (是 Evaluator-Optimizer 的具体实现)
- 三级自主权模型 — relates_to (修复失败时自动升级)
- 特性追踪器 — relates_to (验证目标是特性关联的测试用例)