给 AI 输出加一道验证：从聊天框到工作流

在聊天框里，我们习惯输入一个问题，等待一份完整答案。但在真实任务中，“一次生成”通常不是结束，而只是工作流的中间产物。

更可靠的思路，是提前设计谁来生成、怎样检查、什么情况下必须交给人判断。

先区分三种错误

不同错误需要不同的验证方式：

• 事实错误：输出加入了原材料不存在的信息；
• 任务错误：回答很流畅，却没有完成真正目标；
• 格式错误：内容基本正确，但无法进入下一个工具或流程。

如果只让模型“再检查一遍”，它可能重复原来的假设。验证步骤应该针对具体错误类型，而不是一句笼统的自我反思。

一个最小闭环

可以把工作流拆成四步：

原始材料
  ↓
生成：产出结构化初稿
  ↓
验证：逐条检查证据、规则和格式
  ↓
修订：只修改验证失败的部分
  ↓
人工确认：处理高风险判断并发布

生成和验证最好使用不同的指令。前者关注完成任务，后者只负责寻找问题。

让每条结论带着证据

处理长文、访谈或研究材料时，我会要求输出把“结论”和“依据”分开：

结论：
原文依据：
原文位置：
置信状态：明确 / 存疑 / 材料未说明

这样做不能保证模型永远正确，却能让人工核查从“重新读完整篇材料”变成“检查若干明确位置”。如果无法提供原文位置，该结论就不能直接进入成稿。

用规则检查能确定的部分

格式、字段和数值范围不需要全部交给另一个模型。能用普通代码确定的事情，优先使用确定性规则：

• JSON 是否符合 schema；
• 必填字段是否缺失；
• 日期格式是否统一；
• 引用编号是否真实存在；
• 总数是否与明细相符。

模型适合处理含义模糊的判断，程序适合处理明确规则。把两者放在正确位置，通常比反复增加提示词更可靠。

明确人工必须负责的节点

涉及公开事实、隐私、医疗、法律、财务或重要决策时，人工确认不是可选的装饰。工作流应该明确谁负责最终判断，以及需要看到哪些证据。

Google 的 Responsible Generative AI 指南也把事实性、公平性与安全性评估视为生成式 AI 生命周期中的持续工作，而不是上线前的一次检查。查看评估指南

评估整个系统，而不只是模型

一次输出的质量只是系统的一部分。更值得长期记录的指标包括：

1. 需要人工修改的比例；
2. 严重错误是否被验证步骤拦截；
3. 完整流程耗时和调用成本；
4. 新类型输入出现时，失败是否容易被发现。

可靠的 AI 工作流并不要求模型从不犯错。它要求错误尽量可见、可定位，并在造成后果之前被拦住。

从这个角度看，真正值得设计的不是一段完美回答，而是一条允许不完美、却能够持续纠正的路径。