写 AI 文章前，我会先记下这 7 项信息

AI 内容很容易滑向两个极端：一种只是转述产品发布，另一种只展示一张效果惊艳的截图。它们可能很新鲜，却很难回答一个更重要的问题：这个方法换一个人、换一份材料，还能不能成立？

因此，在写下一篇实验记录之前，我会先保存七项信息。它们不是为了让文章显得专业，而是为了让结论可以被检查。

1. 任务是什么

先用一句话描述要解决的真实问题，例如“把访谈记录整理成带原文依据的主题摘要”，而不是笼统地写“测试模型总结能力”。

一个清楚的任务通常包含输入、期望输出和使用场景。任务越具体，后面越容易判断 AI 到底有没有帮上忙。

2. 基线是什么

没有基线，“提效”只是感觉。基线可以是人工完成同一任务所需的时间，也可以是原来的规则、模板或搜索流程。

我会至少记录：

• 原流程耗时多少；
• 最容易出错的环节是什么；
• 哪些质量要求不能被牺牲。

3. 使用了什么版本

模型会更新，同一个名称背后的行为也可能变化。文章应该写明模型或产品版本、测试日期，以及是否启用了联网、文件读取或其他工具。

OpenAI 的官方文档也建议，在需要稳定行为时固定模型版本，并通过评测检查表现变化。查看相关说明

4. 完整输入是什么

只贴“优化后的神奇提示词”还不够。上下文材料、系统指令、示例和输出格式都会影响结果。

涉及隐私时可以脱敏或使用结构相同的公开材料，但应该解释做了哪些处理，避免读者误以为模型只靠一句指令就完成了全部工作。

5. 怎样算成功

评价标准要在看结果之前确定。否则我们很容易被流畅的文字说服，再临时挑选对它有利的指标。

例如，摘要任务可以从四个维度评分：

1. 关键事实是否完整；
2. 每条结论能否在原文定位；
3. 是否加入了材料里没有的信息；
4. 人工修改到可发布还需要多久。

评测不一定需要复杂平台。一个包含固定样本、评分规则和失败记录的表格，已经比“我觉得不错”可靠很多。大型项目则可以进一步使用专门的 Evals 工具，把测试标准和样本持续保存下来。OpenAI Evals 文档

6. 失败在哪里

最有价值的截图往往不是最好的一次，而是最典型的一次失败。我会保留遗漏、误解、虚构引用和格式漂移等样本，并尝试判断它们出现的条件。

失败案例能够告诉读者：什么时候需要人工复核，什么时候应该换一种方法，以及这个工作流的成本藏在哪里。

7. 结论的边界是什么

一次实验只能支持有限的结论。它可能只对某种长度的中文材料、某一类任务或某一版本模型有效。

与其写“AI 已经可以替代某项工作”，不如写得更准确：

在这些样本和评价标准下，这套流程减少了哪些重复步骤；仍然需要人负责哪些判断。

一份可以复用的记录模板

以后这里的实验文章会尽量遵循同一套结构：

任务：
测试日期与版本：
输入材料：
基线流程：
提示词与工具：
评价标准：
结果与失败样本：
适用边界：

AI 变化很快，单次结论会过期。但如果过程记录得足够清楚，即使模型更新，这篇文章仍然能提供一种检查问题的方法。