不用复杂平台，也能做一套小型 AI 评测集

更换模型或修改提示词后，最常见的判断方式是随手试一条输入，看看输出“感觉有没有变好”。这种比较容易受到样本、措辞和当下期待影响：一份漂亮答案可能掩盖其他输入上的退步，也无法告诉我们具体改进了什么。

日常任务不一定需要复杂评测平台。一个文件夹、一张表格和一套固定规则，就能建立可重复的小型评测集。它的目的不是给模型排总榜，而是回答一个窄问题：当前方案是否更适合自己的工作流。

先固定评测对象

不要同时评估“所有写作能力”。选择一个会重复出现的任务，例如从会议记录提取待办、把产品说明改成客服回复，或检查文章中的无依据陈述。写下一句话任务定义，并说明输出将用于哪里。

接着列出最容易失败的情形：输入过长、信息缺失、存在冲突、包含无关段落、要求特殊格式。样本应覆盖这些边界，而不只是最整洁的普通案例。材料必须来自有权使用的内容，并在保存前去除不必要的身份信息。

每条样本保存四样东西

可以用 Markdown、CSV 或表格管理，字段保持简单：

样本编号：
输入材料：
任务要求：
关键检查点：
- 必须包含：
- 不得出现：
- 信息不足时应如何回应：
备注：这个样本代表哪类风险

“标准答案”并非总是必要。开放式写作可以保存关键检查点和一个可接受示例；信息抽取则适合列出明确字段。重点是让评分者知道要检查什么，而不是要求输出逐字一致。

设计能执行的评分规则

评分维度最好直接对应任务风险。以资料总结为例，可以检查：

• 忠实性：结论是否都能在输入中找到依据；
• 完整性：关键事项是否遗漏；
• 边界处理：缺失与冲突是否被标记，而非自行补写；
• 格式：结果是否能进入下一步工具；
• 可用性：读者是否能据此采取预期行动。

每项可以用“通过 / 不通过 / 不适用”，并要求为不通过写一句原因。简单标签通常比含义模糊的综合分更容易复查。若确实需要分级，先写清每一级对应的可观察现象。

固定一次复测流程

比较两个方案时，使用完全相同的样本、输入顺序、参数和评分表。先保存原始输出，再评分，不要只保留修改后的漂亮版本。若评分含主观判断，可先隐藏方案名称，减少对新模型或新提示词的偏好。

结果表至少记录：方案版本、样本编号、各维度判断、失败原因和复核状态。看结果时不要只算通过项，还要把失败按原因聚类：是虚构信息、遗漏、格式破坏，还是对歧义处理不当。失败类型比一个总分更能指导下一次修改。

让评测集跟着问题生长

评测集不是一次性作业。工作中发现新的失败模式时，先脱敏，再把它改造成回归样本，并注明加入原因。提示词、评分规则或任务边界发生变化，也要记录版本，避免拿不同口径的结果直接比较。

同时保留一小部分长期不变的样本，用来观察旧能力是否退步；新增样本则覆盖刚出现的问题。不要因为某个方案表现不佳就删除难例，那些样本往往最接近评测集的价值所在。

一个小型评测集不能证明系统在所有场景都可靠，也不能替代专业审查。它能做的是把“我觉得更好”变成可回看、可讨论、可复测的证据。先从一个明确任务和一张朴素表格开始，已经足够让迭代不再完全依赖印象。