围绕一份像的评估标准-草案的思考整理

一、我把这个问题抽象成了什么问题

一开始的提问是"这个人物说话像不像目标人物"，听起来像主观审美，无法研究。

一路剥下来，我承认了一个此前没说破的事实：这本质上不是审美问题，而是一个软件工程问题———在没有规格说明的前提下，如何检测一个系统有没有发生漂移。

软件里有一个经典概念与之完全同构，叫 特征测试 / 黄金样张测试（Characterization / Golden Master Testing），最早由 Michael Feathers 在《修改代码的艺术》中提出。场景是：

当一个系统"该长什么样"没有文档、只能以"现在这个样子就是对的"为准时，没有人能定义"应该"是什么。于是干脆把当前行为先钉住当基准，之后每次改动只测一件事：它有没有偏离这个基准。

我方案里的"基准答案"就是 golden master，“日常比一比"就是回归测试。也就是说，『像的评估标准』系列的骨架，并非凭空发明，而是这套已反复验证的方法论在"一个对话系统的人设保持"上的复用。

但：LLM 对话里的"人设一致性"研究确实存在（如 PersonaChat，测的是回答是否与已设定的人物事实矛盾），这一层有人做；而"以当基准、跨模型切换保持、测’变水了’这种软退化”——几乎没有研究。大多数人物评估都在测"对不对"，没人测"和上次像不像"。这个问题是研究上的冷门，正是它值得做的原因。

二、核心矛盾：最致命的不像，恰恰是主流程测不到的那一种

草案的核心设计是异常驱动：默认通过，只在发现"错了"时标记。

但它有结构性盲区——这个人物最容易被一眼看穿不像的时刻，往往是"正确但没人味"：

礼貌、得体、不越界，全部门槛通过，可熟悉的人一看就说：“不对，他不会这样。”

这是个人物穿帮的经典形态，而异常驱动对它完全瞎：它一条红线都不踩，没有任何"错"可标，却被熟悉的人一眼识破。

为什么？ 模型天生被训练成向"均值人"收敛——往最礼貌、最正确、最不冒犯的中间值靠拢。而一个角色的"像"，恰恰全活在偏离均值的那一小段上：那个偏口语的小词、那个习惯性的动作假设、那个特有的冷幽默。异常驱动抓得住越界，抓不住"味道消失"。

由此得到一个判断标准：

一个好的基准问题，必须是"没有及格答案"的问题——一个礼貌正确的回复本身就是可疑的。 因为它没有安全答案可躲，模型只能暴露它到底是哪种人。

三、推论一：人味是一种必须持续投入的东西

既然"像"全是活在对均值的那一点点偏离上，而这个偏离模型不会自动保持，那么只能得出一个推论：

人味不是可以一次焊死的设置，而是一种必须持续投入的东西。投入者只能是使用者本人。

好消息是：维护员一直都在。 使用者每次冒出"不对，他不会这样"的那一个瞬间——我称之为 人味断点——就是人味跑偏的第一现场。这个断点固定存在，不需要额外招人。

真正的陷阱在"维护"这个词：一旦"保人味"被设计成一件需要专门抽时间的累活，它注定活不久。正确设计是让维护变成顺便——把那个本就存在的断点，顺势接住、存下来。

四、推论二：报警器不会让人物变像，“他会说X"才会

把断点变成产品入口时，两级方案的取舍如下：

  • 报警器：一个"不对"按钮，不填理由，0 秒成本。
  • 活人味：可选一行"他其实会说：……"，5 秒成本。

关键区别：

“他会说X"是喂给模型的活人味；“这句话不对"只是报警器。 报警器不能没有，但它只会告诉你哪里在漂，不会让模型变像。

于是有两条天然分工：

  • 错误清单：告诉你哪里在漂，需要的是轻、是愿意按。
  • 人物指纹：决定人物长什么样，靠的是那句正面的"他会怎样说”。

两者不能同一层级存。前者要极轻（门槛高就没人按），后者要留一个可选的口——愿意多想一秒时能顺手写下那句金子。

五、最关键的推论：模型不会"慢慢变懂”，它无状态

当我说"让闸机自己慢慢变懂"时，必须先破除一个幻觉：

模型每次都被无状态地从头读取提示词，它不会越聊越聪明。

因此"闸机变懂"只有一个物理载体：它每次读取的提示词里，积累了越多来自你断点的、被挑选过的样本，它就越懂。 除此之外，没有任何"闸机在长记性"这回事。

这带来一个残酷但关键的推论：

断点是噪音，不能直接回灌

按下的断点大多是报警器，只有"不对”、没有"他会怎么说"。如果直接把一堆"不对"倒进闸机，就喂给了它全是"怎么做错"的信号——而模型本来就不缺这个。 闸机只会变得更保守、更均值、更没人味，恰好与目标相反。

所以回灌必须设一道闸：

只有"他会说X"这种正样本才有资格转正进闸机；“不对"只是候选，永不直接进。

六、设计决策：一条闭合的人味反馈环

把以上推论拼起来，得到一个完整闭环——人味反馈环：

断点 → 机器提议转正 → 你点头 → 进闸机 → 回灌进每条回复 → 更好的回复触发新的断点。

逐步拆解：

  1. 断点：使用者"咔一下"发现"不对，他不会这样”，这是信号起点。
  2. 机器提议转正：系统从断点里自动挑出"可能值得记住"的候选，列给使用者。只有正面样本（“他会说X”）够格，报警器只是候选。
  3. 你点头：人保留最终那一下确认。这是整条环上唯一非机器可替代的环节。 省掉它，闸机就学进模型自己的口味，人味漂成模型味。
  4. 进闸机：点头后的样本写进提示词，成为"合理范围"与正例的一部分。
  5. 回灌：它作用在之后每一条回复上。
  6. 循环：更好的回复又触发新的断点。

为什么"点头"一步不能省： 无脑点通过的断点同样会污染闸机。这与草案第 0 节"鼓励改、警惕无脑通过"的原则一脉相承——那是对基准说的，这里是对方言说的：两次都靠人把关，人味才不被机器的口味取代。

七、这套闭环的本质与边界

它是什么

  • 是让评估标准从静态变成活标准的地基：闸机每天照常跑，但它读的提示词里，慢慢长进你点头认可过的样本。
  • 是一条以人味不可自我维持为前提的路线：它不假装模型会自动变像，而是依赖使用者的持续投入。

它的边界

  1. 只测"是否符合已确认的人味"，不测"人味本身好不好"。设定平庸时，全套通过也说明不了产品有价值。
  2. 单人评审仍有主观漂移。“点头"缓解但不能消除，长期可考虑用参考回答做锚点。
  3. 回灌依赖人持续把关。疲惫时无脑通过，会让闸机学进错误口味——这是最大的实务风险。
  4. 它不产生分数。“更像我的人味"只能以累积样本的数量与方向表达，不能给出"人味度 78 分”——假精确比没有更糟。

八、一句话收束

你的每一次"咔一下”，经过你的一次点头，就变成这个人物多懂一分自己的证据。 它慢，但它是唯一一条不会把人物漂成模型味的路线——因为那一下点头，是整条环上机器替代不了的环节。