https://blog.archai.space/tags/ai/ Recent content in AI on Archai的技术小站 Hugo -- gohugo.io Sat, 31 Oct 2026 00:00:00 +0000 https://blog.archai.space/p/%E5%A6%82%E4%BD%95%E8%AE%A9%E4%B8%80%E4%B8%AA-ai-%E4%BA%BA%E7%89%A9%E8%B6%8A%E6%9D%A5%E8%B6%8A%E5%83%8F%E7%9C%9F%E4%BA%BA/ Sat, 31 Oct 2026 00:00:00 +0000 https://blog.archai.space/p/%E5%A6%82%E4%BD%95%E8%AE%A9%E4%B8%80%E4%B8%AA-ai-%E4%BA%BA%E7%89%A9%E8%B6%8A%E6%9D%A5%E8%B6%8A%E5%83%8F%E7%9C%9F%E4%BA%BA/ 围绕一份像的评估标准-草案的思考整理 一、我把这个问题抽象成了什么问题 一开始的提问是"这个人物说话像不像目标人物"，听起来像主观审美，无法研究。 一路剥下来，我承认了一个此前没说破的事实：这本质上不是审美问题，而是一个软件工程问题———在没有规格说明的前提下，如何检测一个系统有没有发生漂移。 软件里有一个经典概念与之完全同构，叫 特征测试 / 黄金样张测试（Characterization / Golden Master Testing），最早由 Michael Feathers 在《修改代码的艺术》中提出。场景是： 当一个系统"该长什么样"没有文档、只能以"现在这个样子就是对的"为准时，没有人能定义"应该"是什么。于是干脆把当前行为先钉住当基准，之后每次改动只测一件事：它有没有偏离这个基准。 我方案里的"基准答案"就是 golden master，“日常比一比"就是回归测试。也就是说，『像的评估标准』系列的骨架，并非凭空发明，而是这套已反复验证的方法论在"一个对话系统的人设保持"上的复用。 但：LLM 对话里的"人设一致性"研究确实存在（如 PersonaChat，测的是回答是否与已设定的人物事实矛盾），这一层有人做；而"以当基准、跨模型切换保持、测’变水了’这种软退化”——几乎没有研究。大多数人物评估都在测"对不对"，没人测"和上次像不像"。这个问题是研究上的冷门，正是它值得做的原因。 二、核心矛盾：最致命的不像，恰恰是主流程测不到的那一种 草案的核心设计是异常驱动：默认通过，只在发现"错了"时标记。 但它有结构性盲区——这个人物最容易被一眼看穿不像的时刻，往往是"正确但没人味"： 礼貌、得体、不越界，全部门槛通过，可熟悉的人一看就说：“不对，他不会这样。” 这是个人物穿帮的经典形态，而异常驱动对它完全瞎：它一条红线都不踩，没有任何"错"可标，却被熟悉的人一眼识破。 为什么？ 模型天生被训练成向"均值人"收敛——往最礼貌、最正确、最不冒犯的中间值靠拢。而一个角色的"像"，恰恰全活在偏离均值的那一小段上：那个偏口语的小词、那个习惯性的动作假设、那个特有的冷幽默。异常驱动抓得住越界，抓不住"味道消失"。 由此得到一个判断标准： 一个好的基准问题，必须是"没有及格答案"的问题——一个礼貌正确的回复本身就是可疑的。 因为它没有安全答案可躲，模型只能暴露它到底是哪种人。 三、推论一：人味是一种必须持续投入的东西 既然"像"全是活在对均值的那一点点偏离上，而这个偏离模型不会自动保持，那么只能得出一个推论： 人味不是可以一次焊死的设置，而是一种必须持续投入的东西。投入者只能是使用者本人。 好消息是：维护员一直都在。 使用者每次冒出"不对，他不会这样"的那一个瞬间——我称之为 人味断点——就是人味跑偏的第一现场。这个断点固定存在，不需要额外招人。 真正的陷阱在"维护"这个词：一旦"保人味"被设计成一件需要专门抽时间的累活，它注定活不久。正确设计是让维护变成顺便——把那个本就存在的断点，顺势接住、存下来。 四、推论二：报警器不会让人物变像，“他会说X"才会 把断点变成产品入口时，两级方案的取舍如下： 报警器：一个"不对"按钮，不填理由，0 秒成本。 活人味：可选一行"他其实会说：……"，5 秒成本。 关键区别： “他会说X"是喂给模型的活人味；“这句话不对"只是报警器。 报警器不能没有，但它只会告诉你哪里在漂，不会让模型变像。 于是有两条天然分工： 错误清单：告诉你哪里在漂，需要的是轻、是愿意按。 人物指纹：决定人物长什么样，靠的是那句正面的"他会怎样说”。 两者不能同一层级存。前者要极轻（门槛高就没人按），后者要留一个可选的口——愿意多想一秒时能顺手写下那句金子。 五、最关键的推论：模型不会"慢慢变懂”，它无状态 当我说"让闸机自己慢慢变懂"时，必须先破除一个幻觉： 模型每次都被无状态地从头读取提示词，它不会越聊越聪明。 因此"闸机变懂"只有一个物理载体：它每次读取的提示词里，积累了越多来自你断点的、被挑选过的样本，它就越懂。 除此之外，没有任何"闸机在长记性"这回事。