3942 字
20 分钟
大模型幻觉的根因:不是“坏了”,而是太会补全

大模型幻觉最麻烦的地方,不是它会错。

人会错,数据库会错,搜索引擎也会错。真正危险的是:**大模型常常以一种非常流畅、完整、镇定、结构清晰的方式错。**它不像传统软件那样报错,也不像人类那样迟疑、停顿、皱眉、翻资料。它会继续说下去,而且说得像刚从一份内部报告里摘出来的一样。

所以我们要问的不是:“为什么大模型偶尔会出错?”

更准确的问题是:为什么一个越强、越聪明、越会推理的模型,反而有时越容易自信地给出没有根据的答案?

这不是一个单点 bug,而是大模型整个技术栈的自然副作用。

一、语言模型的底层任务不是“求真”,而是“补全”#

大模型最底层的训练目标,是根据上下文预测下一个 token。换句话说,它首先学会的不是“查明事实”,而是“在这个语境下,接下来最像人类文本的内容是什么”。

这件事本身非常强大。正因为如此,模型能写文章、写代码、总结材料、解释概念、模仿风格、翻译语言。但同一个机制也埋下了幻觉的种子:

当上下文要求一个答案,而模型内部没有足够可靠的证据时,它仍然倾向于生成一个“像答案的答案”。

这和传统数据库完全不同。数据库查不到,会返回空值。搜索引擎查不到,会给你一堆不相关链接。语言模型查不到,往往会补全一个听起来合理的句子。

这不是因为它“想骗人”,而是因为它被训练成了一个高性能的语言补全系统。它的默认动作是继续生成,而不是停下来承认:“这里我不知道。”

二、参数知识不是知识库,而是压缩后的统计痕迹#

很多人以为大模型“记住”了训练数据里的知识。这个说法有一定道理,但容易误导。

模型参数并不是一个可以精确查询的百科全书。它更像是从海量文本里压缩出来的统计结构:哪些词常常一起出现,哪些概念彼此相关,哪些表达在什么语境里显得合理。

所以,当你问它一个事实问题时,它可能会调用很多碎片:

  • 2026 年世界杯有 48 支球队;
  • 世界杯在美国、加拿大、墨西哥举办;
  • 某些球队历史上经常晋级;
  • 某些赛制安排听起来合理;
  • 某些新闻标题曾经出现过类似表述。

这些碎片并不等于一个完整、最新、可核查的事实表。

问题在于:模型非常擅长把碎片拼成一张看起来完整的地图。地图很漂亮,边界也圆滑,但其中一部分可能根本没有地基。

这就是参数知识导致的虚假自信:模型不是完全不知道,而是“好像知道一点”。而“好像知道一点”比“完全不知道”更危险。

三、能力提升会让错误更有说服力#

早期 TruthfulQA 研究发现,在一些专门诱导人类常见误解的问题上,大模型并不天然更诚实。论文摘要里有一句很刺眼的话:“The largest models were generally the least truthful.” 也就是说,在被测试的那些模型和问题上,最大的模型反而通常最不真实。原因是它们更会模仿训练语料中的人类错误观念。(TruthfulQA, ACL 2022)

这不是说今天所有大模型都遵循同样规律。后来的指令微调、RLHF、安全训练、工具增强已经显著改变了模型行为。但 TruthfulQA 揭示了一个核心事实:

能力提升不自动等于诚实提升。

更大的模型通常更会组织语言,更会展开推理,更会建立上下文一致性。于是,当它错的时候,也可能错得更精致。

在很多产品使用场景里,较弱模型的胡说常常粗糙、破碎、前后矛盾,一眼就能看出来;强模型的胡说则可能具备完整结构:先定义概念,再列三点原因,然后举例,最后给出看似稳妥的结论。需要说明的是,这更多是使用经验中的观察,并不是 TruthfulQA 直接证明的结论。

这就像一个资深顾问进入一个不熟悉的行业。他不会像新人那样沉默。他有框架,有语言,有案例,有方法论。问题是,如果基础事实没搞清楚,框架越漂亮,误导性越强。

四、训练奖励常常偏爱“好答案”,而不是“不知道”#

大模型后训练通常会用人类偏好来优化回答质量。人类评价者更喜欢什么?

通常是:清楚、完整、有条理、有帮助、有信心。

这当然合理。我们不希望模型总是含糊其辞。但副作用是:如果训练和评估没有足够重视“证据”“校准”“承认不确定性”,模型就会学到一个隐含规则:

如果偏好数据和奖励模型没有显式奖励拒答、查证和不确定性表达,完整、流畅、高置信回答就可能更容易被偏好。

近年的研究也指出,RLHF 可能诱发 verbalized overconfidence,也就是模型在语言上表达出过高的自信。论文《Taming Overconfidence in LLMs》指出,奖励模型可能偏好高置信回答,即使回答质量并没有相应提高。(arXiv:2410.09724)

这解释了为什么有些模型会用非常坚决的语气说错话。它不是简单地“知识不够”,而是整个训练环境在鼓励它成为一个“有帮助的回答者”。

但事实查证的伦理恰恰相反:

  • 没查就说没查;
  • 不确定就标注不确定;
  • 需要实时数据就去查;
  • 没有证据就不要包装成结论。

这需要专门训练,也需要系统层面的约束。不能指望语言模型自动做到。

五、推理能力会放大正确,也会放大错误#

我们常说 reasoning model 更强,因为它可以多步推理、拆解问题、比较方案、构造中间结论。

但推理本身不是事实来源。

如果前提是真的,推理可以带来洞察;如果前提是假的,推理会把错误传播得更远;如果前提只是半真半假的碎片,推理可能会把它们编织成一个自洽但错误的故事。

这就是“聪明反被聪明误”的技术版本。

一个不会推理的模型可能只会胡乱猜一个答案。一个会推理的模型则可能给出一整套理由,解释为什么这个猜测看起来必然正确。

这类幻觉最难发现,因为它不是简单事实错误,而是“论证型幻觉”:事实、因果、类比、概念之间都被组织得很顺滑。读者容易被结构说服,而不是被证据说服。

所以,大模型时代判断一个回答是否可靠,不能只看它有没有逻辑。要问:

这个逻辑的事实锚点在哪里?

没有事实锚点的推理,只是漂亮的空中楼阁。

六、模型并不天然知道自己什么时候该查#

很多人以为:既然模型有工具,它就应该自动去查。

但工具使用不是语言模型的原生本能。OpenAI 的 WebGPT 就是一个典型例子:研究者专门训练 GPT-3 使用文本浏览器,模仿人类搜索、打开网页、引用来源,然后再用人类反馈和奖励模型优化回答质量。OpenAI 在介绍 WebGPT 时也明确说,语言模型在需要冷门现实知识时有 hallucinate 的倾向,所以才要训练它浏览网页并引用来源。(OpenAI WebGPT, paper)

这说明一件事:

“回答”是模型的本能;“查证”是后来加上去的纪律。

如果系统没有强制要求它在实时信息、专业事实、法律医疗、金融数据、体育赛程、新闻事件上检索,它很可能会先用脑子里的参数知识回答。

而越强的模型,越容易“觉得自己可以推出来”。当然,严格说模型没有主观感觉;更准确地说,它会生成一种高度自洽的内部补全路径,使得外部检索显得不那么必要。

这也是为什么在真实产品里,工具调用策略比模型智商本身更重要。一个没有查证纪律的强模型,可能不如一个被强制引用来源的普通模型可靠。

七、幻觉还有一个人类侧根因:我们太容易相信流畅表达#

大模型幻觉不是模型单方面的问题。它之所以危险,还因为人类会被流畅表达欺骗。

我们天然倾向于把“说得清楚”误认为“想得明白”,把“语气坚定”误认为“证据充分”,把“结构完整”误认为“事实可靠”。

还有一个更隐蔽的问题:人类对概率的直觉并不是线性的。

在心理上,0 和 1 往往是两个特殊边界。“绝对不可能”和“绝对会发生”会被我们当成完全不同的类别,而不是概率轴上的两个端点。Kahneman 和 Tversky 在前景理论里讨论过类似的 certainty effect:确定性本身会被人赋予额外权重,100% 和 99% 的心理距离,常常大于 60% 和 59% 的心理距离。

而在 0 和 1 之间,人也不总是认真校准概率。很多时候,我们只是掌握了一部分线索,比如只知道 30% 的事实,却已经形成方向性判断;然后过度自信会把这个判断包装成“基本确定”“一定会发生”。Dunning-Kruger 效应和过度自信研究都提醒我们:知识不足的人,不只是容易判断错,还常常缺少识别自己不确定的元认知能力。

所以幻觉之所以容易被接受,不只是因为模型说得像专家;也是因为人类自己经常把“我有一点证据”误读成“我已经知道结论”。模型的流畅表达,正好喂养了这种确定性错觉。

这在咨询、媒体、学术、商业报告里都一样。一个表达能力强的人,即使事实基础薄弱,也更容易获得信任。大模型把这种现象工业化了:它可以无限量生产“像专家一样”的表达。

所以大模型幻觉不是单纯的技术问题,也是认知问题:模型会制造看似确定的文本,人会主动寻找可以让自己确定的叙事。

这也解释了一个常见现象:为什么专家常常能发现 AI 的错误,而外行却容易被说服。

专家并不是天然能分辨 AI 真假,也不是因为“专家就不会被骗”。专家真正拥有的是一张更细密的事实网格,以及在本领域长期训练出来的异常检测能力。AI 输出一段话时,外行看到的是流畅、完整、结构清楚;专家看到的可能是术语用错了、因果链少了一个前提、结论越过了适用边界、数字不符合行业常识,或者把 A 场景里的经验硬套到了 B 场景。

AI 的幻觉常常不是整段都假,而是 90% 像真的,中间夹着一个关键错误。外行容易被那 90% 的流畅性带走;专家会被那 10% 的不匹配刺到。这里的关键不是“智商”,而是领域知识带来的校准能力。

但这也有边界。专家一旦离开自己的专业领域,也会重新变成普通人,甚至因为习惯了自己的判断力,更容易过度自信。所以更准确的说法不是“专家能分辨 AI 真假”,而是:专家在自己有深厚知识校准的领域里,更容易发现 AI 输出和现实结构之间的不匹配。

未来最重要的 AI 素养之一,就是学会区分三件事:

  • 流畅性:它说得顺不顺;
  • 一致性:它内部逻辑通不通;
  • 真实性:它有没有证据支持。

前两者大模型已经很强。第三者必须靠检索、引用、校准、验证和责任机制来保证。

八、怎样减少幻觉?不是让模型“更聪明”,而是让系统“更诚实”#

减少幻觉不能只靠换更大的模型。更大的模型有帮助,但不是根治。

真正有效的方向有几个:

第一,把“我不知道”变成合格答案。在训练、评估和产品体验里,不能只奖励完整回答,也要奖励正确的拒答、延迟判断和主动查证。

第二,把实时事实交给外部系统。新闻、股价、比赛、政策、法律条文、产品价格、航班信息,都不应该依赖参数记忆。该检索就检索,该调用数据库就调用数据库。

第三,要求关键结论绑定来源。引用不是装饰,而是防幻觉的刹车。没有来源的事实性断言,应该被降权。

第四,区分推理任务和查证任务。推理适合处理结构、因果、方案、抽象问题;查证适合处理最新事实、具体数据、原文出处。不要让推理代替查证。

第五,训练模型做不确定性校准。Anthropic 的研究显示,在合适格式下,模型可以相当程度上评估自己答案是否可能正确,也可以预测自己“知不知道”。但这种能力需要被产品化为行为:低置信度时检索、询问、拒答或标注不确定。(Language Models Mostly Know What They Know)

结语:幻觉不是偶然失误,而是默认行为的副产品#

大模型幻觉的根因,不是模型“坏了”。恰恰相反,很多幻觉来自它太擅长做自己最初被训练去做的事:根据上下文生成最像答案的文本。

它会补全,会模仿,会推理,会润色,会把碎片组织成结构。所有这些能力加在一起,就成了现代大模型的神奇之处;但当缺少事实锚点、查证纪律和不确定性校准时,也会变成幻觉的温床。

所以,对大模型最成熟的态度不是迷信,也不是轻蔑。

而是把它当成一个极其聪明、表达能力极强、但需要证据制度约束的合作者。

它可以帮我们想得更快、更深、更广。

但凡涉及事实,我们仍然要问一句:

你是知道,还是只是说得很像知道?

大模型幻觉的根因:不是“坏了”,而是太会补全
https://blogs.lw4ever.net/posts/llm-hallucination-roots/
作者
不渴
发布于
2026-06-28
许可协议
CC BY-NC-SA 4.0