LLM幻觉的类型与成因分析

LLM幻觉三大类型：

1. 事实性幻觉（Factuality Hallucination）：

• 生成内容与真实世界事实不符
• 例：编造"2025年诺贝尔物理学奖得主是XXX"
• 成因：训练数据中的错误/过时信息，模型记忆而非理解

2. 忠实性幻觉（Faithfulness Hallucination）：

• 生成内容与提供的上下文/用户指令矛盾
• 例：上下文说"A=5"，模型却回答"A=10"
• 成因：注意力分散、长上下文信息丢失

3. 上下文幻觉（Contextual Hallucination）：

• 将不同来源的信息错误组合
• 例：把比尔·盖茨的故事安在史蒂夫·乔布斯身上
• 成因：信息混合（conflation）和错误关联

核心成因：

1. 训练数据问题：

   • 数据中的噪声和矛盾信息
   • 知识截止日期后的事实变更
   • 低质量爬虫数据

2. 解码策略：

   • Temperature过高导致随机生成
   • Top-p/Top-k采样可能选择概率低的token
   • 模型的"自信"与事实正确性不相关

3. 知识边界模糊：

   • 模型无法区分"知道"和"不知道"
   • 缺乏"我不知道"的内置表达
   • 知识记忆与语言流畅性的冲突

不同模型差异：

• 小模型（<7B）幻觉率更高（知识容量有限）
• 指令微调改善但不会消除
• RAG可以显著降低但无法根除
• 链式推理（CoT）可以降低推理类幻觉