检测大语言模型中的上下文幻觉

什么是 LLMs 中的上下文幻觉？

大语言模型 (LLMs) 中的上下文幻觉是指模型生成的响应虽然在语言上连贯，但未能准确反映或遵循提供的输入上下文。 这种现象在检索增强生成 (RAG) 系统中尤为普遍，在这种系统中，模型必须将外部数据合成到事实响应中，但却产生了不一致或捏造的信息。

随着大语言模型进入医疗、法律和金融等高风险行业，其可靠性已成为研究人员关注的核心问题。传统的幻觉涉及模型根据其训练数据虚构事实，而上下文幻觉则是“锚定”（grounding）的失效——即模型将其输出锚定在被要求处理的特定文档中的能力。研究人员 Wei Liu、Yulan He 和 Zhanghao Hu 发现，这些错误通常源于长序列上分散的注意力权重，模型在文本中基本上“迷失了方向”。

理解这些错误的根源对于可解释人工智能 (Explainable AI) 的发展至关重要。以前的检测方法通常将模型视为“黑匣子”，仅通过最终的文本输出来确定准确性。然而，这种方法是被动的而非主动的。通过调查内部的注意力机制 (attention mechanism)，研究人员试图寻找一种在模型开始偏离源材料的那一刻出现的信号，从而提供事实不稳定的实时指标。

为什么注意力信号能指示大语言模型中的幻觉？

注意力信号可以指示大语言模型中的幻觉，因为它们代表了系统在生成单词期间的内部“焦点”。 当模型处于锚定状态时，其注意力集中在相关的源标记（tokens）上；然而，在幻觉期间，这种注意力变得分散或飘忽不定，无法与输入上下文保持稳定的连接。

注意力机制充当了生成的标记与源材料之间的桥梁。在成功的生成过程中，模型表现出“稳定的锚定行为”，分配给上下文中特定单词的权重保持一致且逻辑严密。当研究人员将这些注意力分布建模为离散信号时，他们发现事实准确性的特征是焦点中的“平滑”过渡。相反，当模型开始产生幻觉时，注意力权重会迅速波动，表明模型正在努力为其下一个单词寻找清晰的证据基础。

这一发现表明，幻觉不仅是随机错误，而且是破碎的锚定行为的结果。研究小组指出：

• 稳定注意力： 与低频信号分量相关，代表对源文本的稳定“注视”。
• 不稳定注意力： 与高频信号分量相关，代表“抖动”或不稳定的焦点。
• 内部表示： 模型的隐藏状态反映了信心的缺乏，这种缺乏表现为注意力层中的噪声。

通过分析这些内部信号，研究人员可以可视化模型的“脉搏”，从而区分集中的、符合逻辑的思维过程与破碎的、幻觉的过程。

在检测大语言模型的不稳定性方面，频率感知分析是否优于方差或熵？

频率感知分析优于方差或熵，因为它捕捉了注意力中细粒度的时域不稳定，而粗略的统计摘要往往会忽略这些。 虽然方差衡量数据的离散程度，但频率分析识别注意力分布中的快速局部变化和“噪声”，从而提供更精确的上下文捏造特征。

在这项研究之前，科学界主要依赖于像熵这样的粗略摘要来检测大语言模型中的不确定性。虽然熵可以告诉你模型是否处于“困惑”状态（通过显示广泛的概率分布），但它无法区分模型是在考虑多个有效选项，还是正在经历锚定的彻底崩溃。受信号处理和音频工程启发的频率感知视角，将注意力分布视为一种波形。这使得研究人员能够分离出“高频注意力能量”，它充当了幻觉的特定生物标志物。

Wei Liu 及其同事采用的方法涉及将离散注意力分布转换到频域。通过这样做，他们可以过滤掉模型通用处理过程中的“背景噪声”，专门关注与错误相关的快速振荡。他们的轻量级幻觉检测器利用这些高频特征来标记可能错误的标记，甚至在句子完成之前就能做到。这代表了 AI 安全领域的重大飞跃，从简单的统计平均转向了细致入微的、基于信号的诊断工具。

在 RAGTruth 和 HalluRAG 上的实验结果

为了验证他们的发现，研究人员针对几个行业标准数据集（包括 RAGTruth 和 HalluRAG）对他们的频率感知检测器进行了基准测试。这些基准测试专门用于测试模型在提供复杂的、背景丰富的信息时保持真实的能力。结果是明确的：在各种任务和模型架构中，频率感知方法始终优于传统的基于内部表示和基于验证的方法。

性能提升在需要高精度的任务中尤为显著。例如，在包含检索增强生成真实场景的 RAGTruth 基准测试中，频率感知检测器识别出了绕过基于熵的过滤器的细微事实错误。该研究强调了几个关键指标：

• 检测准确率： 与基准注意力方法相比，F1 分数有显著的百分比提升。
• 效率： 由于检测器是“轻量级”的，它增加的计算开销极小，因此适用于实时应用。
• 鲁棒性： “高频特征”在不同的大语言模型（包括开源和闭源架构）中始终是错误的可靠指标。

真实的脉搏：对该领域的影响

发现幻觉的“频率特征”对可解释人工智能的未来具有深远影响。通过像处理数字信号一样处理 Transformer 模型的内部运作，研究人员在如何监控和纠正人工智能方面开辟了一个新领域。这种从语言分析向信号处理的转变，使得对模型“精神状态”的评估更加数学化和客观化。

此外，这项研究为自我纠错模型提供了一条路径。如果一个模型能够在生成过程中检测到自身的高频注意力峰值，理论上它可以在将幻觉提交为文本之前暂停并重新评估其锚定。这种“反馈回路”将极大地提高在专业环境中使用 RAG 系统的可靠性，因为在这些环境中，事实错误的代价可能是灾难性的。随着我们将大语言模型集成到需要 100% 数据保真度的自动化工作流中，这一点尤为重要。

频率感知检测的下一步是什么？

这项研究的下一阶段涉及将这些频率感知检测器直接集成到面向消费者的 LLMs 的推理引擎中。目标是创建一个在后台运行的“真实性度量仪”，根据模型内部注意力信号的稳定性为用户提供置信度分数。研究人员还在研究“低频调优”（一种训练模型以保持更平滑注意力信号的方法）是否能从根本上防止幻觉的发生。

随着该领域向更自主和更具代理性的 AI 系统发展，在信号层面验证真实性的能力将不可或缺。Wei Liu、Yulan He 和 Zhanghao Hu 为社区提供了一个至关重要的工具，以缩小生成式 AI 中的“信任差距”。通过聆听模型的“脉搏”，我们终于可以区分事实响应的稳定心跳与幻觉的杂乱噪声。