LLM“Lost in the Middle”现象及成因

大型语言模型（LLM）在处理长提示词时存在“Lost in the Middle”效应，即对位于上下文中间位置的信息检索准确率显著低于首尾部分，整体呈现 U 型性能曲线。这一现象主要源于 Transformer 架构中注意力机制的特性：模型天然倾向于关注开头信息（受首因效应影响）和结尾信息（受近因效应影响），从而容易忽略或遗忘夹在中间的指令或事实数据。该发现揭示了 LLM 在长上下文处理中的结构性盲区，解释了为何关键信息若置于提示词中部可能导致模型响应偏差或遗漏。目前报道聚焦于对该现象的描述及其底层技术成因分析，未涉及具体的应对策略细节。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。