LLM 为何产生幻觉:机制解析与缓解策略
LLM 因基于 token 概率预测文本,易产生事实错误、违背证据或凭空捏造等幻觉。文章剖析了模型难以承认不确定性的原因,并介绍通过 RAG 提供证据、工具查询缺失事实及输出前校验等方法提升回答可靠性。
LLM 因基于 token 概率预测文本,易产生事实错误、违背证据或凭空捏造等幻觉。文章剖析了模型难以承认不确定性的原因,并介绍通过 RAG 提供证据、工具查询缺失事实及输出前校验等方法提升回答可靠性。
LLM 本身无持久记忆,其“回忆”能力依赖外部应用将历史对话、摘要或用户偏好重新注入上下文窗口。随着对话增长,重复传输文本导致成本与延迟增加,且受限于模型上下文长度,旧信息需被移除或存储于向量数据库等外部系统。