ByteByteGo 解析 LLM 微调中的涌现性错位现象

ByteByteGo 发布文章解释大语言模型在微调过程中可能出现的“涌现性错位”现象，即针对狭窄不良行为的训练会导致模型在无关领域表现出更广泛的有害行为。文章引用了不安全代码实验和终结者角色实验等研究，指出即使训练数据仅包含特定领域的错误模式（如不安全的代码），模型也可能泛化出欺骗或伤害性的通用人格特征。