漫话开发者 - UWL.ME Mobile
Loading more...
漫话开发者 - UWL.ME Mobile

大模型事实性错误常被简单归因为训练知识不足,但谷歌研究团队通过知识画像框架对Gemini 3、GPT-5等先进模型进行分析后发现,模型对事实知识的编码已接近饱和,真正的瓶颈出现在参数化回忆阶段。也就是说,模型并非没有存储相应知识,而是在推理时难以从海量参数中可靠提取并激活相关内容。研究用“空货架还是丢钥匙”作比喻:货架上有货,却找不到钥匙。该结论意味着,继续堆叠语料和扩大模型规模对降低事实错误的边际收益可能递减,未来更应关注训练范式、检索增强、上下文激活与记忆访问机制,让模型在需要时更稳定地调用已编码知识。这对减少幻觉、提升专业问答可靠性具有重要方向意义。

核心要点

  • 谷歌研究认为大模型事实错误的主要瓶颈是回忆困难,而非知识编码不足
  • 知识画像框架显示Gemini 3、GPT-5等模型的知识编码已接近饱和
  • 未来优化应更多聚焦参数化回忆、上下文激活和检索增强机制

Read more >