论文：预训练中的程序性知识提升LLM的推理能力
talkingdev • 2024-12-01
60826 views
最新研究显示，大型语言模型（LLM）的推理能力得益于预训练阶段发展出的程序性知识。程序性知识指的是一系列规则和步骤，这些知识在预训练过程中被模型学习并内化，进而在后续任务中被用来指导推理。这一发现强调了预训练的重要性，特别是在面对复杂任务时，如解决数学问题、逻辑推理等。研究人员通过对比不同预训练策略和微调技术，发现程序性知识在模型推理中起着核心作用，与模型的规模和复杂性无关。此外，这项研究还指出，预训练中累积的知识和模型的推理能力之间存在正相关关系，这意味着拥有更丰富程序性知识的模型能更好地进行逻辑推理和问题解决。