近日，一种名为解耦拒绝训练（DeRTa）的新方法被提出，这种新方法通过解决拒绝位置偏差问题，进一步提高了大型语言模型（LLMs）的安全性调优效果。LLMs在各类应用场景中起着重要作用，安全性问题也因此变得尤为重要...

Mistral最近成功训练出了一个名为Mamba 2的代码模型，该模型在长文本环境下具有极高的性能，而且在HumanEval上的表现也达到了75%。Mamba 2的出现，标志着Mistral在人工智能和机器学习领域取得了重大突破，这也为未来...

近日，Meta公司公布了一篇关于其如何规模化训练大型语言模型的论文。该论文详细介绍了Meta公司的训练方法，该方法可以同时训练多达14亿个参数的语言模型。该规模远超以往的语言模型训练规模，并且可以在更短的时间内...

苹果公司的研究团队近期在人工智能领域实现了创新性进展，他们开发出了一种能够在文本和图像上同时训练大型语言模型的方法。这一成就推动了多模态AI任务在性能上的显著提升，达到了艺术级水平。所谓多模态AI，指的是...

MoAI是一种新型的大型语言和视觉模型，它通过整合专门的计算机视觉任务的辅助视觉信息来增强当前模型。该模型在 GitHub 上发布，旨在改善自然语言处理和计算机视觉任务之间的互动。MoAI使用了一种新的训练方法，可以...

近日，一项新的研究挑战了结合监督微调和强化学习的训练方法的有效性。研究表明，在初始训练中使用更先进的模型（如GPT-4）可以优于更复杂的两步方法。这一研究的开源代码已经发布到GitHub上，供科研人员使用和参考...

自然语言处理（NLP）中，让语言模型生成自己的训练数据是一个具有挑战性但前景广阔的研究领域。SPIN是一种方法，已经显示出很大的前途。该代码已经发布，但据报道使用起来很有挑战性。

研究人员探索了一种名为异步Local-SGD的新的语言模型训练方法。这种方法是联邦平均的一种变体。