漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品

Axolotl开源,本地GPU上训练大模型取得突破

talkingdev • 2024-03-11

554687 views

上周,在小型GPU上训练大型模型取得了突破。这个配置展示了如何使用这些技术在消费级硬件上训练Mixtral。

核心要点

  • Axolotl项目发布了qlora和fsdp技术。
  • 这些技术使得在小型GPU上训练大型模型成为可能。
  • Mixtral可以通过这些技术在消费级硬件上训练。

Read more >