核心要点

• Axolotl项目发布了qlora和fsdp技术。
• 这些技术使得在小型GPU上训练大型模型成为可能。
• Mixtral可以通过这些技术在消费级硬件上训练。