使用 Unsolth 加速 Gemma 训练速度 2.4 倍

talkingdev • 2024-03-05

572113 views

Unsloth 项目旨在重写训练和推理语言模型的重要内核。它发布了一个示例，其中包括 Google 开源的 Gemma 模型的代码。通过使用 Unsolth，Gemma 的训练速度可以提高 2.4 倍。这个项目的目标是通过修改模型的内核，实现更快的训练和推理速度，从而提高自然语言处理的效率。