Unsloth.ai的创始人近期发布了一段视频,详述了他们的团队如何使用PyTorch,编写他们的内核,以及设计他们的API界面。Unsloth的框架和库功能强大,易于使用。Unsloth通过这种方式,使得大量的开发者能够更好地进行深...
Read MoreLlama3是一种革命性的新技术,它通过使用Unsloth进行微调,可以在保持相同的计算效率的同时,显著降低VRAM的使用量。最近的研究表明,使用Unsloth微调Llama3可以使上下文长度增长六倍,这比HF的flash attention技术...
Read MoreUnsloth 项目旨在重写训练和推理语言模型的重要内核。它发布了一个示例,其中包括 Google 开源的 Gemma 模型的代码。通过使用 Unsolth,Gemma 的训练速度可以提高 2.4 倍。这个项目的目标是通过修改模型的内核,实现...
Read MoreUnsloth是一个轻量化库,可加速语言模型的微调。它现在可以轻松地与TRL在常见的模型架构上配合使用。Unsloth库通过一个简单的API使得模型训练和微调更快速。它可以帮助从训练数据中自动学习、优化和微调模型,使得模...
Read More