漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2024-05-07 talkingdev

Unsloth.ai:轻松微调和训练LLMs的新方式

Unsloth.ai的创始人近期发布了一段视频,详述了他们的团队如何使用PyTorch,编写他们的内核,以及设计他们的API界面。Unsloth的框架和库功能强大,易于使用。Unsloth通过这种方式,使得大量的开发者能够更好地进行深...

Read More
2024-04-28 talkingdev

使用Unsloth微调Llama3:显著减少内存使用且长上下文增6倍

Llama3是一种革命性的新技术,它通过使用Unsloth进行微调,可以在保持相同的计算效率的同时,显著降低VRAM的使用量。最近的研究表明,使用Unsloth微调Llama3可以使上下文长度增长六倍,这比HF的flash attention技术...

Read More
2024-03-05 talkingdev

使用 Unsolth 加速 Gemma 训练速度 2.4 倍

Unsloth 项目旨在重写训练和推理语言模型的重要内核。它发布了一个示例,其中包括 Google 开源的 Gemma 模型的代码。通过使用 Unsolth,Gemma 的训练速度可以提高 2.4 倍。这个项目的目标是通过修改模型的内核,实现...

Read More
2024-01-12 talkingdev

Unsloth轻量化库加速TRL上的模型

Unsloth是一个轻量化库,可加速语言模型的微调。它现在可以轻松地与TRL在常见的模型架构上配合使用。Unsloth库通过一个简单的API使得模型训练和微调更快速。它可以帮助从训练数据中自动学习、优化和微调模型,使得模...

Read More