上周，在小型GPU上训练大型模型取得了突破。这个配置展示了如何使用这些技术在消费级硬件上训练Mixtral。

Answer AI发布了一款新的FSDP/QLoRA训练工具，可在消费级GPU上训练70B参数模型。该公司开源了代码，并使其易于本地运行或在runpod上运行。

IR-QLoRA是一种新方法，它可以提高量化大型语言模型的准确性，使它们更适合在资源有限的设备上使用。量化是一种通过降低浮点精度来减少计算资源需求的技术。虽然这种方法可以大大减少模型的计算量和存储空间，但它也...

GitHub上有一个新的工具——LongQLoRA，它可以让LLMs（语言模型）理解更长的序列。LLMs已经在自然语言处理方面取得了很大的成功，但它们的上下文理解能力有限。长序列的理解也是LLMs的一个挑战。LongQLoRA通过对序列切...

通过上传JSONL数据到你的云端硬盘，链接并运行带有QLoRA和SFT训练的笔记本，你就可以得到一个定制调整的Llama2模型。这似乎是我发现的最简单的调整例子，并且效果很好。最重要的是，该模型使用了（提示，响应）的格...

本文介绍了一个名为"QLoRA"的开源代码库，旨在支持论文"QLoRA: Efficient Finetuning of Quantized LLMs"，该论文旨在民主化LLM研究的资源获取。 ## 三个核心要点： - QLoRA是一个开源代码库，支持LLM研究领域的民...

在技术领域中，微调是一种比完全微调更便宜的模型微调方式。它通过仅更新模型的一个小而精心选择的子集来工作。然而，即使如此，在普通硬件上微调大型（超过13B参数）模型的成本仍然太高。量化减少了模型中参数的精...