Yi-Coder是一款专注于代码生成的小型LLM，旨在为开发者提供高效的编程辅助。尽管体积较小，但其在理解和生成代码方面的能力不容小觑。通过先进的embedding技术，Yi-Coder能够快速学习和适应不同编程语言的语法和风格...

随着技术的发展，业余无线电爱好者们开始探索新的领域。一些黑客们开始将业余无线电视为一个新的平台，通过探索各种技术来改进相关领域。这些黑客们使用LoRA网络和自制设备来改进业余无线电，并创造了新的通信方式。...

SpaceX的星舰飞船在周四成功发射并首次实现了控制下的水上着陆。这次测试虽然没有达到完美的标准，但仍然被视为巨大的成功。尽管超级重型助推器上的33个猛禽引擎中有2个失效，飞船的热保护瓦片和其中一个控制翼片也...

LoRA-Ensemble是一种面向自注意力网络的参数高效深度集成方法。该技术扩展了低秩适配（LoRA）的应用，通过隐式集成实现了在不增加传统集成方法高计算成本的情况下，仍能做出准确且校准良好的预测。这种方法不仅在精...

LoRA（Learning of Rate Adjustor）是一种被广泛应用于模型微调的方法，用于注入风格或知识。近期的一篇研究论文深入探讨了在使用LoRA时，学习能力和遗忘之间的权衡关系。研究发现，LoRA相比于全面微调，虽然学习的...

InternLM-XComposer2是一种在创建和理解复杂的文本-图像内容方面表现优异的视觉语言模型。该模型引入了一种名为Partial LoRA的新型方法，用以平衡视觉和文本的理解，其性能超越了现有的多模态内容创建和理解模型。通...

上周，在小型GPU上训练大型模型取得了突破。这个配置展示了如何使用这些技术在消费级硬件上训练Mixtral。

Answer AI发布了一款新的FSDP/QLoRA训练工具，可在消费级GPU上训练70B参数模型。该公司开源了代码，并使其易于本地运行或在runpod上运行。