漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2023-06-21 talkingdev

LOMO:高效的LLM训练(GitHub开源)

这项研究介绍了LOw-Memory Optimization(LOMO),这是一种旨在显著减少大型语言模型(LLM)训练所需资源的优化器,目前这一过程需要大量的GPU资源。LOMO的创新方法使得只需使用一台具有8个RTX 3090 GPU(每个具有24...

Read More