近日,多家媒体组织联名发布公开信,呼吁全球立法者考虑制定保护版权的规定,针对用于训练生成性AI模型的数据。他们要求在使用数据进行训练之前,必须对训练数据集进行透明化,并获取权利所有者的同意。公开信还要求...
Read More近日,知名开源人工智能库HuggingFace宣布与AWS和Nvidia展开合作,为平台带来一键式训练功能。用户只需上传数据,即可直接在hub上对先进的模型进行微调。这一创新举措无疑将为AI研究者和开发者提供极大的便利,不再...
Read More人工智能产业的发展正受到GPU供应不足的制约。这种短缺导致产品推出和模型训练等方面受到各种限制。一旦供需平衡,事情就会加速发展。本文将探讨导致供需矛盾的原因,持续时间以及解决方法。
Read MoreAndrej Karpathy 编写了一个受到llama.cpp极大启发的酷炫库,可以用于纯C语言训练和推理新的Llama 2模型。这个库对于那些对底层编程感兴趣的人来说是一个很好的资源(就像他的所有代码一样)。GPT4在编写过程中给予...
Read More优化方法的收敛速度是一个数学极限,它决定了在该优化方法指引下,模型找出最佳解决方案的快慢。最新研究发现,周期性学习率可以通过偶尔采取巨大步长得到改进。这项研究极具说服力,它揭示了通过增加优化步骤长度,...
Read More我们之前在新闻通讯中提到过这个项目,但它刚刚进行了升级。受到Andrej的优秀NanoGPT项目的启发,NanoT5项目可以以比T5论文性能更快150倍的速度训练模型。如果你关心从头开始训练模型,那么这个项目绝对值得一看。
Read More这项研究介绍了LOw-Memory Optimization(LOMO),这是一种旨在显著减少大型语言模型(LLM)训练所需资源的优化器,目前这一过程需要大量的GPU资源。LOMO的创新方法使得只需使用一台具有8个RTX 3090 GPU(每个具有24...
Read More