漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2024-03-18 talkingdev

AMD GPU上的多节点大型语言模型训练解析

本文详细介绍了Lamini公司在AMD GPU上进行大型语言模型训练的技术架构。这包括了他们所使用的调度程序、模型训练技术以及其他相关技术细节。Lamini的技术团队选择了AMD GPU作为硬件加速平台,以优化模型训练的性能和...

Read More
2024-02-27 talkingdev

Meta开源生产环境强化学习库

Meta最近发布了一款名为Pearls的强化学习库,该库已经在拍卖竞标系统、推荐引擎等应用中进行了部署,可以用于研究和部署。Pearls提供了一些在强化学习领域中非常实用的工具,例如,一些用于环境模拟和数据前处理的工...

Read More
2024-01-10 talkingdev

ALOHA机器人模拟系统开源

ALOHA机器人系统以其令人难以置信的烹饪和家务任务演示在互联网上引起了轰动。它使用了许多有趣的训练技术(主要是模仿学习)。该代码库包含了ALOHA系统的一些基线训练算法,用于模拟。

Read More
2023-08-21 talkingdev

贝叶斯流网络算法开源

贝叶斯流网络是一种新颖的架构和训练算法。这是一份简洁、非官方的论文复制品。目标是构建一个可以扩展到GPT-2大小模型的代码库。贝叶斯流网络的出现,为深度学习模型的训练带来了新的可能性,其独特的结构和训练方...

Read More
2023-06-14 talkingdev

"AlgoPerf"新基准测试系统可有效提高深度学习算法训练效率(GitHub Repo)

研究人员提出了竞争性基准测试系统"AlgoPerf",旨在公平评估各种深度学习算法的训练效果,并为未来的改进奠定基础。这一研究解决了比较和改进深度学习训练算法的挑战,这些算法是加速数据处理、节省资源和创建准确模...

Read More