本文介绍了Meta的两个版本的24,576 GPU数据中心规模集群的详细信息。这些集群支持公司当前和下一代AI模型以及GenAI和其他领域的AI研究和开发。Meta的长期愿景是建立一种人工智能，这种人工智能是开放的，建立在可负...

Reka的创始人、著名GPU评论家Yi Tay在一篇博客文章中概述了他们在谷歌之外训练极强语言模型的经验。主要的挑战来自于集群和硬件的不稳定性，他们还发现软件的成熟度也是一个挑战。尽管如此，他们还是成功地训练出了...

由于AI行业的繁荣，英伟达(NVIDIA)的市值已经达到了1.7万亿美元，相当于中国港交所所有上市公司的市值总和。英伟达是一家总部位于美国的半导体公司，其图形处理器和人工智能技术在游戏、数据中心和自动驾驶汽车等领...

Meta计划今年在数据中心部署其自研的新型AI芯片，旨在减少对Nvidia芯片的依赖，控制运行人工智能工作负载的成本。此举将使Meta获得更大的自由度和更高的效率来推动人工智能的发展。Meta的AI芯片将通过对话匹配、图像...

虽然GPT-4在许多任务上表现得熟练，但也存在一些奇怪的不足之处。例如，它可以说所有语言，但几乎无法做数学。随着人工智能变得更加有能力，该技术将对世界产生越来越大的影响。本文列出了人工智能可能影响世界的几...

微软已研发出自己的定制AI芯片Azure Maia AI以及Azure数据中心的基于ARM架构的CPU Azure Cobalt，旨在减少对Nvidia的依赖，为AI驱动的未来做好准备。这些芯片预计将于2024年推出。据悉，这些芯片将与微软的Azure AI...

谷歌利用MaxText和Jax训练技术，同时在超过5万个芯片上进行了LLM（语言模型）训练任务，保持了66%以上的利用率，成为了最佳MFU的强有力竞争者。该项目主要基于专有技术，但其中展示了一些有趣的细节，对于其他大规模...

Meta公司近期在积极采购AI训练芯片，并且正在大规模扩建数据中心，目的在于开发出一款更强大的新型AI聊天机器人，其预期该机器人将与OpenAI的GPT-4具有相似的复杂性和能力。为了实现这一目标，Meta正在大规模投资，...