1比特语言模型的研究为深度学习领域带来了新的突破。该技术通过在不损失性能的前提下，对语言模型中的线性层进行量化处理，实现了模型大小的大幅压缩。这一创新使得原本只能在高性能计算平台上运行的700亿参数模型，...

人工智能的近期成就归功于三个主要因素：高效机器学习算法的创新、海量数据集的支持以及半导体技术的进步带来的能源高效计算。为了保持当前的发展速度，行业需要更为强大的设备。在过去的五十年中，行业一直专注于晶...

近日，英伟达的GPU在MLPerf推理测试中取得了优异的成绩，尤其是H200型号。MLPerf推理测试是业界公认的深度学习性能评估基准，对AI系统的推理能力进行全方位评测。在此次测试中，英伟达的GPU展现了其在处理复杂机器学...

科技巨头Databrix与Mosaic合作，成功训练了一个具有132B参数的混合专家（MoE）模型。该模型在3000个H100 GPU上进行了训练，目前其权重文件已经公开发布。此外，该模型也已在Databricks API上提供服务，供企业和开发...

微软为构建AI电脑的OEM厂商设定了新规范，其中包括必须配备Copilot键的要求。要被认定为AI电脑，OEM合作伙伴还必须提供包括神经处理单元（NPU）、最新CPU和GPU以及访问Copilot在内的硬件和软件组合。目前尚不清楚OEM...

Anyscale与NVIDIA最近宣布了一项新的合作伙伴关系，旨在帮助客户将生成式AI模型扩展到生产环境中。通过这次合作，客户可以将Ray与Anyscale的托管运行环境相结合，以提高资源管理、可观测性和自动扩缩容的能力。这项...

NVIDIA公司通过控制GPU和CUDA平台，形成了其在市场上的独特优势。CUDA简化了开发者从NVIDIA硬件中获益的过程，这一优势的确立得益于NVIDIA在CUDA生态系统上多年的投资和数十亿美元的投入。尽管未来可能会有竞争者项...

Trigon 是一个允许开发者以类似 Python 的方式编写 CUDA 内核的库，近期正逐渐获得关注。该库的 GitHub 仓库中包含了一系列难度逐步提升的谜题，旨在鼓励开发者学习和掌握这一工具。这些谜题不仅有助于新手快速上手...