MaxText是一个高性能、高可扩展性的开源低级机器学习模型(LLM)，完全使用Python/Jax编写，目标是在Google Cloud的TPUs和GPUs上进行训练和推理。这个项目在GitHub上公开，充分展示了其强大的功能和优秀的性能。MaxTex...

微软近日发布了一组用于训练BitNet风格模型的GPU加速内核。这些模型在准确度上没有明显下降的情况下，大大降低了内存消耗。BitNet风格模型是一种新型的深度学习模型，它的特点是使用1.58位的数据表示方法，比传统的3...

近日，GitHub上发布了一个名为tiny-gpu的项目，这是一个基于Verilog实现的最小化GPU。该项目的主要优化方向是帮助用户从头开始学习GPU的工作原理。tiny-gpu尝试通过最简单的方式，将GPU的操作和结构进行模拟和实现，...

由于WebGPU标准的不断完善，现在可以在浏览器中进行高性能的GPU计算。最近，一组研究人员开发了一种基于WebGPU的算法，称为 'marching cubes'，用于在浏览器中进行实时体积渲染。这项技术可以将三维图形数据转换为表...

AMD 宣布将开源其 Radeon GPU 的固件，这一决定意味着技术社区将能够快速改进人工智能框架，同时也可能提高 AMD 产品的市场接受度。开源固件将使得独立开发者和研究人员能够更深入地了解和修改 GPU 底层功能，从而推...

Lambda公司近日宣布，已获得5亿美元的特别债务融资，用于扩大其GPU云服务。此前，Lambda在年初已经完成了2.3亿美元的C轮融资。该扩张计划预计将进一步增强Lambda在GPU云计算市场的影响力，为客户提供更加强大的计算...

AI基础设施是部署和扩展AI技术的基础，它由GPU、专业软件和云服务构成。GPU作为AI计算的核心，提供了强大的并行处理能力，使得机器学习和深度学习算法得以高效运行。专业软件则为AI开发提供了必要的工具和库，简化了...

在移动设备上运行语言模型面临着延迟、带宽和功耗等多方面的挑战。本研究通过采用量化技术、移除键值缓存以及其他优化手段，成功实现了在手机上以每秒30个令牌的速度运行强大的Gemma 2B模型。这一成果比其他框架快约...