深度学习领域有了一项新的突破。研究人员开发出了一个新的状态空间模型，这一模型使用双重转移函数表示。其主要特点是一个无状态的序列并行推理算法。这种新的推理算法能够在处理大规模数据时，有效提高计算效率和准...

MLPerf发布了两个基准测试套件的结果：MLPerf Inference v3.1和MLPerf Storage v0.5。前者显示了创纪录的参与度和性能提升，后者评估了机器学习训练工作负载的存储系统性能。推理基准测试套件引入了一个大型语言模型...

ExLlamaV2是一个在GitHub上开源的项目，它是为现代消费级图像处理单元（GPU）上运行本地语言模型（LLMs）而设计的推理库。这款推理库的出现，可以帮助用户在个人电脑上使用现代GPU进行深度学习模型的推理计算，而无...

语言模型推理通常较慢，因为这些模型的运行严重依赖内存。为了解决这一问题，人们引入了使用较小的草稿模型进行推测性解码，以“提前”提供给大模型的建议。这种方法效果不错，但实现起来复杂，且寻找一个好的草稿模型...

Roboflow推理是一种在最先进的计算机视觉模型上运行推理的工具。它可以在各种设备和环境上部署，无需机器学习的先验知识。Roboflow推理支持目标检测、分类、实例分割模型以及基础模型。有一个展示Roboflow推理在足球...

HuggingFace公司最近在其文字生成接口（GitHub Repo）中进行了一次重要的许可证变更，该接口现在不再可用于商业用途。此接口是一个建立在Rust、Python和gRPC服务器上的文字生成推断系统，广泛应用于HuggingFace公司...

AI模型包含许多参数，它们在计算机中以十进制数字的形式表示。这些数字的精度决定了它们的准确度和占用的空间大小。如果将精度从32位降低到16位，将会大幅提高运行速度。现在，我们可以将精度降低到4位，从而在一些...