受 Llama 模型的努力启发，这个项目使用纯 Rust 在 CPU 上运行 Mamba 推理。

qsv是一款并行化、CPU加速的命令行程序，可用于查询、索引、切片、分析、过滤、增强、转换、排序、验证和连接CSV文件。它具有超过50个简单、快速和可组合的命令，旨在处理大型数据集而无需专业编程技能。此外，它还...

Ollama就像是llama cpp模型周围的软件包管理器。它具有易用性和质量生活功能，甚至可以在CPU上轻松运行模型。本示例展示了如何运行两个优秀的模型，Dolphin和Samantha，它们是用于对话任务的优秀未过滤模型。

Stable Fast是HuggingFace扩散模型的推理引擎，通过它可以进行快速的Diffusers推理。该推理引擎在多种硬件上实现了出色的性能，包括CPU和GPU。此外，Stable Fast还兼容多个框架，包括PyTorch和TensorFlow。在GitHub...

近日，llamafile发布了新的GitHub Repo，它是一种新的单文件分发工具，允许任何人使用单个文件分发和运行LLMs。LLMs可以在多个CPU微架构上运行，而不需要用户在每个平台上编译。这种工具可以节省开发者的时间和精力...

微软已研发出自己的定制AI芯片Azure Maia AI以及Azure数据中心的基于ARM架构的CPU Azure Cobalt，旨在减少对Nvidia的依赖，为AI驱动的未来做好准备。这些芯片预计将于2024年推出。据悉，这些芯片将与微软的Azure AI...

微软公司为训练大型语言模型建立了自己的定制人工智能芯片。它还开发了用于云工作负载的基于Arm的CPU。这两款芯片将于2024年推出。它们可能会减少行业对英伟达的依赖。微软已经在设计这些芯片的第二代版本。更多关于...

DeepSparse是一种CPU推理运行时，它利用稀疏性加速神经网络推理。稀疏性是指神经网络中有很多权重为零的连接，DeepSparse利用这些零权重的连接，跳过不必要的计算，从而实现推理加速。DeepSparse是一个开源项目，可...