如何加速推理是许多人关注的话题。本代码分享介绍了如何通过静态KV缓存提高Hugging Face框架上Llama模型的推理速度。

Snap研究开发了一种视频生成模型，其速度比之前的最先进模型快3倍（排除Sora）。该模型可以生成高质量的视频，并且在处理速度方面具有显著优势。Snap的这项技术将对视频制作、社交媒体、游戏等领域产生重大影响。

Mamba的创建者（以及许多其他模型）发布了一篇很专业的博客文章，概述了基本的序列混合架构，相对于标准Transformer，可以获得相当大的速度提升。该团队的新模型使用了这种混合方法，并且获得了非常好的性能。这种新...

随着开放模型在许多企业任务中变得有用，人们开始探索部署优化。然而，这个领域很复杂且分散。本文深入探讨了许多用于加速语言模型服务的标准技术。

Deepspeed推出了一款新软件，旨在与vLLM和文本生成界面竞争，以快速提供语言模型服务。该软件配备了许多最先进的加速功能，初步结果表明，速度提升了2.4倍。

研究人员发现，当前领先的开源文本图像模型SDXL在推理时间上有了显著的加速，其速度提升了60%，同时体积缩小了50%。研究人员声称，在使用中，图像质量只有轻微的降低。

IBM已经开发出一款大脑启发式的电脑芯片（NorthPole），它通过减少对外部记忆的访问，显著提高了AI的速度和效率。

语言模型推理通常较慢，因为这些模型的运行严重依赖内存。为了解决这一问题，人们引入了使用较小的草稿模型进行推测性解码，以“提前”提供给大模型的建议。这种方法效果不错，但实现起来复杂，且寻找一个好的草稿模型...