Liquid AI 发布 LFM2.5-Encoders:在 CPU 上实现高效长上下文推理,打破硬件限制
thinkindev • 2026-07-30
1799 views
人工智能初创公司 Liquid AI 近日发布了全新的 LFM2.5-Encoders,这是一系列专门为在 CPU 上执行高效文档级推理而设计的编码器模型。随着企业级应用对长文本处理的需求激增,摆脱对昂贵 GPU 的依赖、实现低成本的边缘侧推理成为行业刚需。该编码器支持高达 8,192 个 token 的上下文窗口,能够处理整篇长文档而无需截断,在多项自然语言理解基准测试中取得了具有竞争力的分数。更关键的是,它在长上下文场景下的推理延迟显著低于同类模型,使实时语义搜索、大规模文档分析与检索增强生成等任务可以在普通服务器甚至本地设备上流畅运行。这一发布标志着高效长上下文模型向 CPU 推理场景迈出了重要一步,为预算有限的企业和注重数据隐私的离线部署场景提供了新的可选方案。Liquid AI 此次通过 Hugging Face 博客公开了技术细节,显示出其推动模型普惠化的开放姿态。
核心要点
- LFM2.5-Encoders 专为 CPU 上的高效文档级长上下文推理设计,支持 8,192 token 上下文窗口
- 在多项基准测试中表现出色,同时在长上下文场景下具备更低的推理延迟
- 无需 GPU 即可实现大规模文档分析,降低企业部署成本并拓展边缘计算应用