近日，Meta在其机器学习推理服务的尾部利用率方面进行了优化，这些优化使得失败率减少了三分之二，计算效率提高了35%，并将p99延迟减半。这些增强功能确保Meta的广告投放系统可以在不需要额外资源的情况下处理增加的...

系统2模型是一种使用类似于思维链的方法，通过更多的测试时间计算来提升推理的模型。最新的研究发现，我们可以将这种行为提炼为一个系统1模型，使其运行速度更快，而准确性相似。系统1模型的主要优势在于其高效的运...

Video Self-Training with augmented Reasoning (Video-STaR)是一种新的方法，用于改进大型视觉语言模型（LVLMs）。通过自我训练和增强推理，Video-STaR能够提高模型的学习能力和预测准确性。这种方法的主要优势在于...

微软近日发布了Minference，这是一款能够显著提升支持模型推理速度的系统。通过一系列系统性的改进，Minference能够在不损失准确性的前提下，大大提升模型的推理速度。这一创新举措显示了微软在人工智能领域的巨大投...

CELLO是一种全新的数据集，包含了14,094个因果问题，旨在提升AI对因果关系理解的能力，超越了常识推理的层次。这个数据集的构建，旨在推动AI技术在处理更复杂问题时，具有更深沉的因果关系理解。由此，可以有效提升...

这个代码库引入了一种新型的Transformer变压器，其KV缓存大小大幅度减少。虽然尚未在大规模上得到证实，但理论上，它可以匹配常规变压器的性能。这意味着，我们现在有了一种新的工具，可以在处理复杂的计算问题时，...

在MLX中实施批量并行KV缓存，导致合成数据生成和模型完成的推理时间显著提速。这种新的技术实现方式大大加快了处理速度，从而在Mac上每秒可以处理1300个Token。这一突破性的技术进步，不仅可以提高处理效率，同时也...

Anthropic是一家专注于研究尖端AI系统并开发新安全方法的初创公司，与OpenAI形成竞争，提供强大的工具供公众和企业使用。最近，Anthropic发布了其Claude聊天机器人的最新版本——Claude 3.5 Sonnet，该版本在推理、编...