深度学习框架Tinygrad 0.9.0正式发布。Tinygrad是一个轻量级的深度学习框架，支持Python和JavaScript。Tinygrad 0.9.0增加了对自定义函数的支持，以及其他一些性能和稳定性的改进。它的设计使其非常适合在边缘设备上...

Meta发布了一款名为ExecuTorch的框架，这是一个后训练量化工具包，能够支持在各种iPhone和Galaxy设备上运行Llama模型。该框架能够在运行7B大小语言模型的手机上，每秒获取多达11个令牌。ExecuTorch框架的发布，进一...

Moondream 2模型作为一种高效的AI模型，其性能强大且体积小巧，现已发布其全功能的VLM可执行文件，名为llamafile。这款全功能的VLM可执行文件是一种完全自包含的程序，可以在边缘设备上运行。这意味着，即使在没有网...

本文分享了关于AI现状的思考，以及对该技术发展方向的一些预测。文章主要关注AI模型的产品、市场和人才现状，而并未涉及AI架构和基础设施的技术细节。今年，开源模型将赶上专有模型，并帮助推动边缘设备的推理。

Nous Research （Hugging Face Hub）发布了一种名为Capybara的新的语言基础模型和Obsidian的多模态扩展模型，该模型拥有30亿参数，可以在手机等边缘设备上运行。

近日，PyTorch团队推出了一款新的轻量级运行时和模型转换工具，以支持在资源受限的边缘设备上运行。此次推出的PyTorch Lite运行时，具有轻量级、高效、低延迟等特点，可以在边缘设备上运行深度学习模型，解决传统云...

近日，由一群开发者共同开发的开源系统OpenLLMetry正式发布。OpenLLMetry基于OpenTelemetry，旨在提供对LLMs的观测性能分析。LLMs是轻量级的微服务，可以在边缘设备上运行，OpenLLMetry的发布将为开发人员提供更好的...

本课程主要介绍如何在边缘设备上高效地进行低资源机器学习。课程包括讲座和作业。在这个课程中，我们将探讨在边缘设备上进行机器学习的技术，包括如何有效地使用有限的计算和存储资源，如何优化模型以适应边缘设备，...