llamafile：运行在多个CPU微架构上的单文件分发工具

近日，llamafile发布了新的GitHub Repo，它是一种新的单文件分发工具，允许任何人使用单个文件分发和运行LLMs。LLMs可以在多个CPU微架构上运行，而不需要用户在每个平台上编译。这种工具可以节省开发者的时间和精力，同时也方便了用户的使用。 llamafile是由一个名为Kenton Varda的Google工程师开发的，他在2019年创办了SoloKeys公司，专注于开源硬件和安全领域。llamafile是其最新的开源项目，它的设计灵感来自于类似于Docker和Flatpak的分发工具，但将其应用于LLMs。 llamafile的设计结构是基于LLMs的依赖关系图，这样可以在不增加二进制文件大小的情况下，一次性打包多个LLMs。llamafile的另一个亮点是它可以自动检测目标CPU微架构并匹配最优的LLM版本，而不需要用户手动指定。 截至目前，llamafile已经在Windows、MacOS和Linux上进行了测试，并已经在GitHub上开源。未来，llamafile还将继续更新并支持更多的CPU架构，包括ARM和RISC-V等。