开发者Henry和Roman近日推出开源项目Cactus，这是一个专为智能手机设计的跨平台框架，支持本地部署大型语言模型（LLM）、视觉语言模型（VLM）和文本转语音（TTS）模型。与Ollama专注于笔记本和边缘服务器不同，Cactus直接将AI能力带入手机端，在保障隐私的前提下实现实时推理，并已成功应用于个性化RAG管道等场景。该框架针对当前苹果Foundation Frameworks和Google AI Edge的平台局限性，提供三大突破性方案：1）支持Flutter/React-Native/Kotlin等多平台开发环境；2）兼容HuggingFace上所有GGUF格式模型（包括Qwen、Llama等主流模型）；3）采用2-bit极致量化技术降低设备负载。其创新的MCP工具调用系统可实现日程提醒、相册搜索等实用功能，同时通过云端大模型回退机制保障复杂任务处理能力。该项目已在GitHub开源，引发开发者社区广泛讨论。