开源|Clicky:macOS上的AI“桌面伙伴”,实时看屏、语音交互与光标指点
thinkindev • 2026-04-08
1327 views
近日,一个名为Clicky的开源项目在GitHub上发布,为macOS用户带来了一种新颖的人机交互体验。该项目本质上是一个运行在光标侧的AI“教师”或“伙伴”,能够实时“看到”用户屏幕内容,并通过语音与用户交流,甚至能直接“指点”屏幕上的特定元素,实现高度情境化的实时互动。其技术核心在于,系统通过持续流式传输用户的屏幕截图和音频数据至云端AI模型(目前集成的是Anthropic公司的Claude模型)进行处理,这一过程借助Cloudflare Worker作为轻量、高效的边缘计算中转层来实现。这一设计巧妙地将本地操作系统的上下文感知能力与云端大语言模型的强大推理和自然语言交互能力相结合,指向了未来操作系统智能助手的一个可能发展方向:从被动的命令响应转向主动的、情境感知的协同工作模式。虽然项目尚处于早期开发阶段,但其开源特性和清晰的架构,为开发者社区探索下一代AI原生应用、特别是实时多模态人机交互界面提供了有价值的参考范例。
核心要点
- Clicky是一个开源AI桌面应用,可作为macOS用户的实时交互“伙伴”,具备看屏、语音交流和光标指点能力。
- 其技术实现依赖于将屏幕截图和音频流通过Cloudflare Worker传输至云端Claude模型进行处理与响应。
- 该项目展示了将本地系统上下文与云端大模型结合,实现情境感知式人机交互的新思路,具有前沿探索价值。