树莓派集群上运行llama 65B模型？（GitHub议题）
talkingdev • 2023-07-11
1257450 views
GGML是一个开源库，用于在低资源设备上运行语言模型。最近，团队已经进行了并行推理的MPI（Message Passing Interface）工作。现在，随着这些变化的实施，团队正在努力在树莓派集群上推理llama 65B模型。这一行动可能会改变我们对低资源设备在处理复杂任务时的认识，提供更广阔的可能性。尽管这项工作还在进行中，但其已经为科技社区带来了极大的兴奋和期待。