开源|Soup:一个YAML文件搞定LLM微调,8B模型仅需3.32GB显存
thinkindev • 2026-09-17
1340 views
Soup 是一个以简化大语言模型微调与后训练流程为目标的开源项目。它将模型训练配置整合进一个 YAML 文件,并通过一条命令完成微调、评估、导出、推理服务部署等环节,同时提供 Web UI。项目支持常见训练方法,并可对接本地与云端后端,显著降低开发者管理复杂训练脚本和环境的门槛。值得关注的是其 beta 版层流模式:在 3.32 GB GPU 显存内完成 8B 参数 NF4 LoRA 模型的训练,这意味着普通笔记本 GPU 也可能承载较大规模模型的适配任务。不过仓库也提示,此前发布的笔记本吞吐量数据早于后续正确性修复,用户在基准测试和实际部署时需以最新代码为准。整体来看,Soup 试图把大模型微调从多脚本、多配置的工程问题压缩为单一配置文件,对低资源场景、快速原型和开发者体验都有积极意义。
核心要点
- 一个YAML文件统一LLM微调与后训练流程
- 支持本地/云端后端、评估、导出、服务与Web UI
- 层流模式在3.32GB显存下训练8B NF4 LoRA模型