漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2024-02-23 talkingdev

Lorax-多LoRA模型推理服务器开源

Lorax是一款支持将多个LoRA模型热插拔到单个基础模型上的推理服务器。这意味着在支持广泛的模型调整范围的同时,RAM内存占用会大幅减少。

Read More