Hugging Face 的 TGI 推理服务器曾短暂采用非商业性许可，试图阻止大型企业托管竞争版本。但这一策略并未带来更好的商业成果，反而削弱了社区参与度。现在，TGI 已经恢复到更为宽松的许可协议，以促进社区的共同发展...

Anyscale与NVIDIA最近宣布了一项新的合作伙伴关系，旨在帮助客户将生成式AI模型扩展到生产环境中。通过这次合作，客户可以将Ray与Anyscale的托管运行环境相结合，以提高资源管理、可观测性和自动扩缩容的能力。这项...

Lorax是一款支持将多个LoRA模型热插拔到单个基础模型上的推理服务器。这意味着在支持广泛的模型调整范围的同时，RAM内存占用会大幅减少。