Databrix和Mosaic联手打造132B参数MoE模型
talkingdev • 2024-03-28
689634 views
科技巨头Databrix与Mosaic合作，成功训练了一个具有132B参数的混合专家（MoE）模型。该模型在3000个H100 GPU上进行了训练，目前其权重文件已经公开发布。此外，该模型也已在Databricks API上提供服务，供企业和开发者使用。此次发布的MoE模型在多项性能指标上均有出色表现，预示着人工智能领域的又一重大突破。
核心要点
- Databrix和Mosaic合作开发132B参数的MoE模型
- 模型在3000个H100 GPU上完成训练并开放权重文件
- 通过Databricks API，企业和开发者可以直接使用该模型