MPT 30B发布：具备编码能力的巨型语言模型

talkingdev • 2023-06-23

1309563 views

MPT是MosaicML推出的一系列语言模型。仅在推出几周内，其7B模型已经被下载了数百万次。这款全新的30B模型是在H100s上进行训练的，具备8000个上下文长度。它经过商业授权，甚至可以进行编码！该模型可以在单个A100上以fp16 / fp8精度运行。