科技新闻：RedPajama发布首款模型

- Mosaic使用440个GPU训练了一个10亿参数的模型，训练了2000亿个令牌 - 这个模型展示了Mosaic强大的模型训练技术，称为RedPajama - 该模型使用了AliBi技术，理论上可以扩展到超过2000个上下文 以上是关于Mosaic发布RedPajama的首款模型的三个核心要点，该模型是一个10亿参数的模型，使用了440个GPU进行训练，训练了2000亿个令牌。该模型展示了Mosaic强大的模型训练技术，并使用了AliBi技术，可以扩展到超过2000个上下文。