xAI公开发布具有3140亿参数的Grok-1模型
talkingdev • 2024-05-20
537061 views
xAI近期公开发布了Grok-1模型的权重和架构。Grok-1是一种混合专家模型，拥有3140亿参数。发布的模型是Grok-1预训练阶段的原始基础模型检查点，这意味着它并未针对任何特定应用进行精调。该模型是由xAI使用自定义训练堆栈从零开始训练的。Grok-1的发布预计将推动AI技术的发展，促使更多的人工智能研究者和开发者能够利用这一模型进行研究和开发。
核心要点
- xAI公开发布了Grok-1模型的权重和架构。
- Grok-1是一种混合专家模型，拥有3140亿参数。
- 发布的Grok-1模型是预训练阶段的原始基础模型检查点，没有进行任何特定应用的精调。