xAI公开发布Grok-1模型权重与架构
talkingdev • 2024-03-18
534954 views
人工智能领域的领先企业xAI近日宣布，已将其拥有3140亿参数的Mixture-of-Experts模型——Grok-1的权重和架构公开。Grok-1采用JAX编写，并融入了现代Transformer架构，包括GeGLU、ROPE、三明治范数等先进技术。此次公开的模型将对AI研究和应用产生深远影响，有助于推动行业共同进步。
核心要点
- xAI发布3140亿参数的Mixture-of-Experts模型Grok-1
- Grok-1基于JAX编写，采用现代Transformer架构
- 模型融合GeGLU、ROPE等先进技术