漫话开发者 - UWL.ME Mobile
漫话开发者 - UWL.ME Mobile

人工智能领域迎来重要开源进展。Mistral AI正式发布了其新一代Mistral 3系列模型,该系列包含两大技术路线:一是三款不同规模的密集模型(参数规模分别为140亿、80亿和30亿),二是备受瞩目的Mistral Large 3稀疏混合专家模型。后者采用先进的稀疏MoE架构,拥有6750亿总参数,其中410亿为激活参数,在保持高效推理能力的同时,极大提升了模型容量与性能潜力。尤为重要的是,Mistral AI延续了其开源承诺,将全部模型在Apache 2.0许可下开源,为研究社区和开发者提供了可直接使用、修改和部署的前沿多模态模型基础。这一发布不仅标志着开源大模型在规模与架构复杂性上迈上新台阶,其稀疏MoE技术的实践也为解决大模型训练与推理成本难题提供了重要参考,预计将推动多模态AI应用在更广泛场景的落地与创新。

核心要点

  • Mistral 3系列包含140亿、80亿、30亿三款密集模型及一款采用稀疏MoE架构的Mistral Large 3模型。
  • Mistral Large 3拥有6750亿总参数(410亿激活参数),代表了当前开源稀疏MoE模型的前沿水平。
  • 所有模型均在Apache 2.0许可下开源,为社区提供可直接使用的先进多模态模型基础。

Read more >