Mosaic团队已与PyTorch合作，撰写关于如何扩展他们的MoEs模型至数千个GPU的文章。MoEs，全称Mixture of Experts，是一种深度学习的模型结构，其核心思想是将复杂的问题分解为若干个相对简单的子问题，然后由专家系统...

Yuan 2.0-M32是一款具备40亿参数的专家混合模型，其中任意时刻仅有3.7亿参数处于激活状态。尽管其计算需求仅为Llama 3 70B的1/19，但其性能却接近后者。该模型在2万亿个token上进行了训练，展现出了令人惊讶的强大性...

JetMoe是一个基于混合专家模型的新AI系统，通过使用公共数据集和合理的计算资源进行训练，其性能与Meta的Llama 2 7B模型相媲美，但成本仅为10万美元。这一突破性的技术成果不仅展示了在不牺牲性能的前提下降低AI模型...

近期，一项名为Qwen MoE的技术引起了业界关注。该技术在保持与强大7B参数模型相当性能的同时，成功将激活参数数量减少至原来的三分之一。这一突破性的进展不仅意味着更低的计算成本，还为大规模机器学习模型的可访问...

AI21实验室近日发布了一款新型语言模型——Jamba，它采用了独特的模型结构，旨在实现比Transformers更高的效率，同时保持相当的性能水平。Jamba模型的最大亮点在于其创新性地融合了MoE（Mixture of Experts）层，这使...

科技巨头Databrix与Mosaic合作，成功训练了一个具有132B参数的混合专家（MoE）模型。该模型在3000个H100 GPU上进行了训练，目前其权重文件已经公开发布。此外，该模型也已在Databricks API上提供服务，供企业和开发...

研究人员开发了一种新框架，通过为新任务增加特殊适配器的方式来扩展模型，帮助视觉-语言模型在不遗忘之前知识的情况下进行持续学习。这一技术突破为深度学习模型的持续学习能力提供了新的解决方案，能够有效避免传...

谷歌发布了一款新的 MoE 模型，命名为 Gemini 1.5 Pro，它的性能可以与 Gemini 1.0 Ultra 媲美。同时，它支持上下文1百万令牌，并且相比较于 Gemini 1.0 Ultra，使用更少的计算资源，因为它更小巧。这个模型是本地多...