人工智能领域的领先企业xAI近日宣布，已将其拥有3140亿参数的Mixture-of-Experts模型——Grok-1的权重和架构公开。Grok-1采用JAX编写，并融入了现代Transformer架构，包括GeGLU、ROPE、三明治范数等先进技术。此次公开...

这项工作表明，您可以单独训练模型，然后将它们合并成单个Mixture-of-Experts模型。

研究人员开发了一种新方法，通过采用专家级稀疏化方法来使LLMs更加高效和易于使用，该方法可以在不损失性能的情况下减少模型大小。这对于Mixture-of-Experts LLMs尤其有用，这种模型通常太大而不易处理。

IBM近日发布了一系列混合专家模型（Mixture-of-Experts，MoE），并公开了它们的架构和部分代码。MoE模型是一种稀疏模型，意味着在不牺牲准确性的情况下，可以节省计算资源。然而，训练这种模型却颇具挑战性。这次IBM...