什么是MOE混合专家模型？

目前使用的语言模型有两大类：密集型和稀疏型。密集型模型就像传统的2017年的变压器模型，每个令牌都使用每个模型参数。稀疏型模型在此后不久就被引入，它使用一种路由机制（通常是学习到的），这意味着每个令牌只使...

Read More