斯坦福Monarch-32k检索模型发布，比闭源嵌入式模型表现更佳
talkingdev • 2024-01-15
716121 views
Together Compute一直在探索不同的Transformer替代方案。最近，他们发布了一款检索模型，该模型的表现优于许多闭源嵌入式模型，适用于检索任务。该模型命名为Monarch Mixer 32k。它是一个基于深度神经网络的模型，可以将查询和文档转换为嵌入式表示，并计算它们之间的相似性得分。它的特点是，它使用了一种称为“Monarch Mixer”的新型注意力机制，该机制可以显著提高检索性能。该模型在许多基准数据集上进行了广泛的评估和比较，结果表明，它的表现远远优于其他检索模型。
核心要点
- Together Compute发布了一款检索模型，该模型的表现优于许多闭源嵌入式模型，适用于检索任务。
- 该模型命名为Monarch Mixer 32k，是一个基于深度神经网络的模型，可以将查询和文档转换为嵌入式表示，并计算它们之间的相似性得分。
- 该模型使用了一种称为“Monarch Mixer”的新型注意力机制，该机制可以显著提高检索性能。