研究人员提出了一种名为“多模态专家混合体” (MoME) 的方法，以解决通用的多模态大型语言模型(MLLMs)中的任务干扰问题。在多模态大型语言模型中，任务干扰是一个常见的问题，它可能会影响模型的性能和效率。MoME的提...

E5-V是一种新的框架，其改编了多模态大型语言模型（MLLMs）以创建全球多模态嵌入。通过使用提示，它弥补了不同输入类型之间的差距，而无需进行微调就实现了在多模态任务中的令人印象深刻的性能。这一全球多模态嵌入...

在预训练中，如何积极选择下一批最好的样本是一个挑战性和开放性的问题。DeepMind的这项工作探索了如何只花费10%的浮点运算和硬挖掘负样本，仍然能匹配各种任务的最新技术。在这个过程中，他们采用了一种名为“联合样...

随着人工智能（AI）技术的不断进步，AI正在向多模态和边缘计算方向发展。这种转变不仅改变了我们对AI的使用方式，还大大提高了其在实际应用中的有效性。多模态AI是指能够处理多种形式的数据，例如文本、图像和语音，...

多模态模型Bunny系列是一套强大的开放模型，尤其在MMMU基准测试中，其性能表现优秀。这是该团队基于Llama3 8B发布的首款开放模型。这个系列的模型采用了SigLIP与Llama3的技术，充分展示了其强大的性能和应用广泛性。...

在这次采访中，Quora的首席执行官Adam D'Angelo探讨了如何通过为内容创作者建立基础设施来实现人工智能的民主化。采访涵盖了社交网络如何补充AI、多模型和多模态AI的概念、如何将AI技术普及给大众、为创作者提供AI基...

大多数无服务器GPU提供需要每个模型推论一个POST请求。但是，在您想要流模型输出的情况下，这是一个挑战。Websockets使流媒体成为可能。

嵌入是许多AI用例的基础。由于速率限制，它们可能很昂贵且缓慢。本文介绍了如何使用Modal来有效且正确地扩展嵌入过程。