研究人员宣布了一个新的数据集，其中包含了一个拥有1万亿令牌的多模态数据集。该数据集包括图像、音频和文本数据，并可用于训练人工智能算法。通过使用这个数据集，研究人员可以更好地理解人类语言和视觉系统的工作...

近期，GitHub上出现了一个名为Chug的新型数据集加载器项目。Chug专注于处理文本和图像任务，提供了强大且高效的多模态数据加载能力。该工具的出现，对于从事机器学习和人工智能领域的开发者来说，无疑是一个极大的助...

MobileVLM V2是一系列为移动设备量身打造的先进视觉语言模型，通过创新的架构展示了显著的性能提升。新的MobileVLM V2拥有更快的推理速度，更高的准确性和更广泛的应用场景。MobileVLM V2不仅支持图像和文本之间的交...

该项目提出了一种新颖的增强Transformer的方法，使用来自不同模态的无关数据，例如使用音频数据来改善图像模型。多模式路径独特地连接了两种不同模态的Transformer，使目标模态能够从另一种模态的优势中受益。

这项研究介绍了AV-SUPERB，这是一个新的基准测试，用于测试训练模型在各种任务中对声音和视觉数据的理解程度。AV-SUPERB的目标是推动音频和视觉共同理解的发展，并为未来的研究提供一个统一的平台。这项研究突出了模...

LanceDB是一款针对AI应用的新型开发者友好型无服务器向量数据库。它可嵌入应用程序中，无需管理服务器，其扩展性依赖于磁盘而非内存，具有低延迟性。LanceDB支持向量搜索、全文搜索和SQL，并针对多模态数据进行了优...