近日，一种新型的标签方法被研究者利用在了图片和文字的配对上，这种方法运用了两次的VLMs（视觉语言模型）扫描，产生了极为详细的图片和文字配对数据。这些配对数据的标题比以往的任何数据集都要详细，能够帮助训练...

最近，科技领域出现了一种全新的数据集和训练视觉语言模型，它能够在多图之间实现更高质量的指令跟踪。这种新的训练模型采用先进的视觉语言处理技术，可以识别并理解图片中的信息，并根据这些信息生成相应的指令。这...

Gemma和Siglip最近发布了一款小型但功能强大的视觉语言模型（VLLM），该模型专为理解和生成与图像相关联的语言而设计。VLLM利用大规模的LAION和LLaVA数据集进行训练，这些数据集包含了大量的图像和相关文本信息，使...

近日，GitHub上出现了一个名为Unsolvable Problem Detection (UPD)的项目，旨在探索视觉语言模型中的一个新测试，即人工智能是否能识别出某些问题是无解的。这项技术的核心在于训练AI模型，使其能够区分可解和不可解...

视觉语言模型（VLMs）在处理输入图像时，有时会遇到无法回答的问题。即便是最先进的VLMs，如GPT-4V，也面临这一挑战。本文提出了一个针对VLMs在面对无解问题时的基准测试，并探讨了一些可能的改进方向。研究者们通过...

Chain-of-Spot（CoS）技术近日提出了一种交互式推理方法，该方法大幅提升了大型视觉语言模型（LVLMs）处理和理解图像的能力。CoS通过识别图像中对于特定问题或指令的关键区域，使得LVLMs能够在不损失图像分辨率的前...

该项目提出了一种改善大型视觉语言模型（例如LLaVA-1.5、QwenVL-Chat和Video-LLaVA）效率的方法，解决了“低效的注意力”问题。使用FastV这种新方法，通过修剪视觉令牌和学习自适应注意力模式来优化这些模型，从而显著...

CogCoM是一种全新的通用视觉语言模型，它具有独特的操作链机制。这使得它能够通过主动调整输入图像来处理多轮视觉推理。该模型已经在GitHub上发布。