视觉启用的语言模型（VLMs）如GPT-4o和Gemini，能够赋予自主代理人完成诸如进行购物或编辑代码等任务的能力。然而，这项工作也突出了这些代理人易受到恶意攻击的脆弱性。在现实世界中，我们必须对这些具有视觉理解能...

研究人员已经开发出“Morph-Tokens”来提高AI的视觉理解和图像生成能力。这些令牌将用于理解的抽象概念转换为用于图像创建的详细视觉，利用MLLM框架的先进处理能力。Morph-Tokens的开发，不仅能够提高AI的图像理解和生...

Vibe-Eval是一个新推出的基准测试，专为测试多模态聊天模型而设计。它包含了269项视觉理解提示，其中包括100项特别具有挑战性的提示。这些视觉理解提示的设计，力求能够全面、深入地评估和测试多模态聊天模型的性能...

Spider是一个新型的统一模型，旨在增强对上下文依赖（CD）概念的理解，如伪装物体和医疗病变等。这些概念在很大程度上依赖于视觉背景。这个模型的独特性在于，它能够理解并应对由视觉环境变化引起的复杂情况。蜘蛛模...

Gemma和Siglip最近发布了一款小型但功能强大的视觉语言模型（VLLM），该模型专为理解和生成与图像相关联的语言而设计。VLLM利用大规模的LAION和LLaVA数据集进行训练，这些数据集包含了大量的图像和相关文本信息，使...

Chain-of-Spot（CoS）技术近日提出了一种交互式推理方法，该方法大幅提升了大型视觉语言模型（LVLMs）处理和理解图像的能力。CoS通过识别图像中对于特定问题或指令的关键区域，使得LVLMs能够在不损失图像分辨率的前...

该研究主要评估了GPT-4与视觉（GPT-4V）针对来自多种来源的医学图像（如X光和CT扫描）提出的问题的回答能力。这是一项极具挑战性的任务，它需要深度的医学知识和高级的视觉理解能力。GPT-4V作为一种尖端的人工智能技...

XrayGPT是一种开创性的人工智能模型，可以以对话的方式解释胸部X射线，并回答相关问题。它将视觉理解与文本知识相结合，并通过真实放射学报告的摘要进行增强。XrayGPT为自动化X射线分析提供了新的可能性。