近日，研究人员发现了一种针对视觉变换器（Vision Transformers）的新型安全威胁。这种被命名为“SWARM”的攻击手法，利用一个“切换令牌”秘密激活模型中的后门行为，使其对用户具有高度的隐蔽性和危险性。视觉变换器是...

最近，一种名为LeMeViT的新方法用于降低视觉变换器中的计算成本，其核心策略是使用可学习的元令牌。这些令牌能够有效地捕获关键信息，从而提高推理速度。视觉变换器在计算机视觉领域有着广泛的应用，然而其计算成本...

最新研究项目YOLOX-ViT在水下机器人领域中引入了一种创新的目标检测方法，该方法通过整合视觉变换器（Visual Transformers）和知识蒸馏（Knowledge Distillation）技术，显著提高了目标检测的准确性和效率。该技术的...

近几周出现的最酷、最简洁的视觉论文之一。视觉变换器使用“无用”的像素值作为存储全局信息的地方，这使得注意力映射变得难以解读。然而，如果你向词汇表中加入一个简单的 [reg] 标记，模型就会使用它，而不会将信息...

对预训练的视觉模型进行特定任务的微调，通常需要大量额外的计算能力。然而，研究人员已经提出了一种名为“显著通道调整”（SCT）的方法，这种方法可以智能地选择模型中需要微调的部分，使用的额外设置要远少于其他方...

研究人员已经开发出一种新型的轻量级神经网络，名为RepViT。该网络通过整合轻量级视觉变换器（Vision Transformers）和传统的卷积神经网络（Convolutional Neural Networks）的高效设计元素而形成。这项技术的开发，...

本文介绍了一个名为INT-FP-QSim的开源模拟器。这款模拟器的主要功能是测试大型语言模型和视觉变换器在不同数值精度级别下的运行效果。大型语言模型和视觉变换器在AI领域具有广泛的应用，然而，由于其复杂的计算需求...

近日，研究人员在GitHub上发布了一篇名为“Hiera：简化视觉变换器，加速和提高图像和视频识别准确性”的论文。以下是该论文的三个核心要点： - Hiera是一种简化的视觉变换器，通过使用一个强大的视觉预文本任务（MAE...