论文：保护视觉语言模型的水印方法
talkingdev • 2023-11-15
891929 views
在深度学习领域中，视觉语言模型（VLM）越来越受到重视。由于Embedding as a Service Vision-Language Pre-Trained Models（VLPM）中的预训练模型包含了大量的视觉和语言信息，因此这种模型很容易成为恶意攻击的目标。为了保护VLPM模型，研究人员提出了一种名为VLPMarker的水印方法。VLPMarker在训练VLPM模型时向图像中嵌入水印信息，该信息可以在模型被攻击时被检测出来。实验表明，VLPMarker不会对模型的性能造成影响，同时能够有效地保护模型免受恶意攻击。