DeepMind推出GenCeption:视频生成预训练变身通用视觉模型,多任务六合一实测SOTA
thinkindev • 2026-07-14
1827 views
DeepMind提出了GenCeption,将预训练的视频生成模型重新设计为一种可通过文本指令控制的统一视觉系统,引发学界关注。该模型基于前馈、非自回归的生成式架构,不需要针对下游任务进行微调即可同时处理深度估计、表面法线预测、人体姿态、语义分割、2D关键点以及4D时空定位等六项视觉理解任务,并在多个基准上达到当前最优(SOTA)性能。这标志着视频生成模型不仅是视觉内容创作的工具,更可能成为通用视觉基础模型的核心。GenCeption的本质是利用视频生成训练过程中学到的丰富动态世界表征,将纹理、运动、几何、语义乃至时间连续性等多维信息压缩到同一个可解释的潜空间中。用户只需给定简单的文本指令,模型便能以“生成”的方式输出精准的像素级预测图或时空锚点。这种“一模型多任务”的方案大幅简化了传统视觉流水线,也为具身智能、自动驾驶和增强现实等需要实时环境感知的场景提供了新的构建思路。项目主页已上线,展示了大量令人印象深刻的开放世界测试效果。
核心要点
- 将预训练视频生成模型重构为可通过文本指令控制的通用视觉系统,无需微调。
- 统一前馈架构同时支持深度、法线、姿态、分割、关键点和4D定位等多项任务。
- 在多任务视觉理解基准上取得SOTA性能,展现了生成式模型作为视觉基础模型的潜力。