谷歌研究人员提出了一种名为On-Policy Self-Training的自训练框架，将on-policy自蒸馏重新定义为无需依赖更强外部教师模型的后训练方法。该框架的核心创新在于把监督信号压缩到极限：模型仅依据粗粒度的高层主题描述，即可自行合成课程化查询、答案和特权推理轨迹，完全不依赖人工策划的提示或答案。实验结果显示，在完全由模型生成的合成特权信息上进行自蒸馏，能让基础模型在文本和多模态等多个领域获得一致提升，同时保持在未参与自训练领域的原有能力。研究团队在标准语言基准和视觉问答任务上验证了该框架的通用性，表明基础模型内部存在丰富的潜在能力，可以在没有外部任务监督或人工问题分布的情况下被有效放大。这一发现为大模型后训练提供了新的思路，有望降低对高质量标注数据和外部教师模型的依赖。