Google Vision开源权重分片，提升多节点系统训练效率
talkingdev • 2023-12-20
791190 views
Google的Big Vision项目是一个研究和生产最先进的视觉系统的重要工具库。最近，他们添加了权重分片，使得在多节点系统上的训练更加容易。这个新功能可以将模型分成多个子模型，分别在不同的节点上进行训练，最后再将它们组合在一起。这极大地提高了训练的效率，减少了训练时间。Big Vision项目的开源代码已经发布在GitHub上，为视觉领域的研究人员和开发者提供了很好的帮助。