Pytorch发布新的分布式Shampoo优化器（GitHub Repo）
talkingdev • 2023-10-05
1009801 views
人工智能系统由架构、数据和训练方法三部分组成，优化器则是训练方法中的重要组成部分。目前，Adam优化器因其“即插即用”的特性而深受大众喜爱。然而，LION和Shampoo这两种优化器逐渐获得了人们的认可。来自Meta的Pytorch实现，无疑为它们的应用提供了有力的支持。在这个GitHub Repo中，Pytorch发布了新的分布式Shampoo优化器，这不仅将进一步推动优化器的研究和应用，也将为人工智能系统的训练方法带来新的可能性。