Meta开源新模型训练优化器代码，无需LR调度
talkingdev • 2024-04-08
474406 views
Meta的研究团队近日推出了一款新型的优化器，并已在X平台上公开代码及其多种集成方式。这款优化器的独特之处在于它不依赖于学习率（LR）调度，训练过程中无需预先设定总步数。经过实证，该优化器在包括语言模型在内的多种问题上均展现出良好的性能。
talkingdev • 2024-04-08
474406 views
Meta的研究团队近日推出了一款新型的优化器，并已在X平台上公开代码及其多种集成方式。这款优化器的独特之处在于它不依赖于学习率（LR）调度，训练过程中无需预先设定总步数。经过实证，该优化器在包括语言模型在内的多种问题上均展现出良好的性能。