MiniMA项目开源：高效压缩的语言模型
talkingdev • 2024-01-15
716290 views
MiniMA项目致力于将大型语言模型压缩成小型学生模型的挑战。研究人员发现了不同学生模型的一致最优容量差，并利用这一发现创建了MiniMA，它是从一个7B教师模型中压缩出来的3B模型。MiniMA在效率和性能方面创造了新的基准。
talkingdev • 2024-01-15
716290 views
MiniMA项目致力于将大型语言模型压缩成小型学生模型的挑战。研究人员发现了不同学生模型的一致最优容量差，并利用这一发现创建了MiniMA，它是从一个7B教师模型中压缩出来的3B模型。MiniMA在效率和性能方面创造了新的基准。