微信扫码实时跟踪AI前沿
MiniMA项目致力于将大型语言模型压缩成小型学生模型的挑战。研究人员发现了不同学生模型的一致最优容量差,并利用这一发现创建了MiniMA,它是从一个7B教师模型中压缩出来的3B模型。MiniMA在效率和性能方面创造了新的...