Magic 预训练效率提升超10倍,剑指万亿参数模型
thinkindev • 2026-09-09
1624 views
AI 初创公司 Magic 发布预训练研究更新,称其预训练方案的计算效率已比主流开源权重基础模型提升超过 10 倍,并正将规模扩展至万亿参数级别。团队认为,在缺乏大规模算力的情况下,小型实验室只能依靠算法效率参与竞争;而预训练、智能体强化学习和长上下文三项能力,足以支撑构建超人类编码智能体,并进一步推动 AI 研发自动化。此次公开的内容重点介绍了 Magic 在高效预训练和长上下文建模方面的工作,显示出模型训练正从单纯堆算力转向算法与架构创新。若该效率优势具备可复现性,将显著降低前沿模型训练门槛,对开源社区和资源有限的研发团队具有重要参考价值。
核心要点
- Magic 称其预训练方法计算效率比领先开源权重基础模型提升超过 10 倍。
- 公司认为预训练、智能体强化学习和长上下文足以构建超人类编码智能体并自动化 AI 研发。
- 研究聚焦高效预训练与长上下文,目标将模型规模扩展至万亿参数。