字节跳动被曝预训练10万亿参数超大模型,规模达Kimi K3的三倍,刷新行业纪录
thinkindev • 2026-08-06
2949 views
据《金融时报》援引知情人士消息,TikTok母公司字节跳动正在预训练一个参数量高达10万亿的超大规模人工智能模型。这一数字大约是月之暗面Kimi K3模型参数量的三倍,也超过了Anthropic传闻中Mythos 5约8万亿参数的预估规模。如果消息属实,该模型将成为当前业界已知参数量最大的预训练语言模型之一,展示出字节跳动在基础模型研发上的激进投入和算力储备。10万亿参数不仅意味着训练过程中需要解决海量数据并行、模型并行、流水线并行以及超高带宽互联等极端工程挑战,也预示着模型在复杂推理、长上下文理解和多模态融合等方面可能实现能力跃升。此举被业界解读为字节跳动在全球大模型军备竞赛中争夺技术制高点的明确信号,或将对内容生成、社交推荐、广告创意等旗下核心业务产生深远影响。
核心要点
- 字节跳动正在预训练一个约10万亿参数的AI模型,规模远超现有主流大模型
- 该模型参数量约为月之暗面Kimi K3的三倍,并高于Anthropic Mythos 5的预期规模
- 此举反映了字节跳动在基础大模型领域的大力追赶和争夺顶尖技术生态位的战略意图