月之暗面发布Kimi K3模型权重与技术报告:2.8T MoE原生视觉理解,百万Token上下文
thinkindev • 2026-07-28
1775 views
月之暗面(Moonshot)正式开放其最新旗舰模型Kimi K3的权重,并同步发布详细技术报告。Kimi K3是一个总参数量达到2.8万亿的混合专家(MoE)模型,首次在架构层面原生融合视觉理解能力,可直接处理图像与文本交织的多模态输入。该模型支持高达100万token的超长上下文窗口,能够一次处理整部小说或大型代码仓库。更值得关注的是,Kimi K3采用了全新的模型架构设计,据称在单位算力下的智能效率较以往提升2.5倍,意味着在相同计算资源下可实现更高的推理性能。除了模型本身,月之暗面还宣布进一步开放模型栈的关键组件,包括高性能注意力算子、MoE通信库以及大规模智能体环境运行基础设施。这一举措不仅为研究社区提供了复现和改进实验的便利,也大幅降低了大型多模态模型在大规模部署时的工程门槛,有望加速MoE架构在多模态智能体等前沿应用中的落地。
核心要点
- Kimi K3是月之暗面公开的2.8万亿参数混合专家模型,原生支持视觉理解。
- 具备100万token超长上下文窗口,新架构宣称单位算力智能效率提升2.5倍。
- 同步开源高性能注意力算子、MoE通信库及大规模智能体运行基础设施。