月之暗面正式开源Kimi K3:2.8万亿参数权重全球开放,30分钟登顶Hugging Face趋势榜

7月27日晚11时,月之暗面(Moonshot AI)兑现此前承诺,正式将新一代旗舰模型Kimi K3的完整权重、技术报告及三项关键基础设施技术同步开源。模型权重已上线Hugging Face、GitHub和ModelScope三大平台,全球开发者均可免费下载、本地部署和二次开发。

Kimi K3采用混合专家(MoE)架构,总参数规模达2.8万亿,是全球首个真正落地的3万亿参数级别开源模型。模型具备原生视觉理解能力,支持100万Token上下文窗口,面向长程编程、知识工作和复杂推理等前沿智能场景设计。相较前代Kimi K2.5,参数规模提升约3倍。

架构层面,Kimi K3以3:1比例混合KDA与Gated MLA,通过块级注意力残差增强跨层信息流动;每个Token从896个路由专家中激活16个,借助Stable LatentMoE框架在极高稀疏度下保持训练稳定;视觉编码器MoonViT-V2完全从零开始训练。官方数据显示,这些创新使模型规模化效率较前代提升约2.5倍。

此次开源的核心亮点,是月之暗面首次将支撑模型训练的底层系统一并开放:

  • MoonEP:面向超大规模MoE的高性能专家并行通信库

  • FlashKDA:Kimi Delta Attention的高性能计算算子,在英伟达H20上Prefill速度相比基线提升1.72至2.22倍

  • AgentEnv:与KVCache.ai联合开发的Agent沙箱系统,支持快速快照、恢复与分叉

同步发布的还有一份47页技术报告,详细披露了模型训练与架构设计的完整技术细节。

开源后,Hugging Face CEO发文称Kimi K3在30分钟内以超4000个赞登顶趋势榜。多家AI基础设施厂商随即宣布Day 0适配:华为昇腾CANN宣布昇腾950全系列、Atlas A3产品支持Kimi K3部署;阿里云真武M890超节点实例同步适配;海外Nebius、Baseten、Fireworks等厂商同日宣布支持。知名AI编程公司Cursor和数字员工Devin开发主体Cognition也宣布接入。

根据Kimi K3许可证,若企业将模型用于“模型即服务”业务且连续12个月收入超2000万美元,需另行签署协议。月之暗面表示,此次开放旨在推动开放权重模型生态发展,降低前沿智能的部署门槛。

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧