摩尔线程完成Kimi K3.1 Pro适配 支持图文推理

AI 驱动中国 苏木 868次阅读
分享 微 Q 信
AI摘要
由 AI 生成 · 仅供参考

摩尔线程基于MTT S5000智算卡与MUSA软件栈完成Kimi K3.1 Pro模型Day-0适配,打通模型加载、服务启动及文本、图片基础推理链路,支持该3万亿级参数模型在相应硬件上稳定运行,并推进关键推理路径迁移与DSA接入。

驱动中国11月6日消息,摩尔线程官方宣布,其已将Kimi K3.1 Pro模型适配至AI训推一体智算卡MTT S5000与MUSA软件栈之上,实现Day-0支持,并贯通模型加载、服务启动以及文本和图片基础推理链路。

11月4日,月之暗面对外发布Kimi K3.1 Pro的完整模型权重。在Arena运营的Agent Arena智能体排行榜中,Kimi K3.1 Pro(Max)在开放权重模型中排名第一,在全部参评模型中排名第13位;在工作、编程、聊天三类任务中,该模型均位于开放模型首位。

资料显示,Kimi K3.1 Pro为K3.1系列中的首个模型,也是迄今能力最强的3万亿级参数模型,具备100万上下文支持。该模型经过大规模后训练与强化学习后,在代码、3D创作、金融研究、知识问答以及长程Agent任务等方面实现全面提升。在代码与Agent基准测试中,其表现已达到或接近顶尖闭源模型水平。

具体测试结果显示,Terminal-Bench 4.0得分为65.7%,Kimi Code Bench 3.0 Long-horizon得分为61.2%,高于K3的55.95%。

摩尔线程方面称,围绕Kimi K3.1 Pro的模型架构与计算特性,团队借助MUSA软件栈完成关键推理路径迁移与适配,使模型可在MTT S5000上稳定运行。MUSA在编程模型、运行时接口和AI框架层面的快速兼容迁移能力,构成本次快速适配的重要基础。

团队以SGLang-MUSA承接上游模型实现,并依托MATE算子库、Triton-MUSA、TileLang-MUSA和MTCC编译器,完成新架构关键计算路径的迁移与接入,从而把社区模型代码转化为MTT S5000上的实际推理服务。

MUSA软件栈同时覆盖框架执行、算子编译、设备运行和多卡通信,使模型适配可复用成熟接口,并针对新增计算路径开展优化。在接入DSA、打通混合注意力与视觉计算方面,针对Kimi K3.1 Pro的稀疏注意力DSA,MUSA软件栈完成索引。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/528861.html
本文价值 ★★★★★ 3.5 2 人已评
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友

分享卡已生成

长按下方图片保存,转发到朋友圈或微信群

分享卡