软件快讯
阿里云自研超节点Day0适配Kimi K3.1 Pro,最大尺寸开源模型落地云端
阿里云灵骏真武M890超节点已完成月之暗面最新开源大模型Kimi K3.1 Pro的Day0适配,并在vLLM与SGLang两大主流开源推理框架上完成全链路验证。
阿里云、平头哥与Kimi团队依托T-Head SAIL软件栈完成深度联合适配,针对FlashMLA算子、DeepGEMM MOE算子、MegaMoE以及MoonEP的适配与调优等方面做了重点优化。
阿里云中卫超节点地域已开启邀测,位于宁夏中卫的超节点新增平头哥磐脉920智能网卡,该卡最高支持400Gbps吞吐带宽、400Mpps收发包率,可节省系统成本30%。
来源:快科技
阿里云灵骏真武M890超节点已完成月之暗面最新开源大模型Kimi K3.1 Pro的Day0适配,并在vLLM与SGLang两大主流开源推理框架上完成全链路验证。该模型总参数达2.8万亿,支持100万Token上下文,延续超大规模稀疏混合专家(MoE)架构,采用KDA线性注意力与DSA稀疏注意力相结合的混合注意力设计,并支持多Token预测(MTP)。[1]
阿里云、平头哥与Kimi团队依托T-Head SAIL软件栈完成深度联合适配,针对FlashMLA算子、DeepGEMM MOE算子、MegaMoE以及MoonEP的适配与调优等方面做了重点优化。Kimi K3.1 Pro已在千问AI平台部署上线,对外提供API服务。[1]
阿里云中卫超节点地域已开启邀测,位于宁夏中卫的超节点新增平头哥磐脉920智能网卡,该卡最高支持400Gbps吞吐带宽、400Mpps收发包率,可节省系统成本30%。阿里云在乌兰察布和中卫数据中心均提供Day0适配各种主流大模型的超节点实例,灵骏真武M890超节点实例已服务上百家头部客户,覆盖大模型、自动驾驶、具身智能等多个行业。[1]