当前位置:首页 / 业界 / 正文

睿思智联完成昇腾950DT适配认证,统一纳管与软切分支撑大小模型协同

科极网

北京睿思智联科技有限公司的Rise VAST AI算力管理平台与Rise CAMP AI算力调度平台已完成对华为新一代昇腾950DT的适配,并率先通过昇腾950DT Ascend Native认证及昇腾应用开发技术认证。

这使得Rise平台对昇腾多个版本算力卡的兼容适配矩阵进一步完善,覆盖算力纳管、切分超分、拓扑调度和故障监控等场景,实现从底层算力管理到上层模型服务的完整支持。

昇腾950DT硬件参数与集群能力

昇腾950DT采用自研HiZQ 2.0 HBM技术,内存容量达144GB,内存访问带宽4TB/s,互联带宽提升至2TB/s,支持FP8、MXFP8、MXFP4、HiF8等多种数据格式,FP4算力达16E FLOPS,更侧重推理解码和训练场景。

在Atlas 950超节点中,最多可支持8192张昇腾950DT卡通过灵衢(UnifiedBus)全光互联协议进行互联;相比上一代昇腾384超节点,训练性能提升17倍,推理性能提升26.5倍。

不过参数只是起点,950DT从发布会走进数据中心之后,决定算力投资回报的是另外四个工程问题:144GB HBM如何被持续喂满、多卡协同如何跑满灵衢UB的互联带宽、单卡故障如何不演变为业务中断、新旧几代昇腾卡如何在同一套体系下统一调度。拿到认证只说明能用,Rise平台要交付的是好用。

统一纳管:全系昇腾卡纳入同一套体系

要让950DT进入生产,第一步是把它接入统一的异构算力管理体系。Rise平台对昇腾全系(310P、910A、910B、910C等)已实现池化支持,950DT纳入同一套纳管与调度方式:既可以与910系列放在同一个集群、甚至同一个异构资源池中混合管理,资源池可按节点和卡两个维度灵活划分;也支持Host-Member管控分离的多集群架构,统一申请、分配和监控。软切分所需的运行库由企业版预先集成并统一管理,CANN 8.5.0、9.0.0、9.1.0、9.2.0等多个版本集中维护、持续更新,各业务运行环境一致、可控。

软切分:整卡留给主角,小模型按需共享

950DT的主角戏是大模型训练和大模型Decode推理,这类任务需要整卡甚至多卡协作,睿思智联不建议对其切分。但真实的AI业务不只有主角,一个智能体应用背后往往是大小模型协同:大模型负责复杂推理,意图识别、请求路由、Embedding、Rerank、内容审核、工具调用这类高频、轻量任务交给小模型,既快又省。

这些小模型数量多、单个占用小,如果各占一张整卡,主角反而没有资源可用。Rise平台在已有多种算力切分能力的基础上,此次针对950DT提供更灵活的软切分:相比固定模板,业务可按算力需要自定义算力规格(如40%、70%等),并且无须提前切分,支持灵活、动态设置算力比例与显存大小,供多个小模型共享;vNPU可同时用于分布式推理和分布式训练任务。由此带来的收益是周边小模型不再各占整卡,整卡留给训练和Decode,同样规模的集群能承载更完整的智能体业务。

显存超分:低频冷模型不再霸占显存

显存像书桌,取用快但桌面小;服务器内存像书架,容量大得多。超分的做法是:正在用的模型摊在书桌上,暂时不用的收回书架,要用时再拿回来。Rise的显存超分能力已支持NVIDIA、昇腾、昆仑芯等多厂商,并可按硬件类型设置超配比例,在允许更多任务共享算力的同时,避免所有任务同时到达峰值导致资源耗尽。

具体实现上,物理显存与系统内存融合成统一的虚拟显存池,容量远大于物理显存,对上层应用完全透明,业务零改动;系统实时掌握模型状态,活跃模型留在显存,低频模型自动换至系统内存。客户收益是长期在线、很少被调用的模型不再一个模型独占一块显存,同一张卡挂更多模型,先把现有的卡用足,再考虑加卡。

拓扑感知调度与故障监控闭环

训练和大模型推理常常要多卡协同,卡与卡之间要不停对话。950DT采用灵衢UB互联,卡间通信链路的质量直接决定多卡任务的效率。Rise平台针对昇腾等芯片的互联结构提供拓扑感知调度,智能识别硬件之间的物理连接结构,为任务匹配最合理的通信路径;调度多卡任务时优先落在互联更紧密的卡上,就像安排需要密切配合的同事坐在同一层,而不是分两栋楼。多卡任务因此不被远距离通信拖累,直接服务于950DT的训练与大模型Decode场景。

在故障监控方面,平台持续采集每张昇腾卡的利用率、显存、温度、功耗等关键指标,并读取解析卡上报的故障码:支持Ascend详细故障码的分级告警(严重、高、中、低四级),逐条列出故障代码、错误信息与错误详情,翻译成哪张卡、什么故障、还能不能用;达到阈值的故障触发P0级告警并自动隔离故障卡,新任务调度时自动绕开;告警按级别路由后通过邮件、短信推送至值班队列,形成发现、处置、复盘的完整闭环。新任务不会被分到坏卡上,不用等人工排查再重来,故障原因一目了然,集群规模越大越省心。

开源贡献与平台能力边界

作为开源项目HAMi的核心贡献者之一,睿思智联也将陆续提交相关的适配代码,以支持社区用户共享昇腾950DT的新特性。目前睿思智联已获得昇腾910B、910C、950DT认证,无论客户用哪一代昇腾卡,都可以在Rise平台上统一管理、按需切分,任务调度和运行稳定性也由平台保障;模型服务侧,平台支持vLLM、SGLang、MindIE等主流推理引擎的一键部署与Token计量,从底层算力到上层模型服务一站完成。

本文基于公开信息编辑整理,如有版权或事实问题请 点此联系 ,我们将在3日内处理。