D-Matrix公布Raptor推理芯片,采用堆叠式3D DRAM
科极网D-Matrix 在 SC26 介绍了面向人工智能推理的 Raptor 芯片。该公司研究员萨蒂亚姆·斯里瓦斯塔瓦表示,这款第二代芯片计划于明年推出,核心设计是在计算逻辑下方堆叠 3D DRAM。

存储单元移至独立层
随着人工智能工作负载转向推理,内存带宽影响硬件生成词元的速度,也决定计算单元是否需要停下来等待数据。这位研究员认为,芯片只是整套基础设施的一部分,系统设计还要把内存、互连和软件整合在一起。除内存带宽外,能效、互连效率和软件协同也需一并考虑。
新设计沿用分布式内存架构,把存储单元从逻辑裸片移至独立层,避免占用其面积。存储层与计算逻辑之间的数据传输距离较短,且无须经过中介层。
他表示,这种堆叠式内存的容量介于 SRAM 和 HBM 之间,形成新的内存层级。与 HBM 相比,其带宽和能效均达到 10 倍。
量产前分阶段验证
该公司先用测试芯片验证存在技术风险的设计,再将相关技术用于加速器。早期的 Jayhawk 用于验证裸片间的互连,随后推出的 Jayhawk II 则用于验证数字存内计算。
Corsair 加速器整合了这两项技术,于今年早些时候进入全面量产。目前,工程团队正使用 Pavehawk 测试芯片验证存储器与逻辑裸片的堆叠方式。
加速器与现有集群配合
他表示,在现有 Hopper GPU 集群中搭配采用 Corsair 的服务器,利用率可从约 20% 提升至最高 80%,相同支出可换取更多生成的词元。
该公司已采用英伟达的 NVLink Fusion 机架级基础设施,使自家加速器接入英伟达的人工智能工厂。他称,这项合作让团队能接入成熟的硬件生态,并采用经过充分验证的 MGX 机架设计。
其描述的异构计算体系以整个集群为计算单元,由软件统一调度不同设备。集群可包含 GPU、CPU 和 ASIC 加速器,Raptor 也可作为其中的加速器,由系统按具体负载选择合适的硬件。