当前位置:首页 / 业界 / 正文

阶跃星辰发布Step5预览版,10月15日开源模型权重

来源:互联网

阶跃星辰正式发布新一代旗舰基座模型Step5的预览版本,官方给出的核心参数为稀疏MoE架构、总参数量600B、每Token激活约27B,支持100万Token上下文窗口,原生支持文本与图像输入。该模型面向AI编程、软件工程、金融分析与专业知识工作等需要长上下文、多轮工具调用和持续执行的真实任务。第三方评测机构Artificial Analysis给出的综合智能指数为44分,阶跃星辰称这一成绩进入全球开源模型前三。

阶跃星辰发布Step5预览版,10月15日开源模型权重 图1

与分数一同公布的是成本口径,官方称模型单任务成本约为对比旗舰模型的八分之一,Artificial Analysis测得的任务成本为0.71美元,输出速度约每秒100个Token。

这一代没有把参数继续做大,而是把重点放在计算转化为智能的效率上:从Step3.5Flash、Step3.7Flash到Step5,连续三代基座模型都在围绕同一个问题做取舍。

窄而深的架构选择

结构上,Step5选择了窄而深的路线,共92层Transformer。官方的解释是,复杂智能体任务需要连续搜索、执行代码、调用外部工具,工具返回的信息会形成很长的Prefill,增加网络深度可以为这段长输入里的隐式多跳推理提供更长的信息传播路径。深层网络的代价是数值爆炸与梯度尖峰风险更高,团队称针对训练稳定性做了专门优化,但没有披露具体的归一化与残差结构。

阶跃星辰发布Step5预览版,10月15日开源模型权重 图2

长上下文处理机制

面对100万Token上下文,Step5引入Sparse GQA,通过稀疏索引挑选与当前任务相关的历史信息,减少真正进入注意力计算的Token数量。算法的稀疏不必然等于同幅度的提速,索引开销、分散读取和较低的GPU利用率都可能抵消收益,因此官方进一步用Block-wise Token Merging合并部分Token后再做索引与选择,称把索引与Top-k选择环节的成本降到原来的八分之一。

开源与后续安排

开源安排是10月15日释放模型权重,API与Studio当前已经开放。阶跃星辰还提到,Step5被用于构建自身后续迭代所需的训练数据,其中专家负责制定原则和关键判断、确定性操作封装为工具、智能体承担任务编排与部分数据生成。对开发团队来说,真正值得关注的是它能否在长周期任务上稳定执行,而不是只看一次榜单分数。

声明:

1、凡本网注明“来源:XXX(非科极网)”的作品,均转载自其它媒体,转载目的在于传播更多行业信息,并不代表本网赞同其观点和对其真实性负责。

2、如因作品内容、版权和其他问题需要与本网联系的,请在该事由发生之日起30日内进行。