生数科技发布Vidu S2：实时互动、实时视频编辑与空间视频探索同步上线

近日，生数科技正式发布Vidu S2模型，将实时视频交互能力推向新的阶段。与此前版本相比，Vidu S2在实时互动角色、实时视频编辑以及空间视频探索三个方向同时更新，并在发布当天全量开放，不设内测或名额限制。

实时互动角色升级

Vidu S2-Avatar支持语音对话与语音控制数字人执行动作。与上一代Vidu S1相比，S2能够完成更大幅度的身体动作，例如跳舞、转圈和跺脚。同屏对比显示，S1未能完成这些要求，S2则能够跟随指令做出相应动作。

实时输出分辨率从上一代的540p提升至720p，数字角色的面部与衣服细节更加丰富。在持续互动过程中，人物动作、对话与画面清晰度可以同步保持。

互动过程中还可以随时向数字人提供新的参考图，使其拿起图中的物品、换上指定衣服或进入新的场景。这意味着数字人既能根据语音指令做动作，也能按照参考图调整自身内容。

实时视频编辑

Vidu S2-Editing提供对正在播放的视频进行实时编辑的能力，支持更换服装、角色、背景和视频风格。在一段采访画面中，人物的服装可以实时切换，不同款式均能贴合身体，人物动作连贯，脸部一致性保持良好，服装随动作产生的形变也较为真实。其中一套驼色大衣的袖口半遮住佩戴的首饰，处理细节接近真实。

背景替换同样可以实时完成，人物在不同场景中保持动作连贯。只更换人物而不更换背景时，新角色能够融入原有环境，透视与遮挡关系正常。风格切换测试中，画面全程一致性与风格迁移能力表现稳定。

Vidu S2-Editing的实时编辑能力包括实时更换主体角色、更换背景、更换服装以及切换视频风格。直播、虚拟角色演出和创意视频制作可以在此基础上进行临场调整。

空间视频探索

Vidu S2进一步支持将生成或编辑的视频转换为左右眼画面，用于VR头显观看，探索与角色更具纵深感的互动。基于Vidu S2-Avatar，用户可以实时生成空间视频；基于Vidu S2-Editing，用户可以实时编辑空间视频。普通视频可以实时转换为空间视频，也可以将头显摄像头看到的真实物理世界作为创作画布。

空间视频基于双目立体视觉原理，利用两个不同视角同时记录影像，呈现三维立体深度。此类视频需要在支持空间计算的设备上观看，例如Apple Vision Pro，在普通设备上则显示为普通二维视频。

团队表示，头显对分辨率和延迟要求较高，画面模糊或延迟过高会影响观看体验，相关优化仍在持续进行。后续计划从固定视角扩展到全景空间视频。

从离线生成到实时交互

Vidu S1此前已经将数字人从依赖音频驱动口型与预设动作库的传统模式，推进到通过语音控制数字人行为，并支持无限时长连续互动。Vidu S2在此基础上继续扩展交互能力，将分辨率提升至720p，数字人可执行更复杂动作，并在互动中接收新的参考图。

实时交互视频的每一帧都根据用户输入现场计算，模型生成速度需要超过播放速度，否则会出现卡顿。团队通过计算加速技术与多GPU协同调度减少模块间等待，使生成链路运行更顺畅。

Vidu S1与Vidu S2的全链路研发由清华大学朱军教授的博士生、生数科技流式视频生成与推理负责人张金涛负责。