2026年10月15日，昆仑万维正式发布Matrix-Game 4.0，这是世界上第一款运行在单张消费级显卡上的视频大模型游戏。该项目打破了以往视频生成模型依赖多卡集群的限制，通过构建“游戏引擎维护状态、视频模型实时渲染”的新范式，实现了从代码生成逻辑到实时画面呈现的完整闭环。项目已同步开源，为游戏原型开发及UGC创作提供了可落地的技术路径。
单卡实时运行突破算力瓶颈
Matrix-Game 4.0 的核心技术突破在于实现了消费级硬件下的实时交互。该系统在单张 NVIDIA RTX 5090 显卡上，以 480p 分辨率和 60 FPS 的帧率运行，从玩家按键到首帧响应的端到端延迟 低于 150 毫秒。其单步去噪稳态生成速度达 83 FPS，显存峰值控制在 18.5 GiB。这一组指标表明，视频模型驱动的游戏首次具备了本地部署与实时交互的实际价值，不再局限于离线渲染的演示视频，而是成为可真正上手操作的交互式应用。
引擎与AI协同确立新范式
针对以往交互式世界模型中世界状态缺乏独立维护机制、长时间交互一致性差以及游戏规则难以精确验证等痛点，Matrix-Game 4.0 提出了“Harness”新范式。该范式由三个模块分工协作：
- 游戏引擎：作为“裁判”，负责维护世界状态、执行交互规则（如生命值、碰撞、任务进度），并输出结构画面与动态语义条件，确保规则可定义、可验证。
- 编程智能体：负责将自然语言需求转化为可运行的游戏代码与场景配置，降低创作门槛。
- 视频模型：作为“画师”，接收结构约束与语义条件，将简单几何转化为精细画面，负责视觉呈现。
全链路工程优化支撑实时体验
为实现上述实时性能，团队打通了数据、训练与推理的全链路。数据层面，基于虚幻引擎5构建了覆盖城市、沙漠、城堡等场景的结构画面-精细画面对齐数据集，并引入动态Caption机制，实时关联物体ID与状态以约束生成。模型层面，基于Wan2.2 5B改造为视频到视频模式，采用148通道拼接输入及30层因果DiT架构。推理层面，通过CUDA Graph预录制、融合GPU kernel、FP8量化及环形KV缓存等优化手段，将文本编码器、DiT与VAE全部常驻单张RTX 5090，确保了毫秒级的响应速度。
Matrix-Game 4.0 的发布标志着视频生成技术从“被动观看”向“主动交互”的关键跨越。通过开源代码与技术基础，该项目降低了游戏开发的资产制作依赖，使得小团队和创作者能够通过自然语言快速迭代游戏原型，为AIGC在游戏行业的应用提供了全新的工程化标准。
