魔芯科技发布通用4D世界模型MoWorld 2.0,昇腾NPU推理达70 FPS
魔芯科技11月4日在乌镇世界互联网大会上发布新一代通用4D世界模型MoWorld 2.0,把重力、弹力、浮力、光照、柔体、流体、刚体、热力等十余种物理要素融入同一个模型。
推荐理由:原文给出十余种物理要素的统一建模方式,以及昇腾NPU上70 FPS与GPU方案30%的成本对比,可供评估物理仿真的落地条件。
技术方向
可交互的生成式环境与世界模型:实时生成可玩世界、物理与一致性、它们对游戏引擎意味着什么。
92 条精选近 30 天 47 条共收录 123 条
魔芯科技11月4日在乌镇世界互联网大会上发布新一代通用4D世界模型MoWorld 2.0,把重力、弹力、浮力、光照、柔体、流体、刚体、热力等十余种物理要素融入同一个模型。
推荐理由:原文给出十余种物理要素的统一建模方式,以及昇腾NPU上70 FPS与GPU方案30%的成本对比,可供评估物理仿真的落地条件。
Xinjie Lin 等人提出 Frontier3DBench,用 145 项任务、9 个类别覆盖物体、场景与可交互开放世界创作,并联合评测外观、结构与行为。在 11 种模型与 harness 配置中,GPT-6.1-sol 以 66.02/100 的总分在物体和场景层级领先,GPT-6-astra 则在交互式世界构建上领先;所有配置在参考重建上的得分都低于文本驱动生成。
推荐理由:11 种配置的分层得分把参考重建与协同活动完成列为 coding agent 做 3D 的主要瓶颈,可作为选型与方法对比的参照。
作者提出实时交互世界模型 PlayGen2,将学习到的3D状态演化与神经渲染分离,用体积占据网格和带身份索引的3D状态维护持久世界记忆。以 Doom 为测试平台,模型学会了包含几何感知玩家移动和玩家与 NPC 交互的世界动态,完整模拟与渲染管线在搭载 M4 Pro 芯片的 MacBook Pro 上后端延迟约 160ms。
推荐理由:论文把可玩世界拆成显式3D状态演化与神经渲染两部分,并给出延迟与零样本迁移的实测结果,便于判断这类世界模型能否支撑实时交互。
Monash University、南京大学、生数科技等机构提出 LiveFoley,一个从实时画面流生成音效的流式视频转音频(V2A)模型,在单张 A800 GPU 上端到端延迟为 156 ms。
推荐理由:论文给出单卡 A800 上 156 ms 端到端延迟与对齐指标,可供判断流式音效能否接入游戏引擎渲染。
研究团队提出 Isekai3D SDG,一个基于可复用环境与角色资产及 Unreal Engine 插件、用于模拟和采集合成 3D 游戏画面的平台,面向视觉与世界模型、神经渲染、游戏智能体等研究。
推荐理由:两段式流程把游戏模拟与画面采集拆开,同一段 gameplay 可重复产出多种输出,方便判断数据管线的接入成本。
Hyper3D by Deemos 宣布 WorldGen 上线 Agentic Mode,可从单张图片生成完整 3D 场景网格,包含光照、材质和独立物体网格,且全部可编辑。作者称每个资产都可直接导出到 Blender 等 DCC 工具,并保留光照,适用于游戏开发、设计和机器人 Sim2Real。体验地址为 https://hyper3d.ai/workspace/rodin?feature=worldgen。
推荐理由:原文说明 WorldGen 的 Agentic Mode 能把单张图片转成可编辑的完整 3D 场景,并导出到 Blender 等 DCC 工具。
论文提出 Wizard,一个智能体游戏世界模型,可在实时中精确控制角色动作,并对新场景、角色和动作实现零样本泛化。作者构建了覆盖 750 个场景和 178 个角色的数据集,用骨架与几何信息作为结构化表示来条件化视频生成模型,并引入自适应掩码机制改善条件信号与生成视频的一致性。配套的智能体框架显式维护和更新游戏状态,让玩家自由配置虚拟世界并细粒度控制角色动作。
推荐理由:论文给出 750 个场景、178 个角色的数据集与结构化代理条件方案,可看实时可控世界模型的实现路径。
研究者提出 Algebraic World Model(AWM),把与陌生环境的交互转成可执行 Python 假设,再整理为类型化对象与共享规则,并用范畴论引导的变换简化结构,最终在 Lean 4 中形式化以证明可达性与不可能性。
推荐理由:论文给出把陌生游戏环境交互转成 Lean 4 可检验数学模型的流程,读者可据此了解形式化证明如何用于判定关卡不可达。
作者提出 Fight World Model(FWM),将受规则约束的战斗执行与视频渲染分离,由可执行引擎维护状态并结算交互,再用确定性编译器把结果编码成时空对齐的交互代理。
推荐理由:论文把规则执行与视频渲染拆开,读者可了解可编程战斗世界模型如何保持受击与血量状态一致。
研究者提出 Fight World Model(FWM),把规则驱动的战斗执行与视频渲染分离,用可执行引擎维护状态并结算交互。确定性编译器将结算结果和尝试动作编码为时空对齐的交互代理,按角色身份与时间对齐动作与技能窗口、短暂受击反应和持续血量,模型在涵盖 52 种技能效果、187 种角色外观变体和 15 个竞技场的 FightWorld Corpus 上训练。
推荐理由:论文将战斗规则执行与视频渲染拆分,用交互代理传递状态,展示了不改动渲染器即可施加伤害缩放、吸血等新规则的思路。
腾讯混元发布开源交互式视频世界模型 Hy-Nomas 的技术报告,并同步开源了评测集 Hy-Nomas-Bench。作者还用 Hy-Nomas 复现了 Genie 4 的示例,并附上对比视频。引用的发布介绍称,该模型支持文本提示词与相机轨迹的自由交互,并具备世界记忆下的长时程生成能力。
推荐理由:作者同时开源了评测集并复现了 Genie 4 的示例,读者可以对照公开视频,自行判断其交互与长时生成效果。
研究团队提出代数世界模型 AWM,把与未知环境的交互转成可在 Lean 4 中形式化推理的数学模型。在两个不可通关的游戏关卡上,AWM 六次运行都给出了经内核校验的封闭 Lean 证明,排除所有合法通关序列,而配备编程工具的 Claude Opus 5.5 与 GPT-6 Astra 在十二次基线运行中都没能产出证明。
推荐理由:在不可通关的关卡上给出经内核校验的不可达结论,可据此了解形式化推理如何用于游戏环境建模。
研究者提出 Algebraic World Model(AWM),把与陌生环境的交互转成可形式化推理的显式数学模型,并在 Lean 4 中证明可达性与不可达性。
推荐理由:论文给出把陌生游戏环境转成可检验数学模型的流程,并用 Lean 证明不可达关卡,读者可据此理解形式化推理如何进入游戏智能体。
论文提出智能体游戏世界模型 Wizard,可在实时中精确控制角色动作,并对新场景、角色和动作实现零样本泛化。研究构建了覆盖 805 个场景、178 个角色的数据集,以骨架和几何信息作为结构化代理来条件化视频生成,并通过显式跟踪和更新游戏状态支持角色感知自适应掩码与世界锚定空间条件。
推荐理由:论文给出 805 个场景、178 个角色的数据集与 WBench 评测,可对照现有世界模型看实时可控生成的具体做法。
论文提出 GameVerse,一个面向长时序交互世界建模的分钟级游戏视频数据集,用于缓解现有数据片段过短的问题。数据集包含 69.7K 个片段、1655 小时和 349.6 million 帧,其中 1358 小时为连续两分钟序列。每个片段配有跨分钟保持连贯的相机轨迹,以及按事件边界对齐、区分静态场景与动态前景事件的字幕,实验显示用其训练能延长交互世界模型的时间跨度。
推荐理由:针对现有游戏视频片段过短、字幕粗糙的数据瓶颈,该工作给出分钟级数据集和事件级标注思路,可对照长时序世界模型的数据构建方式。
BoxWorld 将用户定义的交互规则交给 Box World Engine 处理,再由 Box-State 生成式渲染器按对象状态自回归渲染实时交互视频世界。论文称其在 PairedStateBench 等评测中明显优于端到端世界模型,并在多个公开基准上保持竞争力。训练分三阶段,利用开放域视频和游戏视频的自动标注学习对象定位与状态转移,并在自生成历史上做 rollout 蒸馏。
推荐理由:将交互推理与生成渲染拆开,并与端到端视频世界模型对照,可以看到可控游戏世界的一种分工思路。
Google DeepMind 推出新一代世界模型 Genie 4,可实时生成带原生音频和交互对话的模拟世界。用户可以用自然语言实时修改天气、镜头或加入人物与物体,Gemini 会调整提示并维持场景连贯。目前以研究预览形式向受信任测试者开放,Google AI Ultra 订阅用户和 Gemini API 早期合作伙伴将陆续获得访问,视觉细节和物体持久性仍可能随时间漂移。
推荐理由:它把原生音频、实时转向和 Gemini 推理放进同一套世界模拟,可借此观察交互世界模型的可用路径。
研究者发布 GameVerse,一个面向长时序交互世界建模的分钟级玩法视频数据集,包含 69.7K 段视频、1,655 小时、3.496 亿帧,覆盖第一人称与第三人称玩法。其中 1,358 小时为连续两分钟序列,比此前数据集长一个数量级;每段视频配有跨分钟保持一致的相机轨迹,以及区分静态场景与动态前景事件、按事件边界对齐的标注。论文称在该数据集上训练可显著延长交互世界模型的时间跨度。
推荐理由:数据集把可用序列拉到两分钟量级,并给出与既有公开数据集在规模和标注上的对比,便于判断长时序世界模型的训练数据缺口。
研究者发布 GameVerse,一个面向长时序交互世界建模的分钟级玩法视频数据集,包含 69.7K 段视频、1,655 小时、3.496 亿帧,覆盖第一人称与第三人称玩法。其中 1,358 小时为连续两分钟序列,比此前数据集长一个数量级;每段视频配有跨分钟保持一致的相机轨迹,以及区分静态场景与动态前景事件、按事件边界对齐的标注。论文称在该数据集上训练可显著延长交互世界模型的时间跨度。
推荐理由:数据集把可用序列拉到两分钟量级,并给出与既有公开数据集在规模和标注上的对比,便于判断长时序世界模型的训练数据缺口。
GameVerse 是一个面向长时程交互世界建模的分钟级游戏玩法视频数据集,包含 69.7K 段片段、1,655 小时、3.496 亿帧,其中 1,358 小时为连续两分钟序列,比此前数据集长一个数量级。
推荐理由:原文给出数据集规模、标注流程与训练实验,读者可据此判断长时程世界模型的数据瓶颈与可行做法。