跳到正文

技术方向

世界模型 最新动态

可交互的生成式环境与世界模型:实时生成可玩世界、物理与一致性、它们对游戏引擎意味着什么。

92 条精选近 30 天 47 条共收录 123 条

更新

精选归档 · 第 4 页

10月20日周二第 61–80 条
  1. arXiv 游戏 AI 检索69

    Matrix-Game 4.0:利用视频模型构建实时可玩游戏世界

    Matrix-Game 4.0 将游戏执行与视觉生成分开,由轻量游戏引擎维护世界状态并执行交互规则,再由自回归视频模型把低多边形渲染画面转为细节画面。论文称其在单张 NVIDIA RTX5090 上可实现 480p、60 FPS 的游戏画面,按键到显示延迟为 112ms。单步生成的稳态吞吐为 83FPS,峰值 GPU 显存占用 18.2GiB。

    推荐理由:该工作把世界状态和交互规则交给可执行引擎,把画面生成交给视频模型,可对照可玩世界模型的工程分工思路。

  2. arXiv 游戏 AI 检索44

    InfiniDream:通过程序化生成构建开放式逼真3D世界

    InfiniDream 提出一个由 VLM 驱动的开放式程序化3D世界生成框架,可在不依赖预设工厂和 API 的情况下创建新型逼真资产。论文在 100 个物体和 20 个场景生成任务上评估,四项感知指标有所提升。框架还结合语义场景规划与确定性视锥引导网格放置,用于构建带有程序化填充和动画的大规模3D世界。

    推荐理由:现有 VLM 引导的程序化方法多受预设工厂和 API 限制,这篇论文尝试放开资产类型,可与同类方法对照阅读。

10月19日周一
  1. Viggle AI35

    Viggle AI 发布 JST-2 物理原生世界基础模型

    Viggle AI 发布全栈物理原生世界基础模型 JST-2,原文称其整套模型栈在3D中构建,而非基于像素或视频空间。原文称可在数秒内生成3D场景并实时扩展,并通过同一通用架构创建内置动作的角色。

    推荐理由:与多数在像素或视频空间学习的世界模型不同,它选择直接在3D中构建整套模型栈,可作为观察不同技术路线的参照。

  2. arXiv 游戏世界模型与生成检索49

    ActionRoPE:用世界坐标实现平面相机游戏世界模型的空间一致控制

    ActionRoPE 把动作驱动的相机位移转换为世界坐标旋转位置,使同一世界位置的 token 在不同时间保持相同位置编码。论文还提出坐标条件噪声调度 CNS,让已观测区域更早稳定,新区域参考已观测内容生成。与四种代表性动作条件机制相比,该方法更忠实地跟随指令动作,回访漂移较最强基线降低 66%,并可迁移到 1.3B 至 33B 参数的视频骨干模型及分布外场景。

    推荐理由:把动作位移转换为世界坐标旋转位置,对俯视角和等距视角游戏的世界模型动作控制有参考价值。

  3. 量子位57

    VAST开源实时世界模型EdenLive 单张消费级显卡720P下超24FPS

    VAST发布并开源实时世界模型EdenLive,可在任意参考输入和画风下实时生成画面并持续运行。据VAST介绍,在单张RTX 5090、720P条件下,5B模型生成速度超过24FPS,从用户输入到画面出现的端到端延迟为百毫秒级。EdenLive负责视觉渲染,世界状态和交互规则仍由上游交互系统维护,目前已开放模型权重、推理代码和技术报告。

    推荐理由:文章讲清了实时渲染与状态维护分工的设计思路,并给出消费级显卡上的速度和延迟数据,便于判断它在游戏原型中的可用范围。

10月17日周六
  1. arXiv 游戏 AI 检索43

    Mirror:自我改进的视频到动作模型

    Mirror 是一种自监督方法,无需先验动作数据或手写奖励,通过与环境交互学习视频到动作的映射。在 Atari、OGBench 和 DeepMind Control 上,它以学到的视频计划超过了基于观察学习的主流方法;在 Minecraft BASALT 上,它超过了可使用专家动作或手工任务知识的方法。在 Minecraft 生存任务中,它仅靠自我改进就获得了铁镐,不依赖奖励或专家动作标签。

    推荐理由:它不依赖人工动作标注和手写奖励,让视频规划模型能够转化为可执行的智能体策略,适合关注视频模型与智能体结合的读者。

  2. arXiv 游戏 AI 检索45

    Mirror:自我改进的视频到动作模型

    Mirror 是一种自监督方法,无需先验动作数据或手写奖励,通过与环境交互学习视频到动作的映射。在 Atari、OGBench 和 DeepMind Control 上,它以学到的视频计划超过了基于观察学习的主流方法;在 Minecraft BASALT 上,它超过了可使用专家动作或手工任务知识的方法。在 Minecraft 生存任务中,它仅靠自我改进就获得了铁镐,不依赖奖励或专家动作标签。

    推荐理由:它不依赖人工动作标注和手写奖励,让视频规划模型能够转化为可执行的智能体策略,适合关注视频模型与智能体结合的读者。

10月15日周四
  1. 量子位66

    昆仑万维开源 Matrix-Game 4.0,游戏世界模型可单张 RTX 5090 实时运行

    昆仑万维旗下 Skywork AI 发布并开源游戏世界模型 Matrix-Game 4.0,据称是首款可在单张消费级显卡上实时运行的游戏世界模型。其做法是由游戏引擎维护世界状态与规则,视频模型负责实时生成画面,在单张 RTX 5090 上以约 60 FPS 运行,显存峰值约 18.5GiB,按键到画面响应不到 0.15 秒。

    推荐理由:游戏逻辑交给引擎、画面交给视频模型,这套分工给出了单卡实时游戏世界模型的一种工程思路。

  2. arXiv 游戏 AI 检索39

    PAWA:面向多智能体的全景动作条件世界建模

    PAWA 提出了一套面向多人 Minecraft 场景的同步 POV 与全景视频数据集及框架,用于动作条件下的多智能体世界建模。模型采用双塔结构联合预测两路视频,并通过跨注意力对齐共享世界坐标系中朝向相同的 token。论文称其 POV 预测质量优于现有多人世界模型,同时能生成高保真全景预测,数据集与采集流程已开源。

    推荐理由:论文补齐了同步的 POV 与全景视频多人数据,对关注多人世界模型数据构建的读者有参考价值。

  3. arXiv 游戏 AI 检索35

    SMART:用区域令牌寻址槽位记忆的长时程视频生成

    SMART 提出一种由区域令牌寻址的槽位记忆,在固定存储与计算成本下支撑长时程视频生成中的空间回忆。写入由观察相机寻址,读取由渲染相机查询,无需构建显式三维表示或维护不断增长的缓存。每次读取还会给出置信度,用于调节分块因果扩散 Transformer 对检索内容的信任程度,并在 Memory Maze 和 Minecraft 的长轨迹测试中,于训练时长之外仍保持较高保真度的回忆。

    推荐理由:相比依赖显式三维重建或时序递归的记忆方式,该方法用固定大小的槽位记忆按相机位置寻址,对关注长时程世界模型的读者有参考价值。

10月14日周三
  1. arXiv 游戏世界模型与生成检索35

    论文提出 CGWMs,用时序逻辑学习可解释的世界模型概念表示

    论文提出概念锚定世界模型 CGWMs(Concept-Grounded World Models),用时序逻辑表达的完整知识从观测中学习可解释的概念表示,而非黑箱表示。规划被表述为可微推理,通过梯度上升优化智能体动作以满足目标。在两个游戏环境与纯神经基线、神经符号基线的对比中,CGWMs 的概念锚定更准确,长时程下同样成立,分布内与分布外规划更稳健。

    推荐理由:论文把时序逻辑知识与世界模型的概念学习、规划放在同一框架里,并在两个游戏环境与纯神经、神经符号基线对比,可据此看这条路线的方法取舍。

10月13日周二
  1. 量子位38

    字节世界模型在《2026 美好奇妙夜》现场亮相,可一句话生成并自由探索三维场景

    字节在抖音集团《2026 美好奇妙夜》科技节目上展示了自研世界模型,能一句话生成三维场景,并支持自由探索、实时交互、物体生成与编辑、跨场景连通,模型目前尚未正式发布,现场演示由影视飓风的 Tim 完成。

    推荐理由:以字节世界模型的现场演示为切口,比较 OpenAI、DeepMind 与英伟达在空间建模和物理 AI 训练上的路线差异。

10月12日周一
  1. 量子位61

    华为 Memento 3 通关 ARC-AGI-3 全部25款游戏,操作次数比人类少56%

    华为诺亚方舟实验室联合 UCL 等团队提出 Memento 3,通关 ARC-AGI-3 公开集全部25款游戏、183个关卡,RHAE 拿下满分100。它不更新模型权重、也不针对游戏微调,以 Claude Opus 5 为底模,靠不断更新的 Markdown 规则手册和可执行的 Python 世界模型递归自我改进,总操作7518次,比人类的17135次少约56%。

    推荐理由:方法不更新模型权重,靠外置规则手册与可执行世界模型持续迭代,为智能体在未知规则下的效率优化提供可迁移思路。

  2. arXiv 游戏 AI 检索43

    电竞世界模型数据集(EWM)

    EWM 是一个覆盖 StarCraft II、Dota 2 和 Counter-Strike 2 的人类对局数据集,包含 3,053 场对局与地图,约 4,880 小时玩家视角,其中 CS2 扩展部分的时长为估算值。

    推荐理由:数据把人类决策、共享状态与各玩家私有视野对应起来,对研究多人可控世界模型的人可以直接参考其数据组织方式。

10月11日周日
  1. The Decoder65

    Odyssey 开放世界模型 Odyssey-3 公开研究预览,提供免费在线 Demo

    Odyssey 发布世界模型 Odyssey-3 的公开研究预览,用户可从文本提示生成可交互环境并实时探索,开发者可申请 API 访问。免费在线 Demo 运行在 Odyssey-3 Flash 上,基础模型有 14 亿参数、生成 832 × 480 视频, Odyssey-3 Pro 支持 1280 × 720。

    推荐理由:在物理基准测试上,原文同时给出官方自选单次成绩与四轮平均分,读者可据此判断这类世界模型成绩的统计口径差异。

10月9日周五
  1. arXiv 游戏 AI 检索56

    MultiWorldBench:独立控制的多个视角能否描述同一个共享世界

    作者提出 MultiWorldBench,一个诊断性 Minecraft 基准,用来检验多人世界模型中独立控制的视角是否与同一个持续共享的世界保持一致,包含 495 组用例配置、七个任务套件和十项能力。

    推荐理由:论文用 495 组配置对比三款生成式世界模型与参考 Engine GT 的十项能力,可据分数差距判断当前短板。

  2. arXiv 游戏 AI 检索45

    AgentGarten:面向持续演化智能体的代码世界框架

    论文提出 AgentGarten 框架,把模拟器与游戏引擎同共享的神经渲染器耦合,构建可实时交互的虚拟环境。模拟后端维护持久世界状态并执行程序定义的交互规则,渲染器从通过统一接口导出的结构化条件生成视觉观察;神经渲染器由预训练视频模型改造为几何条件输入,采用提出的 Adversarial Forcing 蒸馏并针对实时交互优化推理。

    推荐理由:论文把模拟器与游戏引擎接入同一个神经渲染器,并给出智能体 4 轮经验对比数百万轮强化学习的学习效率结果。

  3. arXiv 游戏 AI 检索38

    AgentGarten:面向演化智能体的代码化世界

    AgentGarten 将模拟器、游戏引擎与共享神经渲染器结合,构建可实时交互的环境,智能体通过视觉观测感知世界并与之互动。论文提出 Adversarial Forcing,用于把预训练视频模型蒸馏为几何条件下的神经渲染器,并让历史观测的编码也能接受后续预测的损失反向更新。实验报告称,智能体只需 4 轮经验即可学习,而对照的传统强化学习方法需要百万量级的训练。

    推荐理由:论文把世界写成代码并交给共享神经渲染器生成画面,可以对照它与传统强化学习在学习效率上的比较,判断这种环境扩展思路是否适合自己的项目。

  4. Odyssey35

    Odyssey 发布世界模型 Odyssey-3

    Odyssey 官方宣布发布世界模型 Odyssey-3,称其在让世界模型支撑物理 AI、生成用于训练智能体的环境这一方向上迈出一大步。官方表示 Odysside-3 现已开放体验,并给出 odyssey.systems/meet-odyssey-3 链接。推文未披露模型规模、能力细节或可用范围。

  5. Odyssey35

    Odyssey 发布基础世界模型 Odyssey-3

    Odyssey 发布基础世界模型 Odyssey-3,称其可支持物理 AI、人类体验以及智能体训练等多类应用。官方特别提到智能体可在 Odyssey-3 内部从经验中学习并完成目标。

    推荐理由:Odyssey 官方给出 Odyssey-3 的定位,读者可了解基础世界模型在智能体经验学习上的应用方向。