AnyGameRenderer 提出跨游戏实体一致的生成式渲染与实体级基准
AnyGameRenderer 是一个视频到视频的生成式渲染器,能把 AI 智能体做出的灰盒、彩色几何体等原型画面转成带角色、动作细节和特效的高质量画面,同时保持布局、相机以及每个实体的位置与出现时机不变。
推荐理由:论文给出把灰盒原型视频转成高质量画面的方法,并附实体级基准与量化对比,可判断生成渲染能否保住实体对应关系。
内容形态
值得读的游戏 AI 论文与技术报告:智能体、环境、生成与玩家研究的精选。
160 条精选近 30 天 75 条共收录 242 条
AnyGameRenderer 是一个视频到视频的生成式渲染器,能把 AI 智能体做出的灰盒、彩色几何体等原型画面转成带角色、动作细节和特效的高质量画面,同时保持布局、相机以及每个实体的位置与出现时机不变。
推荐理由:论文给出把灰盒原型视频转成高质量画面的方法,并附实体级基准与量化对比,可判断生成渲染能否保住实体对应关系。
HiSTEVE 1.0 是一个面向 Minecraft 等开放世界游戏的分层 VLA 智能体,由单一 VLA 以纯视觉输入和原生键鼠动作执行全部子任务。论文称其在 MineStudio Bench 上得分 85.0%,在 OpenHA 上平均成功率为 37.4%,原子任务表现达到当前最优。该工作还报告了智能体能像人类玩家一样从零合成铁镐等长程任务。
推荐理由:论文把高层子任务规划与原生键鼠视觉控制放进同一个 VLA 智能体,便于对比长程自主性和界面操作可靠性之间的取舍。
D-Skill 把教师与学生模型的成对轨迹差异提炼成可解释的自然语言技能文档,学生在推理时直接使用,无需更新权重。论文称,在 SpreadsheetBench-Verified、ALFWorld 和国际象棋谜题上,该方法可弥合教师与学生之间 75%-95% 的性能差距。同一模型族下,学生每任务推理成本比教师低 5.7x-8.3x。
推荐理由:与需要改写学生权重的传统蒸馏相比,它把教师经验写成可读的技能文档,便于对照思考。
ToM2Vec 通过固定预算的连续推理 token 学习多智能体协作中的心智理论,并以合作伙伴的真实想法作为训练监督。在 Overcooked-AI、多方谈判、Decrypto、Hanabi 和 Collab Escape/Capture 等合作、竞争与混合动机环境中,相比基础模型和多种竞争性基线取得稳定提升。
推荐理由:文章把心智理论压缩进固定数量的连续推理 token,并用合作伙伴的真实想法做监督,和文本推理的做法形成对照。
LiveAct 提出异构动作接口,让多智能体视频世界模型为多个受控主体生成联合视觉未来,并处理从游戏按键到机器人指令的不同控制。该方法在游戏和多机器人操作任务上的智能体归因准确率分别达到 0.898 和 0.942,且不依赖智能体位置或身份裁剪。因果生成器在 512×448 分辨率下达到 17.70 FPS。
推荐理由:该工作把每路动作流绑定到对应视觉主体,并报告了 17.70 FPS 的流式生成速度,可与已有单智能体交互世界模型的设定对照阅读。
论文通过 120 组训练配置,系统研究了持续预训练中数据量、多样性和模型规模对具身智能体的影响,模型规模覆盖 0.8B 到 27B。研究发现,多样性能提升对相关世界的迁移效果,但对差异较大的世界增益有限;模型规模能提高数据效率,但在单一世界训练下对远距离世界的泛化更差。作者认为,要构建通用具身智能体,还需要比持续预训练更丰富的训练阶段。
推荐理由:论文用 120 组配置对比数据量、多样性与模型规模的影响,结论是跨世界迁移收益有限,可作为游戏智能体训练路线的参照。
WorldStream 提出一种开放式 3D 世界模型,可在运行中扩展可玩地形、响应开放式语言指令,并恢复已访问地点及其编辑内容。它用分层规划器输出宏观与微观结构决策,再由确定性本地代码编译为地形、道路、聚落、植被和实体。世界记录保存规划、种子、对象身份、可变状态和边界约束,使返回的区块能据此重新编译,带状态的 NPC 也会随行动更新。
推荐理由:论文把地形生成、NPC 状态和已访问区域的编辑记录放进同一套世界状态里,适合对比开放世界流式生成的几种做法。
论文研究大语言模型能否根据事件日志和智能体拟采取的动作预测未来观测,基准来自人类外交(Diplomacy)对局和 Polymarket 真实交易。当只给出智能体自身动作、其他行动者强烈影响结果时,模型预测明显不足,更大的模型和更长的历史帮助有限。提供所有行动者的记录动作后,微调和更多数据可改善预测,但模型仍会高估计划成功率,而基于世界模型的想象经验仍能改善策略学习。
推荐理由:论文指出,只给出智能体自身动作时,模型难以预测其他行动者强烈影响的结果,这是多主体事件世界建模的主要缺口。
ToM2Vec 通过固定预算的连续推理 token 学习多智能体协作中的心智理论,并以合作伙伴的真实想法作为训练监督。在 Overcooked-AI、多方谈判、Decrypto、Hanabi 和 Collab Escape/Capture 等合作、竞争与混合动机环境中,相比基础模型和多种竞争性基线取得稳定提升。
推荐理由:文章把心智理论压缩进固定数量的连续推理 token,并用合作伙伴的真实想法做监督,和文本推理的做法形成对照。
LiveAct 提出异构动作接口,让多智能体视频世界模型为多个受控主体生成联合视觉未来,并处理从游戏按键到机器人指令的不同控制。该方法在游戏和多机器人操作任务上的智能体归因准确率分别达到 0.898 和 0.942,且不依赖智能体位置或身份裁剪。因果生成器在 512×448 分辨率下达到 17.70 FPS。
推荐理由:该工作把每路动作流绑定到对应视觉主体,并报告了 17.70 FPS 的流式生成速度,可与已有单智能体交互世界模型的设定对照阅读。
该研究提出一种面向精灵动画的可控方向帧生成方法,用三个共享 U-Net 结构的专家模型分别完成前向外推、中间插帧和后向外推。模型仅用280组精选精灵三元组训练,在42组测试样本上以 FLIP 指标衡量,三个方向的得分为0.26至0.27,较通用基线高出17%至57%。方法采用确定性单次生成与较紧凑的模型,面向像素风格精灵动画的生产流程。
推荐理由:针对像素精灵动画中前向外推、后向外推与插帧的需求,该研究仅用280组精选样本训练,对小数据垂直视觉领域的训练思路有参考价值。
SolarRenderer 是一个结构条件视频渲染器,可把游戏引擎或编码智能体给出的布局、动作和镜头转为逼真视频。它以冻结的 MiniMax-H3 33B 骨干加两个轻量 LoRA 实现,四步渲染比50步采样快12.3倍,其流式变体可实时渲染 768p 视频。论文报告其在同分布测试集和16种结构表示的泛化基准上取得最优结果,并能泛化到姿态骨架、草图和点云等11种未见表示。
推荐理由:论文把游戏引擎给出的粗结构转为视频,四步采样比50步快12.3倍,可作为实时生成渲染的参考。
ActionRoPE 把动作驱动的相机位移转换为世界坐标旋转位置,使同一世界位置的 token 在不同时间保持相同位置编码。论文还提出坐标条件噪声调度 CNS,让已观测区域更早稳定,新区域参考已观测内容生成。与四种代表性动作条件机制相比,该方法更忠实地跟随指令动作,回访漂移较最强基线降低 66%,并可迁移到 1.3B 至 33B 参数的视频骨干模型及分布外场景。
推荐理由:把动作位移转换为世界坐标旋转位置,对俯视角和等距视角游戏的世界模型动作控制有参考价值。
Fig 是一个智能体系统,可在游戏环境中有针对性地施加干预,以诱发合作、利用、欺骗、暗中协调、背叛和破坏六类目标行为。论文称,在 Fig 生成的有效场景中,模型平均在 45.2% 的回合中尝试了目标行为;对有对照的游戏与行为组合,干预使尝试率平均比匹配对照游戏高 10.9%。作者认为多智能体环境可作为可编程、可控且可复现的行为评测测试床,代码已在 GitHub 公开。
推荐理由:它把多智能体社会行为评测从被动观察转为可编程的环境干预,对想设计可复现测试环境的研究者有参考价值。
WorldStream 提出一种开放式 3D 世界模型,可在运行中扩展可玩地形、响应开放式语言指令,并恢复已访问地点及其编辑内容。它用分层规划器输出宏观与微观结构决策,再由确定性本地代码编译为地形、道路、聚落、植被和实体。世界记录保存规划、种子、对象身份、可变状态和边界约束,使返回的区块能据此重新编译,带状态的 NPC 也会随行动更新。
推荐理由:论文把地形生成、NPC 状态和已访问区域的编辑记录放进同一套世界状态里,适合对比开放世界流式生成的几种做法。
SolarRenderer 是一个结构条件视频渲染器,可把游戏引擎或编码智能体给出的布局、动作和镜头转为逼真视频。它以冻结的 MiniMax-H3 33B 骨干加两个轻量 LoRA 实现,四步渲染比50步采样快12.3倍,其流式变体可实时渲染 768p 视频。论文报告其在同分布测试集和16种结构表示的泛化基准上取得最优结果,并能泛化到姿态骨架、草图和点云等11种未见表示。
推荐理由:论文把游戏引擎给出的粗结构转为视频,四步采样比50步快12.3倍,可作为实时生成渲染的参考。
OverSeer 是一种多智能体世界模型,在智能体第一人称视角之外加入空间位置固定的辅助相机视角,用以提升多智能体视频生成在时间和跨智能体之间的一致性。该方法使用 delta-VAE 只编码相对静态参考图的变化,可减少处理辅助视角所需的 token 数量。在 Minecraft 和 Doom 中的实验显示世界与智能体一致性有所改善,真实世界多相机采集的定性结果显示该方法不依赖游戏引擎。
推荐理由:多智能体视频世界模型难以保持跨视角一致,该文用固定辅助视角作为世界状态代理,对多视角生成有参考价值。
论文通过 120 组训练配置,系统研究了持续预训练中数据量、多样性和模型规模对具身智能体的影响,模型规模覆盖 0.8B 到 27B。研究发现,多样性能提升对相关世界的迁移效果,但对差异较大的世界增益有限;模型规模能提高数据效率,但在单一世界训练下对远距离世界的泛化更差。作者认为,要构建通用具身智能体,还需要比持续预训练更丰富的训练阶段。
推荐理由:论文用 120 组配置对比数据量、多样性与模型规模的影响,结论是跨世界迁移收益有限,可作为游戏智能体训练路线的参照。
Matrix-Game 4.0 将游戏执行与视觉生成分开,由轻量游戏引擎维护世界状态并执行交互规则,再由自回归视频模型把低多边形渲染画面转为细节画面。论文称其在单张 NVIDIA RTX5090 上可实现 480p、60 FPS 的游戏画面,按键到显示延迟为 112ms。单步生成的稳态吞吐为 83FPS,峰值 GPU 显存占用 18.2GiB。
推荐理由:该工作把世界状态和交互规则交给可执行引擎,把画面生成交给视频模型,可对照可玩世界模型的工程分工思路。
World2HOSI 是一套多专家编排框架,可基于 3DGS 场景和自然语言指令生成连续的人-物-场景交互(HOSI)数据。论文称其在评测的 HOSI 任务上取得了最好的任务完成度和交互质量,并生成了更多样的数据。方法通过持久化场景状态、有界残差优化和接触驱动的物理仿真来减少物理伪影。
推荐理由:论文把现有专家模型放进统一的场景状态中编排调用,为缺少训练数据的长时程交互生成提供了可借鉴的思路。