人类如何学习陌生世界:ARC-AGI-3 出声思考数据集
研究者构建了一个记录人类在陌生游戏机制中探索与学习过程的出声思考数据集,包含64名参与者在25款公开游戏中的144条人类轨迹,以及250条LLM智能体轨迹。分析显示,成功的人类轨迹中定性表征占50.0%,成功的LLM轨迹中占14.3%,人类更常在没有具体假设时探索。
推荐理由:这篇论文用人类出声思考的游戏轨迹对照LLM智能体的失败与恢复过程,可以作为审视现有游戏智能体基准局限的参照。
技术方向
可交互的生成式环境与世界模型:实时生成可玩世界、物理与一致性、它们对游戏引擎意味着什么。
92 条精选近 30 天 47 条共收录 123 条
研究者构建了一个记录人类在陌生游戏机制中探索与学习过程的出声思考数据集,包含64名参与者在25款公开游戏中的144条人类轨迹,以及250条LLM智能体轨迹。分析显示,成功的人类轨迹中定性表征占50.0%,成功的LLM轨迹中占14.3%,人类更常在没有具体假设时探索。
推荐理由:这篇论文用人类出声思考的游戏轨迹对照LLM智能体的失败与恢复过程,可以作为审视现有游戏智能体基准局限的参照。
WorldPager 将交互式世界模型的 int4 KV 记忆分层存放在 GPU、DRAM 与 NVMe 中,并根据相机位姿预取,在单张 RTX 4090 上连续生成 37.5 分钟视频且无停顿、主机内存保持恒定,速度约 9.5 帧每秒。在封闭测试集上,int4 存储未见可测量的质量损失;长间隔重访时图像质量约下降 1 个 MUSIQ 点。
推荐理由:论文把世界模型的 KV 记忆放进 GPU、DRAM 与 NVMe 分层存储,并按相机位姿预取,对关注长时程交互视频生成的读者有参考价值。
BoxWorld 将用户定义的交互规则交给 Box World Engine 处理,再由 Box-State 生成式渲染器按对象状态自回归渲染实时交互视频世界。论文称其在 PairedStateBench 等评测中明显优于端到端世界模型,并在多个公开基准上保持竞争力。训练分三阶段,利用开放域视频和游戏视频的自动标注学习对象定位与状态转移,并在自生成历史上做 rollout 蒸馏。
推荐理由:将交互推理与生成渲染拆开,并与端到端视频世界模型对照,可以看到可控游戏世界的一种分工思路。
WorldPager 将交互式世界模型的 int4 KV 记忆分层存放在 GPU、DRAM 与 NVMe 中,并根据相机位姿预取,在单张 RTX 4090 上连续生成 37.5 分钟视频且无停顿、主机内存保持恒定,速度约 9.5 帧每秒。在封闭测试集上,int4 存储未见可测量的质量损失;长间隔重访时图像质量约下降 1 个 MUSIQ 点。
推荐理由:论文把世界模型的 KV 记忆放进 GPU、DRAM 与 NVMe 分层存储,并按相机位姿预取,对关注长时程交互视频生成的读者有参考价值。
研究者构建了一个记录人类在陌生游戏机制中探索与学习过程的出声思考数据集,包含64名参与者在25款公开游戏中的144条人类轨迹,以及250条LLM智能体轨迹。分析显示,成功的人类轨迹中定性表征占50.0%,成功的LLM轨迹中占14.3%,人类更常在没有具体假设时探索。
推荐理由:这篇论文用人类出声思考的游戏轨迹对照LLM智能体的失败与恢复过程,可以作为审视现有游戏智能体基准局限的参照。
WMEval 是一个以 Unity 物理模拟为参照、评测交互式世界模型的基准。它覆盖 9 个场景,评测动作可控性、场景与角色一致性、提示词遵循、运动学、流体力学、物理因果和光照。通过在模拟器和世界模型中执行匹配的动作序列进行对比,论文称,现有模型在标准感知指标遮蔽的维度上仍有明显提升空间。
推荐理由:现有世界模型评测多看画面感知相似度,这篇改用 Unity 物理模拟作参照,补上了物理因果一致性的检验。
论文研究大语言模型能否根据事件日志和智能体拟采取的动作预测未来观测,基准来自人类外交(Diplomacy)对局和 Polymarket 真实交易。当只给出智能体自身动作、其他行动者强烈影响结果时,模型预测明显不足,更大的模型和更长的历史帮助有限。提供所有行动者的记录动作后,微调和更多数据可改善预测,但模型仍会高估计划成功率,而基于世界模型的想象经验仍能改善策略学习。
推荐理由:论文指出,只给出智能体自身动作时,模型难以预测其他行动者强烈影响的结果,这是多主体事件世界建模的主要缺口。
AnyGameRenderer 是一个视频到视频的生成式渲染器,能把 AI 编程智能体制作的灰模或色块游戏视频转换为带角色、动作细节和特效的画面,同时保持布局、镜头和实体的位置与时序不变。
推荐理由:它把智能体生成的灰模原型转成带角色和特效的画面,并用实体级基准衡量时序对应,有助于判断原型到成品视觉的可行性。
AnyGameRenderer 是一个视频到视频的生成式渲染器,能把 AI 智能体做出的灰盒、彩色几何体等原型画面转成带角色、动作细节和特效的高质量画面,同时保持布局、相机以及每个实体的位置与出现时机不变。
推荐理由:论文给出把灰盒原型视频转成高质量画面的方法,并附实体级基准与量化对比,可判断生成渲染能否保住实体对应关系。
LiveAct 提出异构动作接口,让多智能体视频世界模型为多个受控主体生成联合视觉未来,并处理从游戏按键到机器人指令的不同控制。该方法在游戏和多机器人操作任务上的智能体归因准确率分别达到 0.898 和 0.942,且不依赖智能体位置或身份裁剪。因果生成器在 512×448 分辨率下达到 17.70 FPS。
推荐理由:该工作把每路动作流绑定到对应视觉主体,并报告了 17.70 FPS 的流式生成速度,可与已有单智能体交互世界模型的设定对照阅读。
WorldStream 提出一种开放式 3D 世界模型,可在运行中扩展可玩地形、响应开放式语言指令,并恢复已访问地点及其编辑内容。它用分层规划器输出宏观与微观结构决策,再由确定性本地代码编译为地形、道路、聚落、植被和实体。世界记录保存规划、种子、对象身份、可变状态和边界约束,使返回的区块能据此重新编译,带状态的 NPC 也会随行动更新。
推荐理由:论文把地形生成、NPC 状态和已访问区域的编辑记录放进同一套世界状态里,适合对比开放世界流式生成的几种做法。
论文研究大语言模型能否根据事件日志和智能体拟采取的动作预测未来观测,基准来自人类外交(Diplomacy)对局和 Polymarket 真实交易。当只给出智能体自身动作、其他行动者强烈影响结果时,模型预测明显不足,更大的模型和更长的历史帮助有限。提供所有行动者的记录动作后,微调和更多数据可改善预测,但模型仍会高估计划成功率,而基于世界模型的想象经验仍能改善策略学习。
推荐理由:论文指出,只给出智能体自身动作时,模型难以预测其他行动者强烈影响的结果,这是多主体事件世界建模的主要缺口。
LiveAct 提出异构动作接口,让多智能体视频世界模型为多个受控主体生成联合视觉未来,并处理从游戏按键到机器人指令的不同控制。该方法在游戏和多机器人操作任务上的智能体归因准确率分别达到 0.898 和 0.942,且不依赖智能体位置或身份裁剪。因果生成器在 512×448 分辨率下达到 17.70 FPS。
推荐理由:该工作把每路动作流绑定到对应视觉主体,并报告了 17.70 FPS 的流式生成速度,可与已有单智能体交互世界模型的设定对照阅读。
SolarRenderer 是一个结构条件视频渲染器,可把游戏引擎或编码智能体给出的布局、动作和镜头转为逼真视频。它以冻结的 MiniMax-H3 33B 骨干加两个轻量 LoRA 实现,四步渲染比50步采样快12.3倍,其流式变体可实时渲染 768p 视频。论文报告其在同分布测试集和16种结构表示的泛化基准上取得最优结果,并能泛化到姿态骨架、草图和点云等11种未见表示。
推荐理由:论文把游戏引擎给出的粗结构转为视频,四步采样比50步快12.3倍,可作为实时生成渲染的参考。
Tripo 的实时生成式渲染工具 Eden-Live 已在 Reactor 平台正式上线,可直接体验在线 demo。引用内容介绍,它可以把 3D 场景或原型重绘为互动世界,支持结合参考图和文字实时改变风格,并允许在运行中修改提示词。
推荐理由:Eden-Live 已在 Reactor 平台提供在线 demo,适合关注实时画面重绘和场景风格化的开发者对照评估接入方式。
ActionRoPE 把动作驱动的相机位移转换为世界坐标旋转位置,使同一世界位置的 token 在不同时间保持相同位置编码。论文还提出坐标条件噪声调度 CNS,让已观测区域更早稳定,新区域参考已观测内容生成。与四种代表性动作条件机制相比,该方法更忠实地跟随指令动作,回访漂移较最强基线降低 66%,并可迁移到 1.3B 至 33B 参数的视频骨干模型及分布外场景。
推荐理由:把动作位移转换为世界坐标旋转位置,对俯视角和等距视角游戏的世界模型动作控制有参考价值。
WorldStream 提出一种开放式 3D 世界模型,可在运行中扩展可玩地形、响应开放式语言指令,并恢复已访问地点及其编辑内容。它用分层规划器输出宏观与微观结构决策,再由确定性本地代码编译为地形、道路、聚落、植被和实体。世界记录保存规划、种子、对象身份、可变状态和边界约束,使返回的区块能据此重新编译,带状态的 NPC 也会随行动更新。
推荐理由:论文把地形生成、NPC 状态和已访问区域的编辑记录放进同一套世界状态里,适合对比开放世界流式生成的几种做法。
Viggle AI 发布世界基础模型 JST-2,目前已在其 API 中上线,开发者可通过 https://viggle.ai/developers 开始接入。该公司称 JST-2 在 3D 空间中构建整套模型栈,而非像素或视频空间,可在数秒内生成 3D 场景并实时扩展。同一通用架构下还可生成内置动作的 3D 角色。
推荐理由:与多数在像素或视频空间学习的世界模型不同,JST-2 直接在 3D 空间构建整套模型栈,API 已开放。
SolarRenderer 是一个结构条件视频渲染器,可把游戏引擎或编码智能体给出的布局、动作和镜头转为逼真视频。它以冻结的 MiniMax-H3 33B 骨干加两个轻量 LoRA 实现,四步渲染比50步采样快12.3倍,其流式变体可实时渲染 768p 视频。论文报告其在同分布测试集和16种结构表示的泛化基准上取得最优结果,并能泛化到姿态骨架、草图和点云等11种未见表示。
推荐理由:论文把游戏引擎给出的粗结构转为视频,四步采样比50步快12.3倍,可作为实时生成渲染的参考。
OverSeer 是一种多智能体世界模型,在智能体第一人称视角之外加入空间位置固定的辅助相机视角,用以提升多智能体视频生成在时间和跨智能体之间的一致性。该方法使用 delta-VAE 只编码相对静态参考图的变化,可减少处理辅助视角所需的 token 数量。在 Minecraft 和 Doom 中的实验显示世界与智能体一致性有所改善,真实世界多相机采集的定性结果显示该方法不依赖游戏引擎。
推荐理由:多智能体视频世界模型难以保持跨视角一致,该文用固定辅助视角作为世界状态代理,对多视角生成有参考价值。