Memento 3 提出反思式规则手册,让冻结 LLM 智能体持续修正世界模型
论文提出 Memento 3,让冻结的大语言模型智能体通过外部记忆持续学习显式世界模型:智能体维护一份自然语言规则手册,记录关于环境动态的可修订假设并对未知部分保持未指定,再将其编译为可执行代码用于预测和规划,通过观测、反思、规则修订、编译、验证的循环用预测误差同时改进规则手册和代码。
推荐理由:在底层大模型冻结的前提下,用可修订的规则手册加代码校验持续更新世界模型,为智能体学习提供了一条可迁移的方法路线。
技术方向
可交互的生成式环境与世界模型:实时生成可玩世界、物理与一致性、它们对游戏引擎意味着什么。
92 条精选近 30 天 47 条共收录 123 条
论文提出 Memento 3,让冻结的大语言模型智能体通过外部记忆持续学习显式世界模型:智能体维护一份自然语言规则手册,记录关于环境动态的可修订假设并对未知部分保持未指定,再将其编译为可执行代码用于预测和规划,通过观测、反思、规则修订、编译、验证的循环用预测误差同时改进规则手册和代码。
推荐理由:在底层大模型冻结的前提下,用可修订的规则手册加代码校验持续更新世界模型,为智能体学习提供了一条可迁移的方法路线。
MultiWorldBench 用 495 个 Minecraft 案例配置,评测多人世界模型能否让独立控制的视角保持同一个共享且持久的世界。
推荐理由:基准以 Minecraft 为对象检验多人视角是否共享同一世界,并给出多人世界模型与引擎参考之间的差距数据。
论文提出 MultiWorldBench,一个面向多人世界模型一致性的 Minecraft 诊断基准,含 495 个用例配置、7 个任务套件和 10 项能力。
推荐理由:多人世界模型的一致性该按哪些维度衡量,这份基准给出了可复用的评测口径和现有系统的具体差距。
作者提出 MultiWorldBench,用 495 个 Minecraft 用例检验多人世界模型能否让独立控制的视角保持同一个共享且持久的世界。
推荐理由:基准把共享世界一致性拆成十项能力逐项测试,并以引擎真值为参照,给出了多人世界模型与真实引擎之间差距的量化依据。
论文提出并随论文开源了通用物理 AI 数据策展工具包 Kuration SDK,用数据策展来应对动作条件世界模型训练中的 Virtual2Real 差距。作者在 CounterStrike 玩法数据上训练和评估扩散世界模型,确认 FVD、LPIPS、JEDi 等指标与定性的可玩性并不对应,认为在训练开始前策展原始玩法数据并测量多种诊断属性是更可靠的信号。
推荐理由:论文用 CounterStrike 玩法数据训练扩散世界模型,指出 FVD、LPIPS 等视觉相似度指标与可玩性不对应,并提出数据策展思路。
作者提出 CtrlCache,一个免训练的控制感知缓存框架,用于加速交互式视频世界模型的逐块自回归生成。它利用控制信号在去噪前就已到达这一信息,把每个视频块标记为初始、过渡、转向或稳态,仅对初始与过渡块保留完整计算,转向与稳态块复用同一块内最近一次完整计算步骤的 transformer 残差,并以频率混合的历史先验复用前一个干净 latent 的低频结构。
推荐理由:论文将控制信号提前用于缓存复用决策,免训练即在三个世界模型上取得 1.21x 到 1.41x 的推理加速。
论文为完整十英雄 MOBA 训练结构化多智能体世界模型,并把它接入连续异步 Dyna 循环,策略只在 1,400 tick 的想象对局中学习,在真实对局里作为 radiant 赢下 70.2%(600 局 421 胜,95% CI 66.4-73.7),作为 dire 一场未胜,自带对手自我对弈时同样全败。
推荐理由:论文把世界模型的评判放到真实对局里,Dyna 循环将 radiant 侧胜率从 33.7% 提到 70.2%,并开源了模型与评测协议。
研究提出 PWM(Personalized World Models)框架,用在线强化学习从短视频定制可交互世界模型,在冻结的 Yume-5B 主干上训练紧凑 LoRA 适配器。
推荐理由:论文给出 PWM-Bench 的 150 项定制任务与 GRPO、DiffusionNFT 两组对比数据,可用于判断场景定制的可复现程度。
论文提出开源框架 Kepler,把假设表示为可执行世界模型,并通过回溯转移检查与条件预测检查加以验证。
推荐理由:作者公开了 Kepler 的验证流程与成本记录,可用于比较不同智能体在 ARC-AGI-3 上的可核查表现。
一篇 arXiv 论文用元胞自动机检验常规世界模型,发现它们虽能预测大部分像素,却很少能完成一次完整推演,CNN 可正确预测 96.3% 的格子但仅完成 18.9% 的推演,联合扩散模型一次也没完成。
推荐理由:原文把世界模型的三类失效拆开分析,并各给出一处只改信息流的修复方案,可作为长程推演调试的参照。
中秋节期间,造梦次元的AI主播紫樱在直播间挑战限时营业任务,支撑她的实时互动模型是前不久发布的Vidu S2,当天直播间一度涌入2万人。紫樱没有固定流程,观众可点歌、投票选造型、送礼物,她要在互动中换装和表演,被打断后还得接回前面的内容。作者还实测了Vidu S2的Avatar和Editing,上传真人照片或动漫图片并补充设定即可创建数字人,开启摄像头后能在拍摄过程中实时换装、改画风和换背景。
推荐理由:以一场无固定流程的AI主播直播为样本,实测Vidu S2的实时互动与换装能力,并讨论其在游戏NPC上的落地可能。
文章认为,IP 方正从压制未授权 AI 角色转向推动官方可控的 AI 角色互动,迪士尼任命 Character.AI 的 Karandeep Anand 为首位全公司 CTO 是一个信号。
推荐理由:文章把迪士尼、米哈游、Hasbro 等公司的做法放在一起比较,适合用来观察 IP 方如何在授权与自有渠道之间分配对角色行为的控制权。