ToM2Vec:面向多智能体协作的连续心智理论 token
ToM2Vec 通过固定预算的连续推理 token 学习多智能体协作中的心智理论,并以合作伙伴的真实想法作为训练监督。在 Overcooked-AI、多方谈判、Decrypto、Hanabi 和 Collab Escape/Capture 等合作、竞争与混合动机环境中,相比基础模型和多种竞争性基线取得稳定提升。
推荐理由:文章把心智理论压缩进固定数量的连续推理 token,并用合作伙伴的真实想法做监督,和文本推理的做法形成对照。
技术方向
强化学习与自博弈在游戏中的研究与落地:训练方法、多智能体协作与对抗、从环境到真实游戏的迁移。
48 条精选近 30 天 18 条共收录 83 条
ToM2Vec 通过固定预算的连续推理 token 学习多智能体协作中的心智理论,并以合作伙伴的真实想法作为训练监督。在 Overcooked-AI、多方谈判、Decrypto、Hanabi 和 Collab Escape/Capture 等合作、竞争与混合动机环境中,相比基础模型和多种竞争性基线取得稳定提升。
推荐理由:文章把心智理论压缩进固定数量的连续推理 token,并用合作伙伴的真实想法做监督,和文本推理的做法形成对照。
LiveAct 提出异构动作接口,让多智能体视频世界模型为多个受控主体生成联合视觉未来,并处理从游戏按键到机器人指令的不同控制。该方法在游戏和多机器人操作任务上的智能体归因准确率分别达到 0.898 和 0.942,且不依赖智能体位置或身份裁剪。因果生成器在 512×448 分辨率下达到 17.70 FPS。
推荐理由:该工作把每路动作流绑定到对应视觉主体,并报告了 17.70 FPS 的流式生成速度,可与已有单智能体交互世界模型的设定对照阅读。
论文研究大语言模型能否根据事件日志和智能体拟采取的动作预测未来观测,基准来自人类外交(Diplomacy)对局和 Polymarket 真实交易。当只给出智能体自身动作、其他行动者强烈影响结果时,模型预测明显不足,更大的模型和更长的历史帮助有限。提供所有行动者的记录动作后,微调和更多数据可改善预测,但模型仍会高估计划成功率,而基于世界模型的想象经验仍能改善策略学习。
推荐理由:论文指出,只给出智能体自身动作时,模型难以预测其他行动者强烈影响的结果,这是多主体事件世界建模的主要缺口。
ToM2Vec 通过固定预算的连续推理 token 学习多智能体协作中的心智理论,并以合作伙伴的真实想法作为训练监督。在 Overcooked-AI、多方谈判、Decrypto、Hanabi 和 Collab Escape/Capture 等合作、竞争与混合动机环境中,相比基础模型和多种竞争性基线取得稳定提升。
推荐理由:文章把心智理论压缩进固定数量的连续推理 token,并用合作伙伴的真实想法做监督,和文本推理的做法形成对照。
LiveAct 提出异构动作接口,让多智能体视频世界模型为多个受控主体生成联合视觉未来,并处理从游戏按键到机器人指令的不同控制。该方法在游戏和多机器人操作任务上的智能体归因准确率分别达到 0.898 和 0.942,且不依赖智能体位置或身份裁剪。因果生成器在 512×448 分辨率下达到 17.70 FPS。
推荐理由:该工作把每路动作流绑定到对应视觉主体,并报告了 17.70 FPS 的流式生成速度,可与已有单智能体交互世界模型的设定对照阅读。
Fig 是一个智能体系统,可在游戏环境中有针对性地施加干预,以诱发合作、利用、欺骗、暗中协调、背叛和破坏六类目标行为。论文称,在 Fig 生成的有效场景中,模型平均在 45.2% 的回合中尝试了目标行为;对有对照的游戏与行为组合,干预使尝试率平均比匹配对照游戏高 10.9%。作者认为多智能体环境可作为可编程、可控且可复现的行为评测测试床,代码已在 GitHub 公开。
推荐理由:它把多智能体社会行为评测从被动观察转为可编程的环境干预,对想设计可复现测试环境的研究者有参考价值。
OverSeer 是一种多智能体世界模型,在智能体第一人称视角之外加入空间位置固定的辅助相机视角,用以提升多智能体视频生成在时间和跨智能体之间的一致性。该方法使用 delta-VAE 只编码相对静态参考图的变化,可减少处理辅助视角所需的 token 数量。在 Minecraft 和 Doom 中的实验显示世界与智能体一致性有所改善,真实世界多相机采集的定性结果显示该方法不依赖游戏引擎。
推荐理由:多智能体视频世界模型难以保持跨视角一致,该文用固定辅助视角作为世界状态代理,对多视角生成有参考价值。
研究者提出 SPOKE(Strategic Preference Optimization with KL-anchored Equilibrium)方法,在 SmallThinker-4B-A0.6B 策略的三次运行中,它在 Kuhn 和 Leduc 上取得最低平均可利用度 0.213 和 1.081,六人桌 top-1 一致率为 0.775。
推荐理由:论文把 SPOKE 与 SFT、DPO、GRPO、GSPO 放在一起做了比较,并给出在 Kuhn 和 Leduc 上的平均可利用度数值,读者可据此判断该方法与其他策略优化方法的差异。
四个 Gemini 4 Argon 智能体在 Minecraft 生存世界中自主协作,用时 27 小时 14 分钟击败末影龙。团队在简易难度的随机世界中编写了 2,783 个程序,期间死亡 605 次,研究人员可实时观看并随时暂停,但未需要介入。据作者所知,这是 AI 智能体首次端到端自主通关 Minecraft,且仅使用标准 Mineflayer 库,未使用人工预设的地图种子或游戏专用工具。
推荐理由:论文记录了四个智能体在无人设计游戏逻辑的情况下通关Minecraft的过程,其分工、经验共享与长时程规划可作参考。
四个 Gemini 4 Argon 智能体在 Minecraft 生存世界中自主协作,用时 27 小时 14 分钟击败末影龙。团队在简易难度的随机世界中编写了 2,783 个程序,期间死亡 605 次,研究人员可实时观看并随时暂停,但未需要介入。据作者所知,这是 AI 智能体首次端到端自主通关 Minecraft,且仅使用标准 Mineflayer 库,未使用人工预设的地图种子或游戏专用工具。
推荐理由:论文记录了四个智能体在无人设计游戏逻辑的情况下通关Minecraft的过程,其分工、经验共享与长时程规划可作参考。
论文在卡牌游戏Hanabi中提出约定差距指标,用于比较人类与分层智能体对约定的使用。两组独立收集的人类对局中,人类的差距高于所有智能体层级,但在双方共同使用的约定上,人类只与第2层相当,优势集中在提示指向非触碰卡牌的情境。约定使用与玩家对卡牌已知信息有关,多见于中局,屏蔽多个高差距情境的影响远大于单个情境之和。
推荐理由:论文把约定差距变成可测量的指标,可用来比较人类与不同层级智能体在合作游戏中的默契差异。
PAWA 提出了一套面向多人 Minecraft 场景的同步 POV 与全景视频数据集及框架,用于动作条件下的多智能体世界建模。模型采用双塔结构联合预测两路视频,并通过跨注意力对齐共享世界坐标系中朝向相同的 token。论文称其 POV 预测质量优于现有多人世界模型,同时能生成高保真全景预测,数据集与采集流程已开源。
推荐理由:论文补齐了同步的 POV 与全景视频多人数据,对关注多人世界模型数据构建的读者有参考价值。
Player-1 是一个后训练框架,通过合成经验让游戏智能体学习超出演示数据范围的游戏操作。在 MineDojo-300 上,Player-1-9B 和 Player-1-35B-A3B 相比各自的 SFT 策略分别提升 27.8 和 17.7 个百分点,其中 Player-1-9B 成功率达到 38.33%,最强对比基线为 12.63%。
推荐理由:这篇论文把游戏智能体的训练从大量演示数据扩展到16个合成环境中的强化学习,可用来对照理解摆脱演示依赖的思路。
论文认为,多智能体协作中依据队友推断行动的模块不应只用准确率认证,因为错误的代价和错误之间的相关性会改变可接受的准确率门槛。作者在任务分配、Level-Based Foraging 和 Hanabi 中测试了这一判断,发现准确率在两个方向上都会失效,例如在错误会叠加的 Hanabi 中批准了有害的语言模型部署。
推荐理由:论文把心智理论模块的认证标准从预测准确率转向部署代价与错误依赖性,对评估协作式 AI 能否上线有直接的参考价值。
论文在卡牌游戏Hanabi中提出约定差距指标,用于比较人类与分层智能体对约定的使用。两组独立收集的人类对局中,人类的差距高于所有智能体层级,但在双方共同使用的约定上,人类只与第2层相当,优势集中在提示指向非触碰卡牌的情境。约定使用与玩家对卡牌已知信息有关,多见于中局,屏蔽多个高差距情境的影响远大于单个情境之和。
推荐理由:论文把约定差距变成可测量的指标,可用来比较人类与不同层级智能体在合作游戏中的默契差异。
游族AI创新院红岸实验室负责人余华松在2026中国元宇宙大会上分享称,AI Agent正在把AI从游戏生产工具推向游戏内的智能体和游戏世界的构建者。演讲提到,游族内部六大场景、100多个子场景已实现AI全面覆盖,并介绍了智能NPC的感知、记忆、目标和决策结构。其中,决策大模型负责开放性决策,伤害计算等确定性规则仍由游戏引擎完成。
推荐理由:文中把智能NPC的决策大模型与引擎确定性规则分开讲,可对照自己项目里哪些逻辑该交给模型、哪些仍由引擎计算。
论文认为,多智能体协作中依据队友推断行动的模块不应只用准确率认证,因为错误的代价和错误之间的相关性会改变可接受的准确率门槛。作者在任务分配、Level-Based Foraging 和 Hanabi 中测试了这一判断,发现准确率在两个方向上都会失效,例如在错误会叠加的 Hanabi 中批准了有害的语言模型部署。
推荐理由:论文把心智理论模块的认证标准从预测准确率转向部署代价与错误依赖性,对评估协作式 AI 能否上线有直接的参考价值。
EWM 是一个覆盖 StarCraft II、Dota 2 和 Counter-Strike 2 的人类对局数据集,包含 3,053 场对局与地图,约 4,880 小时玩家视角,其中 CS2 扩展部分的时长为估算值。
推荐理由:数据把人类决策、共享状态与各玩家私有视野对应起来,对研究多人可控世界模型的人可以直接参考其数据组织方式。
MARL-BattleGrounds 是一个基于 JAX 的多智能体强化学习基准,提供两队各五名异构智能体的 Team Deathmatch 模式。基准包含 52 张地图、8 个残局泛化场景和每月循环赛的 Elo 排行榜。在单张 RTX 5090 上,1,024 个并行对局可达到每秒 50,000 个 5v5 游戏步。
推荐理由:它把 SMAX 与 Dota 2 之间的空档补成一个可低成本复现的竞争式多智能体基准,便于比较不同算法。
作者提出 MultiWorldBench,一个诊断性 Minecraft 基准,用来检验多人世界模型中独立控制的视角是否与同一个持续共享的世界保持一致,包含 495 组用例配置、七个任务套件和十项能力。
推荐理由:论文用 495 组配置对比三款生成式世界模型与参考 Engine GT 的十项能力,可据分数差距判断当前短板。