ViCoR 提出视觉条件反射机制,为实时 VLM 游戏智能体降低决策延迟
研究提出 ViCoR,由主 VLM 负责常规决策,由一个快速视觉反射分支处理突发反应;在 GameWorld 基准的 17 款 2D/3D 游戏中,该方案把平均单步决策延迟从 14.0 s 降到 5.4 s。
推荐理由:论文给出了 17 款游戏上的延迟与成功率对比,可作为实时 VLM 智能体的性能参照。
技术方向
能在游戏里行动的 AI:通用游戏智能体、LLM 驱动的 Bot、Minecraft 与 StarCraft 等环境里的智能体、评测基准与开源框架。
111 条精选近 30 天 55 条共收录 170 条
研究提出 ViCoR,由主 VLM 负责常规决策,由一个快速视觉反射分支处理突发反应;在 GameWorld 基准的 17 款 2D/3D 游戏中,该方案把平均单步决策延迟从 14.0 s 降到 5.4 s。
推荐理由:论文给出了 17 款游戏上的延迟与成功率对比,可作为实时 VLM 智能体的性能参照。
研究团队构建 AVCORP 语料,收录 250 局 Avalon 对局中的 5,000 条标注话语,并标注 37 种策略、映射到 4x4 行为矩阵,同时记录溯因假设、怀疑度与嵌套心智理论信念。
推荐理由:论文公开了 5,000 条 Avalon 标注语料与 37 种策略分类,并给出同测试集下与前沿模型的检测对比。
该论文让大语言模型在全程不使用梯度下降、也不使用训练数据的前提下,跨 Nim、井字棋、两种尺寸的 Connect Four 和一个国际象棋残局这四级难度阶梯,手工设定前馈网络的全部权重,共构建 10 个网络并逐一独立验证。
推荐理由:论文给出 10 个手工设定权重网络的构建与独立验证结果,棋类残局在多步将杀上的失效可作为判断该方法边界的参照。
作者提出实时交互世界模型 PlayGen2,将学习到的3D状态演化与神经渲染分离,用体积占据网格和带身份索引的3D状态维护持久世界记忆。以 Doom 为测试平台,模型学会了包含几何感知玩家移动和玩家与 NPC 交互的世界动态,完整模拟与渲染管线在搭载 M4 Pro 芯片的 MacBook Pro 上后端延迟约 160ms。
推荐理由:论文把可玩世界拆成显式3D状态演化与神经渲染两部分,并给出延迟与零样本迁移的实测结果,便于判断这类世界模型能否支撑实时交互。
CrowdDirector 是一个用自然语言在仿真运行中指挥虚拟群体的框架,只在用户新增或修改指令时调用 LLM,由 LLM 把请求转成结构化指令,再由场景校验器检查其中引用的实体与动作是否存在于当前 Unity 场景。
推荐理由:论文给出了一种只在指令变更时调用 LLM 的群体 NPC 控制方案,可作为固定规则与全时 LLM 控制之间的折中参考。
论文研究 LLM 智能体的零样本协作(ZSC),发现在刻意简化的最小环境中,前沿 LLM 智能体依然难以协调,主要原因是它们对协作问题理解有限、对伙伴信念的推理薄弱。作者提出协作友好定义(CFDs)作为让 LLM 智能体稳定协作的方法,并展示这些定义可以自动发现,无需人工设计;代码已发布在 GitHub。
推荐理由:论文在最小环境中定位前沿 LLM 智能体零样本协作失败的推理短板,并提出可自动发现的协作友好定义。
DSH(DeepSeek Harness)这类AI Agent正被用来替玩家主动搜索并推荐游戏,但游戏陀螺认为这未必利好独立开发者。AI推荐依赖商店页面、媒体评测和玩家评论等公开信息,已有宣发体系的厂商会继续占优,只有Steam商店页和预告片的小团队很难被AI认识。
推荐理由:梳理从DSH扫B站到Meta Muse与Google Play Game Finder的案例,看AI推荐为何未必降低独立开发者的曝光成本。
作者提出 AceAction 数据集,收录多个 3D 游戏的人类游玩演示,把整体任务指令、有序子目标和局部技能指令与时间对齐的视觉观察及键鼠动作关联起来,覆盖导航、侦察、战斗、交互和恢复。团队用视觉语言模型流水线从目标或交互对象的变化中识别子目标、把导航目标锚定到可识别的路点,并将相邻子目标组合成任务指令。对 500 条轨迹的审核在独立评审中获得 95.8% 的通过率。
推荐理由:数据集把整体任务指令、有序子目标与局部技能指令同时间对齐的画面和键鼠动作串起来,可用来观察智能体如何执行、组合和切换技能。
论文研究国际象棋 Transformer Maia-2 如何按技能条件模拟不同水平的玩家,在固定棋局和模型权重的前提下,分析预测从失误变为最佳着法的位置。研究者训练探针从 Maia-2 内部状态预测 172 个棋类概念是否存在,探针准确率在各技能条件下几乎不变,而且在一个水平上训练的探针能够准确迁移到其他水平。
推荐理由:论文用探针和最后一层微调拆开技能条件对 Maia-2 的影响,为玩家建模区分知识保留与行为表达提供参考。
论文提出 TAL(Tutorial Agentic Learning)无参数持续学习范式,把教学视频整理成持久的结构化教程记忆,让 LLM 智能体在不更新参数的前提下从教学视频中学习。
推荐理由:论文用目录树检索替代向量相似度,把教学视频整理成可复用记忆,这一无参数持续学习思路可迁移到其他领域。
论文提出 TAL(Tutorial Agentic Learning)无参数持续学习范式,把教学视频整理成持久的结构化教程记忆,让 LLM 智能体在不更新参数的前提下从教学视频中学习。
推荐理由:论文用目录树检索替代向量相似度,把教学视频整理成可复用记忆,这一无参数持续学习思路可迁移到其他领域。
Ramen 发布开源游戏试玩智能体 Aura Autopilot,可在 Unreal Engine、Unity 和 Godot 中实时游玩游戏并在过程中学习,同时发布白皮书披露架构与基准。官方称其运行速度比 Aura 的 Verification Agent 快 3 倍且成本更低,可配合 Claude Code、Codex 订阅或自带 API key 使用,项目已在 GitHub 上线。
推荐理由:原文给出 Aura Autopilot 在 Unreal Engine、Unity、Godot 上的开源接入方式与速度对比,可据此判断能否用于自家 QA 流程。
论文提出 Wizard,一个智能体游戏世界模型,可在实时中精确控制角色动作,并对新场景、角色和动作实现零样本泛化。作者构建了覆盖 750 个场景和 178 个角色的数据集,用骨架与几何信息作为结构化表示来条件化视频生成模型,并引入自适应掩码机制改善条件信号与生成视频的一致性。配套的智能体框架显式维护和更新游戏状态,让玩家自由配置虚拟世界并细粒度控制角色动作。
推荐理由:论文给出 750 个场景、178 个角色的数据集与结构化代理条件方案,可看实时可控世界模型的实现路径。
研究者提出 Algebraic World Model(AWM),把与陌生环境的交互转成可执行 Python 假设,再整理为类型化对象与共享规则,并用范畴论引导的变换简化结构,最终在 Lean 4 中形式化以证明可达性与不可能性。
推荐理由:论文给出把陌生游戏环境交互转成 Lean 4 可检验数学模型的流程,读者可据此了解形式化证明如何用于判定关卡不可达。
作者提出 Fight World Model(FWM),将受规则约束的战斗执行与视频渲染分离,由可执行引擎维护状态并结算交互,再用确定性编译器把结果编码成时空对齐的交互代理。
推荐理由:论文把规则执行与视频渲染拆开,读者可了解可编程战斗世界模型如何保持受击与血量状态一致。
研究团队提出代数世界模型 AWM,把与未知环境的交互转成可在 Lean 4 中形式化推理的数学模型。在两个不可通关的游戏关卡上,AWM 六次运行都给出了经内核校验的封闭 Lean 证明,排除所有合法通关序列,而配备编程工具的 Claude Opus 5.5 与 GPT-6 Astra 在十二次基线运行中都没能产出证明。
推荐理由:在不可通关的关卡上给出经内核校验的不可达结论,可据此了解形式化推理如何用于游戏环境建模。
研究者提出 Algebraic World Model(AWM),把与陌生环境的交互转成可形式化推理的显式数学模型,并在 Lean 4 中证明可达性与不可达性。
推荐理由:论文给出把陌生游戏环境转成可检验数学模型的流程,并用 Lean 证明不可达关卡,读者可据此理解形式化推理如何进入游戏智能体。
论文提出智能体游戏世界模型 Wizard,可在实时中精确控制角色动作,并对新场景、角色和动作实现零样本泛化。研究构建了覆盖 805 个场景、178 个角色的数据集,以骨架和几何信息作为结构化代理来条件化视频生成,并通过显式跟踪和更新游戏状态支持角色感知自适应掩码与世界锚定空间条件。
推荐理由:论文给出 805 个场景、178 个角色的数据集与 WBench 评测,可对照现有世界模型看实时可控生成的具体做法。
Guangzhi Wang 提出 TaskFrame 分层规划器与控制器框架,把任务级规划与帧级键盘鼠标控制连接起来。视觉语言任务规划器将高层目标拆成有序的原子指令,通过监督学习和依赖感知 GRPO 优化;终止每条原子指令的特殊 goal token 的隐状态被缓存为连续目标嵌入,在后续控制步骤中复用。
推荐理由:论文给出规划器与控制器的三阶段训练流程和缓存目标嵌入的做法,读者可据此判断分层结构如何衔接视觉语言推理与键鼠操作。
作者提出 RetroChessBench,这是一个包含 12 项任务的回溯棋基准,覆盖定长构造、唯一终局与穷举答案集,并配有参考答案、评分细则和终端奖励环境。
推荐理由:论文给出 12 项回溯棋任务与评分细则,并记录前沿模型在纯规则推理上的具体失误类型,可作为推理能力评测的参照。