arXiv 游戏 AI 检索· Ruben Sanchez-Corcuera·· 3 天前精选AI 评分38
强化学习只能强化它看到成功的行为
RL Can Only Reinforce What It Sees Succeed
AI 导读
论文研究了结果奖励强化学习如何改变语言模型对先验知识和观察的权衡。在已知最优策略的谜题世界中,作者发现当正确动作稀有时,强化学习的学习成功与否由一个可预测的计数决定:该动作获胜的尝试组数的期望值,约 35 组给出等概率。这一规律在不同问题、不同尝试组大小(4 到 256)、不同学习率、优化器、GRPO 变体和模型规模(1.3M 到 85M 参数)上都成立。
推荐理由
论文量化了强化学习在稀有动作学习中的样本效率瓶颈,给出了跨模型规模和超参数的通用计数规律。
来源:arXiv 游戏 AI 检索 · arxiv.org