强化学习在稀有行为学习中存在可预测的成功阈值
热点事件观察中
强化学习在稀有行为学习中存在可预测的成功阈值
1 篇报道1 个报道来源3 天前更新
先了解这件事
AI 综述
Ruben Sanchez-Corcuera 等人发表论文研究发现,在强化学习中,当正确动作出现频率很低时,模型能否学会该行为由一个可预测的数值决定:正确动作获胜的尝试组数期望值约为 35 组时给出等概率。这意味着学习结果具有二元性——要么模型在各处都学会该行为,要么完全学不会,中间状态极少出现。 这一规律在多个条件下保持一致,包括不同的问题类型、尝试组大小(4 到 256)、学习率、优化器、GRPO 变体以及模型规模(1.3M 到 85M 参数)。研究基于已知最优策略的谜题世界进行验证。
AI 根据报道生成 · 2 天前更新
最新进展11月19日 21:24
强化学习只能强化它看到成功的行为报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- arXiv 游戏 AI 检索精选强化学习只能强化它看到成功的行为
论文研究了结果奖励强化学习如何改变语言模型对先验知识和观察的权衡。在已知最优策略的谜题世界中,作者发现当正确动作稀有时,强化学习的学习成功与否由一个可预测的计数决定:该动作获胜的尝试组数的期望值,约 35 组给出等概率。这一规律在不同问题、不同尝试组大小(4 到 256)、不同学习率、优化器、GRPO 变体和模型规模(1.3M 到 85M 参数)上都成立。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 611月20日 18:00
- 近 24 小时变化
- -51%
0246
18:0011月21日06:0012:0018:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。