论文提出见证分层理论解释注意力层的失效条件
热点事件历史事件
论文提出见证分层理论解释注意力层的失效条件
1 篇报道1 个报道来源13 天前更新
先了解这件事
AI 综述
研究者 Mostafa 'Neo' Mohsenvand 在 arXiv 提交并公开论文,提出「见证分层」理论:每一层注意力都在对一族见证者求配分函数,并按温度读取;作者由此解释 Transformer 的两类失败——无法随图规模增长而学会图搜索,以及要见过大量不同题目后才学会卡牌游戏 SET。 论文给出两条规律。深度规律称,L 层两步游走恰好覆盖 2^L − 1 步,作者称已用 Lean 校验对应构造;规模规律则要求逆温度与间隔的乘积不小于候选数的对数。这是作者提出的解释与判据,其中用 Lean 校验的是构造本身。
AI 根据报道生成 · 12 天前更新
最新进展11月9日 14:08
注意力取决于其见证者:高阶注意力层何时有用、何时无用报道时间线
沿着报道,了解事件的不同侧面。
11月9日
- arXiv 棋牌与经典游戏 AI 检索精选注意力取决于其见证者:高阶注意力层何时有用、何时无用
作者把 Transformer 无法随图增长学会图搜索、且要经过许多不同问题才学会卡牌游戏 SET 的失败,解释为每一层在对一族见证者求配分函数并按温度读取。由此得到两条规律,深度规律为 L 层两步游走恰好覆盖 2^L - 1 步,作者用 Lean 校验了对应构造;规模规律要求逆温度乘间隔不小于候选数的对数。