跳到正文
热点事件历史事件

论文提出见证分层理论解释注意力层的失效条件

1 篇报道1 个报道来源13 天前更新

先了解这件事

AI 综述

研究者 Mostafa 'Neo' Mohsenvand 在 arXiv 提交并公开论文,提出「见证分层」理论:每一层注意力都在对一族见证者求配分函数,并按温度读取;作者由此解释 Transformer 的两类失败——无法随图规模增长而学会图搜索,以及要见过大量不同题目后才学会卡牌游戏 SET。 论文给出两条规律。深度规律称,L 层两步游走恰好覆盖 2^L − 1 步,作者称已用 Lean 校验对应构造;规模规律则要求逆温度与间隔的乘积不小于候选数的对数。这是作者提出的解释与判据,其中用 Lean 校验的是构造本身。

AI 根据报道生成 · 12 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月9日
  1. arXiv 棋牌与经典游戏 AI 检索精选
    注意力取决于其见证者:高阶注意力层何时有用、何时无用

    作者把 Transformer 无法随图增长学会图搜索、且要经过许多不同问题才学会卡牌游戏 SET 的失败,解释为每一层在对一族见证者求配分函数并按温度读取。由此得到两条规律,深度规律为 L 层两步游走恰好覆盖 2^L - 1 步,作者用 Lean 校验了对应构造;规模规律要求逆温度乘间隔不小于候选数的对数。