注意力取决于其见证者:高阶注意力层何时有用、何时无用
作者把 Transformer 无法随图增长学会图搜索、且要经过许多不同问题才学会卡牌游戏 SET 的失败,解释为每一层在对一族见证者求配分函数并按温度读取。由此得到两条规律,深度规律为 L 层两步游走恰好覆盖 2^L - 1 步,作者用 Lean 校验了对应构造;规模规律要求逆温度乘间隔不小于候选数的对数。
推荐理由:论文把高阶注意力层的能力归为深度与规模两条规律,并给出在 CLRS-30 上以 186,000 参数追平 7300 万参数模型的构造。