跳到正文
arXiv 棋牌与经典游戏 AI 检索· Mostafa 'Neo' Mohsenvand·· 13 天前精选AI 评分35

注意力取决于其见证者:高阶注意力层何时有用、何时无用

Attention Is Only as Good as Its Witnesses: When Higher-Order Layers Help, and When They Do Not

AI 导读

作者把 Transformer 无法随图增长学会图搜索、且要经过许多不同问题才学会卡牌游戏 SET 的失败,解释为每一层在对一族见证者求配分函数并按温度读取。由此得到两条规律,深度规律为 L 层两步游走恰好覆盖 2^L - 1 步,作者用 Lean 校验了对应构造;规模规律要求逆温度乘间隔不小于候选数的对数。

推荐理由

论文把高阶注意力层的能力归为深度与规模两条规律,并给出在 CLRS-30 上以 186,000 参数追平 7300 万参数模型的构造。

来源:arXiv 棋牌与经典游戏 AI 检索 · arxiv.org