跳到正文
arXiv 棋牌与经典游戏 AI 检索· Mark Marosi·· 3 天前AI 评分26

语言模型在训练数据被过滤后仍能通过整体进步补回特定能力

General progress substitutes for specific training data in language models

AI 导读

研究显示,语言模型在训练数据中屏蔽某项技能后,其在其余数据上的整体进步可替代被屏蔽的数据。在国际象棋、黑白棋、分子字符串、括号语言和网页文本实验中,更大模型对被屏蔽技能的延迟可由更小模型预测;从未显式训练应对将军的国际象棋模型,其合法应对排名几乎与专门训练的模型相当。

来源:arXiv 棋牌与经典游戏 AI 检索 · arxiv.org