研究:通用训练进展可替代被隐去的专项数据
热点事件历史事件
研究:通用训练进展可替代被隐去的专项数据
1 篇报道1 个报道来源3 天前更新
先了解这件事
AI 综述
Mark Marosi 发表的研究称,语言模型在训练数据中屏蔽某项技能后,其在其余数据上的整体进步可以替代被屏蔽的数据。研究在国际象棋、黑白棋、分子字符串、括号语言和网页文本实验中显示,更大模型对被屏蔽技能的表现可由更小模型预测;从未显式训练应对将军的国际象棋模型,其合法应对排名几乎与专门训练的模型相当。 这些结论来自上述实验,说明被隐去专项数据后模型仍能习得相关能力,但报道未说明该替代关系在其他任务或模型规模上的适用范围。
AI 根据报道生成 · 3 天前更新
最新进展11月19日 02:07
语言模型在训练数据被过滤后仍能通过整体进步补回特定能力报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- arXiv 棋牌与经典游戏 AI 检索语言模型在训练数据被过滤后仍能通过整体进步补回特定能力
研究显示,语言模型在训练数据中屏蔽某项技能后,其在其余数据上的整体进步可替代被屏蔽的数据。在国际象棋、黑白棋、分子字符串、括号语言和网页文本实验中,更大模型对被屏蔽技能的延迟可由更小模型预测;从未显式训练应对将军的国际象棋模型,其合法应对排名几乎与专门训练的模型相当。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 711月19日 13:00
- 近 24 小时变化
- -50%
02468
11月20日12:0011月21日
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。