IT 之家 9 月 18 日消息,由 DeepSeek 团队共同完成、梁文锋担任通讯作者的 DeepSeek-R1 推理模型研究论文,登上了国际权威期刊《自然(Nature)》第 645 期的封面。与今年 1 月发布的 DeepSeek-R1 的初版论文相比,本次论文披露了更多模型训练的细节。
据悉,DeepSeek-R1 也是全球首个经过同行评审的主流大语言模型。Nature 评价道:目前几乎所有主流的大模型都还没有经过独立同行评审,这一空白 " 终于被 DeepSeek 打破 "。
研究表明,大型语言模型的推理能力可通过纯强化学习(RL)来激发,无需依赖人工标注的推理轨迹。所提出的强化学习框架能够促进高级推理模式的自主形成,例如自我反思、验证和动态策略调整。
因此,经训练的模型在数学、编程竞赛和 STEM(科学、技术、工程、数学)领域等可验证任务上展现出更优异的性能,优于通过传统监督学习(基于人工演示数据)训练的同类模型。此外,这些大规模模型所呈现的自主形成的推理模式,可被系统性地用于指导和提升小型模型的推理能力。
IT 之家附论文链接: