DeepSeek 商讨员陈德里（Deli Chen）和 AI 协调的第二篇论文来了！
论文地址：https://victorchen96.github.io/continual_learning_survey.pdf
这篇论文聚焦continual learning（延续学习） 与 self-iteration（自我迭代）。在陈德里看来，这是 AI 迈向 AGI 经过中极为关键的一步
由于 arXiv 不允许将 AI 列为作家，陈德里此次只可把实质承担了论文 99% 职责量的 DeepSeek-V4-Pro （追究翰墨）和 GPT-Image-2（追究图像），从作家栏移至脚注说明。
在这篇论文里，陈德里的判断是，异日的 AI 系统不会永恒停留在一组冻结参数的形式，而会渐渐演变为能够延续学习、自我更新、自我迭代的系统
这背后的逻辑也很径直：高下文管理和文档化追忆，照实不错在一定进度上匡助模子督察沉静力、保留任务资历。但沉静力窗口终究会被填满，到了阿谁时期，就需要把常识和资历参数化，以缩短领略包袱。
值得沉静的是，这不仅仅一次论文主题上的蔓延，亦然陈德里搭建的自主科研智能体框架 DeliAutoResearch SKILL自身的一次迭代施行。
源流：https://x.com/victor207755822/status/2060315686329778432
据陈德里先容，这一轮模拟同业评审分数达到了 8 分，比拟上一篇论文的 6 分有清亮普及。更紧迫的是，在这篇论文的生成经过中，模子初次尝试调用更高等的话语模子，自主瞎想并动手施行，这亦然此前版块尚不具备的才气。
更能体现系统变化的，是论文中露馅的出产数据对比。陈德里在第二张图中对比了两篇论文的生成经过：从第一篇到第二篇：跟着 SKILL 自己不停迭代，交互轮数大幅着落，而总 token 破钞权贵高涨，这反而是一个终点好的信号！它说明SKILL 正在向更高自主性升沉
换句话说，东说念主工介入变少了，系统我方想和作念的部分变多了。对一个自动科研职责流来说，这恰正是走向更高自主性的信号。
陈德里暗示终点期待在不久的将来，DeliAutoResearch SKILL 能够果真产出群众级的学术写稿。
不外，他也坦言，在阅读论文的一些关键部分后，仍能看到不少普及空间。
若是王人备由我方切身撰写，论文质地约略会更高，但产出速率也会大幅着落。由于刻下的中枢主义并不是打磨单篇论文，而是延续迭代 DeliAutoResearch SKILL 自己，因此他弃取保留这篇论文中略显肤浅的部分，将其作为系统赓续进化的反应样本。
底下，咱们来看一看，这篇论文讲了什么。
论文提到，在传统的商讨中，延续学习和自我更正时常被手脚两个不同商讨场所，但它们濒临的是归并个底层问题：模子如安在领受新信息或新主义之后更新我方，同期不破裂照旧掌捏的才气？
延续学习眷注的是模子若何规矩相宜新的任务或数据；自我更正眷注的是模子若何自主增强才气。但两者的工夫难点高度通常：都要在散布变化下清醒优化，都要保留已有表征，都要处理探索与哄骗之间的衡量，也都要在莫得固定测试集的情况下评估逾越。
因此，作家觉得，下一代 LLM 测验管线势必会把外部数据流和模子自生成测验信号王人集起来，酿成轮廓耦合的反应轮回。也就意味着，调和商讨这两个场所不是便捷之举，而是必要之举。
这篇论文最主要的孝顺之一是提倡了首个同期隐敝假话语模子延续学习与自我更正的分类框架，并将其组织在三个相互正交的维度上：
更新什么：即被更新的是常识、妙技、对王人才气如故推理才气；若何更新：即选拔哪一类本领；何时更新：即更新发生在离线阶段、周期性阶段、在线阶段，如故由特定事件触发。
这个三轴框架如下图所示，能够对任何部署后的学习系统进行精准形容，并揭示不同本领之间此前未被充分坚毅到的有关。
论文系统分析了 100 多篇论文，并将其归纳为五类本领：基于正则化的延续学习、回放与资历管理、参数高效与模块化本领、自我更正与自博弈，以及在线自相宜本领。关于每一类本领，都样式化姿色其核神思制，51社区分析其表面性质，并比较代表性本领。
论文对迭代式自我更正在什么条款下能够保证敛迹而不是发散进行了样式化分析，并将来自自博弈、迭代蒸馏和 Constitutional AI 等商讨场所平分袂的表面成果，调和到归并个框架之下。
论文觉得，自我更正代表了一种范式升沉：模子才气普及正在从依赖东说念主类监督，转向由模子自主驱动。所说起的本领隐敝了一个很宽的范围：从测验阶段的自博弈，通过多轮迭代修改模子权重；到推理阶段的推理增强，普及每一次单独瞻望的质地；再到表面分析，规矩自我更正究竟能够达到什么领域……
这些本领的共同点在于，它们都需要某种 grounding signal，即可靠的锚定信号。这个信号不错是考据器、一套宪法原则、东说念主类偏好数据，也不错是问题自己的结构。莫得这么的锚定信号，自我更正的轮回最终势必会退化。
如下图所示，自我更正的轨迹并不取决于生成机制有多复杂，而取决于评估信号的质地，以及它联系于模子自身的孤苦性。
在终末，论文指出了生成式模子延续学习走向进修经过中，亟待惩处的六个关键问题，并基于系统分析所揭示的商讨空缺，为每个问题提倡了异日商讨场所。
大模子领域能否惩处倒霉性淡忘：更大的模子照实可能更阻截易淡忘，但领域不是根治有缱绻。跟着任务延续加多，即使大模子也会遭受容量、骚扰和对王人漂移问题。异日需要商讨的是，大模子领域若何影响清醒性 — 可塑性衡量，以及是否存在可瞻望的 Scaling Law。
自我更正的表面极限：模子能否无尽自我普及？什么时期会敛迹？什么时期会垮塌？论文觉得这是核表情论问题。尤其是在枯竭外部考据器的话语任务中，模子很容易堕入自我说明：它会不停强化我方照旧敬佩的模式，而不一定更接近果真主义。
多模态延续学习：异日模子不单处理文本，还会处理图像、音频、视频和行动数据。多模态模子延续学习时，一个模态的更新可能影响另一个模态。举例更新视觉生成才气，可能影响话语和会；更新话语对王人，也可能影响图像生成行动。若何跨模态保留才气，是异日商讨中需要惩处的贫瘠。
安全的延续对王人：模子延续学习时，安全领域也必须延续保持，可问题在于，任何更新都可能减轻原有对王人才气。因此，论文觉得，异日需要「可讲明安全」的延续对王人机制：模子变得更强的同期，安全管束不可被淡忘或绕过。
部署时「及时学习」：及时行状要求低延迟和高清醒性，而在线学习需要狡计梯度、更新参数、考据质地、幸免归来等，这两者「自然突破」。因此，果真部署中需要瞎想分层更新机制：哪些变化即时处理？哪些变化延迟批处理？哪些变化必须经过安全审查后才能插足参数？
与 Agent 框架王人集：智能体会在永恒任务中蕴蓄资历，比如器具调用成果、失败警戒、用户偏好、环境反应等。问题是：什么时期把短期资历写入永恒追忆？什么时期应该更新参数？哪些资历仅仅或然事件，哪些资历代表清醒例律？
论文觉得，异日需要层级追忆架构，让 Agent 同期领有短期情节追忆和永恒参数常识，也需要多智能体延续学习机制，让多个 Agent 分享并整结伴历。
终末，论文的中枢判断是：延续学习和自我更正正在走向和会。果真有远景的场所，是构建这么一种模子：它既能摄取外部宇宙的新常识，也能哄骗自我反念念、自我考据和自我搜索来更正学习计谋；既能变得更强，又能保持清醒与安全。
简言之即是，不仅仅测验得更大，而是能不可在不淡忘、不失控的前提下，延续学习、延续对王人、延续自我进化……
那么你呢，若何看待这篇「AI 写的论文」，接待在挑剔区留言、相通！
https://x.com/victor207755822/status/2060315686329778432
https://victorchen96.github.io/continual_learning_survey.pdf