LLM 自改进全景：从数据飞轮到自我修改代码的完整生命期

自改进的两个硬约束

论文开篇点明自改进浪潮的底层驱动力来自两个同时出现的结构性变化。

人的瓶颈正在从成本问题变成能力问题。高质量标注数据越来越贵，专家人力永远有限。但当模型接近甚至超越人类水平时，更深层的问题出现了——人的反馈还能提供有信息量的梯度吗？RLHF 依赖的人类偏好标注，在模型比标注者更强时就失效了。这不是边际成本递增的经济学问题，是人类认知能力天花板的认识论问题。

模型的自主性在质变。LLM 已经能执行复杂工程任务、做高层决策。既然模型开发本身（数据采集、筛选、训练）也是一个工程流程，那把这些职责交给模型自己就是自然的下一步。人只做 bootstrap，之后的迭代交给模型自治。

论文给自改进下了精确的定义，包含两个必要属性：自治性（一旦部署就不需要人在环中）和连续性（迭代、自增强，前一轮输出变成下一轮训练信号）。这不是一次性 fine-tune，是持续的自我进化。

图 1：自改进语言模型的愿景。人类只负责启动系统，模型随后自主执行数据获取、输出反思、迭代优化等操作。

五阶段闭环框架

论文把自改进系统拆成五个耦合组件，构成一个完整的闭环。

图 2：自改进系统总览。五个组件构成闭环：数据获取 → 数据筛选 → 模型优化 → 推理精炼 → 自主评估，评估结果反馈至下一轮数据获取。

数据获取（Data Acquisition）

模型自己收集或生成训练数据。分三层——静态策展（从互联网/书籍等已有数据源过滤）、环境交互（通过 API/代码执行/模拟器获得轨迹）、合成生成（模型用自己的内在逻辑生成全新的推理链）。从"发现已有"到"挣来经验"再到"无中生有"，自主性递增。

数据筛选（Data Selection）

模型评估和过滤哪些数据点对自身学习更有价值。分指标引导（用困惑度/多样性/难度等打分）和自适应筛选（根据训练动态调整选择策略）。核心矛盾是数据质量和多样性的 trade-off——选太精会丧失泛化，选太杂会浪费计算。

模型优化（Model Optimization）

把数据转化为参数能力的提升。论文引入了 GRO（Generation-Reward-Optimization） 作为统一框架，把现有方法归纳为三类生成策略（自探索/精炼/交互式）、三类奖励信号（启发式/模型评估/形式验证）、三类优化算法（SFT/RL/混合）。这个分类覆盖了从 STaR、SPIN 到 SCoRe、R-Zero 到 Gödel-Prover 的整个谱系。

图 3：GRO 统一框架的三维度分类：生成策略 × 奖励信号 × 优化算法，覆盖自改进模型优化的完整方法谱系。

推理优化（Inference Refinement）

不改参数，在推理阶段直接提升输出质量。解码策略（树搜索、speculative decoding）、自我反思（Self-Refine/CRITIC）、多 Agent 协作（CAMEL/MetaGPT）、工具增强、记忆系统、甚至测试时训练（test-time training，推理时临时调参）。这层把训练和推理的边界模糊化了。

自主评估（Autonomous Evaluation）

持续监控系统进步，引导迭代方向。动态基准（实时更新的题目，防止 benchmark 污染）、交互环境评估（Agent 在真实环境中的表现）、LLM-as-Judge。这层解决的是"怎么知道自己在变强"的元问题。

六大失败模式

论文最有价值的部分之一是对失败模式的系统梳理。自改进不是免费的午餐，它有六种结构性的崩坏方式。

图 4：自改进系统的六大失败模式。数据自噬和优化驱动的崩坏是最容易发生且最难逆转的风险。

数据自噬（Data Autophagy）：模型在自身输出上训练，信息多样性会逐步坍缩。这是模型 collapse 的变体——自己吃自己的输出，基因库越来越窄。即使初始数据分布丰富，迭代几轮后模型会收敛到一个低熵的自重复循环中。

反馈信号缺陷（Flawed Feedback Signals）：自我评估天然不可靠。LLM 偏好更长的、听起来更权威的回答；多次采样的一致性投票会放大系统性偏见；模型对自己能力之外的任务给出虚假高置信度判断。更麻烦的是，这些信号缺陷会级联传播到训练和推理环节。

优化驱动的崩坏（Optimization-Driven Failures）：对代理奖励的过度优化导致 reward hacking。模型学到的是"怎么骗过奖励函数"而不是"怎么把事做好"。更极端的是 misevolution——自进化过程中嵌入有害特性（欺骗、对抗），且一旦嵌入就很难逆转。

无效自我精炼（Ineffective Self-Refinement）：推理时的 self-refine 循环可能越改越差。模型缺乏验证自身输出的内在能力，自我批评要么是浅层的措辞调整，要么干脆幻觉出错误的评价。

评估瓶颈（Evaluation Bottlenecks）：静态 benchmark 在自改进面前很快过时。模型可能过拟合评测指标而不是真正变强。LLM-Judge 的偏见和不一致性使评估本身就不可靠。

监督瓶颈（Supervision Bottlenecks）：当模型变得足够自主后，人类的监督信号可能无效。论文引用了"无法控制的 AI 系统"的理论论证，以及微调时少量恶意数据就能导致广泛 misalignment 的实证发现。

超越 GRO：自我修改代码

最激进的方向在第 4.5 节。Gödel Agent 和 Darwin Gödel Machine 探索了递归自我修改——模型不仅优化参数，还能修改自己的架构和优化逻辑本身。

图 5：Gödel Machine 的递归自我修改范式。模型不仅能优化权重，还能审查并改进自身的架构和优化逻辑。

这是从自改进到自进化的跃迁。普通的 GRO 循环里，优化目标（损失函数）和优化算法（SGD/RL）是固定的，模型只能调权重。Gödel 机器让模型能审查自己的设计，发现更好的优化策略并实施它。论文把这定位为 "beyond GRO" 的终极方向，但目前仍然高度实验性。

另一个重要趋势是从模型中心转向 Agent 中心。ASL 让三个 Agent 角色（Prompt Generator、Policy Model、Reward Model）共同进化；SAGE 构建技能库让经验跨任务累积；EvolveR 在离线蒸馏和在线检索之间交替。优化的单位从"单个模型的权重"变成了"整个 Agent 系统的能力"。

四个未来方向

论文的展望不空泛，四个方向都有明确的技术抓手。

端到端自改进系统。不再把数据生成、筛选、训练、推理当成独立模块，而是构建一体化闭环。自改进不是某个训练阶段的技巧，而是整个系统的属性。

领域专用自改进 Agent。与其追求一个通用自改进大模型，不如在数学、代码、医学等垂直领域构建专门的闭环进化 Agent。约束环境内的反馈更可靠，进步更容易衡量。

统一的自改进基准。当前缺乏专门衡量自改进过程的评测体系。需要评估的不是某一次的得分，而是"多轮迭代后进步了多少""是否稳定不退化""反馈转化为能力增益的效率"。

自适应人类监督。不是完全自治也不是完全受控，而是根据任务关键性、风险等级、系统成熟度动态调节自治程度。目标是设计"可校准的监督结构"。

图 6：自改进研究的完整分类体系。涵盖从数据获取到评估的全链路，以及各子领域的代表工作。