AutoResearchClaw：让AI科研系统学会从失败中爬起来

问题：现有自主科研系统为什么不够好？

AI Scientist、AIDE-ML、Agent Laboratory 等系统已经展示了 LLM agent 从选题到跑实验再到写论文的全流程能力。但如果真正做过科研，就知道这个流程从来不是一条直线——假设需要被质疑，实验会以各种方式失败，失败后的残骸中藏着下一步的线索，而跨轮次积累的教训往往决定了下一轮的方向。

现有系统几乎都把科研建模成线性流水线，暴露出三个结构性缺陷：

第一，单agent自我确认。同一个模型既生成假设又评估假设，没有结构性压力去质疑自己的判断。AI Scientist 的单 agent 推理容易提出过于安全、缺乏挑战性的方向，因为同一个模型天然倾向于确认自己产出的想法。

第二，失败即终止。AIDE-ML 在实验执行失败时直接丢弃所有中间产物。真实科研中，一次失败的实验常常比成功的实验更有信息量——它告诉你哪条路不通、哪个假设站不住。但现有系统把失败当成终止信号，等于丢掉了最有价值的诊断信息。

第三，无状态跨Run。每次运行从零开始，不携带任何历史教训。Agent Laboratory 允许 agent 协作但跨 run 不记忆，意味着同样的错误在不同 run 中反复出现。

AutoResearchClaw 正是针对这三个缺陷，提出了一套结构化的解决方案。

架构：23阶段的全流水线

整个系统分为三大阶段（Discovery → Experimentation → Writing），包含 23 个有序步骤，每步声明输入/输出契约，支持检查点式断点续跑。

图1：AutoResearchClaw 的 23 阶段流水线，覆盖选题（A）、文献（B）、综合（C）、实验设计（D）、执行（E）、分析（F）、写作（G）、终审（H）八个阶段。

Discovery 阶段包含选题初始化、问题分解、文献搜索策略、文献收集、筛选、知识提取、综合和假设生成共 8 步。Experimentation 阶段包含实验设计、代码生成、资源规划、执行和迭代修复共 4 步。Writing 阶段包含论文大纲、起草、同行评审、修订、质量门、知识归档、导出和引用验证共 8 步。

五个机制贯穿所有阶段，不是附加组件，而是流水线的结构性基础设施。

机制一：多Agent辩论

假设阶段的辩论小组由三个角色组成。创新者负责提出高风险假设，挑战传统假设，寻找反直觉方向。实用主义者评估可行性——硬件和时间预算够不够？数据能不能拿到？代码能不能跑通？反对者专门找弱点和混淆因素——这个假设的失败条件是什么？对照组设计合理吗？

综合 agent 将三方观点提炼为 2-4 个可证伪假设，每个标注可测试标准、所需基线和失败条件。这个过程强制系统在实验开始前就明确"什么是成功、什么是失败"，避免事后 cherry-picking。

结果阶段的辩论结构类似但角色不同：乐观者放大发现，怀疑者挑战统计显著性和潜在混淆，方法论者检查可复现性和数据泄露。综合产物在进入写作阶段之前就区分了"有支持的声明"和"无支持的声明"。

消融实验显示 K=3 是最优平衡点。K=1 退化为单 agent，K=5 以上边际收益递减而成本线性增长。

机制二：自修复执行器

代码生成采用分层策略。一个评分函数从六个维度评估实验复杂度：架构深度、文件数量、领域难度、依赖链长度、历史失败率和控制流复杂度，输出 0-1 的复杂度标量 c。c 大于阈值 τ=0.6 的实验分派给外部 AI 编码 agent（如 Claude Code），c 较低的由内置多阶段代码 agent 处理——先生成逐文件蓝图，再按依赖序逐文件生成，用 AST 摘要保持跨文件一致性。

静态验证门在执行前检查可检测的缺陷：不同消融实验的代码是否实际不同（曾经出现过所有消融用同一个实现的情况）、指标函数是否被硬编码、数据加载是否正确等。只有在验证门通过后才消耗执行预算。

所有代码在 Docker 沙箱中执行，采用三阶段网络策略。阶段 0 允许网络访问（安装依赖），阶段 1 允许网络访问（获取数据），阶段 2 完全断网（执行实验）。这防止了两个诚信风险：结果外泄和下载预计算结果。指标上报走只读评估器，生成代码无法重定义自己的测量基础设施。

当实验失败时，修复循环捕获失败签名（错误类型、出错的代码行、堆栈信息），生成针对性修复，然后做出 Pivot/Refine 决策。系统在 25 个主题中仅 2 个完全失败（都是需要复杂多文件级联实现的主题），而 AI Scientist v2 失败 6 个，集中在需要迭代细化的动态系统和因果发现领域。

机制三：可验证结果报告

LLM 生成论文面对两个诚信问题：伪造实验数据和幻觉引用。两者源于同一种行为——模型产出看似合理的无证据内容。AutoResearchClaw 通过两层确定性验证门解决。

数值注册表。执行阶段构建一个验证注册表，白名单化每次运行产出的每一个值：逐条件均值、标准差和个体种子测量值。写作阶段，预构建的 LaTeX 表格仅从注册表填充，注入生成 prompt。生成完成后，后验证器重新提取每个数值声明并与注册表核对——严格章节（摘要、结果、实验）中无法匹配注册表的数值触发拒稿，其他章节的不匹配声明被替换为可见占位符。写作 agent 可以读注册表但不能修改它。

引用验证。每个引用走四层管线：CrossRef DOI 解析 → OpenAlex 模糊标题匹配 → arXiv 标识符查找 → Semantic Scholar 终极兜底。然后 LLM 做相关性分类，输出 Verified / Suspicious / Hallucinated 三档。Hallucinated 引用在终稿中被直接删除。

这个机制的效果在 Result Analysis 维度上体现得最直接——AutoResearchClaw 得分 0.523，比 AI Scientist v2 的 0.261 高 100.4%。单 agent 的结果分析倾向于过度包装弱发现，而多 agent 辩论加数值注册表强制系统做诚实的自我审视。

机制四：七档人机协作

消融实验的关键发现：CoPilot 模式（六个高杠杆决策点）持续优于所有其他模式，包括 Full-Auto 和 Step-by-Step。Post-Experiment 干预（0.623）优于 Pre-Experiment（0.575），说明人对结果分析的判断比早期假设筛选更有杠杆价值。Step-by-Step（0.581）甚至不如 CoPilot——说明穷举式逐步审批不仅没有提升质量，反而因为噪音干预拖累了流程效率。

CoPilot 的六个干预点包括：Idea Workshop（假设共创）、Baseline Navigator（基线审查）、Code Review（代码审查）、Result Review（结果审查）、Paper Co-Writer（论文协作）和 Quality Gate（终审）。

论文还提出了 SmartPause 模式：系统监控每步的不确定性估计，当不确定性超过学习阈值时自动暂停，阈值根据历史审批模式自适应——经常被研究者推翻的阶段暂停更频繁，审批率高的阶段自主运行。

机制五：跨Run进化

每次 run 结束后，系统从修复尝试、Pivot/Refine 决策、人机协作反馈和验证结果中提取结构化教训。每条教训记录类别、严重度评分 s(l) ∈ (0,1] 和推荐缓解措施。

新 run 启动时，相关教训按类别检索，按时间衰减权重排序注入 prompt：

近期失败强约束后续 run，而早期已完成的成功经验线逐渐淡出。半衰期 T_1/2=30 天是默认值，可通过超参数调节。教训注入为自然语言 prompt 叠加层，无需模型重训练，适用于任何 LLM backbone。

这个设计让 AutoResearchClaw 成为一个"越用越聪明"的系统——每次失败都变成未来的护栏，而不是被丢弃的诊断信息。

实验结果

ARC-Bench 包含 25 个 ML 主题（ML01-ML25，覆盖表格学习、优化、降维、NLP、AutoML、高斯过程核、主题建模、半监督、动力系统、异常检测、特征选择、因果发现和学习排序）和 20 个科学领域扩展主题（10 个高能物理 P01-P10、7 个系统生物 B01-B07、3 个统计 S01-S03）。

图2：ARC-Bench 实验阶段评估（25 个 ML 主题）。评分维度 CD:CE:RA = 25:25:50。AutoResearchClaw 在所有维度上领先。

实验阶段比较

AutoResearchClaw (CoPilot) 综合评分 0.648，比 AI Scientist v2（0.419）高 54.7%，比 AIDE-ML（0.511）高 26.8%。即使在 Full-Auto 无人工干预模式下（0.596）也大幅超过两个基线，说明增益主要来自系统设计而非人工输入。

Code Development 上各系统差距不大（均 >0.70），AIDE-ML 甚至接近满分（0.958）。真正拉开差距的是 Code Execution 和 Result Analysis。AIDE-ML 执行成功率仅 0.415，因为它缺乏自修复机制——遇到运行时错误的实验直接被丢弃。AutoResearchClaw 的 Pivot/Refine 循环将成功率提升到 0.562-0.578。

跨领域覆盖

在 20 个科学领域扩展主题（物理/生物/统计）上，AutoResearchClaw 是唯一能可靠产出端到端论文的系统。AI Scientist v2 和 AIDE-ML 在物理模拟和高能物理主题上几乎无法产出有意义的实验代码。系统生物学主题需要多步数据管道，AI Scientist v2 的单次生成策略完全无法处理管道中间步骤的失败。

组件消融

自修复执行的移除影响最大（-15.0%），其次是多 Agent 辩论（-10.6%）。跨 Run 进化的移除影响最小（-3.7%），这可能是因为单次评估 run 无法充分体现积累效应——在多轮迭代场景下这个数字可能会更大。

案例研究：Topic T10

图3：Topic T10 的端到端执行轨迹，展示 Pivot/Refine 决策循环的实际运作。系统在初始实验失败后自动诊断、修复并最终产出有效结果。

T10 主题要求 agent 设计一个改进的自编码器用于异常检测，涉及多文件架构（编码器、解码器、训练循环、评估管道）和多个消融实验。首次执行因数据加载器的 batch size 不匹配而失败，自修复执行器捕获错误签名后生成了针对性修复。第二次执行因训练损失不收敛被触发 Refine 决策，系统调整了学习率调度策略。第三次执行成功，但结果分析阶段的怀疑者 agent 发现基线对比不公平——原始实现使用了数据增强而提出的改进没有。系统回到实验设计阶段补全了公平对比，最终产出的论文在人工盲审中获得了 7.5/10 的评分。

整个过程中人类仅在 CoPilot 模式的 Idea Workshop 和 Quality Gate 两个决策点介入，总人工时间不到 30 分钟。

评价与局限

这篇论文的工程完成度在自主科研系统领域是空前的。35 人团队覆盖 11 个机构，23 阶段全流水线、完整的三阶段沙箱安全模型、双盲评估协议、7 档人机协作消融——这不是 demo 级别的系统，而是一个可以直接用于实际科研辅助的工程产品。

五大机制中，数值注册表和引用验证是最务实的贡献。它们不炫技，但直接解决了 LLM 科研系统最被诟病的诚信问题。多 Agent 辩论和自修复执行展示了结构化工程设计的价值——与其追求更强的模型，不如把现有模型用好。

Pivot/Refine 决策循环的设计哲学值得借鉴：一个健壮的 agent 不应该害怕犯错，而应该有能力从错误中学习并继续前进。这个原则适用于所有 agent 系统的工程实践。

局限方面：ARC-Bench 是作者自建基准，虽然设计合理（三个评估模式、双盲评审、跨域覆盖）但缺乏社区独立验证。所有实验依赖 GPT-5.3-codex，在开源模型上的表现完全未知。23 阶段全流水线的总计算成本论文未披露——这个数字对实用化至关重要。跨 Run 进化的消融在单轮评估中影响最小（-3.7%），在多轮迭代中是否显著仍是开放问题。