让模型"先想一想再回答"已经成为提升能力的头号杠杆——但每多想一个 token，就多一次完整的前向传播。Chain-of-Thought 越长，效果越好，账单也越贵，延迟也越高。
隐式推理（Latent CoT）承诺解决这个问题：不把中间步骤逐字写出来，而是在隐藏状态里"无声地思考"。听起来很美，但现实残酷——现有的隐式推理方法一过 1B 参数就掉链子，模型越大，与显式 CoT 的差距越大。
LOTUS 把这个局面翻了盘：首次在 3B 规模上匹配显式 CoT 的准确率，同时快 2.5 到 6.9 倍。
先看清楚：现有隐式推理为什么失败
作者对现有方法的诊断非常清晰，两个病灶：
病灶一：序列生成瓶颈（P1）
Coconut、CODI、SIM-CoT 这些方法虽然把离散 token 换成了连续向量，但生成方式依然是逐 token 自回归——每产生一个隐式"思维片段"，就要跑一次完整的前向传播。
这意味着什么？CoT 的 O(N) 延迟被原封不动搬进了隐空间。省掉的只是 token 解码的算力，速度上没有本质优势。隐式推理的核心卖点——效率——根本没兑现。
病灶二：缺乏 CoT 对齐信号（P2）
显式 CoT 有一个天然优势：每一步对应一个具体 token，训练信号精确而稳定。隐式推理的连续向量缺乏这种对齐——它们应该"表示"推理步骤，但没有任何直接监督告诉它们该表示什么。
结果就是训练漂移：模型越大，隐向量越容易学到捷径而不是推理。这解释了为什么现有方法在 1B 以上规模全线溃败——不是隐式推理本身不行，是监督信号不行。
LOTUS 的方案：两招破局
第一招：循环 backbone，打破序列瓶颈
不再逐 token 自回归生成隐向量。LOTUS 把 K 个可学习的隐式 block（每块含 c 个 token）一次性并行塞进序列，然后用同一套 Transformer 权重反复"打磨" R 轮。
关键在于 R 远小于显式 CoT 的 token 数 N。原来 N 步的推理链，现在 R 轮并行迭代搞定——这就是延迟优势的来源。循环深度（recurrent-depth）设计不是空想，Geiping、Zhu、Zeng 等人的工作已经验证它可以扩展到十亿参数级别。
第二招：直接监督，解决对齐问题
这是全文最亮眼的洞察。LOTUS 不搞教师蒸馏，不搞 KV cache 压缩，不搞对比学习——它直接把循环后的隐向量送进基础模型自己的 LM head，用 gold CoT token 做交叉熵监督。
每个隐式位置对应一个真实的推理步骤 token，损失函数和显式 CoT 训练一模一样。隐式推理第一次获得了和显式 CoT 同等精确的训练信号。
P1 由循环并行解决，P2 由直接监督解决。两个病灶，两招药，一一对应。好的研究就是这样——诊断清楚了，方案自然浮现。
两种监督路由
| 变体 | 监督路径 | 特点 |
|---|---|---|
| LOTUS（直连） | 循环后隐向量 → 基础 LM head → CoT token 交叉熵 | 零额外参数，小模型上更鲁棒 |
| LOTUS-aux（辅助解码器） | 隐向量 → 辅助解码器（teacher-forcing）→ CoT token | 训练时增加解码器，推理时完全撤除 |
两种路由在 3B 上都能匹配显式 CoT，但直连版在更小规模上依然稳健——简单的方案反而更抗打。
实验：三个关键结果
第一战：3B 规模上的正面对决
在 Llama-3.2-3B-Instruct 上，LOTUS 的 GSM8K 准确率距离显式 CoT 不到 1 个百分点——而且在两个分布外数据集（GSM-Hard、SVAMP）上的平均表现反超了显式 CoT。
对比之下，之前的隐式方法在这个规模上全线溃败，差距大到论文里都不好意思画进同一张图的方法不在少数。
第二战：速度
思考阶段延迟：数学表达式 CoT 场景下降至显式 CoT 的 1/2.5；自然语言 CoT 场景下降至 1/6.9。
规律很清晰：CoT 越啰嗦，LOTUS 优势越大——因为它的计算量与 CoT 长度几乎解耦，只取决于循环轮数 R 和 latent budget c。真实场景里的推理链恰恰是自然语言、恰恰很啰嗦，所以 6.9 倍才是更接近实际的数字。
第三战：隐空间里到底装了什么
这是全文最出人意料的部分。把 LOTUS 循环后的隐向量直接通过基础 LM head 解码——读出来的就是 gold CoT 的推理步骤。隐空间不是黑箱。
更神奇的是第二个发现：隐空间还编码了模型从未见过的等价推理路径。同一道数学题，隐空间中同时保留了多种不同解法的概率质量，最终输出的只是最高概率的那条。
LOTUS 的隐空间不是在"压缩"一条推理链，而是在并行探索一个推理空间。这可能是隐式推理超越显式推理的真正潜力所在——显式 CoT 一次只能走一条路，隐式推理可以同时走多条。
消融：哪些设计真正重要
- 去掉循环 backbone（换普通前馈）→ 准确率暴跌。并行迭代打磨是必需的。
- 去掉 CoT token 监督（只留答案监督）→ 同样暴跌。两个 loss 角色互补：step loss 教推理，answer loss 教落地。
- 循环轮数 R 和 latent 宽度 c：都不是越大越好，存在最优区间。
- 推理时自适应压缩：训练用大 c、推理时缩小 c，准确率仅损失不到 1 个点——模型学会了在更紧凑的隐空间中压缩推理信息。这对部署非常友好。
局限与判断
作者坦承的局限：目前只在数学推理（GSM8K 系列）上验证；能否推广到代码生成、多跳问答、多模态推理还是未知数。3B 虽然打破了过去的规模魔咒，但距离生产级的几十 B 模型还有验证距离。
我的判断：这篇论文最大的价值不是那几个百分点的准确率，而是证伪了"隐式推理做不大"这个流行结论。之前的失败不是隐式推理的原罪，而是监督信号设计的失败。方向修正之后，这条路重新打开了。
对推理成本敏感的场景——高并发服务、端侧部署、agent 的内部思考循环——2.5 到 6.9 倍的加速是实打实的钱。而隐空间多路径推理的发现，则暗示了一个更远的未来：隐式推理不需要成为显式 CoT 的廉价替代品，它可能是更好的推理方式。