突破后训练瓶颈？Meta超级智能实验室力作：CaT解决RL监督难题

机器之心编辑部

在 AI 领域，大家通常采取后训练方式来让模型获取专项技能。然而后训练一般依赖带有标注参考的监督微调，或通过可验证的程序化检查器提供奖励。

这就带来一些问题，目前许多有价值的任务可能同时缺乏这两种资源。例如在不可验证的场景中（临床、自由对话和创意写作），可能存在多个有效答案，确定性规则检查难以实施。

在这种情况下，实践者往往只能依赖（i）繁琐的标注流程，或（ii）通过另一个 LLM 对自由形式输出进行粗略奖励。

然而，当后训练缺乏真实标注时，学习信号从何而来？

为了回答这一问题，来自牛津大学、Meta 超级智能实验室等机构的研究者提出设想：

推理计算是否可以替代缺失的监督？

本文认为答案是肯定的，他们提出了一种名为CaT（Compute as Teacher）的方法，核心思想是把推理时的额外计算当作教师信号，在缺乏人工标注或可验证答案时，也能为大模型提供监督信号。

结果显示，推理时直接应用 CaT显著提升了 Gemma 3 4B、Qwen 3 4B 和 Llama 3.1 8B 的性能，即使在不可验证领域（MATH-500 最高提升 27%；HealthBench 提升 12%）。结合强化学习的CaT（CaT-RL）可进一步获得增益（最高提升 33% 和 30%），训练后的策略甚至能超越初始教师信号。