RLAIF是对齐如何扩展的关键。人类标注昂贵（每小时10–50美元以上）、缓慢且不一致。AI反馈即时、廉价且不知疲倦。Constitutional AI（Anthropic）将RLAIF作为核心组件——AI根据原则批评响应，大规模提供偏好数据。关键问题是AI反馈是否足够好：它从人类判断中引导但可能继承和放大偏见。
流程：(1) 对提示生成多个响应，(2) 让一个强大的AI模型（"评判者"）比较配对并指出哪个更好，(3) 使用这些AI生成的偏好来训练奖励模型或直接应用DPO。评判模型可以用特定标准提示（"偏好更有帮助、更诚实、更无害的响应"）或给出一套原则。
研究表明，对于许多任务，RLAIF可以匹配RLHF的质量，特别是当评判模型比被训练的模型显著更强时。差距在主观任务（创意写作质量、文化敏感性）上最大，人类判断能捕捉到AI反馈遗漏的细微差异。实用方法：将RLAIF用于大量训练数据，将昂贵的人类标注保留给边缘案例和评估。
RLAIF实现了自我改进：模型生成响应、评判它们，并根据自己的反馈进行训练。这听起来可能导致无限改进，但实际上收益会趋于平稳——模型无法可靠地评判比自己能力更好的响应。你不能通过拉自己的鞋带把自己提起来。这就是为什么使用比被训练模型更强的评判模型对有意义的改进很重要。