用人类偏好反馈训练奖励模型，再优化语言模型行为。
用人类偏好反馈训练奖励模型，再优化语言模型行为。
在 AI 年鉴中，基于人类反馈的强化学习（RLHF） 属于“后训练”知识分类，并与 6 条已审核模型版本事实建立关联。
术语解释用于理解字段含义，不能替代具体模型版本的来源、条件和证据。
术语页解释字段含义与阅读边界；具体模型的参数、条件和结论仍要回到对应版本记录和来源核对。
RLHF 通常包含偏好数据、奖励建模和策略优化等环节，目标是让输出更符合人类偏好或任务规范。实现细节可能因系统而异。
看到“使用人类反馈”不等于可以确定具体算法、奖励模型结构或训练规模。