直接使用偏好对优化策略模型，不显式训练独立奖励模型。
直接使用偏好对优化策略模型，不显式训练独立奖励模型。
在 AI 年鉴中，直接偏好优化（DPO） 属于“后训练”知识分类，并与 6 条已审核模型版本事实建立关联。
术语解释用于理解字段含义，不能替代具体模型版本的来源、条件和证据。
术语页解释字段含义与阅读边界；具体模型的参数、条件和结论仍要回到对应版本记录和来源核对。
DPO 将偏好学习转化为相对简单的分类式目标，在参考模型约束下直接调整策略模型。它与 RLHF 的目标相关，但训练流程和优化目标不同。
DPO 是否被某个具体模型使用，必须由该模型的技术报告或官方资料明确支持。