人类偏好优化算法哪家强？跟着高手一文学懂DPO、IPO和KTO
人类偏好优化算法哪家强？跟着高手一文学懂DPO、IPO和KTO尽管收集人类对模型生成内容的相对质量的标签，并通过强化学习从人类反馈（RLHF）来微调无监督大语言模型，使其符合这些偏好的方法极大地推动了对话式人工智能的发展。
来自主题: AI技术研报
7531 点击 2024-02-18 12:25
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
尽管收集人类对模型生成内容的相对质量的标签，并通过强化学习从人类反馈（RLHF）来微调无监督大语言模型，使其符合这些偏好的方法极大地推动了对话式人工智能的发展。
分布式强化学习是一个综合的研究子领域，需要深度强化学习算法以及分布式系统设计的互相感知和协同。考虑到 DDRL 的巨大进步，我们梳理形成了 DDRL 技术的展历程、挑战和机遇的系列文章。
大型语言模型（LLM）的成功离不开「基于人类反馈的强化学习（RLHF）」。RLHF 可以大致可以分为两个阶段，首先，给定一对偏好和不偏好的行为，训练一个奖励模型，通过分类目标为前者分配更高的分数。
有的大模型对齐方法包括基于示例的监督微调（SFT）和基于分数反馈的强化学习（RLHF）。然而，分数只能反应当前回复的好坏程度，并不能明确指出模型的不足之处。相较之下，我们人类通常是从语言反馈中学习并调整自己的行为模式。
过去几个月中，随着 GPT-4V、DALL-E 3、Gemini 等重磅工作的相继推出，「AGI 的下一步」—— 多模态生成大模型迅速成为全球学者瞩目的焦点。
这两天Steam上突然出现了一款爆火的现象级游戏《幻兽帕鲁（Palworld）》。发售没几天就直接冲到了Steam史上玩家在线排行榜第2，超过了CS2等一众经典老游戏。
2013 年创立的科技产品发现平台 Product Hunt 如今已经成为发现新的 AI 产品的主要平台，里面聚集了大量 Early Adopters 种子用户。Notion、Framer 和 Loom 等等产品都通过 Product Hunt 成功实现了冷启动。
人工智能的反馈（AIF）要代替 RLHF 了？
大模型在极大的提高工作效率的同时，也将一些隐患带入到人们的生活中，比如擦边内容、暴力诱导、种族歧视、虚假和有害信息等。
复旦团队进一步挖掘 RLHF 的潜力，重点关注奖励模型（Reward Model）在面对实际应用挑战时的表现和优化途径。