一文看尽LLM对齐技术：RLHF、RLAIF、PPO、DPO……
一文看尽LLM对齐技术：RLHF、RLAIF、PPO、DPO……为了对齐 LLM，各路研究者妙招连连。
来自主题: AI技术研报
9376 点击 2024-08-05 14:09
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
为了对齐 LLM，各路研究者妙招连连。
自从2007年MEMS（微机电系统，Micro-Electro-Mechanical System）麦克风和加速度传感器做到iPhone内，这个低调的工业品开始逐渐被人所熟知，成就了苹果、华为、三星、小米、OPPO等各种消费电子品牌。
如何让大模型更好的遵从人类指令和意图？如何让大模型有更好的推理能力？如何让大模型避免幻觉？能否解决这些问题，是让大模型真正广泛可用，甚至实现超级智能（Super Intelligence）最为关键的技术挑战。这些最困难的挑战也是吴翼团队长期以来的研究重点，大模型对齐技术（Alignment）所要攻克的难题。
6 月 25 日，有多名开发者收到了来自 OpenAI 的公告，公告中显示，OpenAI 将于 7 月 9 日开始封锁来自非支持国家和地区的 API 流量。在 OpenAI 给出的 “支持访问国家和地区” 名单上（https://platform.openai.com/docs/supported-countries），中国大陆、中国香港等地均未在列。
大脑皮层、海马体、旁回：HippoRAG的三大神器
5月24日，36氪“新质生产力·AI Partner大会”于北京环球贸易中心正式拉开帷幕。大会聚焦AI场景与应用端，分为“AI能为我们做什么”和“我被AI赋能了”两大篇章。现场汇聚来自蚂蚁集团、联想、OPPO、百度、英特尔等企业的AI领域先锋者，以“赋能者”与“被赋能者”的不同视角，共同探讨AI技术如何“爆改”千行百业。
Richard Sutton 在 「The Bitter Lesson」中做过这样的评价：「从70年的人工智能研究中可以得出的最重要教训是，那些利用计算的通用方法最终是最有效的，而且优势巨大。」
3月24日，一加发布了他们新的性价比旗舰，一加ACE 3V。看起来这似乎并不算一场很重磅的发布会，但它却是第一批拥抱AI的中端智能手机，有着挺重要的象征意义。
一旦AIGC进化成AGI，智能手机的好日子可能就要彻底结束了。不转向AI手机的厂商会成为下一个“诺基亚”，这是360公司创始人、董事长兼CEO周鸿祎一加Ace 3V发布会上的大胆预测。最近一段时间，AI手机可谓是手机圈最热门的概念，前有OPPO宣布进入AI手机时代、魅族要“All in AI”，后有小米集团合伙人、集团总裁卢伟冰认为，“AI是未来，是无处不在的能力，但AI手机是噱头”。
本文讨论了当前市场上的AI手机，并分析了其功能和销售情况。文章提到AI手机主要包括AIGC消除和AI通话摘要等功能，但目前这些功能还不足以支持AI手机成为真正颠覆性的产品。此外，文章还提到了AI手机面临的硬件挑战和消费者购买意愿的问题。