OpenAI公开破解GPT-4思维的新方法，Ilya也参与了！
OpenAI公开破解GPT-4思维的新方法，Ilya也参与了！OpenAI研究如何破解GPT-4思维，公开超级对齐团队工作，Ilya Sutskever也在作者名单之列。
来自主题: AI技术研报
8437 点击 2024-06-08 12:07
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
OpenAI研究如何破解GPT-4思维，公开超级对齐团队工作，Ilya Sutskever也在作者名单之列。
今天，OpenAI发布了一篇GPT-4可解释性的论文，似乎是作为前两天员工联名信的回应。网友细看论文才发现，这居然是已经解散的「超级对齐」团队的「最后之作」。
随着大型语言模型（LLM）规模不断增大，其性能也在不断提升。尽管如此，LLM 依然面临着一个关键难题：与人类的价值和意图对齐。在解决这一难题方面，一种强大的技术是根据人类反馈的强化学习（RLHF）。
OpenAI前员工Leopold Aschenbrenner，之前在超级对齐（Superalignment）部门，可是能和Ilya大佬共事的。
OpenAI 开始训练下一个前沿模型了。在联合创始人、首席科学家 Ilya Sutskever 官宣离职、超级对齐团队被解散之后，OpenAI 研究的安全性一直备受质疑。
出走OpenAI的超级对齐团队负责人Jan Leike，刚刚官宣了自己加入Anthropic的消息，并且开始高调招兵买马。同时，外界也开始对Ilya的去向纷纷猜测：是去Anthropic，xAI，还是自立门户？
解散Ilya的超级对齐团队之后，奥特曼再造了一个新的「安全委员会」。OpenAI称正训练离AGI更近一步的下一代前沿模型，不过在这90天评估期间，怕是看不到新模型发布了。
为了将大型语言模型（LLM）与人类的价值和意图对齐，学习人类反馈至关重要，这能确保它们是有用的、诚实的和无害的。在对齐 LLM 方面，一种有效的方法是根据人类反馈的强化学习（RLHF）。尽管经典 RLHF 方法的结果很出色，但其多阶段的过程依然带来了一些优化难题，其中涉及到训练一个奖励模型，然后优化一个策略模型来最大化该奖励。
刚刚，有网友仔细总结了OpenAI的七宗罪，对Altman发出愤怒的诘问：为何计划跟踪GPU？为何合作军方？员工滚雪球式离职的消息不断曝出，整个对齐团队已经濒临崩溃，「说谎」「心口不一」的形象愈发鲜明，Altman正在失去民心。
没有了“超级对齐”的OpenAI，或很快就将迎来大考。 不久前，OpenAI在美国举行新品发布会，虽然这次没有GPT-5、也没有AI搜索，但联动文本、图像和音频的全能大模型GPT-4o证明了他们I依然有能力引流潮流。只不过刚刚发布GPT-4o之后，OpenAI就迎来了剧变，其首席科学家Ilya Sutskever宣布离职，紧接着超级对齐团队的负责人Jan Leike也宣布离职。