
翁荔离职OpenAI后第一个动作:万字长文探讨RLHF的漏洞,网友们抢着传看
翁荔离职OpenAI后第一个动作:万字长文探讨RLHF的漏洞,网友们抢着传看之前领导OpenAI安全团队的北大校友翁荔(Lilian Weng),离职后第一个动作来了。当然是发~博~客。这次的博客一如既往万字干货,妥妥一篇研究综述,翁荔本人直言写起来不容易。主题围绕强化学习中奖励黑客(Reward Hacking)问题展开,即Agent利用奖励函数或环境中的漏洞来获取高奖励,而并未真正学习到预期行为。
之前领导OpenAI安全团队的北大校友翁荔(Lilian Weng),离职后第一个动作来了。当然是发~博~客。这次的博客一如既往万字干货,妥妥一篇研究综述,翁荔本人直言写起来不容易。主题围绕强化学习中奖励黑客(Reward Hacking)问题展开,即Agent利用奖励函数或环境中的漏洞来获取高奖励,而并未真正学习到预期行为。
“我女儿上小学二年级,整天沉迷一款AI剧情聊天软件,学习成绩一落千丈。”
近年来,代码语言模型(Language Models for Code,简称 CodeLMs)逐渐成为推动智能化软件开发的关键技术,应用场景涵盖智能代码生成与补全、漏洞检测与修复等。
2024 年,AI 大模型从「以分计价」跨入「以厘计价」的时代。
OpenAI治理研究员Richard Ngo宣布离职。近来,OpenAI中专注于AI安全的员工接连出走,Ngo是最新的一位。
翁荔的技术博客深入、细致,具有前瞻性,被很多 AI 研究者视为重要的参考资料。如今,她离开了 OpenAI,开启新的征程。而且她表示,之后可能有更多时间频繁更新博客。
OpenAI研究副总裁(安全)翁荔(Lilian Weng),现身国内! 还首次在国内大型活动场合公开发表AI主题演讲。
AI 创业,越来越全球化的同时,要解决的文化、法律差异问题也越来越多。
10月23日,此前因被创始人“抛弃”而不再怎么被提及的AI陪伴产品鼻祖Character.ai,在x官方账号上发布了一条声明
Character.ai 遭遇了前有未有的危机。