
清华、智谱团队:探索 RLHF 的 scaling laws
清华、智谱团队:探索 RLHF 的 scaling laws目前关于 RLHF 的 scaling(扩展)潜力研究仍然相对缺乏,尤其是在模型大小、数据组成和推理预算等关键因素上的影响尚未被系统性探索。 针对这一问题,来自清华大学与智谱的研究团队对 RLHF 在 LLM 中的 scaling 性能进行了全面研究,并提出了优化策略。
目前关于 RLHF 的 scaling(扩展)潜力研究仍然相对缺乏,尤其是在模型大小、数据组成和推理预算等关键因素上的影响尚未被系统性探索。 针对这一问题,来自清华大学与智谱的研究团队对 RLHF 在 LLM 中的 scaling 性能进行了全面研究,并提出了优化策略。
近日,在多知OpenTalk第48期“全球起航!‘教育+AI’出海进行时”活动上,嗨你好教育创始人李晓兵分享了一年来的创业历程和关于外国人学中文这一市场的深度思考。
o1/o3带火的推理计算Scaling,原来谷歌早在今年8月就曾探讨过。
不像西部世界的 AI 那么智能,现在的 AI 经常没办法满足我的小众需求。 我开始以为是模型能力的问题,但是试用了各家的 AI 发现它们都因为使用的搜索引擎 API 无法搜出相关内容而无法解答。
前不久,看完Salesforce财报写了篇文章,AI闭环验证,Salesforce“疯”招销售 没想到,Agentforce 2.0的发布,一下子几乎全实现了。
AI从未如此接近企业的心脏,而Salesforce正是那根跳动的脉搏。 在每一场数字化革命中,总有一些科技巨头,悄然改变着游戏规则,这次Salesforce,正站在这一变革的前沿。 当有的企业还在学习讨论AI,有的到处在找场景,而Salesforce已经完成了AI的闭环验证。
最近AI业界的观点开始产生变化,Jason Wei明确指出AI for Science蕴藏着巨大的机遇,而其中最大的场景在于AlphaFold 2掀起的蛋白质革命。
近段时间,世界模型的相关研究成果正如雨后春笋版不断涌现,光是我们报道过的就已有南大周志华团队的世界模型 Whale、Yann LeCun 团队的世界模型研究、李飞飞 World Labs 的空间智能研究、谷歌的强大世界模型 Genie 2 以及刚刚开源的像是能模拟万物的生成式物理引擎 Genesis。
本文中,香港大学与 Adobe 联合提出名为 UniReal 的全新图像编辑与生成范式。该方法将多种图像任务统一到视频生成框架中,通过将不同类别和数量的输入/输出图像建模为视频帧,从大规模真实视频数据中学习属性、姿态、光照等多种变化规律,从而实现高保真的生成效果。
2024年快要结束了,世界大模型究竟孰强孰弱?刚刚,智源研究院发布了下半年大模型综合评测结果,涵盖了开源闭源100+模型,横跨文本、语音、图像和视频等多个领域。