Stable Diffusion 3论文终于发布，架构细节大揭秘，对复现Sora有帮助？
Stable Diffusion 3论文终于发布，架构细节大揭秘，对复现Sora有帮助？在众多前沿成果都不再透露技术细节之际，Stable Diffusion 3 论文的发布显得相当珍贵。
来自主题: AI技术研报
5514 点击 2024-03-06 14:57
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
在众多前沿成果都不再透露技术细节之际，Stable Diffusion 3 论文的发布显得相当珍贵。
Stability AI放出了号称能暴打闭源模型的Stable Diffusion 3的技术报告，采用DiT构架的新模型在灵活性和性能上都达到了新的高度。
AI 研究走过的最大弯路，就是过于重视人类既有经验和知识。
在 2024 世界经济论坛的一次会谈中，图灵奖得主 Yann LeCun 提出用来处理视频的模型应该学会在抽象的表征空间中进行预测，而不是具体的像素空间 [1]。借助文本信息的多模态视频表征学习可抽取利于视频理解或内容生成的特征，
OpenAI这家AI初创公司，是历史上增长最快的公司之一，但它商业模式的长期可行性，仍然存在疑问。烧光现金流之前，OpenAI能交出怎样答卷？
谷歌在语言和声控计算机界面的漫长道路上又迈出了重要一步。最新ScreenAI视觉语言模型，能够完成各种屏幕QA问答、总结摘要等任务。
现在，马斯克起诉OpenAI案的最大未解之谜，就集中在了「Ilya究竟看到了什么」上。他看到的东西，让OpenAI大震荡，所有模型推出计划被削弱和延期。最近网上曝出的一份53页PDF，就透露了Q*的许多重大细节：125万亿参数，去年12月已训完。但马斯克这么一闹，恐怕Q*面世的时间还要大大延迟。
前段时间，种子轮融资3000万美元的日本公司Sakana AI，因为众多亮眼标签，受到很多关注——谷歌科学家、硅谷原班人马、总部扎根东京、小模型……
996作息表爆火后，许多人一定好奇在OpenAI工作究竟是怎样的感受。最近，多位匿名员工在求职网站Glassdoor纷纷对雇主打分评价，高薪却996。最经典的评价是：潜力巨大，但成长烦恼也是真实的。
在目前的模型训练范式中，偏好数据的的获取与使用已经成为了不可或缺的一环。在训练中，偏好数据通常被用作对齐（alignment）时的训练优化目标，如基于人类或 AI 反馈的强化学习（RLHF/RLAIF）或者直接偏好优化（DPO），而在模型评估中，由于任务的复杂性且通常没有标准答案，则通常直接以人类标注者或高性能大模型（LLM-as-a-Judge）的偏好标注作为评判标准。