DeepMind终结大模型幻觉？标注事实比人类靠谱、还便宜20倍，全开源
DeepMind终结大模型幻觉？标注事实比人类靠谱、还便宜20倍，全开源DeepMind 这篇论文一出，人类标注者的饭碗也要被砸了吗？
来自主题: AI技术研报
9405 点击 2024-03-29 15:20
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
DeepMind 这篇论文一出，人类标注者的饭碗也要被砸了吗？
马斯克搞大模型，速度也奇快。
Mamba时代来了？
过去一年，从通用大模型的爆发性成长，再到垂直行业大模型与场景化应用的深度融合，人工智能正以前所未有的速度影响甚至改变世界。
“最强”开源大模型之争，又有新王入局：
【新智元导读】近日，来自谷歌的研究人员发布了多模态扩散模型VLOGGER，只需一张照片，和一段音频，就能直接生成人物说话的视频！
【新智元导读】Claude 3在通用任务上是全球最强已经毋庸置疑。更令人惊叹的是，它在专业领域的表现，比如化学任务，也能远远领先GPT-4。
【新智元导读】OpenAI给开发者分钱了！就在刚刚，OpenAI宣布GPT将「货币化」，所有美国开发者都可以得到收入分成，具体细节还在摸索。开发者欢呼：爱死OpenAI了！
【新智元导读】就在刚刚，全球最强开源大模型王座易主，创业公司Databricks发布的DBRX，超越了Llama 2、Mixtral和Grok-1。MoE又立大功！这个过程只用了2个月，1000万美元，和3100块H100。
建设大学 AI 专业，大力投入产业发展，现在成效已逐渐显现。
扩散模型凭借其在图像生成方面的出色表现，开启了生成式模型的新纪元。诸如 Stable Diffusion，DALLE，Imagen，SORA 等大模型如雨后春笋般涌现，进一步丰富了生成式 AI 的应用前景。然而，当前的扩散模型在理论上并非完美，鲜有研究关注到采样时间端点处未定义的奇点问题。此外，奇点问题在应用中导致的平均灰度等影响生成图像质量的问题也一直未得到解决。
这是迄今为止最强大的开源大语言模型，超越了 Llama 2、Mistral 和马斯克刚刚开源的 Grok-1。
RLHF 通过学习人类偏好，能够在难以手工设计奖励函数的复杂决策任务中学习到正确的奖励引导，得到了很高的关注，在不同环境中选择合适的人类反馈类型和不同的学习方法至关重要
【新智元导读】GPT-5还未发布，GPT-6已经在路上了？微软工程师曝出，为GPT-6搭建10万个H100训练集群，整个电网却被搞崩。通往AGI大关，还需要破解电力难题。
Stable Diffusion 3 还没全面开放，这家公司的代码生成模型先来了。本周一，Stability AI 开源了小体量预训练模型 Stable Code Instruct 3B。
让大模型自己动手，好过让人类动手。黄仁勋对话Transformer八子时，最后一位离开谷歌的论文作者Llion Jones，相信这是大模型技术的关键趋势。他还卖了个关子，预告他创立的Sakana AI马上就有大动作。
LLM-Powered Agent凭借长期记忆+自主规划+自动执行等特性，是探索人工通用智能(AGI)的可能途径之一。从单一智能体到多智能体的迭代，是实现AI执行更多更复杂的工作的重要跨越。
3 月 23 日，国内通用大模型创业公司阶跃星辰在 2024 全球开发者先锋大会上发布了公司的通用大模型产品。阶跃星辰创始人、CEO 姜大昕博士在大会开幕式上对外发布了 Step 系列通用大模型，包括 Step-1 千亿参数语言大模型、Step-1V 千亿参数多模态大模型以及 Step-2 万亿参数 MoE 语言大模型预览版。
自理海大学、微软研究院的研究者提出了一种多智能体框架 Mora，该框架整合了几种先进的视觉 AI 智能体，以复制 Sora 所展示的通用视频生成能力。
近年来，LLM 已经一统所有文本任务，展现了基础模型的强大潜力。一些视觉基础模型如 CLIP 在多模态理解任务上同样展现出了强大的泛化能力，其统一的视觉语言空间带动了一系列多模态理解、生成、开放词表等任务的发展。然而针对更细粒度的目标级别的感知任务，目前依然缺乏一个强大的基础模型。
受人类视觉系统的启发，MVDiffusion++结合计算方法高保真和人类视觉系统灵活性，可以根据任意数量的无位姿图片， 生成密集、高分辨率的有位姿图像，实现了高质量的3D模型重建。
近日，Stability AI又发布了新作SV3D，基于视频扩散模型的SV3D将3D模型生成的效果提升了一大截，模型权重已在huggingface开放。
成立2年，估值40亿美元AI初创公司，被微软一夜吞噬。今天，Inflection两位联创官宣加入微软成立的新部门Microsoft AI，分别担任负责人和首席科学家。网友纷纷表示微软仅通过「雇佣」就把Inflection「收购了」。
一直以来，我都习惯于用各种各样的外部工具辅助自己的科研全过程。从论文阅读、文献查找、公式理解，再到论文润色，AI工具都能在不同程度地帮上我。
距离ChatGPT、GPT-4等引爆新一轮人工智能变革的时刻，已经过去了整整一年的时间。在这一年里，国内外大量公司涌入大模型的“斗兽场”，加速大模型技术的迭代与跃迁。
作者表示：在各种有效的 LLM 微调方法中，LoRA 仍然是他的首选。LoRA（Low-Rank Adaptation）作为一种用于微调 LLM（大语言模型）的流行技术，最初由来自微软的研究人员在论文《 LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 》中提出。
3D 生成领域迎来新的「SOTA 级选手」，支持商用和非商用。Stability AI 的大模型家族来了一位新成员。昨日，Stability AI 继推出文生图 Stable Diffusion、文生视频 Stable Video Diffusion 之后，又为社区带来了 3D 视频生成大模型「Stable Video 3D」（简称 SV3D）。
国产化不再是一个简单的口号，而是落实在具象产品之中。3月19日，36氪安徽从联宝（合肥）电子科技有限公司（简称“联宝科技”）获悉，联想首台可搭载国产AI算力芯片的联想问天WA5480 G3服务器在合肥成功交付。
“Claude 3、Gemini 1.5，是要把RAG（检索增强生成）给搞死了吗？”
根据scaling law，模型越大，高质量数据越多，效果越好。 但还有一个很直观的情况，随着预训练样本的质量不断提升，训练手段的优化。新的模型，往往效果能轻松反超参数量两倍于它的模型。