DeepSeek等团队新作JanusFlow: 1.3B大模型统一视觉理解和生成
DeepSeek等团队新作JanusFlow: 1.3B大模型统一视觉理解和生成在多模态AI领域，基于预训练视觉编码器与MLLM的方法（如LLaVA系列）在视觉理解任务上展现出卓越性能。
来自主题: AI技术研报
8457 点击 2024-11-22 15:54
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
在多模态AI领域，基于预训练视觉编码器与MLLM的方法（如LLaVA系列）在视觉理解任务上展现出卓越性能。
Meta最近开源了一个7B尺寸的Spirit LM的多模态语言模型，能够理解和生成语音及文本，可以非常自然地在两种模式间转换，不仅能处理基本的语音转文本和文本转语音任务，还能捕捉和再现语音中的情感和风格。
最近，Jim Fan参与的一项研究推出了自动化数据生成系统DexMimicGen。该系统可基于少量人类演示，合成类人机器人的灵巧手运动轨迹，解决了训练数据集的获取难题，而且还提升了实验中机器人的表现。
Scaling Law撞墙，扩展语言智能体的推理时计算实在太难了！破局之道，竟是使用LLM作为世界模型？OSU华人团队发现，使用GPT-4o作为世界模型来支持复杂环境中的规划，潜力巨大。
千帆社区开发者黄定骅现身解读参加「千帆AppBuilder-智能硬件AIOT创意赛第一期」的心路历程。
去年夏天，法国 AI 初创公司 H 在尚未发布任何产品的情况下，宣布完成了惊人的 2.2 亿美元种子轮融资，引发行业轰动。
研究问题：这篇文章研究了如何在基于文本的在线同伴支持平台中，通过人工智能（AI）与人类协作，提高同伴之间的同理心对话质量。
近日，DeepMind 团队将水印技术和投机采样（speculative sampling）结合，在为大语言模型加入水印的同时，提升其推理效率，降低推理成本，因此适合用于大规模生产环境。
今天凌晨，新晋诺贝尔化学奖得主、DeepMind 创始人哈萨比斯参与撰写的新论文登上了 Nature，主题是如何更准确地识别并纠正量子计算机内部的错误。
科幻影响AI想象与现实发展，揭示人类需求。
随着开源数据的日益丰富以及算力价格的持续下降，对于个人或小型机构而言，预训练一个小型的 LLM 已逐渐成为可能。开源中文预训练语言模型 Steel - LLM 就是一个典型案例，其模型参数量与数据量并非十分庞大，基本处于参数量为 B 级别、数据量为 T 级别的规模。
人类离电影《黑客帝国》的场景，似乎又近了一步。
在数据分布持续变化的动态环境中，如何进行连续模型泛化？
近日，来自斯坦福、MIT等机构的研究人员推出了低秩线性转换方法，让传统注意力无缝转移到线性注意力，仅需0.2%的参数更新即可恢复精度，405B大模型两天搞定！
新的大语言模型（LLM）评估基准对于跟上大语言模型的快速发展至关重要。
论文提出了一种RAG任务分类法，将用户查询分为四个级别，并讨论了将外部数据集成到LLMs中的三种主要方式。从简单的事实检索到复杂的推理任务，每个级别都有其独特的难点和解决方案，需要不同的技术和方法来优化性能。
大模型的执行力从哪里来？
“赛博螺丝工”解放双手的时刻来了！
关于产业进展，代码辅助工具，PearAI ，https://trypear.ai/，提供了代码自动生成、智能代码预测、代码编辑聊天、代码记忆提升、智能代码搜索等功能，还内置了Perplexity、Memo等其他AI工具，这其实加剧了如cursor等同质产品的竞争。
识别对手球队实施的关键战术模式并制定有效的应对措施是现代足球的核心。 然而，通过算法实现这一点仍然是一个开放的研究挑战。 为了解决这一未满足的需求，我们提出了 TacticAI，这是一款与利物浦足球俱乐部领域专家密切合作开发和评估的人工智能足球战术助手。
谁是在线购物领域最强大模型？也有评测基准了。
如何解决模型生成幻觉一直是人工智能（AI）领域的一个悬而未解的问题。为了测量语言模型的事实正确性，近期 OpenAI 发布并开源了一个名为 SimpleQA 的评测集。而我们也同样一直在关注模型事实正确性这一领域，目前该领域存在数据过时、评测不准和覆盖不全等问题。例如现在大家广泛使用的知识评测集还是 CommonSenseQA、CMMLU 和 C-Eval 等选择题形式的评测集。
近年来，AI for Science 发展提速，不仅为科研领域带来创新研究思路，同时也拓宽了 AI 的落地通路，为其提供了更多具有挑战性的应用场景。在这个过程中，越来越多的 AI 领域研究人员开始关注医疗、材料、生物等传统科研领域，探索其中的研究难点与行业挑战。
朋友们，想了解为什么同一模型会带来大量结果的不一致性吗？今天，我们来一起深入分析一下来自微软和麻省理工学院的一项重大发现——不同的Prompt格式如何显著影响LLM的输出精度。这些研究结果对于应用Prompt优化设计具有非常重要的应用价值。
1966年，首个AI精神健康聊天机器人Eliza问世，作为一种简单的自然语言处理程序，它模拟了心理治疗师的对话风格，标志着AI在心理健康领域应用的起点。
北大等出品，首个多模态版o1开源模型来了—— 代号LLaVA-o1，基于Llama-3.2-Vision模型打造，超越传统思维链提示，实现自主“慢思考”推理。 在多模态推理基准测试中，LLaVA-o1超越其基础模型8.9%，并在性能上超越了一众开闭源模型。
我们即将介绍的 AgileGen— 一种基于人机协作的敏捷生成式软件开发框架。
大模型在数学问题上的表现不佳，原因在于采取启发式算法进行数学运算的，通过定位到多层感知机（MLP）中的单个神经元，可以对进行数学运算的具体过程进行解释。
以开源极客之姿杀入江湖的Mistral AI，在9月份甩出了自家的首款多模态大模型Pixtral 12B，如今，报告之期已至，技术细节全公开。
DIAMOND是一种新型的强化学习智能体，在一个由扩散模型构建的虚拟世界中进行训练，能够以更高效率学习和掌握各种任务。在Atari 100k基准测试中，DIAMOND的平均得分超越了人类玩家，证明了其在模拟复杂环境中处理细节和进行决策的能力。