「这才是开放研究该有的样子。」 经常刷 arXiv 的同学，你有没有发现页面上多了个新功能？这个新功能（图中的「Hugging Face」按钮）隐藏在「Code, Data, Media」选项卡下，选中之后就可以直达相关的 Hugging Face 论文、模型和数据集。
Zamba2-7B是一款小型语言模型，在保持输出质量的同时，通过创新架构实现了比同类模型更快的推理速度和更低的内存占用，在图像描述等任务上表现出色，能在各种边缘设备和消费级GPU上高效运行。
北京大学的研究人员开发了一种新型多模态框架FakeShield，能够检测图像伪造、定位篡改区域，并提供基于像素和图像语义错误的合理解释，可以提高图像伪造检测的可解释性和泛化能力。
西安电子科大、上海AI Lab等提出多模态融合检测算法E2E-MFD，将图像融合和目标检测整合到一个单阶段、端到端框架中，简化训练的同时，提升目标解析性能。 相关论文已入选顶会NeurlPS 2024 Oral，代码、模型均已开源。
家人们，OpenAI 又上新了！推出了全新的生成式模型sCM(Simplifying Continuous-Time Consistency Models)，支持视频、图像、三维模型和音频的生成。
工具调用是 AI 智能体的关键功能之一，AI 智能体根据场景变化动态地选择和调用合适的工具，从而实现对复杂任务的自动化处理。例如，在智能办公场景中，模型可同时调用文档编辑工具、数据处理工具和通信工具，完成文档撰写、数据统计和信息沟通等多项任务。
现如今，大型语言模型（LLM）生成的内容已经充斥了整个互联网，并且这些模型还能模仿各种类似真人的语气和行文风格，让人难以分辨眼前的文本究竟来自人类还是 AI。
为应对公司在大规模文本、图像等非结构化数据处理上的业务增长需求，笔者着手调研当前流行的开源向量数据库。主要针对查询速度、并发度和召回率这几大核心维度进行深入分析，以确保选定的数据库方案能够在实际业务场景中高效应对大规模数据检索和高并发需求。通过全面对比不同数据库的表现，得出可靠的调研结论。
TL;DR：DuoAttention 通过将大语言模型的注意力头分为检索头（Retrieval Heads，需要完整 KV 缓存）和流式头（Streaming Heads，只需固定量 KV 缓存），大幅提升了长上下文推理的效率，显著减少内存消耗、同时提高解码（Decoding）和预填充（Pre-filling）速度，同时在长短上下文任务中保持了准确率。
在人形机器人领域，有一个非常值钱的问题：既然人形机器人的样子与人类类似，那么它们能使用网络视频等数据进行学习和训练吗？
现有的大模型主要依赖固定的参数和数据来存储知识，一旦训练完成，修改和更新特定知识的代价极大，常常因知识谬误导致模型输出不准确或引发「幻觉」现象。因此，如何对大模型的知识记忆进行精确控制和编辑，成为当前研究的前沿热点。
让大模型依靠群体的智能。
开源数字人实时对话Demo来了～
GAGAvatar的出现正是为了解决这一瓶颈，通过一次前向传播就能生成3D高斯参数，实现高效的渲染与动画驱动。
Time-MoE采用了创新的混合专家架构，能以较低的计算成本实现高精度预测。研发团队还发布了Time-300B数据集，为时序分析提供了丰富的训练资源，为各行各业的时间序列预测任务带来了新的解决方案。
在NLP领域，研究者们已经充分认识并认可了表征学习的重要性，那么视觉领域的生成模型呢？最近，谢赛宁团队发表的一篇研究就拿出了非常有力的证据：Representation matters！
RAG通过纳入外部文档可以辅助LLM进行更复杂的推理，降低问题求解所需的推理深度，但由于文档噪声的存在，其提升效果可能会受限。中国人民大学的研究表明，尽管RAG可以提升LLM的推理能力，但这种提升作用并不是无限的，并且会受到文档中噪声信息的影响。通过DPrompt tuning的方法，可以在一定程度上提升LLM在面对噪声时的性能。
Claude 3.5深夜迎来重磅升级！ 不出所料，Anthropic AI这周终于有了大动作——首发Claude 3.5 Haiku，全新升级版Claude 3.5 Sonnet也来了。
让 AI 与人类价值观对齐一直都是 AI 领域的一大重要且热门的研究课题，甚至很可能是 OpenAI 高层分裂的一大重要原因 ——CEO 萨姆・奥特曼似乎更倾向于更快实现 AI 商业化，而以伊尔亚・苏茨克维（Ilya Sutskever）为代表的一些研究者则更倾向于先保证 AI 安全。
Maitrix.org 是由 UC San Diego, John Hopkins University, CMU， MBZUAI 等学术机构学者组成的开源组织，致力于发展大语言模型 (LLM)、世界模型 (World Model)、智能体模型 (Agent Model) 的技术以构建 AI 驱动的现实。
我们提出了 Janus，一种基于自回归的多模态理解与生成统一模型。
最近，DeepMind 今年 2 月份的一篇论文在社交媒体上掀起了一些波澜。
最近，来自德国奥尔登堡大学计算智能实验室的研究人员Oliver Kramer和Jill Baumann提出了一种创新的方法——认知提示（Cognitive Prompting），通过模拟人类认知过程来提升LLM的问题解决能力。这项研究将在ICLR 2025会议上发表，本文将为各位读者朋友详细解读这一突破性的技术。
纽结理论长期困扰着数学家，但随着人工智能的进步，有研究者在生物学中找到了突破口，因为纽结结构存在于许多重要的生物分子中，例如蛋白质、DNA等。对于难以识别归类的复杂纽结结构，AI给出了令人惊讶的结果。
近日，来自乔治梅森大学和腾讯AI实验室的研究团队在这一领域取得了重大突破。他们提出了一种名为DOTS（Dynamic Optimal Trajectory Search）的创新方法，通过最佳推理轨迹搜索，显著提升LLMs的动态推理能力。
多年来，浙江大学周晟老师团队与阿里安全交互内容安全团队持续开展产学研合作。近日，双⽅针对标签噪声下图神经⽹络的联合研究成果《NoisyGL：标签噪声下图神经网络的综合基准》被 NeurIPS Datasets and Benchmarks Track 2024 收录。本次 NeurIPS D&B Track 共收到 1820 篇投稿，录⽤率为 25.3%。
视频多模态大模型（LMMs）的发展受限于从网络获取大量高质量视频数据。为解决这一问题，我们提出了一种替代方法，创建一个专为视频指令跟随任务设计的高质量合成数据集，名为 LLaVA-Video-178K。
近期在LLM方面，AI搜索热度居高不下，遥感业务也能做AI搜索。
比传统MoE推理速度更快、性能更高的新一代架构，来了！ 这个通用架构叫做MoE++，由颜水成领衔的昆仑万维2050研究院与北大袁粒团队联合提出。
内存占用小，训练表现也要好……大模型训练成功实现二者兼得。 来自北理、北大和港中文MMLab的研究团队提出了一种满足低秩约束的大模型全秩训练框架——Fira，成功打破了传统低秩方法中内存占用与训练表现的“非此即彼”僵局。
