现如今，大型语言模型（LLM）生成的内容已经充斥了整个互联网，并且这些模型还能模仿各种类似真人的语气和行文风格，让人难以分辨眼前的文本究竟来自人类还是 AI。
为应对公司在大规模文本、图像等非结构化数据处理上的业务增长需求，笔者着手调研当前流行的开源向量数据库。主要针对查询速度、并发度和召回率这几大核心维度进行深入分析，以确保选定的数据库方案能够在实际业务场景中高效应对大规模数据检索和高并发需求。通过全面对比不同数据库的表现，得出可靠的调研结论。
TL;DR：DuoAttention 通过将大语言模型的注意力头分为检索头（Retrieval Heads，需要完整 KV 缓存）和流式头（Streaming Heads，只需固定量 KV 缓存），大幅提升了长上下文推理的效率，显著减少内存消耗、同时提高解码（Decoding）和预填充（Pre-filling）速度，同时在长短上下文任务中保持了准确率。
在人形机器人领域，有一个非常值钱的问题：既然人形机器人的样子与人类类似，那么它们能使用网络视频等数据进行学习和训练吗？
现有的大模型主要依赖固定的参数和数据来存储知识，一旦训练完成，修改和更新特定知识的代价极大，常常因知识谬误导致模型输出不准确或引发「幻觉」现象。因此，如何对大模型的知识记忆进行精确控制和编辑，成为当前研究的前沿热点。
让大模型依靠群体的智能。
开源数字人实时对话Demo来了～
GAGAvatar的出现正是为了解决这一瓶颈，通过一次前向传播就能生成3D高斯参数，实现高效的渲染与动画驱动。
Time-MoE采用了创新的混合专家架构，能以较低的计算成本实现高精度预测。研发团队还发布了Time-300B数据集，为时序分析提供了丰富的训练资源，为各行各业的时间序列预测任务带来了新的解决方案。
在NLP领域，研究者们已经充分认识并认可了表征学习的重要性，那么视觉领域的生成模型呢？最近，谢赛宁团队发表的一篇研究就拿出了非常有力的证据：Representation matters！
RAG通过纳入外部文档可以辅助LLM进行更复杂的推理，降低问题求解所需的推理深度，但由于文档噪声的存在，其提升效果可能会受限。中国人民大学的研究表明，尽管RAG可以提升LLM的推理能力，但这种提升作用并不是无限的，并且会受到文档中噪声信息的影响。通过DPrompt tuning的方法，可以在一定程度上提升LLM在面对噪声时的性能。
Claude 3.5深夜迎来重磅升级！ 不出所料，Anthropic AI这周终于有了大动作——首发Claude 3.5 Haiku，全新升级版Claude 3.5 Sonnet也来了。
让 AI 与人类价值观对齐一直都是 AI 领域的一大重要且热门的研究课题，甚至很可能是 OpenAI 高层分裂的一大重要原因 ——CEO 萨姆・奥特曼似乎更倾向于更快实现 AI 商业化，而以伊尔亚・苏茨克维（Ilya Sutskever）为代表的一些研究者则更倾向于先保证 AI 安全。
Maitrix.org 是由 UC San Diego, John Hopkins University, CMU， MBZUAI 等学术机构学者组成的开源组织，致力于发展大语言模型 (LLM)、世界模型 (World Model)、智能体模型 (Agent Model) 的技术以构建 AI 驱动的现实。
我们提出了 Janus，一种基于自回归的多模态理解与生成统一模型。
最近，DeepMind 今年 2 月份的一篇论文在社交媒体上掀起了一些波澜。
最近，来自德国奥尔登堡大学计算智能实验室的研究人员Oliver Kramer和Jill Baumann提出了一种创新的方法——认知提示（Cognitive Prompting），通过模拟人类认知过程来提升LLM的问题解决能力。这项研究将在ICLR 2025会议上发表，本文将为各位读者朋友详细解读这一突破性的技术。
纽结理论长期困扰着数学家，但随着人工智能的进步，有研究者在生物学中找到了突破口，因为纽结结构存在于许多重要的生物分子中，例如蛋白质、DNA等。对于难以识别归类的复杂纽结结构，AI给出了令人惊讶的结果。
近日，来自乔治梅森大学和腾讯AI实验室的研究团队在这一领域取得了重大突破。他们提出了一种名为DOTS（Dynamic Optimal Trajectory Search）的创新方法，通过最佳推理轨迹搜索，显著提升LLMs的动态推理能力。
多年来，浙江大学周晟老师团队与阿里安全交互内容安全团队持续开展产学研合作。近日，双⽅针对标签噪声下图神经⽹络的联合研究成果《NoisyGL：标签噪声下图神经网络的综合基准》被 NeurIPS Datasets and Benchmarks Track 2024 收录。本次 NeurIPS D&B Track 共收到 1820 篇投稿，录⽤率为 25.3%。
视频多模态大模型（LMMs）的发展受限于从网络获取大量高质量视频数据。为解决这一问题，我们提出了一种替代方法，创建一个专为视频指令跟随任务设计的高质量合成数据集，名为 LLaVA-Video-178K。
近期在LLM方面，AI搜索热度居高不下，遥感业务也能做AI搜索。
比传统MoE推理速度更快、性能更高的新一代架构，来了！ 这个通用架构叫做MoE++，由颜水成领衔的昆仑万维2050研究院与北大袁粒团队联合提出。
内存占用小，训练表现也要好……大模型训练成功实现二者兼得。 来自北理、北大和港中文MMLab的研究团队提出了一种满足低秩约束的大模型全秩训练框架——Fira，成功打破了传统低秩方法中内存占用与训练表现的“非此即彼”僵局。
简单高效的大模型检索增强系统LightRAG，香港大学黄超团队最新研究成果。 开源两周时间在GitHub上获得将近5k标星，并登上趋势榜。
能拿下数学奥赛银牌水平的AI是否达到了12岁陶哲轩的水平？ 陶神本人的回答来了
Indeed Hiring Lab 评估了OpenAI开发的生成式AI模型GPT-4在超过2800项工作技能中的表现。
近日，来自谷歌和苹果的研究表明：AI模型掌握的知识比表现出来的要多得多！这些真实性信息集中在特定的token中，利用这一属性可以显著提高检测LLM错误输出的能力。
LLM训练速度还可以再飙升20倍！英伟达团队祭出全新架构归一化Transformer（nGPT），上下文越长，训练速度越快，还能维持原有精度。
