尽管多模态大模型在通用视觉理解任务中表现出色，但不具备细粒度视觉识别能力，这极大制约了多模态大模型的应用与发展。针对这一问题，北京大学彭宇新教授团队系统地分析了多模态大模型在细粒度视觉识别上所需的 3 项能力：对象信息提取能力、类别知识储备能力、对象 - 类别对齐能力，发现了「视觉对象与细粒度子类别未对齐」
北京大学信息工程学院田永鸿教授、陈杰副教授，联合广州国家实验室周鹏研究员指导博士生聂志伟、硕士生刘旭东等，提出了一种进化驱动的病毒变异驱动力预测框架 E2VD，可以对新冠病毒、流感病毒、寨卡病毒、艾滋病病毒进行预测。
视频生成模型卷得热火朝天，配套的视频评价标准自然也不能落后。 现在，北京大学MMCAL团队开发了首个用于视频编辑质量评估的新指标——VE-Bench，相关代码与预训练权重均已开源。
北京大学等研究团队优化了Sdcpp框架，通过引入Winograd算法和多项策略，显著提升了图像生成速度和内存效率，最高可提速4.79倍。
12月12日，北京大学-字节跳动“豆包大模型系统软件联合实验室”签约仪式暨“面向大模型的智能化软件技术与生态”学术研讨会在北京大学英杰交流中心隆重举行。
11月22日在以“跨越边界的科技伦理”为主题的第二届中国科技伦理高峰论坛上，中国科学院院士、北京大学教授梅宏，再度发声认为，当前AI面临此三大问题。
这两天，北京大学等研究团队发布了一个视频生成的可控生成工作：ConsisID。ConsisID可以实现无需训练Lora的保持参考人脸一致性的文生视频，类似之前图像生成的IP-Adapter-Face和InstantID等工作。虽然之前也有类似的工作，但是ConsisID在效果更上一个台阶。
北京大学研究团队开发的FAN模型能有效捕捉数据中的周期性模式，相比传统模型在多项任务中表现出色，同时降低了参数量和计算量，增强了对周期性特征的建模能力，应用潜力广泛。
本文介绍了来自北京大学王选计算机研究所的王勇涛团队的最新研究成果 VL-SAM。针对开放场景，该篇工作提出了一个基于注意力图提示的免训练开放式目标检测和分割框架 VL-SAM，在无需训练的情况下，取得了良好的开放式 (Open-ended) 目标检测和实例分割结果，论文已被 NeurIPS 2024 录用。
OpenAI o1风格的推理大模型，有行业垂直版了。HK-O1aw，是由香港生成式人工智能研发中心(HKGAI)旗下AI for Reasoning团队(HKAIR) 联合北京大学对齐团队（PKU-Alignment Team）推出的全球首个慢思考范式法律推理大模型。
