量化能让大模型“恢复记忆”，删掉的隐私版权内容全回来了，SU哈佛亚马逊最新研究引热议
量化能让大模型“恢复记忆”，删掉的隐私版权内容全回来了，SU哈佛亚马逊最新研究引热议4-bit量化，能让现有反学习/机器遗忘技术失灵！
来自主题: AI技术研报
7576 点击 2024-11-16 16:02
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
4-bit量化，能让现有反学习/机器遗忘技术失灵！
最近，Nature上的一项研究，全面驳斥了LLM具有类人推理能力的说法。研究者设定的「人类亲吻难题」把7个大模型彻底绕晕。最终研究者表示，与其说LLM是科学理论，不如说它们更接近工具，比如广义导数。
本文介绍了来自北京大学王选计算机研究所的王勇涛团队的最新研究成果 VL-SAM。针对开放场景，该篇工作提出了一个基于注意力图提示的免训练开放式目标检测和分割框架 VL-SAM，在无需训练的情况下，取得了良好的开放式 (Open-ended) 目标检测和实例分割结果，论文已被 NeurIPS 2024 录用。
MEGA-Bench是一个包含500多个真实世界任务的多模态评测套件，为全面评估AI模型提供了高效工具。研究人员发现，尽管顶级AI模型在多个任务中表现出色，但在复杂推理和跨模态理解方面仍有提升空间。
这篇文章获选 Neurips 2024 Spotlight，作者均来自于伊利诺伊大学香槟分校计算机系。第一作者是博士生林啸，指导老师是童行行教授。所在的 IDEA 实验室的研究兴趣涵盖图机器学习、可信机器学习、LLM 优化以及数据挖掘等方面。
Sora 的发布让广大研究者及开发者深刻认识到基于 Transformer 架构扩散模型的巨大潜力。作为这一类的代表性工作，DiT 模型抛弃了传统的 U-Net 扩散架构，转而使用直筒型去噪模型。鉴于直筒型 DiT 在隐空间生成任务上效果出众，后续的一些工作如 PixArt、SD3 等等也都不约而同地使用了直筒型架构。
智东西11月14日消息，据外媒The Information报道，一位参与工作的内部人士称，谷歌最近一直在为提升其聊天机器人产品Gemini的性能而努力，该公司希望模型性能提升的速度可以与去年相当，这促使研究人员专注于其他方法来勉强取得效果。
OpenAI治理研究员Richard Ngo宣布离职。近来，OpenAI中专注于AI安全的员工接连出走，Ngo是最新的一位。
本期我们邀请到了 Hedra 的联合创始人兼 CEO Michael。他曾在斯坦福大学攻读博士学位，由吴教授和李飞飞教授共同指导，专注于物理世界建模与具身智能的交叉研究。在 NVIDIA 的 Omniverse 团队实习期间，他参与了 Omni-Gibson 的研究，对模拟物理与真实感表现系统的结合有深入探索，同时对电影、电视剧和动画等娱乐行业充满热情。
30多年的数学猜想首次获得了进展！Meta等学者提出的PatternBoost，使用Transformer构造了一个反例，反驳了一个已悬而未决30年的猜想。是否所有数学问题都适合机器学习技术？这样的未来太令人期待了。