
NeurIPS 2024|SparseLLM:突破性全局剪枝技术,大语言模型稀疏化革命
NeurIPS 2024|SparseLLM:突破性全局剪枝技术,大语言模型稀疏化革命该研究主要探讨了大语言模型的全局剪枝方法,旨在提高预训练语言模型的效率。该成果的发表为大模型的剪枝与优化研究提供了新的视角,并在相关领域具有重要的应用潜力。
该研究主要探讨了大语言模型的全局剪枝方法,旨在提高预训练语言模型的效率。该成果的发表为大模型的剪枝与优化研究提供了新的视角,并在相关领域具有重要的应用潜力。
过去每个人对经济运作方式的理解和他们如何为经济做出贡献的梦想,在新的经济时代,这些都失效了。
「多智能体系统」是人工智能领域最热门的流行词之一,也是开源框架 MetaGPT 、 Autogen 等研究的焦点。 但是,多智能体系统就一定是完美的吗 近日,来自卡内基梅隆大学的副教授 Graham Neubig 在文章《Don't Sleep on Single-agent Systems》中强调了单智能体系统也不可忽视。
Gradio 5 来了! 刚刚,Gradio 官方表示经过几个月的努力,他们宣布 Gradio 5 稳定版本正式发布!
今年的诺贝尔物理学奖颁给了两位享誉盛名的 AI 研究者 John J. Hopfield 和 Geoffrey E. Hinton,这确实让很多人感到意外。
就在刚刚,又一位元老级人物官宣离职OpenAI了。 o1推理模型贡献者之一Luke Metz发文称,「我即将离开OpenAI,结束这段超过两年的奇妙旅程」。
近日,MIT团队推出了自动搞科研的AI系统——SciAgents。在仿生材料的研究中,模型揭示了以前被认为无关的一些跨学科联系,实现了超越传统人类研究方法的规模、精度和探索能力。
继首台DGX H200之后,OpenAI再次收到了英伟达的首批工程版DGX B200。外媒爆料称,由于微软提供算力不足,OpenAI正与甲骨文开始谈判了。
随着诺贝尔物理学奖颁给了「机器学习之父」Geoffrey Hinton,另一个借鉴物理学概念的模型架构也横空出世——微软清华团队的最新架构Differential Transformer,从注意力模块入手,实现了Transformer的核心能力提升。
ChatGPT 推出以后,AI 硬件就成为了热门赛道。 AI Pin、Rabbit R1、以及 Meta 的雷朋眼镜,还有豆包即将推出的智能耳机,有成功的,也有不少失败的。
诺贝尔物理学奖公布第二天,争议依然未平息。诺奖官号都被愤怒的网友冲了:AI不是物理学!Hopfield网络和反向传播算法究竟与物理学有何关系?这要从Hinton和Ilya 12年前的那件事说起。
最近,科幻场景中的一个设想变成了现实:一副眼镜能够一瞥便获取人的全部信息!
随着大规模语言模型的快速发展,如 GPT、Claude 等,LLM 通过预训练海量的文本数据展现了惊人的语言生成能力。然而,即便如此,LLM 仍然存在生成不当或偏离预期的结果。这种现象在推理过程中尤为突出,常常导致不准确、不符合语境或不合伦理的回答。为了解决这一问题,学术界和工业界提出了一系列对齐(Alignment)技术,旨在优化模型的输出,使其更加符合人类的价值观和期望。
Transformer 的强大实力已经在诸多大型语言模型(LLM)上得到了证明,但该架构远非完美,也有很多研究者致力于改进这一架构,比如机器之心曾报道过的 Reformer 和 Infini-Transformer。
最近,ByteDance Research 的第二代机器人大模型 —— GR-2,终于放出了官宣视频和技术报告。GR-2 以其卓越的泛化能力和多任务通用性,预示着机器人大模型技术将爆发出巨大潜力和无限可能。
之前还是一个小透明,现在立马变成下一个 ChatGPT。它是谷歌目前最成功的 AIGC 产品。
物理或者 AI,都是在发现世界的本质规律。
所有场景都值得被AI重做一遍,酒店就是一个例子。“我们关注到了云迹科技,他们率先选择在酒店场景布局,从解决配送问题开始,让具身智能机器人找到‘工作’。在中国,我们只要住酒店,就可以发现无处不在的机器人,已成为真正走向老百姓生活里的具身智能。”
本期AGI路线图中关键节点:DiT架构、Stable Diffusion 3.0、Flux.1、ControlNet、1024×1024分辨率、医学影像、英伟达Eagle模型、谷歌Med-Gemini系列模型、GPT-4o端到端、Meta Transfusion模型。
AI 可以「复刻」出越来越接近真实的个人 请问,长假 7 天,被 AI 用雷军的声音骂了 6 天,是什么体验?
OpenAI正与甲骨文洽谈,计划联手构建一个全球最顶尖的AI数据中心。
当备受期待的GPT-5历经数次跳票,OpenAI全新发布的o1模型及时挽回了行业的信心,并从此为大模型领域开启了一个新的竞技方向——当推理模型大行其道时,行业如何从Infra层面着手降低推理阶段的算力成本?
2024年诺贝尔化学奖公布,一半授予大卫·贝克(David Baker),“以表彰在计算蛋白质设计方面的贡献”;另一半则共同授予德米斯·哈萨比斯(Demis Hassabis,谷歌DeepMind 创始人)和约翰·M·詹珀(John M. Jumper),“以表彰他们在蛋白质结构预测方面的成就”。
中国千里马公司,再冲一步就成独角兽 大家对独角兽公司的概念已经耳熟能详,那些估值超过 10 亿美元的创业公司是市场所追逐的明星公司。 除了独角兽,我们还关注那些「潜在独角兽企业」,即估值超过 10 亿人民币,又还没到 10 亿美元的企业们。 IT 桔子长期关注这波企业,并将它们命名为「千里马企业」。
在现代社会中,Wealthsimple、SUPER、webflow、duolingo、CONFLUENT、upside、CONTINO等多家企业都曾面临信息过载和知识孤岛的挑战。
近日,Hailuo AI推出了其图片生成视频功能,这一创新性工具为视频制作带来了前所未有的便捷和灵活性。
在人工智能领域掀起巨浪的 OpenAI o1 模型发布三周后,一支由高校年轻研究者组成的团队今天发布了题为 "o1 Replication Journey: A Strategic Progress Report (o1 探索之旅:战略进展报告)" 的研究进展报告。
Lightdash,一个商业智能(BI)平台和开源替代品,旨在替代谷歌的 Looker,正在推出一款新产品,允许公司为特定团队的使用案例培训“AI 分析师”,使公司中的任何人都能够查询汇总的业务数据。
AI发展的乐观预期落于“金发姑娘区域”:人类正处于一个幸运的“金发姑娘区域”,在AI的发展上,我们可能会达到一个完美平衡点。在这个区域,AI作为工具的能力不断增强,但它们不会获得超越或取代人类的自主性和意图。“情境意识”理论提出AI的进步可能会在2027年达到AGI,但Not Boring Capital 创始人Packy McCormick认为我们更可能走向一个AI作为有力助手的未来。
Alexnet对人工智能世界具有象征意义,因为现代人工智能的三个基本要素第一次汇聚在一起,第一个要素是神经网络,第二个要素是大数据,即使用ImageNet,第三个要素是GPU计算......