
ICLR 2024 Oral|用巧妙的「传送」技巧,让神经网络的训练更加高效
ICLR 2024 Oral|用巧妙的「传送」技巧,让神经网络的训练更加高效众多神经网络模型中都会有一个有趣的现象:不同的参数值可以得到相同的损失值。这种现象可以通过参数空间对称性来解释,即某些参数的变换不会影响损失函数的结果。基于这一发现,传送算法(teleportation)被设计出来,它利用这些对称变换来加速寻找最优参数的过程。尽管传送算法在实践中表现出了加速优化的潜力,但其背后的确切机制尚不清楚。
众多神经网络模型中都会有一个有趣的现象:不同的参数值可以得到相同的损失值。这种现象可以通过参数空间对称性来解释,即某些参数的变换不会影响损失函数的结果。基于这一发现,传送算法(teleportation)被设计出来,它利用这些对称变换来加速寻找最优参数的过程。尽管传送算法在实践中表现出了加速优化的潜力,但其背后的确切机制尚不清楚。
由深度学习巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 在 2013 年牵头举办的 ICLR 会议,在走过第一个十年后,终于迎来了首届时间检验奖。
随着生成式 AI 模型掀起新一轮 AI 浪潮,越来越多的行业迎来技术变革。许多行业从业者、基础科学研究者需要快速了解 AI 领域发展现状、掌握必要的基础知识。
20 世纪 90 年代,长短时记忆(LSTM)方法引入了恒定误差选择轮盘和门控的核心思想。三十多年来,LSTM 经受住了时间的考验,并为众多深度学习的成功案例做出了贡献。然而,以可并行自注意力为核心 Transformer 横空出世之后,LSTM 自身所存在的局限性使其风光不再。
在发布一周年之际,阿里云通义千问大模型在闭源和开源领域都交上了一份满意的答卷。 国内的开发者们或许没有想到,有朝一日,他们开发的 AI 大模型会像出海的网文、短剧一样,让世界各地的网友坐等更新。甚至,来自韩国的网友已经开始反思:为什么我们就没有这样的模型?
进入 2024 年,AGI 领域的投融资热度明显下降。 当模型层的技术边界仍未清晰界定,全球 AI 相关的流量红利开始逐渐消解,而一些 PMF 发生在了大厂,大厂追赶创业公司的时间周期缩短到数周时,对于创业者而言,快速构建自己的业务壁垒就更为关键。这同样也是 AGI 领域投资人不得不思考的难题。
不只是工具,如何让AI大模型产品成为驱动业务增长的催化剂?带来实际价值
斯坦福AI小镇曾火遍了全网,25个智能体生活交友,堪称现实版的「西部世界」。
如果要问AI的下一个黄金赛道是什么?黄仁勋的答案是生命科学。
今年五一假期,一款带有黏土滤镜的应用“Remini”开始在各大社交平台走红。尽管尚未完全汉化,但这并不妨碍Remini迅速登顶并霸榜苹果App免费榜第一名。
前“妙鸭相机”负责人张月光的新创业项目“沐言智语”收获3轮融资,估值已达约1.2亿美元。离职仅半年,前“妙鸭相机”负责人张月光,就凭借新创业项目“沐言智语”收获多轮融资。
AI创业现在需要的是哪一类人?黄云刚就AI技术开放的门槛、创业者的技术要求和市场趋势进行了深入的探讨。“大模型的开源和Database时代的开源不是一个概念。”源码资本管理合伙人黄云刚说。
OpenAI正在秘密研发一款AI搜索引擎,可能称为SearchGPT或Sonic,旨在挑战谷歌的搜索霸权。谷歌搜索广告收入持续增长,基本盘稳固,但OpenAI潜在威胁较大。
半年前,OpenAI CTO 米拉·穆拉蒂曾透露,公司正在研发一款 AI 图像识别工具,其准确度高达 99%,预计将很快公开发布。半年前,OpenAI CTO 米拉·穆拉蒂曾透露,公司正在研发一款 AI 图像识别工具,其准确度高达 99%,预计将很快公开发布。
AlphaFold 3是一款革命性的人工智能模型,成功预测了所有生命分子的结构和相互作用,为药物设计和基因组学研究带来了新的可能性。
你们猜此时此刻,AppStore免费软件排名第一是谁?
就在刚刚,苹果祭出了地表最强平板—— 采用M4芯片的iPad Pro!
最快5分钟,打造一个直接上岗工作的3D数字人。
社交平台上,AI 智习室是一门大生意。随便以“AI 智习室”为关键词搜索,你能找到不少“赚麻了”“下一个风口”为标题的帖子,大致内容几乎都是雷同的,诸如“闺蜜合伙开 AI 智习室,半年收入 45W+”,又或者“和朋友合伙办智习室,3 年买了五辆车你敢信”
据AppleInsider 5月3日报道,苹果正在计划为其系统组件引入一系列AI增强功能,其中Safari、Messages、Mail、Spotlight Search和Siri将成为首批接受AI升级的应用。
如果你像老狐一样关注手机发布会的话啊,就会发现除了处理器、影像、屏幕、系统这些,最近有一个功能各大手机品牌会花很大篇幅去介绍。
首位中国学者,成功入选「计算机图形学名人堂」!
幻海(花名)第一次听到这个词,是在2022年7月。
AI Agent,进一步迭代工作流。
用户搜索行为不会更统一,只会更多样。
这样的AI,真的没人管管吗?
AI发展驱动收入增长,但成本激增需大投资。
全球爆火的AIGC,看上去似乎摸索到了赚钱的途径。
事实是:基于大语言模型的AI应用创业是地狱难度。我认为可能半年内大部分纯做大语言模型应用的AI创业公司都会死掉。
近日,医学信息出版巨头Wolters Kluwer Health委托进行的一项调研显示,美国医生对于在医疗实践中应用生成式AI的态度正在发生积极的转变,越来越多的临床医生对生成式AI寄予厚望。