清华微软最新力作:用物理学革新Transformer注意力,「大海捞针」精度暴涨30%!
清华微软最新力作:用物理学革新Transformer注意力,「大海捞针」精度暴涨30%!随着诺贝尔物理学奖颁给了「机器学习之父」Geoffrey Hinton,另一个借鉴物理学概念的模型架构也横空出世——微软清华团队的最新架构Differential Transformer,从注意力模块入手,实现了Transformer的核心能力提升。
随着诺贝尔物理学奖颁给了「机器学习之父」Geoffrey Hinton,另一个借鉴物理学概念的模型架构也横空出世——微软清华团队的最新架构Differential Transformer,从注意力模块入手,实现了Transformer的核心能力提升。
本期AGI路线图中关键节点:DiT架构、Stable Diffusion 3.0、Flux.1、ControlNet、1024×1024分辨率、医学影像、英伟达Eagle模型、谷歌Med-Gemini系列模型、GPT-4o端到端、Meta Transfusion模型。
只需3秒,你的声音就能被完美克隆。 谁能想到科技圈顶流之一的雷军,居然因为AI语音引起互联网热议?
2023年,有两波力量,同时涌向AI风口。
随着 AI 模型的参数量越来越大,对算力的需求也水涨船高。
具身化AI的未来突破“GPT-3时刻”;三类数据策略,互联网、模拟和真实机器人数据的结合;虚拟世界与现实世界的连接,基础Agent的愿景
来自中国科学技术大学数据空间研究中心、香港科技大学、香港理工大学以及奥胡斯大学的研究者们提出一种新的场景生成方法 DreamScene,只需要提供场景的文本就可以生成高质量,视角一致和可编辑的 3D 场景。
自去年以来,文本到图像生成模型取得了巨大进展,模型的架构从传统的基于UNet逐渐转变为基于Transformer的模型。
「开源新王」Reflection 70B,才发布一个月就跌落神坛了? 9月5日,Hyperwrite AI联创兼CEO Matt Shumer在X上扔出一则爆炸性消息—— 用Meta的开源Llama 3.1-70B,团队微调出了Reflection 70B。
研究显示,「国民基本收入」等于每年多放一个十一长假(不调休版),从 13 薪变 12 薪。