清华微软最新力作:用物理学革新Transformer注意力,「大海捞针」精度暴涨30%!
清华微软最新力作:用物理学革新Transformer注意力,「大海捞针」精度暴涨30%!随着诺贝尔物理学奖颁给了「机器学习之父」Geoffrey Hinton,另一个借鉴物理学概念的模型架构也横空出世——微软清华团队的最新架构Differential Transformer,从注意力模块入手,实现了Transformer的核心能力提升。
搜索
随着诺贝尔物理学奖颁给了「机器学习之父」Geoffrey Hinton,另一个借鉴物理学概念的模型架构也横空出世——微软清华团队的最新架构Differential Transformer,从注意力模块入手,实现了Transformer的核心能力提升。
ChatGPT 推出以后,AI 硬件就成为了热门赛道。 AI Pin、Rabbit R1、以及 Meta 的雷朋眼镜,还有豆包即将推出的智能耳机,有成功的,也有不少失败的。
诺贝尔物理学奖公布第二天,争议依然未平息。诺奖官号都被愤怒的网友冲了:AI不是物理学!Hopfield网络和反向传播算法究竟与物理学有何关系?这要从Hinton和Ilya 12年前的那件事说起。
最近,科幻场景中的一个设想变成了现实:一副眼镜能够一瞥便获取人的全部信息!
随着大规模语言模型的快速发展,如 GPT、Claude 等,LLM 通过预训练海量的文本数据展现了惊人的语言生成能力。然而,即便如此,LLM 仍然存在生成不当或偏离预期的结果。这种现象在推理过程中尤为突出,常常导致不准确、不符合语境或不合伦理的回答。为了解决这一问题,学术界和工业界提出了一系列对齐(Alignment)技术,旨在优化模型的输出,使其更加符合人类的价值观和期望。
Transformer 的强大实力已经在诸多大型语言模型(LLM)上得到了证明,但该架构远非完美,也有很多研究者致力于改进这一架构,比如机器之心曾报道过的 Reformer 和 Infini-Transformer。
最近,ByteDance Research 的第二代机器人大模型 —— GR-2,终于放出了官宣视频和技术报告。GR-2 以其卓越的泛化能力和多任务通用性,预示着机器人大模型技术将爆发出巨大潜力和无限可能。
之前还是一个小透明,现在立马变成下一个 ChatGPT。它是谷歌目前最成功的 AIGC 产品。
物理或者 AI,都是在发现世界的本质规律。
所有场景都值得被AI重做一遍,酒店就是一个例子。“我们关注到了云迹科技,他们率先选择在酒店场景布局,从解决配送问题开始,让具身智能机器人找到‘工作’。在中国,我们只要住酒店,就可以发现无处不在的机器人,已成为真正走向老百姓生活里的具身智能。”