AI资讯新闻榜单内容搜索-transforme

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: transforme
LeCun新作:神经网络在实践中的灵活性到底有多大?

LeCun新作:神经网络在实践中的灵活性到底有多大?

LeCun新作:神经网络在实践中的灵活性到底有多大?

神经网络拟合数据的能力受哪些因素影响?CNN一定比Transformer差吗?ReLU和SGD还有哪些神奇的作用?近日,LeCun参与的一项工作向我们展示了神经网络在实践中的灵活性。

来自主题: AI技术研报
8592 点击    2024-07-10 18:23
Meta新研究挑战CV领域基操:ViT根本不用patch,用像素做token效果更佳

Meta新研究挑战CV领域基操:ViT根本不用patch,用像素做token效果更佳

Meta新研究挑战CV领域基操:ViT根本不用patch,用像素做token效果更佳

下一代视觉模型会摒弃patch吗?Meta AI最近发表的一篇论文就质疑了视觉模型中局部关系的必要性。他们提出了PiT架构,让Transformer直接学习单个像素而不是16×16的patch,结果在多个下游任务中取得了全面超越ViT模型的性能。

来自主题: AI技术研报
4468 点击    2024-07-09 16:03
大模型最强架构TTT问世!斯坦福UCSD等5年磨一剑, 一夜推翻Transformer

大模型最强架构TTT问世!斯坦福UCSD等5年磨一剑, 一夜推翻Transformer

大模型最强架构TTT问世!斯坦福UCSD等5年磨一剑, 一夜推翻Transformer

超越Transformer和Mamba的新架构,刚刚诞生了。斯坦福UCSD等机构研究者提出的TTT方法,直接替代了注意力机制,语言模型方法从此或将彻底改变。

来自主题: AI技术研报
5487 点击    2024-07-09 15:41
30倍于传统方法,中国科学院团队Transformer深度学习模型预测糖-蛋白质作用位点

30倍于传统方法,中国科学院团队Transformer深度学习模型预测糖-蛋白质作用位点

30倍于传统方法,中国科学院团队Transformer深度学习模型预测糖-蛋白质作用位点

糖类是自然界中最丰富的有机物质,对生命至关重要。了解糖类如何在生理和病理过程中调节蛋白质,可以为解决关键的生物学问题和开发新的治疗方法提供机遇。

来自主题: AI技术研报
9648 点击    2024-07-01 13:30
ICML 2024|Transformer究竟如何推理?基于样例还是基于规则

ICML 2024|Transformer究竟如何推理?基于样例还是基于规则

ICML 2024|Transformer究竟如何推理?基于样例还是基于规则

文章第一作者为来自北京大学物理学院、即将加入人工智能研究院读博的胡逸。胡逸的导师为北京大学人工智能研究院助理教授、北京通用人工智能研究院研究员张牧涵,主要研究方向为图机器学习和大模型的推理和微调。

来自主题: AI技术研报
9025 点击    2024-06-29 17:53
ICML 2024 | 揭示非线形Transformer在上下文学习中学习和泛化的机制

ICML 2024 | 揭示非线形Transformer在上下文学习中学习和泛化的机制

ICML 2024 | 揭示非线形Transformer在上下文学习中学习和泛化的机制

上下文学习 (in-context learning, 简写为 ICL) 已经在很多 LLM 有关的应用中展现了强大的能力,但是对其理论的分析仍然比较有限。人们依然试图理解为什么基于 Transformer 架构的 LLM 可以展现出 ICL 的能力。

来自主题: AI技术研报
4179 点击    2024-06-28 11:23