AI资讯新闻榜单内容搜索-深度学习

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: 深度学习
ICLR 2024 | 连续学习不怕丢西瓜捡芝麻,神经形态方法保护旧知识

ICLR 2024 | 连续学习不怕丢西瓜捡芝麻,神经形态方法保护旧知识

ICLR 2024 | 连续学习不怕丢西瓜捡芝麻,神经形态方法保护旧知识

以脉冲神经网络(SNN)为代表的脑启发神经形态计算(neuromorphic computing)由于计算上的节能性质在最近几年受到了越来越多的关注 [1]。受启发于人脑中的生物神经元,神经形态计算通过模拟并行的存内计算、基于脉冲信号的事件驱动计算等生物特性,能够在不同于冯诺依曼架构的神经形态芯片上以低功耗实现神经网络计算。

来自主题: AI技术研报
4635 点击    2024-03-19 10:27
如何把大量物理知识塞给AI?EIT和北大团队提出「规则重要性」概念

如何把大量物理知识塞给AI?EIT和北大团队提出「规则重要性」概念

如何把大量物理知识塞给AI?EIT和北大团队提出「规则重要性」概念

深度学习模型因其能够从大量数据中学习潜在关系的能力而「彻底改变了科学研究领域」。然而,纯粹依赖数据驱动的模型逐渐暴露出其局限性,如过度依赖数据、泛化能力受限以及与物理现实的一致性问题。

来自主题: AI技术研报
8467 点击    2024-03-18 20:24
总结374篇相关工作,陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述

总结374篇相关工作,陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述

总结374篇相关工作,陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述

早在 2020 年,陶大程团队就发布了《Knowledge Distillation: A Survey》,详细介绍了知识蒸馏在深度学习中的应用,主要用于模型压缩和加速。随着大语言模型的出现,知识蒸馏的作用范围不断扩大,逐渐扩展到了用于提升小模型的性能以及模型的自我提升。

来自主题: AI技术研报
6211 点击    2024-03-16 15:28
LLM将成历史?开源bGPT或颠覆深度学习范式:直接模拟二进制,开启模拟数字世界新纪元!

LLM将成历史?开源bGPT或颠覆深度学习范式:直接模拟二进制,开启模拟数字世界新纪元!

LLM将成历史?开源bGPT或颠覆深度学习范式:直接模拟二进制,开启模拟数字世界新纪元!

新模型bGPT是一个基于字节的Transformer模型,能够将不同类型的数据纳入同一框架之下,可以生成文本、图像和音频,还能模拟计算机行为,数字世界将迎来真正的大一统?

来自主题: AI技术研报
11698 点击    2024-03-13 14:53
我们还需要Transformer中的注意力吗?

我们还需要Transformer中的注意力吗?

我们还需要Transformer中的注意力吗?

状态空间模型正在兴起,注意力是否已到尽头?

来自主题: AI技术研报
10337 点击    2024-02-17 12:03
语音生成的「智能涌现」:10万小时数据训练,亚马逊祭出10亿参数BASE TTS

语音生成的「智能涌现」:10万小时数据训练,亚马逊祭出10亿参数BASE TTS

语音生成的「智能涌现」:10万小时数据训练,亚马逊祭出10亿参数BASE TTS

伴随着生成式深度学习模型的飞速发展,自然语言处理(NLP)和计算机视觉(CV)已经经历了根本性的转变,从有监督训练的专门模型,转变为只需有限的明确指令就能完成各种任务的通用模型

来自主题: AI技术研报
5389 点击    2024-02-15 21:45
ICLR 2024 | 首个零阶优化深度学习框架,MSU联合LLNL提出DeepZero

ICLR 2024 | 首个零阶优化深度学习框架,MSU联合LLNL提出DeepZero

ICLR 2024 | 首个零阶优化深度学习框架,MSU联合LLNL提出DeepZero

今天介绍一篇密歇根州立大学 (Michigan State University) 和劳伦斯・利弗莫尔国家实验室(Lawrence Livermore National Laboratory)的一篇关于零阶优化深度学习框架的文章 ,本文被 ICLR 2024 接收,代码已开源。

来自主题: AI技术研报
5536 点击    2024-02-09 14:11
嵌入式系统中的人工智能包含哪些要点?

嵌入式系统中的人工智能包含哪些要点?

嵌入式系统中的人工智能包含哪些要点?

人工智能,即大家说的AI(Artificial Intelligent),当属最热门的技术之一。今天站在嵌入式的角度给大家分享一下人工智能包含的一些要点。

来自主题: AI技术研报
11832 点击    2024-02-05 13:47