为什么神经网络会存在灾难性遗忘(catastrophic forgetting)这个问题？
为什么神经网络会存在灾难性遗忘(catastrophic forgetting)这个问题？所谓灾难性遗忘，就是一个在原始任务上训练好的神经网络在训练完新任务后，在原始任务上的表现崩溃式的降低。
来自主题: AI资讯
6324 点击 2024-01-02 11:46
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
所谓灾难性遗忘，就是一个在原始任务上训练好的神经网络在训练完新任务后，在原始任务上的表现崩溃式的降低。
今天分享一篇符尧大佬的一篇数据工程（Data Engineering）的文章，解释了speed of grokking指标是什么，分析了数据工程
与其说《Thus Spoke Zaranova》是一款游戏，不如说它是一个试验品。如果混进 AI 之间，你有把握不被他们发现自己其实是人类吗？
经过23年的生成式AI之年，24年AI会有哪些新突破？大佬预测，即使GPT-5发布，LLM在本质上仍然有限，在24年，基本的AGI也不足以实现。
能准确写汉字的AI绘图工具，终于登场了！包括中文在内一共支持四种语言，而且还能文字的位置还能任意指定。从此，人们终于可以和AI绘图模型的“鬼画符”说再见了。
《张小珺Jùn｜商业访谈录》推出跨年特辑。我邀请拾象创始人和CEO李广密口述全球大模型这一年——当顶级商业领袖、顶尖科学家这些最聪明的脑袋，手握数以千万计的资本狂卷一年，2023年全球大模型卷出了什么？
2023 年的最后一两天，GitHub 面向编程的聊天机器人 Copilot Chat 为所有人放出了最后一波福利！
本文探讨了马云提出的"AI电商"的发展前景和可能的形态，提出了GPT电商的潜力和商业模型，并分析了AI电商与传统电商的差异和优势。
OpenAI年收入破16亿美元，美股更是一片大好，以科技股为主的纳斯达克指数年底暴涨涨了43%。2023年即将落幕，2024年AI行业又将迎来来怎样的巨变？
文明模拟器第二弹来了！在全面升级的GPT-4的带动下，我们将「看到」过去，更加沉浸式地体验过去的历史。
如果说2023年有一项技术能够达到如此空前的“热度”，毫无疑问，那就是生成式大语言模型。但是不同于那不足十亿分之一秒的、转瞬即逝的4万亿度高温，大模型对各行各业的深远影响，在2023年既如“春雷万钧”，又似“润物无声”。所以，如果要用两个关键词形容2023年的大模型产业，除了“热”，还有“卷”。
走在安徽省合肥市的中安创谷产业园里，这个以 “高科技” 作为自己最新发展标签的地方，过去数年打造了 “空天信息”、“电子信息”、“大健康” 等多个专项产业，而之后，这座园区里的 AI 公司将会越来越多。
2023年的LLM开源社区都发生了什么？来自Hugging Face的研究员带你回顾并重新认识开源LLM
一年前，ChatGPT 横空出世，“大模型”成为全球科技赛道绝对的“C位”。 这一年，国外微软OpenAI和谷歌DeepMind等“众神”打架，国内百模大战。这一年，文生图以及文生视频赛道都出现了很强的玩家和令人惊艳的产品，如 Midjourney、Runway Gen-2、Pika 1.0等。
Korus 是一个由 AI 设计的音乐创作平台，使用者可以利用 AI 和艺术家及音乐厂牌提供的授权音轨文件 (Stem Files) 进行混音，创造音乐并通过此赚取收益。
今年5月，邱羽墨自主开发出AI公益学习平台AI-Button，帮助学生用人工智能技术复习考试，目前已上线公益板块并与腾讯公益合作。
本文分析了几个在2023年创业失败的AI项目，探讨了其失败原因以及如何避免重蹈覆辙。文章指出市场需求评估不准确、商业模式不可持续、技术实现不成熟等是导致这些项目失败的主要原因。
AI Chat把大模型变成人类想象力的引擎。就像电影《Her》表现的那样，主人公可以和逝世多年的Alan Wstts的虚拟AI在线聊天。
12月26日，Pika 1.0开启免费公测，普通用户可以直接上手体验。
扩散模型在图像生成方面取得了显著的成功，但由于对输出保真度和时间一致性的高要求，将这些模型应用于视频超分辨率仍然具有挑战性，特别是其固有的随机性使这变得复杂。
在 OpenAI 首个开发者日召开后，就有不少企业纷纷被判「死刑」。GPT 的自定义功能让不少刚拿到「赛季」参加资格的初创团队心如死灰。
近日，来自华为诺亚方舟实验室、北京大学等机构的研究者提出了盘古 π 的网络架构，尝试来构建更高效的大模型架构。
在AI的帮助下，MIT科学家解锁了60年以来的第一批用于对抗金黄色葡萄球菌的新抗生素！
比互联网时代机会规模大10倍，但三分之二机会可能是大公司的。面对此次以生成式AI掀起的产业创新浪潮，硅谷技术VC——Fusion Fund的创始人张璐给出这样的论断。
多模态大模型做“多任务指令微调”，大模型可能会“学得多错得多”，因为不同任务之间的冲突，导致泛化能力下降。
向量存储检索是个真需求，然而专用向量数据库已经凉了。
价格战、估值缩水、市值腰 斩、持续亏损、股价暴跌、资本退潮，入局一家亏损一家成为常态。 国内 SaaS产业从2015年至今历经8年探索，且在大量资本热钱涌入下，仍未找到清晰的盈利模型。
2024年，优化训练和部署大模型仍然非常重要，大模型的生态加速形成，应用开始在一些领域大规模展开，主要表现在如下十个领域：
2023年即将过去，回想这一年，你有没有什么印象深刻的科技新闻关键词？遥遥领先、ChatGPT、Vision Pro……不论是在开发新产品，还是在提供新体验上，这一年，大大小小的科技公司动作不断。
在即将过去的2023年里，“大模型”无疑是最能挑动神经的话题，AI还在进化但已经成为显学。“百模大战”让很多创业项目的估值水涨船高，行业直接进入大厂竞争时代。