AI资讯新闻榜单内容搜索-模型

关键词: GPT,扩散模型,Scaling Law,VAR,

新一代视觉生成范式「VAR: Visual Auto Regressive」视觉自回归来了

关键词: openai,chatGPT,奥特曼,AI服务

奥特曼接待了数百名 500 强公司的高管。 技术领先的 OpenAI，正在稳步推进大模型能力的落地。

关键词: CVPR,CustomNeRF,AI文本,AI图像,模型训练

自 2020 年神经辐射场 (Neural Radiance Field, NeRF) 提出以来，将隐式表达推上了一个新的高度。作为当前最前沿的技术之一

关键词: 多模态,Time-LLM,AI框架,模型训练

近，来自澳大利亚蒙纳士大学、蚂蚁集团、IBM 研究院等机构的研究人员探索了模型重编程 (model reprogramming) 在大语言模型 (LLMs) 上应用，并提出了一个全新的视角

关键词: 谷歌,AI大模型,上下文,LLM,模型训练

为解决大模型（LLMs）在处理超长输入序列时遇到的内存限制问题，本文作者提出了一种新型架构：Infini-Transformer，它可以在有限内存条件下，让基于Transformer的大语言模型（LLMs）高效处理无限长的输入序列。实验结果表明：Infini-Transformer在长上下文语言建模任务上超越了基线模型，内存最高可节约114倍。

关键词: Infini-Transformer,上下文,谷歌AI,谷歌大模型, Transformer,模型训练

它通过将压缩记忆（compressive memory）整合到线性注意力机制中，用来处理无限长上下文

关键词: RNN,Transformer,RWKV,多头矩阵值状态,模型训练

不走Transformer寻常路，魔改RNN的国产新架构RWKV，有了新进展： 提出了两种新的RWKV架构，即Eagle (RWKV-5) 和Finch（RWKV-6)。

关键词: 吴恩达,AI,AI工程师,AI编程,AI员工

号称世界首个AI工程师Devin，7×24小时不限时打工，能够debug、训模型、构建部署应用程序，胜任各种代码任务

关键词: LoRA,PiSSA,微调,模型训练

随着大模型的参数量日益增长，微调整个模型的开销逐渐变得难以接受。 为此，北京大学的研究团队提出了一种名为 PiSSA 的参数高效微调方法，在主流数据集上都超过了目前广泛使用的 LoRA 的微调效果。

关键词: Infini-Transformer,上下文,谷歌AI,谷歌大模型, Transformer,模型训练

谷歌又放大招了，发布下一代 Transformer 模型 Infini-Transformer。