AI资讯新闻榜单内容搜索-训练

关键词: 长文本,谷歌AI,transformer,模型训练

通过这项技术，能使transformer大模型在有限的计算资源 条件下，处理无限长度的输入。

关键词: InstantID,AI图像,扩散模型,模型训练,AI框架

风格化图像生成，也常称为风格迁移，其目标是生成与参考图像风格一致的图像。

关键词: CVPR,CustomNeRF,AI文本,AI图像,模型训练

自 2020 年神经辐射场 (Neural Radiance Field, NeRF) 提出以来，将隐式表达推上了一个新的高度。作为当前最前沿的技术之一

关键词: 多模态,Time-LLM,AI框架,模型训练

近，来自澳大利亚蒙纳士大学、蚂蚁集团、IBM 研究院等机构的研究人员探索了模型重编程 (model reprogramming) 在大语言模型 (LLMs) 上应用，并提出了一个全新的视角

关键词: 谷歌,AI大模型,上下文,LLM,模型训练

为解决大模型（LLMs）在处理超长输入序列时遇到的内存限制问题，本文作者提出了一种新型架构：Infini-Transformer，它可以在有限内存条件下，让基于Transformer的大语言模型（LLMs）高效处理无限长的输入序列。实验结果表明：Infini-Transformer在长上下文语言建模任务上超越了基线模型，内存最高可节约114倍。

关键词: Infini-Transformer,上下文,谷歌AI,谷歌大模型, Transformer,模型训练

它通过将压缩记忆（compressive memory）整合到线性注意力机制中，用来处理无限长上下文

关键词: RNN,Transformer,RWKV,多头矩阵值状态,模型训练

不走Transformer寻常路，魔改RNN的国产新架构RWKV，有了新进展： 提出了两种新的RWKV架构，即Eagle (RWKV-5) 和Finch（RWKV-6)。

关键词: LoRA,PiSSA,微调,模型训练

随着大模型的参数量日益增长，微调整个模型的开销逐渐变得难以接受。 为此，北京大学的研究团队提出了一种名为 PiSSA 的参数高效微调方法，在主流数据集上都超过了目前广泛使用的 LoRA 的微调效果。

关键词: Infini-Transformer,上下文,谷歌AI,谷歌大模型, Transformer,模型训练

谷歌又放大招了，发布下一代 Transformer 模型 Infini-Transformer。

关键词: LLM,集成LLM,模型训练,GPT-4,AI学术

在实践中，人类预测的准确性依赖于「群体智慧」（wisdom of the crowd）效应，即通过聚集一群个体预测者，对未来事件的预测准确率会显著提高