AI资讯新闻榜单内容搜索-训练

关键词: 大模型,大模型训练,OneBit

对大模型进行量化、剪枝等压缩操作，是部署时最常见不过的一环了。

关键词: 田渊栋 ,GaLore,模型训练,7B大模型

3 月 6 日，田渊栋又一项研究出炉，这次，他们主攻 LLM 内存效率。除了田渊栋本人，还有来自加州理工学院、德克萨斯大学奥斯汀分校以及 CMU 的研究者。

关键词: AI透视眼,非模态分割,模型训练,AI学术

牛津大学 VGG 实验室 Andrew Zisserman 团队最新工作系统性解决了任意物体的遮挡补全问题，并且为这一问题提出了一个新的更加精确的评估数据集。该工作受到了 MPI 大佬 Michael Black、CVPR 官方账号、南加州大学计算机系官方账号等在 X 平台的点赞。

关键词: VisionLLAMA,ViT,LLaMA,模型训练

半年多来，Meta 开源的 LLaMA 架构在 LLM 中经受了考验并大获成功（训练稳定、容易做 scaling）。

关键词: 大语言模型,模型量化,模型压缩,模型训练

模型量化是模型压缩与加速中的一项关键技术，其将模型权重与激活值量化至低 bit，以允许模型占用更少的内存开销并加快推理速度。对于具有海量参数的大语言模型而言，模型量化显得更加重要。

关键词: 谷歌,模型训练,Gemini pro,LLM

虽然 AI 生图领域，看似百花齐放，但论资排辈，Midjourney、Stability AI 还是很受用户欢迎的。就算是竞争对手，Midjourney 也不至于禁止 Stability AI 员工使用其软件吧。

关键词: ICLR,视频模型,模型训练

在 2024 世界经济论坛的一次会谈中，图灵奖得主 Yann LeCun 提出用来处理视频的模型应该学会在抽象的表征空间中进行预测，而不是具体的像素空间 [1]。借助文本信息的多模态视频表征学习可抽取利于视频理解或内容生成的特征，

关键词: DeepMind,Llama 2,Transformer

线性RNN赢了？近日，谷歌DeepMind一口气推出两大新架构，在d基准测试中超越了Transformer。新架构不仅保证了高效的训练和推理速度，并且成功扩展到了14B。

关键词: 绘蛙,AI电商,AI电商绘图,AI电商文案

据悉，“绘蛙”将为淘宝、天猫商家和达人在生成营销文案、训练专属AI模特等方面提升创作效率，使商品快速被种草。这是阿里在AI电商上的一次实质化的布局。

关键词: RNN,Transformer,Mamba,模型训练,DeepMind

去年 12 月，新架构 Mamba 引爆了 AI 圈，向屹立不倒的 Transformer 发起了挑战。如今，谷歌 DeepMind「Hawk 」和「Griffin 」的推出为 AI 圈提供了新的选择。