ICML2024高分！魔改注意力，让小模型能打两倍大的模型
ICML2024高分！魔改注意力，让小模型能打两倍大的模型改进Transformer核心机制注意力，让小模型能打两倍大的模型！
来自主题: AI技术研报
9933 点击 2024-06-03 15:44
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
改进Transformer核心机制注意力，让小模型能打两倍大的模型！
3D 重建和新视图合成技术在虚拟现实和增强现实等领域有着广泛的应用。NeRF 通过隐式地将场景编码为辐射场，在视图合成上取得了显著的成功。
即使最强大的 LLM 也难以通过 token 索引来关注句子等概念，现在有办法了。
每个token只需要5.28%的算力，精度就能全面对标Llama 3。
在大模型实际部署落地的过程中，如何赋予大模型持续学习的能力是一个至关重要的挑战。这使其能够动态适应新的任务并不断获得新的知识。大模型的持续学习主要面临两个重大挑战，分别是灾难性遗忘和知识迁移。灾难性遗忘是指模型在学习新任务时，会忘记其已掌握的旧任务。知识迁移则涉及到如何在学习新任务时有效地应用旧任务的知识来提升新任务学习的效果。
通过提示查询生成模块和任务感知适配器，大一统框架VimTS在不同任务间实现更好的协同作用，显著提升了模型的泛化能力。该方法在多个跨域基准测试中表现优异，尤其在视频级跨域自适应方面，仅使用图像数据就实现了比现有端到端视频识别方法更高的性能。
国产大模型最新进展，这次来自“国家队”！ 刚刚，全栈国产化生态大模型“九天智能基座”正式发布！ 它由中国移动自研。包括万卡算力、千亿模型及百汇平台三部分。 其中模型部分是九天自主研发的从算子到框架全栈国产训练的千亿参数大模型，能力达到GPT-4的90%水平。
本文由GreenBit.AI团队撰写，团队的核心成员来自德国哈索·普拉特纳计算机系统工程院开源技术小组。我们致力于推动开源社区的发展，倡导可持续的机器学习理念。我们的目标是通过提供更具成本效益的解决方案，使人工智能技术在环境和社会层面产生积极影响。
既能像 Transformer 一样并行训练，推理时内存需求又不随 token 数线性递增，长上下文又有新思路了？
当地时间2024年5月22日，美国众议院外交事务委员会以压倒性多数，通过了一项限制AI模型出口的法案——《加强海外关键出口限制国家框架法案》（Enhancing National Frameworks for Overseas Critical Exports Act / HR 8315，以下简称ENFORCE法案），旨在扩大美国政府监管人工智能系统出口的权力。