Transformer 架构在过去几年中通过注意力机制在多个领域（如计算机视觉、自然语言处理和长序列任务）中取得了非凡的成就。然而，其核心组件「自注意力机制」 的计算复杂度随输入 token 数量呈二次方增长，导致资源消耗巨大，难以扩展到更长的序列或更大的模型。
一直以来，学术与实际产品的 Prompt 完全脱节，真实场景下，很多产品都聚焦情感陪伴，文案生成等开放任务里。而学术上这些任务没有明确的指标，无法量化也就没办法被比较，于是绝大部分的 Prompt 优化工作都聚焦在“刷榜”，例如怎么提升一个模型的代码/数学能力。我们今天跑的项目叫 SPO，具体什么意思并不重要，重要的是它把之前的所有问题全部解决了。
兔子通过两只耳朵可以准确感知捕食者的一举一动，造就了不同品种广泛分布在世界各地的生命奇迹；同样人也需要通过双耳沉浸式享受电影视听盛宴、判断驾驶环境和感知周围活动状态。
2023年全球智能视频监控市场规模达256亿美元，预计在2028年有望达384亿美元，年复合增长率（CAGR）为8.4%。
法国音乐流媒体平台Deezer近日在其官方新闻稿中透露，每天有约10,000首“完全由人工智能生成的曲目”被上传至其平台。这一数字占Deezer每日新增内容的10%左右。尽管与Spotify和Apple Music等巨头相比，Deezer的规模较小，但其每日新增曲目量也达到了约10万首。
现如今，以 GPT 为代表的大语言模型正深刻影响人们的生产与生活，但在处理很多专业性和复杂程度较高的问题时仍然面临挑战。在诸如药物发现、自动驾驶等复杂场景中，AI 的自主决策能力是解决问题的关键，而如何进行决策大模型的高效训练目前仍然是开放性的难题。
12月14日，昇思人工智能框架峰会召开，现场18家单位发布基于昇思的原生开发大模型成果。伴随AI框架生态进入“深水区”，昇思朋友圈也在持续扩容，多家上市公司已成为昇思生态建设的主力军。
近年来，扩散模型（Diffusion Models）已成为生成模型领域的研究前沿，它们在图像生成、视频生成、分子设计、音频生成等众多领域展现出强大的能力。
卡内基梅隆大学提出了视频生成模型加速方法Run-Length Tokenization（RLT），被NeurIPS 2024选为Spotlight论文。 在精度几乎没有损失的前提下，RLT可以让模型训练和推理速度双双提升。
这篇文章获选 Neurips 2024 Spotlight，作者均来自于伊利诺伊大学香槟分校计算机系。第一作者是博士生林啸，指导老师是童行行教授。所在的 IDEA 实验室的研究兴趣涵盖图机器学习、可信机器学习、LLM 优化以及数据挖掘等方面。
