手机跑大模型提速4-5倍！微软亚研院开源新技术，有CPU就行
手机跑大模型提速4-5倍！微软亚研院开源新技术，有CPU就行有CPU就能跑大模型，性能甚至超过NPU/GPU！
来自主题: AI技术研报
9731 点击 2024-08-09 14:16
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
有CPU就能跑大模型，性能甚至超过NPU/GPU！
用光训练神经网络，清华成果最新登上了Nature！
今日获悉，由莫斯科国立大学举办的 MSU 世界视频编码器大赛结果揭晓。在全部参赛编码器中，腾讯编码器包揽所有 15 项指标的全部第一，再次斩获全场最佳。
专注于计算机图形学的全球学术顶会 SIGGRAPH，正在出现新的趋势。
该论文的第一作者和通讯作者均来自北京大学王选计算机研究所的 MIPL实验室，第一作者为博士生徐铸，通讯作者为博士生导师刘洋。MIPL 实验室近年来在 IJCV、CVPR、AAAI、ICCV、ICML、ECCV 等顶会上有多项代表性成果发表，多次荣获国内外 CV 领域重量级竞赛的冠军奖项，和国内外知名高校、科研机构广泛开展合作。
AI辅助制药，找到传统方法难以发现的关键盐桥，激动剂活性直接提升2-3倍！
LLM的数学推理能力缺陷得到了很多研究的关注，但最近浙大、中科院等机构的学者们提出，先进模型在视觉推理方面同样不足。为此他们提出了一种多模态的视觉推理基准，并设计了一种新颖的数据合成方法。
Transformer架构层层堆叠，包含十几亿甚至几十亿个参数，这些层到底是如何工作的？当一个新奇的比喻——「画家流水线」，被用于类比并理解Transformer架构的中间层，情况突然变得明朗起来，并引出了一些有趣的发现。
为什么说AI搜索不只是搜索？
科学家正在通过AI的力量，改变乳腺癌的现状。
在长文本理解能力这块，竟然没有一个大模型及格！
七年前，论文《Attention is all you need》提出了 transformer 架构，颠覆了整个深度学习领域。
李飞飞老师提出了空间智能 (Spatial Intelligence) 这一概念，作为回应，来自上交、斯坦福、智源、北大、牛津、东大的研究者提出了空间大模型 SpatialBot，并提出了训练数据 SpatialQA 和测试榜单 SpatialBench， 尝试让多模态大模型在通用场景和具身场景下理解深度、理解空间。
逆合成是药物发现和有机合成中的一项关键任务，AI 越来越多地用于加快这一过程。
最近的英伟达似乎步入了多事之秋。
谷歌TPU核心团队创立，要做世界最快推理。
新加坡举办了首届GPT-4提示工程竞赛，Sheila Teo取得了冠军，我们来学习借鉴她采用的三项提示技巧： 使用CO-STAR框架构建提示词 2.使用分隔符将提示词分段 3.使用LLM系统提示
随着大型模型技术的持续发展，视频生成技术正逐步走向成熟。以Sora、Gen-3等闭源视频生成模型为代表的技术，正在重新定义行业的未来格局。然而，截至目前，仍未有一个开源的视频生成模型能够满足商业级应用的要求。
国产版Sora真的卷疯了。
36氪获悉，「心跃智能」宣布完成百万元种子轮融资，投资方为中山大学、广州大学心理学教授以及知名投资机构负责人等个人投资者。本轮融资资金将主要用于产品研发。
刚结束宝马工厂“集训”，人形机器人初创公司Figure迎来了更强的新生代产品——Figure 02。 当地时间8月2日，Figure公布了Figure 02预告片，并表示将在北京时间8月7日正式发布该产品。相对于Figure 01搭载Open AI GPT4的视频演示，此次展示介绍的重心在于硬件，预计硬件能力有大幅提升。
AIGC已然无所不在，场景探索日新月异。 近日，浙江大学医学院附属第二医院发布了国内首个嵌入AI大模型的电子病历系统——Medcopilot（医疗AI助手），最短数秒之内可生成一份出院小结。
不久前，A16z AI 合伙人 Olivia Moore 分享了一张 AI 转录初创公司图谱，面向企业服务（B2B）的转录公司不仅数量多，更涉及人宠医疗、招聘、销售和会议等多元场景。其中作为“打工人刚需”的会议场景转录，参与厂商众多，我们也从中发现了一家非常有趣的华人创立公司——Notta。此前 TechCrunch 披露的融资信息显示，其总部位于新加坡，研发中心位于深圳。
微软最近发布的财报，再次揭露了GenAI的成本真相。 报告显示，微软本季度在现金资本支出和设备购买上，花费了足足190亿美元，同比增长78%，相当于5年前一整年的支出总额。
Llama 3.1刚发布不久，Llama 4已完全投入训练中。 这几天，小扎在二季度财报会上称，Meta将用Llama 3的十倍计算量，训练下一代多模态Llama 4，预计在2025年发布。
简而言之：矩阵 → ReLU 激活 → 矩阵
为了对齐 LLM，各路研究者妙招连连。
大模型作为当下 AI 工业界和学术界当之无愧的「流量之王」，吸引了大批学者和企业投入资源去研究与训练。随着规模越做越大，系统和工程问题已经成了大模型训练中绕不开的难题。例如在 Llama3.1 54 天的训练里，系统会崩溃 466 次，平均 2.78 小时一次！
在 RAG 系统开发中，良好的 Reranker 模型处于必不可少的环节，也总是被拿来放到各类评测当中，这是因为以向量搜索为代表的查询，会面临命中率低的问题，因此需要高级的 Reranker 模型来补救，这样就构成了以向量搜索为粗筛，以 Reranker 模型作精排的两阶段排序架构。
因设计缺陷，英伟达最强AI芯片Blackwell，真的要延期发货了。金主爸爸们哀声一片，所有预定计划预计要拖延至少三个月。