进我的收藏夹吃灰吧：大模型加速超全指南来了
进我的收藏夹吃灰吧：大模型加速超全指南来了2023 年，大型语言模型（LLM）以其强大的生成、理解、推理等能力而持续受到高度关注。然而，训练和部署 LLM 非常昂贵，需要大量的计算资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的方法。
来自主题: AI技术研报
3761 点击 2024-02-09 14:05
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
2023 年，大型语言模型（LLM）以其强大的生成、理解、推理等能力而持续受到高度关注。然而，训练和部署 LLM 非常昂贵，需要大量的计算资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的方法。
Meta的第二代自研芯片正式投产！小扎计划今年部署Artemis AI芯片为AI提供算力，以减少对英伟达GPU的依赖。
南京大学周志华教授提出的「学件」范式通过模型 + 规约的思路构建学件市场（现称学件基座系统），让用户根据需求从中统一地选择和部署模型。如今学件范式迎来了首个开源的基础平台 —— 北冥坞（Beimingwu）。
YC昨天投的那家公司，VectorShift，是一家AI应用自动化构建平台。他们利用人工智能来搜索知识库、生成文档并部署聊天机器人和助手，以帮助任何组织构建企业级AI应用程序。
本文将介绍 MoE 的构建模块、训练方法以及在使用它们进行推理时需要考虑的权衡因素。
近日，CMU Catalyst 团队推出了一篇关于高效 LLM 推理的综述，覆盖了 300 余篇相关论文，从 MLSys 的研究视角介绍了算法创新和系统优化两个方面的相关进展。
近日，美团、浙大等推出了能够在移动端部署的多模态大模型，包含了 LLM 基座训练、SFT、VLM 全流程。也许不久的将来，每个人都能方便、快捷、低成本的拥有属于自己的大模型。
2024年，优化训练和部署大模型仍然非常重要，大模型的生态加速形成，应用开始在一些领域大规模展开，主要表现在如下十个领域：
生成式AI将成为未来企业在竞争中优势的重要来源。企业现在面临的关键问题已经不是要不要上大模型，而是如何让大模型落地，为企业创造真正的价值。
36氪获悉，近日实在智能宣布完成近2亿元C轮融资。本轮由金泰富资本和安吉智慧谷共同领投，安吉两山国创跟投。实在智能从AI+RPA（机器人流程自动化）领域发轫，迄今已为2000余家数字政务、运营商、金融、能源、交通等领域大型客户部署各类“数字员工”