只需单卡RTX 3090,低比特量化训练就能实现LLaMA-3 8B全参微调
只需单卡RTX 3090,低比特量化训练就能实现LLaMA-3 8B全参微调本文由GreenBit.AI团队撰写,团队的核心成员来自德国哈索·普拉特纳计算机系统工程院开源技术小组。我们致力于推动开源社区的发展,倡导可持续的机器学习理念。我们的目标是通过提供更具成本效益的解决方案,使人工智能技术在环境和社会层面产生积极影响。
搜索
本文由GreenBit.AI团队撰写,团队的核心成员来自德国哈索·普拉特纳计算机系统工程院开源技术小组。我们致力于推动开源社区的发展,倡导可持续的机器学习理念。我们的目标是通过提供更具成本效益的解决方案,使人工智能技术在环境和社会层面产生积极影响。
既能像 Transformer 一样并行训练,推理时内存需求又不随 token 数线性递增,长上下文又有新思路了?
当地时间2024年5月22日,美国众议院外交事务委员会以压倒性多数,通过了一项限制AI模型出口的法案——《加强海外关键出口限制国家框架法案》(Enhancing National Frameworks for Overseas Critical Exports Act / HR 8315,以下简称ENFORCE法案),旨在扩大美国政府监管人工智能系统出口的权力。
以 OpenAI 的 GPT 系列模型为代表的大语言模型(LLM)掀起了新一轮 AI 应用浪潮,但是 LLM 推理的高昂成本一直困扰着业务团队。
在多标签图像识别领域中,由于图像本身和潜在标签类别的复杂性,收集满足现有模型训练的多标签标注信息往往成本高昂且难以拓展。中山大学联合广东工业大学联手探索标注受限情况下的多标签图像识别任务,通过对多标签图像中的强语义相关性的探索研究,提出了一种异构语义转移(Heterogeneous Semantic Transfer, HST) 框架,实现了有效的未知标签生成。
英伟达正在宣传其Grace Hopper的异构计算框架正在被分布于世界各地的9台超算系统所使用,共同实现了惊人的 200 exaflops的AI计算能力。这表明英伟达正在为世界上一些更强大的人工智能系统供货,已经开始取代AMD和英特尔在高性能计算领域的地位。
本月初,来自 MIT 等机构的研究者提出了一种非常有潜力的 MLP 替代方法 ——KAN。
最近一周KAN的热度逐渐褪去,正好静下心来仔细学习KAN的原理,收获颇多。
提高 GPU 利用率,就是这么简单。
当下,如果我们希望通过 ChatGPT 得到有用的信息,就必须知道如何向它发出清晰的指令。为了指导用户写一个好的 prompt,OpenAI 官方曾上线了 Prompt engineering,谷歌和微软也有类似的动作。