字节开源大模型量化新思路，2-bit量化模型精度齐平fp16
字节开源大模型量化新思路，2-bit量化模型精度齐平fp16随着深度学习大语言模型的越来越火爆，大语言模型越做越大，使得其推理成本也水涨船高。模型量化，成为一个热门的研究课题。
来自主题: AI技术研报
6263 点击 2024-05-13 17:18
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
随着深度学习大语言模型的越来越火爆，大语言模型越做越大，使得其推理成本也水涨船高。模型量化，成为一个热门的研究课题。
36氪获悉，AI医学影像企业「深智透医」（简称“深透”，Subtle Medical Inc.）近日完成B+轮近千万美元融资，由老股东Fusion Fund，新股东嘉加资本（ENVISIONX Capital）、蓝驰创投硅谷总部基金Bluerun Ventures、上海文周投资及其它亚太区域战略合作方共同投资。本轮融资将用于加速AI产品的全球商业落地及研发创新。
又是一年招聘季，就业市场的新主力正来势汹汹。数据显示，2024届高校毕业生规模预计1179万人，同比增加21万人。面临如此大规模的求职者，各大公司在招聘过程中正越来越多地使用AI工具。其中，AI面试已成为包括银行、外企和快消等领域的标配。
众所周知，大语言模型的训练常常需要数月的时间，使用数百乃至上千个 GPU。以 LLaMA2 70B 模型为例，其训练总共需要 1,720,320 GPU hours。由于这些工作负载的规模和复杂性，导致训练大模型存在着独特的系统性挑战。
大模型回答如何更可靠？MIT研究团队设计出「共识博弈」，将数学家常用的博弈论引入LLM改进中。没想到，LLaMA-7B的表现，击败了LLaMA-65B，甚至与PaLM-540B相媲美。
最少只需1个3D样例，即可生成3D主题乐园。
微软&清华最新研究，打破GPT系列开创的Decoder-Only架构——
在刚刚举行的 ICLR 2024 大会上，智谱AI的大模型技术团队公布了面向激动人心的AGI通用人工智能前景的三大技术趋势，同时预告了GLM的后续升级版本。
就在一年前，2023年5月，OpenAI的CEO Sam Altman曾在美国国会听证会上提到过AI正在被武器化的事实，并赞同“像监管核武器一样监管AI”的提议。
当地时间5月7日，ICLR 2024颁发了自大会举办以来的首个「时间检验奖」！