
AAAI 2025 | 大模型推理加速新范式:加速比高达3.51倍、成本降至1/3
AAAI 2025 | 大模型推理加速新范式:加速比高达3.51倍、成本降至1/3Falcon 方法是一种增强半自回归投机解码框架,旨在增强 draft model 的并行性和输出质量,以有效提升大模型的推理速度。Falcon 可以实现约 2.91-3.51 倍的加速比,在多种数据集上获得了很好的结果,并已应用到翼支付多个实际业务中。
Falcon 方法是一种增强半自回归投机解码框架,旨在增强 draft model 的并行性和输出质量,以有效提升大模型的推理速度。Falcon 可以实现约 2.91-3.51 倍的加速比,在多种数据集上获得了很好的结果,并已应用到翼支付多个实际业务中。
这份《2024年AI应用行业年度报告》是由Xsignal打造的AI年终盘点大餐。全报告共78页,数据之翔实和页面之精美程度冠绝2024。添加客服微信 openai178,免费获取完整PDF。
1/10训练数据激发高级推理能力!近日,来自清华的研究者提出了PRIME,通过隐式奖励来进行过程强化,提高了语言模型的推理能力,超越了SFT以及蒸馏等方法。
就在刚刚,RTX 5090震撼发布,国行版定价16499元!同时震撼亮相的,还有全球最小AI超算Project Digits,在办公桌上就能跑出数据中心级算力!这一刻老黄摆出别致pose,吸引了全球目光。
陈丹琦团队又带着他们的降本大法来了—— 数据砍掉三分之一,大模型性能却完全不减。 他们引入了元数据,加速了大模型预训练的同时,也不增加单独的计算开销。
一家你很可能没听过的公司,成了2024年大AI赛道最赚钱的项目之一。
据不完全统计,国内做AI的企业,有60%的企业已经将战略转向了做AI出海业务,而日本市场更是热门国家之一。那现在日本市场,到底生成式AI使用现状如何,下面我们来通过日本TDB最新的调查报告一起来看一下。
2020年2月,数据标注员作为人工智能训练师的一个工种,被正式纳入国家职业分类目录。短短几年,这个劳动力需求量巨大的行业,迅速在一些中小城市落地生根。
微调大模型的数据隐私可能泄露? 最近华科和清华的研究团队联合提出了一种成员推理攻击方法,能够有效地利用大模型强大的生成能力,通过自校正机制来检测给定文本是否属于大模型的微调数据集。
此项研究成果已被 AAAI 2025 录用。该论文的第一作者是南洋理工大学计算与数据科学学院 (CCDS) 的硕士生杨潇,师从苗春燕教授,主要研究方向是图神经网络。