AI资讯新闻榜单内容搜索-模型推理

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: 模型推理
谷歌传奇“院士”:Gemini核心秘方不会公开!大模型推理还有很大降本空间!AGI太远,我更喜欢3~5年的研究,登月计划:医疗

谷歌传奇“院士”:Gemini核心秘方不会公开!大模型推理还有很大降本空间!AGI太远,我更喜欢3~5年的研究,登月计划:医疗

谷歌传奇“院士”:Gemini核心秘方不会公开!大模型推理还有很大降本空间!AGI太远,我更喜欢3~5年的研究,登月计划:医疗

“与AGI太过遥远的炒作相比,我非常喜欢这种 3 到 5 年的时间窗口。”“AI 现在最大的问题,已经不是不够聪明,而是太难真正落地。”这些非常务实的观点,并不是出自AI怀疑论者。相反,它出自硅谷圈内那位“工程与学术”的双修神话:

来自主题: AI资讯
8897 点击    2025-12-16 17:18
告别「盲目自信」,CCD:扩散语言模型推理新SOTA

告别「盲目自信」,CCD:扩散语言模型推理新SOTA

告别「盲目自信」,CCD:扩散语言模型推理新SOTA

扩散语言模型(Diffusion Language Models)以其独特的 “全局规划” 与并行解码能力广为人知,成为 LLM 领域的全新范式之一。然而在 Any-order 解码模式下,其通常面临

来自主题: AI技术研报
6865 点击    2025-12-13 10:59
扩散语言模型推理太慢?北大团队提出ODB-dLLM框架,破解计算访存双重瓶颈

扩散语言模型推理太慢?北大团队提出ODB-dLLM框架,破解计算访存双重瓶颈

扩散语言模型推理太慢?北大团队提出ODB-dLLM框架,破解计算访存双重瓶颈

基于扩散的大语言模型 (dLLM) 凭借全局解码和双向注意力机制解锁了原生的并行解码和受控生成的潜力,最近吸引了广泛的关注。例如 Fast-dLLM 的现有推理框架通过分块半自回归解码进一步实现了 dLLM 对 KV cache 的支持,挑战了传统自回归 LLMs 的统治地位。

来自主题: AI技术研报
5655 点击    2025-12-11 10:42
NeurIPS 2025 | DynaAct:DeepSeek R1之外,探索大模型推理的另一条道路

NeurIPS 2025 | DynaAct:DeepSeek R1之外,探索大模型推理的另一条道路

NeurIPS 2025 | DynaAct:DeepSeek R1之外,探索大模型推理的另一条道路

大模型推理的爆发,实际源于 scaling 范式的转变:从 train-time scaling 到 test-time scaling(TTS),即将更多的算力消耗部署在 inference 阶段。典型的实现是以 DeepSeek r1 为代表的 long CoT 方法:通过增加思维链的长度来获得答案精度的提升。那么 long CoT 是 TTS 的唯一实现吗?

来自主题: AI技术研报
7825 点击    2025-11-30 09:30
NeurIPS重磅:华南理工团队重构扩散模型推理,质量效率双SOTA

NeurIPS重磅:华南理工团队重构扩散模型推理,质量效率双SOTA

NeurIPS重磅:华南理工团队重构扩散模型推理,质量效率双SOTA

扩散概率生成模型(Diffusion Models)已成为AIGC时代的重要基础,但其推理速度慢、训练与推理之间的差异大,以及优化困难,始终是制约其广泛应用的关键问题。近日,被NeurIPS 2025接收的一篇重磅论文EVODiff给出了全新解法:来自华南理工大学曾德炉教授「统计推断,数据科学与人工智能」研究团队跳出了传统的数值求解思维,首次从信息感知的推理视角,将去噪过程重构为实时熵减优化问题。

来自主题: AI技术研报
6717 点击    2025-11-24 14:32
SGLang Diffusion震撼发布:图像视频生成速度猛提57%!

SGLang Diffusion震撼发布:图像视频生成速度猛提57%!

SGLang Diffusion震撼发布:图像视频生成速度猛提57%!

就在一周前,全宇宙最火爆的推理框架 SGLang 官宣支持了 Diffusion 模型,好评如潮。团队成员将原本在大语言模型推理中表现突出的高性能调度与内核优化,扩展到图像与视频扩散模型上,相较于先前的视频和图像生成框架,速度提升最高可达 57%:

来自主题: AI技术研报
7382 点击    2025-11-22 11:33
无需训练、只优化解码策略,DTS框架让大模型推理准确率提升6%,推理长度缩短23%

无需训练、只优化解码策略,DTS框架让大模型推理准确率提升6%,推理长度缩短23%

无需训练、只优化解码策略,DTS框架让大模型推理准确率提升6%,推理长度缩短23%

专注推理任务的 Large Reasoning Models 在数学基准上不断取得突破,但也带来了一个重要问题:越想越长、越长越错。本文解读由 JHU、UNC Charlotte 等机构团队的最新工作

来自主题: AI技术研报
6801 点击    2025-11-22 11:31
英伟达、DeepSeek集体跟进!18个月前被忽视,如今统治AI推理

英伟达、DeepSeek集体跟进!18个月前被忽视,如今统治AI推理

英伟达、DeepSeek集体跟进!18个月前被忽视,如今统治AI推理

2024年,加州大学圣地亚哥分校「Hao AI Lab」提出了DistServe的解耦推理理念,短短一年多时间,迅速从实验室概念成长为行业标准,被NVIDIA、vLLM等主流大模型推理框架采用,预示着AI正迈向「模块化智能」的新时代。

来自主题: AI技术研报
8829 点击    2025-11-09 15:37
视频模型假装在推理?MME-CoF新基准评估12个推理维度

视频模型假装在推理?MME-CoF新基准评估12个推理维度

视频模型假装在推理?MME-CoF新基准评估12个推理维度

视频生成模型如Veo-3能生成逼真视频,但有研究发现其推理能力存疑。香港中文大学、北京大学、东北大学的研究者们设计了12项测试,发现模型只能模仿表面模式,未真正理解因果。这项研究为视频模型推理能力评估提供基准,指明未来研究方向。

来自主题: AI技术研报
7140 点击    2025-11-08 11:16
扩展外部测试时Scaling Law,中关村学院新发现:轻量级验证器可解锁LLM推理最优选择

扩展外部测试时Scaling Law,中关村学院新发现:轻量级验证器可解锁LLM推理最优选择

扩展外部测试时Scaling Law,中关村学院新发现:轻量级验证器可解锁LLM推理最优选择

在大语言模型(LLM)席卷各类复杂任务的今天,“测试时扩展”(Test-Time Scaling,TTS)已成为提升模型推理能力的核心思路 —— 简单来说,就是在模型 “答题” 时分配更多的计算资源来让它表现更好。严格来说,Test-Time Scaling 分成两类:

来自主题: AI技术研报
7253 点击    2025-11-06 14:59