只花9美元，推理能力暴涨20%！小模型Tina震撼登场，成本缩减260倍
只花9美元，推理能力暴涨20%！小模型Tina震撼登场，成本缩减260倍在人工智能领域，语言模型的发展日新月异，推理能力作为语言模型的核心竞争力之一，一直是研究的焦点，许多的 AI 前沿人才对 AI 推理的效率进行研究。
来自主题: AI技术研报
7903 点击 2025-04-30 18:40
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
在人工智能领域，语言模型的发展日新月异，推理能力作为语言模型的核心竞争力之一，一直是研究的焦点，许多的 AI 前沿人才对 AI 推理的效率进行研究。
在推荐、广告场景，如何利用好大模型的能力？这是个很有挑战的命题。
医疗大模型知识覆盖度首次被精准量化！
训练成本高昂已经成为大模型和人工智能可持续发展的主要障碍之一。
随着大语言模型 (LLM) 技术的迅猛发展，基于 LLM 的智能智能体在客户服务、内容创作、数据分析甚至医疗辅助等多个行业领域得到广泛应用。
近日，无问芯穹发起了一次推理系统开源节，连续开源了三个推理工作，包括加速端侧推理速度的 SpecEE、计算分离存储融合的 PD 半分离调度新机制 Semi-PD、低计算侵入同时通信正交的计算通信重叠新方法 FlashOverlap，为高效的推理系统设计提供多层次助力。下面让我们一起来对这三个工作展开一一解读：
在以 transformer 模型为基础的大模型中，键值缓存虽然用以存代算的思想显著加速了推理速度，但在长上下文场景中成为了存储瓶颈。为此，本文的研究者提出了 MILLION，一种基于乘积量化的键值缓存压缩和推理加速设计。
在无数科幻电影中，增强现实（AR）通过在人们的眼前叠加动画、文字、图形等可视化信息，让人获得适时的、超越自身感知能力的信息。
AI能像人类一样不断从经验中学习、进化，而不仅仅依赖于人工标注的数据？测试时强化学习(TTRL)与记忆系统的结合正在开启这一全新可能！
新的亿级大规模图文对数据集来了，CLIP达成新SOTA！
随着人工智能技术迅猛发展，大模型（如GPT-4、文心一言等）正逐步渗透至社会生活的各个领域，从医疗、教育到金融、政务，其影响力与日俱增。
多模态大模型（MLLMs）在视觉理解与推理等领域取得了显著成就。然而，随着解码（decoding）阶段不断生成新的 token，推理过程的计算复杂度和 GPU 显存占用逐渐增加，这导致了多模态大模型推理效率的降低。
尽管LLM看似能够进行流畅推理和问题解答，但它们背后的思维链其实只是复杂的统计模式匹配，而非真正的推理能力。AI模型仅仅通过海量数据和经验法则来生成响应，而不是通过深刻的世界模型和逻辑推理来做决策。
大模型之战烽火正酣，谷歌Gemini 2.5 Pro却强势逆袭！Gemini Flash预训练负责人亲自揭秘，深挖Gemini预训练的关键技术，看谷歌如何在模型大小、算力、数据和推理成本间找到最优解。
在当前大语言模型（LLMs）广泛应用于问答、对话等任务的背景下，如何更有效地结合外部知识、提升模型对复杂问题的理解与解答能力，成为 RAG（Retrieval-Augmented Generation）方向的核心挑战。
今天，一张图在网上爆火：中国AI专利数量占全球70%，成TOP 1！不过，曾撰写「AI 2027」预测报告的研究员却发长篇博文表示，AI竞赛美国稳操胜券，原因就在算力上。
最近对了几个agent相关的代码项目，总结了一下目前整体的设计思路，比如如何设计一个基于agent和浏览器沙箱的AI产品，分析了关键架构、工作流程、关键组件及其交互方式。
多模态大模型几何解题哪家强？
大模型技术加速向产业渗透，如何直击业务痛点、带来真实增效？
通过蒙特卡洛树搜索筛选高难度样本，ThinkLite-VL仅用少量数据就能显著提升视觉语言模型的推理能力，无需知识蒸馏，为高效训练提供了新思路。
一项来自清华大学和上海交通大学的研究颠覆了对可验证奖励强化学习（RLVR）的认知。RLVR被认为是打造自我进化大模型的关键，但实验表明，它可能只是提高了采样效率，而非真正赋予模型全新推理能力。
最近在看 Agent 方向的论文和产品，已经被各种进展看花了眼。但我发现，真正能超越 demo，能在 B 端场景扎实落地的却寥寥无几。
人类病毒学家为人工智能（AI）设计了一项极其困难的测试，结果令人担忧：
自主通才科学家（AGS）正成为现实！
大型语言模型（LLMs）在广泛的自然语言处理（NLP）任务中展现出了卓越的能力。
「工欲善其事，必先利其器。」 如今，人工智能正以前所未有的速度革新人类认知的边界，而工具的高效应用已成为衡量人工智能真正智慧的关键标准。
最近，DeepSeek-R1 和 OpenAI o1/03 等推理大模型在后训练阶段探索了长度扩展（length scaling），通过强化学习（比如 PPO、GPRO）训练模型生成很长的推理链（CoT），并在奥数等高难度推理任务上取得了显著的效果提升。
自回归模型，首次生成2048×2048分辨率图像！来自Meta、西北大学、新加坡国立大学等机构的研究人员，专门为多模态大语言模型（MLLMs）设计的TokenShuffle，显著减少了计算中的视觉Token数量，提升效率并支持高分辨率图像合成。
LLM的规模爆炸式增长，传统量化技术虽能压缩模型，却以牺牲精度为代价。莱斯大学团队的最新研究DFloat11打破这一僵局：它将模型压缩30%且输出与原始模型逐位一致！更惊艳的是，通过针对GPU的定制化解压缩内核，DFloat11使推理吞吐量提升最高38.8倍。
今天的Agent框架虽然功能强大，但对于没有编程经验的客户服务专业人员来说却过于复杂。这些框架如AutoGen、LangGraph、CrewAI等通常将Agent声明嵌入到复杂的Python代码中，使整体工作流程难以把握，门槛过高。对于仅需构建带有业务逻辑的客服聊天机器人的非技术人员而言，这些框架犹如天书，让他们望而却步。