重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%
重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%GTA 工作由中国科学院自动化研究所、伦敦大学学院及香港科技大学（广州）联合研发，提出了一种高效的大模型框架，显著提升模型性能与计算效率。
来自主题: AI技术研报
7301 点击 2025-07-23 10:15
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
GTA 工作由中国科学院自动化研究所、伦敦大学学院及香港科技大学（广州）联合研发，提出了一种高效的大模型框架，显著提升模型性能与计算效率。
AI创造力源于架构缺陷带来的约束（局部性与平移等变性），而非数据堆砌或“涌现”智能。这种约束类似人类“功能固着”的反面，迫使AI重组局部特征，从而创新。提升AI创新可主动设计约束架构、制造数据信息差、优化提示词。这挑战了追求AGI需模仿人脑的假设。
编程Agent王座，国产开源模型拿下了！就在刚刚，阿里通义大模型团队开源Qwen3-Coder，直接刷新AI编程SOTA——不仅在开源界超过DeepSeek V3和Kimi K2，连业界标杆、闭源的Claude Sonnet 4都比下去了。
开源大模型正在进入中国时间。 Kimi K2风头正盛，然而不到一周，Qwen3就迎来最新升级，235B总参数量仅占Kimi K2 1T规模的四分之一。 基准测试性能上却超越了Kimi K2。
我们知道，训练大模型本就极具挑战，而随着模型规模的扩大与应用领域的拓展，难度也在不断增加，所需的数据更是海量。大型语言模型（LLM）主要依赖大量文本数据，视觉语言模型（VLM）则需要同时包含文本与图像的数据，而在机器人领域，视觉 - 语言 - 行动模型（VLA）则要求大量真实世界中机器人执行任务的数据。
多模态大模型崛起，安全问题紧随其后 近年来，大语言模型（LLMs）的突破式进展，催生了视觉语言大模型（LVLMs）的快速兴起，代表作如 GPT-4V、LLaVA 等。
近日，月之暗面(Moonshot AI)正式发布了其万亿参数开源大模型Kimi K2，这一具有里程碑意义的AI模型凭借其创新的MoE架构和强大的Agentic能力迅速获得全球开发者关注。然而，随着用户量激增，部分开发者开始反映其API服务响应速度不尽如人意。面对这一情况，月之暗面于7月15日迅速作出官方回应，坦诚当前服务延迟问题，并详细说明了优化方案。
近日，生物技术公司Pathos AI宣布完成3.65亿美元的D轮融资，融资后估值约为16亿美元。本轮资金将用于支持公司临床阶段产品线的推进，并持续投资于其专为肿瘤学构建的专有人工智能基础模型。
LLM太谄媚！ 就算你胡乱质疑它的答案，强如GPT-4o这类大模型也有可能立即改口。
7月2日，一个跨国团队在Nature杂志发表了一项开创性研究，宣称其推出的AI系统能够“模拟人类心智”。该系统在实验中可以“扮演”人类，生成逼真的人类行为。