在以 transformer 模型为基础的大模型中，键值缓存虽然用以存代算的思想显著加速了推理速度，但在长上下文场景中成为了存储瓶颈。为此，本文的研究者提出了 MILLION，一种基于乘积量化的键值缓存压缩和推理加速设计。
自从DeepSeek带火了蒸馏模型以后，更多人开始关注AI大模型在边缘端的部署。而在过去，TinyML一直也在MCU领域很火热。现在，边缘AI走得更快了，市场也正在走向爆发。
一觉醒来，全球开源的王座更替了，不是 R2。好消息是，中国用户依然是最大的受益者。
在无数科幻电影中，增强现实（AR）通过在人们的眼前叠加动画、文字、图形等可视化信息，让人获得适时的、超越自身感知能力的信息。
AI能像人类一样不断从经验中学习、进化，而不仅仅依赖于人工标注的数据？测试时强化学习(TTRL)与记忆系统的结合正在开启这一全新可能！
在人工智能迅猛发展的时代，AI 大模型已成为推动科技进步与社会变革的核心力量。回顾 AI 大模型的发展史，不难发现，AI 正逐渐从“快思考”转变为“慢思考”。
新的亿级大规模图文对数据集来了，CLIP达成新SOTA！
随着人工智能技术迅猛发展，大模型（如GPT-4、文心一言等）正逐步渗透至社会生活的各个领域，从医疗、教育到金融、政务，其影响力与日俱增。
多模态大模型（MLLMs）在视觉理解与推理等领域取得了显著成就。然而，随着解码（decoding）阶段不断生成新的 token，推理过程的计算复杂度和 GPU 显存占用逐渐增加，这导致了多模态大模型推理效率的降低。
尽管LLM看似能够进行流畅推理和问题解答，但它们背后的思维链其实只是复杂的统计模式匹配，而非真正的推理能力。AI模型仅仅通过海量数据和经验法则来生成响应，而不是通过深刻的世界模型和逻辑推理来做决策。
