本文深入剖析 MiniCPM4 采用的稀疏注意力结构 InfLLM v2。作为新一代基于 Transformer 架构的语言模型，MiniCPM4 在处理长序列时展现出令人瞩目的效率提升。传统Transformer的稠密注意力机制在面对长上下文时面临着计算开销迅速上升的趋势，这在实际应用中造成了难以逾越的性能瓶颈。
有史以来最具想象力的小钢炮系列，MiniCPM 4.0 来了！
不知道还有多少人记得那场发布会。
又一个国产AI在外网被刷屏了！这个AI，正是来自面壁智能最新的模型——MiniCPM-o 2.6。
昨天，面壁低调（没媒体曝光）发布了 新模型 MiniCPM-o 2.6：【开源】【端侧】比肩 GPT-4o，只有 8B，非常强！
大模型的记忆限制被打破了，变相实现“无限长”上下文。最新成果，来自清华、厦大等联合提出的LLMxMapReduce长本文分帧处理技术。
你敢相信 4B 参数小模型，性能却超越千亿量级的 GPT-3.5 ！OpenAI、谷歌、微软、苹果等一众海内外巨头还没做到的事，被一家中国大模型公司抢先了！
不知道有多少人曾经有想过要学一学 Python。
随着大模型研究的深入，如何将其推广到更多的模态上已经成为了学术界和产业界的热点。最近发布的闭源大模型如 GPT-4o、Claude 3.5 等都已经具备了超强的图像理解能力，LLaVA-NeXT、MiniCPM、InternVL 等开源领域模型也展现出了越来越接近闭源的性能。
事情是这样的，前两天面壁刚刚推出了“小钢炮” MiniCPM-V 2.6 模型，据说视频理解能力直接对标GPT-4V，最重要的是能直接部署在iPad 上。
