将 600 亿参数大模型装进手机的瓶颈,终于被中国 AI 公司突破了
将 600 亿参数大模型装进手机的瓶颈,终于被中国 AI 公司突破了一个 8B 参数的大模型,通常需要约 16GB 显存。参数越多,越吃显存,这就是为什么,内存价格一天比一天高。
来自主题: AI资讯
8803 点击 2026-05-25 16:00
搜索
一个 8B 参数的大模型,通常需要约 16GB 显存。参数越多,越吃显存,这就是为什么,内存价格一天比一天高。
刚刚的,面壁智能联合 OpenBMB 搞了个端侧开源周。今天作为开源周的第一天,端出来的是个好东西 BitCPM-CANN,模型权重只需要约 200 MB 的内存,手表也够跑