
苹果能引领端侧AI时代吗?
苹果能引领端侧AI时代吗?端云结合是长期状态
来自主题: AI技术研报
5278 点击 2024-09-11 09:52
端云结合是长期状态
2024年过去2/3,大模型领域的一个共识开始愈加清晰:AI技术的真正价值在于其普惠性。没有应用,基础模型将无法发挥其价值。
GPU功耗高,不适边缘计算;多种AI硬件适应边缘应用。
腾讯研究院AGI路线图系列专题一
从前两年的百模大战到大语言模型 LLM(Large Language Model)的逐步落地应用,端侧AI始终是人工智能技术发展中至关重要的一环。 所谓的端侧AI,即用户在使用过程中不依赖云服务器,直接在终端设备本地使用AI服务。相比于ChatGPT4.0和最新推出的Llama3.1等依赖于云端接口的主流大语言模型,设备端边缘应用的紧凑模型有较强的私密性,也具有个性化操作和节省成本等诸多优势。
如何在有限的内存下实现高效的大模型推理,是端侧AI发展的重要任务。
多模态大模型,首次本地部署在安卓手机上了!
纵观刚刚过去的MEET 2024智能未来大会,终端侧AI俨然成为其中一大热词。