模型参数作知识通用载体,MergeNet离真正的异构知识迁移更进一步
模型参数作知识通用载体,MergeNet离真正的异构知识迁移更进一步知识蒸馏通过训练一个紧凑的学生模型来模仿教师模型的 Logits 或 Feature Map,提高学生模型的准确性。迁移学习则通常通过预训练和微调,将预训练阶段在大规模数据集上学到的知识通过骨干网络共享应用于下游任务。
知识蒸馏通过训练一个紧凑的学生模型来模仿教师模型的 Logits 或 Feature Map,提高学生模型的准确性。迁移学习则通常通过预训练和微调,将预训练阶段在大规模数据集上学到的知识通过骨干网络共享应用于下游任务。
TurboLearn AI 通过自动将讲座录音转化为有组织的笔记、闪卡和测验,让学生专注于学习,减少因错过关键细节而产生的压力。
最近,AI界被推理模型刷屏了。国内各家的推理模型,在新年到来之际不断刷新我们的认知。不过,当我们在实际应用中考量大模型,衡量好不好用的标准,就绝不仅仅局限于其性能和规模了。
DeepSeek 20 日发布以来获得的热度至今依然没有任何消退的迹象。一觉醒来,DeepSeek 发布的 iOS 应用甚至超越了 ChatGPT 的官方应用,直接登顶 AppStore。
有人自豪地晒出自己的标准英文口语,被AI认证为美国、英国口音,也有人充满喜剧效果地念着一串磕磕绊绊的英语,通过AI证明了自己“纯血中国人”的身份,更有趣的是那些AI判定出人意料的结果,让网友直呼:“为什么AI说我的英文是咖喱味的?”
文库业务已经成为百度AI的新火种。去年世界大会,文库被提及顺序领先于文心一言。2025年的第一天,百度成立25周年之际,李彦宏的内部信通篇不提文心一言,反而专门为文库留下了一句“在大模型应用领域独树一帜”的评价。
检索增强生成(RAG)虽好,但一直面临着资源消耗大、部署复杂等技术壁垒。近日,香港大学黄超教授团队提出MiniRAG,成功将RAG技术的应用门槛降至1.5B参数规模,实现了算力需求的大幅降低。这一突破性成果不仅为边缘计算设备注入新活力,更开启了基于小模型轻量级RAG的探索。
从软件工程和网络安全的角度来看,当前的AI落地前景如何?「可解释性」方面的研究,真的能让AI拜托「黑箱」属性吗?
我宣布,今年除夕夜拿春晚当BGM,但手里正儿八经真正在做的事,已经有了!
AI硬件能孕育出新的巨头吗2025年初,在AI大模型和AI应用热潮之后,消费级AI硬件也开始逐步受到市场和资本的关注,除了手机和PC外,AI也确实正在改变消费电子产品的外延和形态。截至目前,我们统计至少已有117家公司入局了AI硬件。这些硬件产品主要集中在眼镜、耳机、教育、陪伴、助理和健康六大领域,其中有超7成为中国公司,除中国之外,美、日、韩、印、以色列企业均有参与。