AI资讯新闻榜单内容搜索-模型蒸馏

关键词: AI,模型训练,Qwen3,人工智能

Qwen3技术报告新鲜出炉，8款模型背后的关键技术被揭晓！

关键词: 模型蒸馏,AI,模型训练,人工智能

模型蒸馏也有「度」，过度蒸馏，只会导致模型性能下降。最近，来自中科院、北大等多家机构提出全新框架，从两个关键要素去评估和量化蒸馏模型的影响。结果发现，除了豆包、Claude、Gemini之外，大部分开/闭源LLM蒸馏程度过高。

关键词: AI,GPT-5,Opus 3.5,模型蒸馏

最近几个月，从各路媒体、AI 社区到广大网民都在关注 OpenAI 下一代大模型「GPT-5」的进展。

关键词: AI,模型训练,模型蒸馏,人工智能,Sinkhorn

用大模型“蒸馏”小模型，有新招了！

关键词: openai,AI,奥特曼,AGI

实时API将完全改变我们与人工智能互动的方式，定制化AI模型成为主流，并且通过模型蒸馏实现低延迟、低成本、高性能，使AI更易使用、更高质量。

关键词: AI,openai,chatGPT,人工智能,模型蒸馏

今天，OpenAI 2024年首场DevDay在旧金山2号码头的Gateway Pavilion低调举办。

关键词: LLM,AI,GNN,蒸馏,文生图

Emory大学的研究团队提出了一种创新的方法，将大语言模型（LLM）在文本图（Text-Attributed Graph, 缩写为TAG）学习中的强大能力蒸馏到本地模型中，以应对文本图学习中的数据稀缺、隐私保护和成本问题。通过训练一个解释器模型来理解LLM的推理过程，并对学生模型进行对齐优化，在多个数据集上实现了显著的性能提升，平均提高了6.2%。

关键词: Llama 3.1,蒸馏,模型蒸馏,AI,SLM

小模型崛起了。