阿里通义发布并行计算新策略：1.6B等效4.4B，内存消耗骤降95%
阿里通义发布并行计算新策略：1.6B等效4.4B，内存消耗骤降95%既能提升模型能力，又不显著增加内存和时间成本，LLM第三种Scaling Law被提出了。
来自主题: AI技术研报
6891 点击 2025-05-28 14:21
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
既能提升模型能力，又不显著增加内存和时间成本，LLM第三种Scaling Law被提出了。
Meta推出KernelLLM，这个基于Llama 3.1微调的8B模型，竟能将PyTorch代码自动转换为高效Triton GPU内核。实测数据显示，它的单次推理性能超越GPT-4o和DeepSeek V3，多次生成时得分飙升。
首个用于加速扩散式大语言模型（diffusion-based Large Language Models, 简称 dLLMs）推理过程的免训练方法。
随着大语言模型（LLM）能力的快速迭代，传统评估方法已难以满足需求。如何科学评估 LLM 的「心智」特征，例如价值观、性格和社交智能？如何建立更全面、更可靠的 AI 评估体系？北京大学宋国杰教授团队最新综述论文（共 63 页，包含 500 篇引文），首次尝试系统性梳理答案。
别人都在用 X 发帖子，分享新鲜事物，微软副总裁 Nando de Freitas 却有自己的想法：他要在 X 上「开课」，发布一些关于人工智能教育的帖子。该系列会从 LLM 的强化学习开始，然后逐步讲解扩散、流匹配，以及看看这些技术接下来会如何发展。
近年来，LLM 及其多模态扩展（MLLM）在多种任务上的推理能力不断提升。然而， 现有 MLLM 主要依赖文本作为表达和构建推理过程的媒介，即便是在处理视觉信息时也是如此 。
现有的数据合成方法在合理性和分布一致性方面存在不足，且缺乏自动适配不同数据的能力，扩展性较差。
在文档理解领域，多模态大模型（MLLMs）正以惊人的速度进化。从基础文档图像识别到复杂文档理解，它们在扫描或数字文档基准测试（如 DocVQA、ChartQA）中表现出色，这似乎表明 MLLMs 已很好地解决了文档理解问题。然而，现有的文档理解基准存在两大核心缺陷：
上月，ChatGPT-4o无条件跪舔用户，被OpenAI紧急修复。然而，ICLR 2025的文章揭示LLM不止会「跪舔」，还有另外5种「套路」。
大家好，我是袋鼠帝 一直以来，分享了不少关于工作流平台、LLM应用平台的不少干货文章。 主要包含：Dify、Coze、n8n、Fastgpt、Ragflow。大家好，我是袋鼠帝 一直以来，分享了不少关于工作流平台、LLM应用平台的不少干货文章。 主要包含：Dify、Coze、n8n、Fastgpt、Ragflow