7月27日，与ICLR（国际学习表示会议）、NeurIPS（神经信息处理系统会议）并称三大机器学习顶级会议的ICML（国际机器学习大会），在奥地利维也纳会展中心落下帷幕。
随着人工智能（AI）技术的迅猛发展，特别是大语言模型（LLMs）如 GPT-4 和视觉语言模型（VLMs）如 CLIP 和 DALL-E，这些模型在多个技术领域取得了显著的进展。
只用1890美元、3700 万张图像，就能训练一个还不错的扩散模型。
适逢Llama 3.1模型刚刚发布，英伟达就发表了一篇技术博客，手把手教你如何好好利用这个强大的开源模型，为领域模型或RAG系统的微调生成合成数据。
在Meta的Llama 3.1训练过程中，其运行的1.6万个GPU训练集群每3小时就会出现一次故障，意外故障中的半数都是由英伟达H100 GPU和HBM3内存故障造成的。
19秒破解几何难题，谷歌AI夺得IMO银牌在业界掀起了巨震。就连菲尔兹奖得主陶哲轩，前IMO美国队负责人罗博深都对此大加赞赏。更有AI大佬高调预测，若谷歌继续加码研究，应该可以造出一个「AI陶哲轩」。
用扩散模型搞社交信息推荐，怎么解决数据噪声难题？现有的一些自监督学习方法效果还是有限。
前苹果设计师 Jason Yuan 打造的一款 AI 聊天应用——Dot，近期在App store 中上线。
自回归训练方式已经成为了大语言模型（LLMs）训练的标准模式， 今天介绍一篇来自阿联酋世界第一所人工智能大学MBZUAI的VILA实验室和CMU计算机系合作的论文，题为《FBI-LLM: Scaling Up Fully Binarized LLMs from Scratch via Autoregressive Distillation》
Meta 发布 Llama 3.1 405B，开放权重大模型的性能表现首次与业内顶级封闭大模型比肩，AI 行业似乎正走向一个关键的分叉点。扎克伯格亲自撰文，坚定表明「开源 AI 即未来」，再次将开源与封闭的争论推向舞台中央。
在QuantaMagazine的这篇播客中，主持人采访了华盛顿大学计算机教授Yejin Choi。两人谈到十分有趣的话题，比如AI是否必须获得具身和情感，才能发展出像人类一样的常识？
最近，Latent Space发布的播客节目中请来了Meta的AI科学家Thomas Scialom。他在节目中揭秘了Llama 3.1的一些研发思路，并透露了后续Llama 4的更新方向。
最近两款大型 AI 模型相继发布。
随着大型语言模型（LLMs）的进步，多模态大型语言模型（MLLMs）迅速发展。它们使用预训练的视觉编码器处理图像，并将图像与文本信息一同作为 Token 嵌入输入至 LLMs，从而扩展了模型处理图像输入的对话能力。这种能力的提升为自动驾驶和医疗助手等多种潜在应用领域带来了可能性。
开源多模态大模型或将开始腾飞。
用来运行 Llama 3 405B 优势明显。
KAN 在符号表示中领先，但 MLP 仍是多面手。
搜索引擎市场老二微软Bing引进AI搜索功能，集传统搜索结果和AI搜索结果于一体，这次，能撼动老大哥谷歌搜索的江山吗？
牛津剑桥的9次投毒导致模型崩溃的论文，已经遭到了诸多吐槽：这也能上Nature？学术圈则对此进行了进一步讨论，大家的观点殊途同归：合成数据被很多人视为灵丹妙药，但天下没有免费的午餐。
知识图谱作为结构化知识的重要载体，广泛应用于信息检索、电商、决策推理等众多领域。然而，由于不同机构或方法构建的知识图谱存在表示方式、覆盖范围等方面的差异，如何有效地将不同的知识图谱进行融合，以获得更加全面、丰富的知识体系，成为提高知识图谱覆盖度和准确率的重要问题，这就是知识图谱对齐（Knowledge Graph Alignment）任务所要解决的核心挑战。
LLM 很强，而为了实现 LLM 的可持续扩展，有必要找到并实现能提升其效率的方法，混合专家（MoE）就是这类方法的一大重要成员。
RNN每个step的隐状态都取决于上一个step的输出，这种连续的状态转移方式使得RNN天然带有位置信息。
Transformer中的信息流动机制，被最新研究揭开了：
谷歌研究人员对200篇关于生成式AI滥用的新闻报道进行了研究，发现生成式AI造成的虚假信息正在互联网上泛滥成灾。但最讽刺的是，谷歌正是这些虚假信息的重要制造商之一。
9次迭代后，模型开始出现诡异乱码，直接原地崩溃！就在今天，牛津、剑桥等机构的一篇论文登上了Nature封面，称合成数据就像近亲繁殖，效果无异于投毒。有无破解之法？那就是——更多使用人类数据！
AI 竞赛正以前所未有的速度加速，继 Meta 昨天推出其新的开源 Llama 3.1 模型之后，法国 AI 初创公司 Mistral AI 也加入了竞争。
本文介绍清华大学的一篇关于长尾视觉识别的论文: Probabilistic Contrastive Learning for Long-Tailed Visual Recognition. 该工作已被 TPAMI 2024 录用，代码已开源。
OpenAI 的新奖励机制，让大模型更听话了。
就在去年，由斯坦福大学和谷歌的研究团队开发的“AI小镇”一举引爆了人工智能社区，成为各大媒体争相报道的热点。他们让多个基于大语言模型（LLMs）的智能体扮演不同的身份和角色在虚拟小镇上工作和生活，将《西部世界》中的科幻场景照进了现实中。
继去年初的第一代VALL-E模型之后，微软最近又上新了VALL-E 2模型，标志着第一个在合成语音稳健性、相似度、自然程度等方面达到人类水平的文本到语音模型。
