谷歌终于更新了Transformer架构。最新发布的Mixture-of-Depths（MoD），改变了以往Transformer计算模式。它通过动态分配大模型中的计算资源，跳过一些不必要计算，显著提高训练效率和推理速度。
【新智元导读】老黄新GPU深夜炸场，超高规格的背后也付出了不小的代价，小编带大家深入了解一下新架构的硬件细节和成本，新显卡的售价究竟高不高？英伟达也不得不开始卷了
CLIP长文本能力被解锁，图像检索任务表现显著提升！一些关键细节也能被捕捉到。上海交大联合上海AI实验室提出新框架Long-CLIP。
现在，AI 大模型已经疯狂到这种地步了吗？此时此刻，正有两个 Claude 模型在无休止地对话，它们在探索整个宇宙的奥妙。
目前，Video Pose Transformer（VPT）在基于视频的三维人体姿态估计领域取得了最领先的性能。近年来，这些 VPT 的计算量变得越来越大，这些巨大的计算量同时也限制了这个领域的进一步发展，对那些计算资源不足的研究者十分不友好。例如，训练一个 243 帧的 VPT 模型通常需要花费好几天的时间，严重拖慢了研究的进度，并成为了该领域亟待解决的一大痛点。
精彩精彩，第一个把爆火Mamba架构真正扩展到足够大的工作来了。 520亿参数，还是Mamba+Transformer混合架构。 它的名字叫Jamba。
基于案例的推理助力大模型智能体挑战自动化数据科学任务，吉大、上交和汪军团队发布专注于数据科学的智能体构建框架 DS-Agent。
让大模型自己动手，好过让人类动手。黄仁勋对话Transformer八子时，最后一位离开谷歌的论文作者Llion Jones，相信这是大模型技术的关键趋势。他还卖了个关子，预告他创立的Sakana AI马上就有大动作。
去年 8 月，两位著名的前谷歌研究人员 David Ha、Llion Jones 宣布创立一家人工智能公司 Sakana AI，总部位于日本东京。
物体姿态估计在许多现实世界应用中起到至关重要的作用，例如具身智能、机器人灵巧操作和增强现实等。
