
405B大模型也能线性化!斯坦福MIT最新研究,0.2%训练量让线性注意力提分20+
405B大模型也能线性化!斯坦福MIT最新研究,0.2%训练量让线性注意力提分20+近日,来自斯坦福、MIT等机构的研究人员推出了低秩线性转换方法,让传统注意力无缝转移到线性注意力,仅需0.2%的参数更新即可恢复精度,405B大模型两天搞定!
近日,来自斯坦福、MIT等机构的研究人员推出了低秩线性转换方法,让传统注意力无缝转移到线性注意力,仅需0.2%的参数更新即可恢复精度,405B大模型两天搞定!
哈佛斯坦福MIT等机构首次提出「精度感知」scaling law,揭示了精度、参数规模、数据量之间的统一关系。数据量增加,模型对量化精度要求随之提高,这预示着AI领域低精度加速的时代即将结束!
本期我们邀请到了 Hedra 的联合创始人兼 CEO Michael。他曾在斯坦福大学攻读博士学位,由吴教授和李飞飞教授共同指导,专注于物理世界建模与具身智能的交叉研究。在 NVIDIA 的 Omniverse 团队实习期间,他参与了 Omni-Gibson 的研究,对模拟物理与真实感表现系统的结合有深入探索,同时对电影、电视剧和动画等娱乐行业充满热情。
从文字生成三维世界的场景有多难?
在Prompt工程领域,角色扮演提示是否能够有效提高大型语言模型(LLM)的性能一直是一个备受关注的话题。
空间智能版ImageNet来了,来自斯坦福李飞飞吴佳俊团队!
纳尼?AI Agent容易受到弹幕影响! 甚至比人类更容易。
生成式AI正在加速软件开发的速度,一方面帮助有经验的开发者提高效率,另一方面也让没有太多编程经验的人能够快速进入软件工程领域。因此,整个领域的速度在加快,开发出的软件也越来越多。
斯坦福大学奥马尔(Omar)的DSPy研究团队最近更新了他们的项目文档,发了很多不错的案例,以及很多国际知名企业的DSPy用例,这些可能对您的项目有启发。
与最先进的开源方法甚至闭源模型 GPT-4o 相比,MMedAgent 在各种医疗任务中实现了卓越的性能。此外,MMedAgent 在更新和集成新医疗工具方面表现出效率。