
斯坦福让“GPU高速运转”的新工具火了,比FlashAttention2更快
斯坦福让“GPU高速运转”的新工具火了,比FlashAttention2更快AI算力资源越发紧张的当下,斯坦福新研究将GPU运行效率再提升一波——
AI算力资源越发紧张的当下,斯坦福新研究将GPU运行效率再提升一波——
啊?是不是看花眼了?
大模型的下一个突破方向是什么?斯坦福大学教授吴恩达的答案是AI智能体工作流。
去年10月,硅谷VC巨头Vinod Khosla曾在X发文,“忧心忡忡”地称美国的开源大模型都会被中国抄去。万万没想到,8个多月过去,射出的回旋镖最终扎回了自己的心。
斯坦福团队抄袭清华系大模型事件后续来了—— Llama3-V团队承认抄袭,其中两位来自斯坦福的本科生还跟另一位作者切割了。
面壁智能回应:“深表遗憾”,这也是一种“受到国际团队认可的方式”。
大模型抄袭丑闻总是不断。
斯坦福大学的研究人员研究了RAG系统与无RAG的LLM (如GPT-4)相比在回答问题方面的可靠性。研究表明,RAG系统的事实准确性取决于人工智能模型预先训练的知识强度和参考信息的正确性。
比斯坦福DPO(直接偏好优化)更简单的RLHF平替来了,来自陈丹琦团队。 该方式在多项测试中性能都远超DPO,还能让8B模型战胜Claude 3的超大杯Opus。 而且与DPO相比,训练时间和GPU消耗也都大幅减少。
提高 GPU 利用率,就是这么简单。