打破AI计算生态系统的瓶颈,Foundry获8000万美元新融资
打破AI计算生态系统的瓶颈,Foundry获8000万美元新融资目前,GPU芯片紧缺成为AI行业面临的问题,另一方面,因为传统云服务计算架构与AI计算负载的不匹配,大量GPU计算资源没有被充分利用。
目前,GPU芯片紧缺成为AI行业面临的问题,另一方面,因为传统云服务计算架构与AI计算负载的不匹配,大量GPU计算资源没有被充分利用。
从互联网时代到算力网时代,交换机正在扼住AI咽喉。
如果说2023年是大家公认的AI元年,那么2024年很可能就是AI大模型普及的关键一年。 在这一年里,大量的AI大模型、大量的AI应用问世,Meta、Google等厂商也开始面向民众推出自己的在线/本地大模型,似乎“AI人工智能”瞬间从一个遥不可及的概念,就这么突然来到了人们身边。
近日,朱泽园 (Meta AI) 和李远志 (MBZUAI) 的最新研究《语言模型物理学 Part 3.3:知识的 Scaling Laws》用海量实验(50,000 条任务,总计 4,200,000 GPU 小时)总结了 12 条定律,为 LLM 在不同条件下的知识容量提供了较为精确的计量方法。
随着AI技术的广泛应用,从智能手机到自动驾驶汽车,从智能家居到工业自动化,AI供电芯片的需求量正呈爆炸式增长。它不仅为AI系统提供稳定的电力供应,确保系统的正常运行,而且还肩负着节能减排、降低能耗的重任。
不降低大模型算法精度,还能把芯片的算力利用效率提升 2~10 倍,这就是编译器的魅力。
算力供需平衡预计到2030年才能实现
近日,天才程序员Justine Tunney发推表示自己更新了Llamafile的代码,通过手搓84个新的矩阵乘法内核,将Llama的推理速度提高了500%!
【新智元导读】老黄新GPU深夜炸场,超高规格的背后也付出了不小的代价,小编带大家深入了解一下新架构的硬件细节和成本,新显卡的售价究竟高不高?英伟达也不得不开始卷了