热归热，Groq离取代英伟达GPU有多远？
热归热，Groq离取代英伟达GPU有多远？2024 年 4 月 20 日，即 Meta 开源 Llama 3 的隔天，初创公司 Groq 宣布其 LPU 推理引擎已部署 Llama 3 的 8B 和 70B 版本，每秒可输出token输提升至800。
来自主题: AI技术研报
5847 点击 2024-05-02 18:03
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
2024 年 4 月 20 日，即 Meta 开源 Llama 3 的隔天，初创公司 Groq 宣布其 LPU 推理引擎已部署 Llama 3 的 8B 和 70B 版本，每秒可输出token输提升至800。
2024年4月15日，OpenAI CEO Sam Altman与COO Brad Lightcap一同做客播客节目20VC，与Harry Stebbings就OpenAI的快速扩张、部署策略与未来发展图景展开讨论。
在AIGC时代，云计算是不可或缺的算力参与者。如何为企业大模型应用护航，帮助他们以更强的性能、更低的成本完成部署，是每个底层能力厂商都在思索的难题
号称世界首个AI工程师Devin，7×24小时不限时打工，能够debug、训模型、构建部署应用程序，胜任各种代码任务
来自Meta、基于Llama2，可是开源界最先进的AI编程大模型之作
对代码大模型而言，比能做编程题更重要的，是看是能不能适用于企业级项目开发，是看在实际软件开发场景中用得顺不顺手、成本高不高、能否精准契合业务需求，后者才是开发者关心的硬实力。
过去一年，AI大模型技术飞速发展，如何用好大模型实现降本增效、推动业务增长，成为了企业真正关心的问题。据Gartner预测，2026年，将有超过80%企业会使用生成式AI的API或模型，或在生产环境中部署支持生成式AI的应用，产业发展迎来巨大的机遇与挑战。
最近一份美国市场研究机构发布的报告火了。报告详细分析了OpenAI部署Sora所需的硬件资源，计算得出，在峰值时期Sora需要高达72万张英伟达H100 来支持，对应成本是1561亿人民币。
当OepnAI和马斯克连日互杠、Google因文化偏见麻烦缠身、号称抢走GPT-4王位的Claude 3全力瞄准企业级部署的时候，在另一个角落，致力于「为每个人开发服务型AI」的人工智能初创公司Inflection AI，悄悄更新了他们的聊天机器人Pi，以及为之提供支持的新一代大模型Inflection-2.5。
对大模型进行量化、剪枝等压缩操作，是部署时最常见不过的一环了。