大模型推理成本降10倍、速度快20倍，AI Infra公司「趋境科技」在推理端开创模型落地新路径
大模型推理成本降10倍、速度快20倍，AI Infra公司「趋境科技」在推理端开创模型落地新路径2024年，落地，无疑是大模型最重要的主题。
来自主题: AI资讯
11361 点击 2024-08-20 16:31
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
2024年，落地，无疑是大模型最重要的主题。
最近一份美国市场研究机构发布的报告火了。报告详细分析了OpenAI部署Sora所需的硬件资源，计算得出，在峰值时期Sora需要高达72万张英伟达H100 来支持，对应成本是1561亿人民币。