AI资讯新闻榜单内容搜索-无问芯穹

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
AITNT-国内领先的一站式人工智能新闻资讯网站 搜索
搜索: 无问芯穹
大模型压缩量化方案怎么选?无问芯穹Qllm-Eval量化方案全面评估:多模型、多参数、多维度

大模型压缩量化方案怎么选?无问芯穹Qllm-Eval量化方案全面评估:多模型、多参数、多维度

大模型压缩量化方案怎么选?无问芯穹Qllm-Eval量化方案全面评估:多模型、多参数、多维度

基于 Transformer架构的大型语言模型在各种基准测试中展现出优异性能,但数百亿、千亿乃至万亿量级的参数规模会带来高昂的服务成本。例如GPT-3有1750亿参数,采用FP16存储,模型大小约为350GB,而即使是英伟达最新的B200 GPU 内存也只有192GB ,更不用说其他GPU和边缘设备。

来自主题: AI技术研报
8502 点击    2024-06-19 23:30
百亿tokens免费额度,清华系明星AI公司的羊毛薅起来

百亿tokens免费额度,清华系明星AI公司的羊毛薅起来

百亿tokens免费额度,清华系明星AI公司的羊毛薅起来

百亿token补贴,4月起免费!这次的羊毛来自清华系AI公司无问芯穹,企业与个人皆可薅~这家公司成立于2023年5月,目标是打造大模型软硬件一体化最佳算力解决方案。

来自主题: AI资讯
5951 点击    2024-04-01 11:10
无问芯穹夏立雪:目标将大模型算力成本压缩四个数量级,为算力市场带来增量

无问芯穹夏立雪:目标将大模型算力成本压缩四个数量级,为算力市场带来增量

无问芯穹夏立雪:目标将大模型算力成本压缩四个数量级,为算力市场带来增量

算力不足仍然是制约通用人工智能发展的重要因素。GPU Utils 今年 8 月的一份数据显示,全球目前 H100 等效算力的供给缺口达到 43 万张。在解决算力不足的问题上,除了抢购和囤积英伟达,更多的方案正在浮出水面。

来自主题: AI资讯
10174 点击    2023-12-24 15:20