AI资讯新闻榜单内容搜索-推理成本

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: 推理成本
英伟达提出全新Star Attention,10倍加速LLM推理!登顶Hugging Face论文榜

英伟达提出全新Star Attention,10倍加速LLM推理!登顶Hugging Face论文榜

英伟达提出全新Star Attention,10倍加速LLM推理!登顶Hugging Face论文榜

大模型如今已具有越来越长的上下文,而与之相伴的是推理成本的上升。英伟达最新提出的Star Attention,能够在不损失精度的同时,显著减少推理计算量,从而助力边缘计算。

来自主题: AI技术研报
7281 点击    2024-12-05 11:27
NeurIPS 2024 | 水印与高效推理如何两全其美?最新理论:这做不到

NeurIPS 2024 | 水印与高效推理如何两全其美?最新理论:这做不到

NeurIPS 2024 | 水印与高效推理如何两全其美?最新理论:这做不到

近日,DeepMind 团队将水印技术和投机采样(speculative sampling)结合,在为大语言模型加入水印的同时,提升其推理效率,降低推理成本,因此适合用于大规模生产环境。

来自主题: AI技术研报
7008 点击    2024-11-22 10:14
推理成本直降99%!百川智能「1+3」矩阵揭秘,两张4090玩转旗舰新模型

推理成本直降99%!百川智能「1+3」矩阵揭秘,两张4090玩转旗舰新模型

推理成本直降99%!百川智能「1+3」矩阵揭秘,两张4090玩转旗舰新模型

大模型热,企业落地难?就在刚刚,百川智能推出「1+3」产品矩阵,一站式解决大模型商业化难题。「系列优质通用数据+领域增强训练工具链」,仅需10分钟就能让企业自主成为模型定制增强专家,实现行业最佳的多场景可用率。

来自主题: AI资讯
4732 点击    2024-11-01 14:40
第一个100%开源的MoE大模型,7B的参数,1B的推理成本

第一个100%开源的MoE大模型,7B的参数,1B的推理成本

第一个100%开源的MoE大模型,7B的参数,1B的推理成本

训练代码、中间 checkpoint、训练日志和训练数据都已经开源。

来自主题: AI技术研报
9441 点击    2024-09-05 22:02
OpenAI到底亏了多少钱?

OpenAI到底亏了多少钱?

OpenAI到底亏了多少钱?

The Information近日爆出了一则OpenAI的亏损新闻,其中新增的关键数据包括: OpenAI目前单月收入约为2.83mnUSD,全年营收可能在35~45亿美金。 OpenAI 24年推理成本将达到40亿美金,训练成本将达到30亿美金。

来自主题: AI资讯
6620 点击    2024-08-05 15:17
吴恩达团队新作:多模态多样本上下文学习,无需微调快速适应新任务

吴恩达团队新作:多模态多样本上下文学习,无需微调快速适应新任务

吴恩达团队新作:多模态多样本上下文学习,无需微调快速适应新任务

本研究评估了先进多模态基础模型在 10 个数据集上的多样本上下文学习,揭示了持续的性能提升。批量查询显著降低了每个示例的延迟和推理成本而不牺牲性能。这些发现表明:利用大量演示示例可以快速适应新任务和新领域,而无需传统的微调。

来自主题: AI技术研报
9772 点击    2024-06-19 23:13
字节开源大模型量化新思路,2-bit量化模型精度齐平fp16

字节开源大模型量化新思路,2-bit量化模型精度齐平fp16

字节开源大模型量化新思路,2-bit量化模型精度齐平fp16

随着深度学习大语言模型的越来越火爆,大语言模型越做越大,使得其推理成本也水涨船高。模型量化,成为一个热门的研究课题。

来自主题: AI技术研报
5041 点击    2024-05-13 17:18
华为诺亚频域LLM「帝江」:仅需1/50训练成本,7B模型媲美LLaMA,推理加速5倍

华为诺亚频域LLM「帝江」:仅需1/50训练成本,7B模型媲美LLaMA,推理加速5倍

华为诺亚频域LLM「帝江」:仅需1/50训练成本,7B模型媲美LLaMA,推理加速5倍

基于 Transformer 架构的大语言模型在 NLP 领域取得了令人惊艳的效果,然而,Transformer 中自注意力带来的二次复杂度使得大模型的推理成本和内存占用十分巨大,特别是在长序列的场景中。

来自主题: AI技术研报
5690 点击    2024-04-03 17:29