AI资讯新闻榜单内容搜索-tokens

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: tokens
想知道你的LLM API被过度收费了吗?隐藏的Tokens终于可以被审计了

想知道你的LLM API被过度收费了吗?隐藏的Tokens终于可以被审计了

想知道你的LLM API被过度收费了吗?隐藏的Tokens终于可以被审计了

近年来,大型语言模型(LLM)在处理复杂任务方面取得了显著进展,尤其体现在多步推理、工具调用以及多智能体协作等高级应用中。这些能力的提升,往往依赖于模型内部一系列复杂的「思考」过程或 Agentic System 中的 Agent 间频繁信息交互。

来自主题: AI技术研报
6330 点击    2025-06-18 11:05
秘塔AI推出“极速”模型,400 tokens/s,你搜索,我秒回

秘塔AI推出“极速”模型,400 tokens/s,你搜索,我秒回

秘塔AI推出“极速”模型,400 tokens/s,你搜索,我秒回

是的,秘塔AI搜索推出了全新“极速”模型。通过在GPU上进行kernel fusion,以及在CPU上进行动态编译优化,我们在单张H800 GPU上实现了最高400 tokens/秒的响应速度,大部分问题2秒内就能答完。

来自主题: AI资讯
8954 点击    2025-05-27 09:45
ICML 2025|如何凭「自动补全」实现100K生成3×加速?

ICML 2025|如何凭「自动补全」实现100K生成3×加速?

ICML 2025|如何凭「自动补全」实现100K生成3×加速?

在当前大模型推理愈发复杂的时代,如何快速、高效地产生超长文本,成为了模型部署与优化中的一大核心挑战。

来自主题: AI技术研报
7254 点击    2025-05-18 14:38
OpenAI没说的秘密,Meta全揭了?华人一作GPT-4o同款技术,爆打扩散王者

OpenAI没说的秘密,Meta全揭了?华人一作GPT-4o同款技术,爆打扩散王者

OpenAI没说的秘密,Meta全揭了?华人一作GPT-4o同款技术,爆打扩散王者

自回归模型,首次生成2048×2048分辨率图像!来自Meta、西北大学、新加坡国立大学等机构的研究人员,专门为多模态大语言模型(MLLMs)设计的TokenShuffle,显著减少了计算中的视觉Token数量,提升效率并支持高分辨率图像合成。

来自主题: AI技术研报
7928 点击    2025-04-28 09:16
刚刚,智谱一口气开源6款模型,200 tokens/秒解锁商用速度之最 | 免费

刚刚,智谱一口气开源6款模型,200 tokens/秒解锁商用速度之最 | 免费

刚刚,智谱一口气开源6款模型,200 tokens/秒解锁商用速度之最 | 免费

就在刚刚,智谱一口气上线并开源了三大类最新的GLM模型:沉思模型GLM-Z1-Rumination 推理模型GLM-Z1-Air 基座模型GLM-4-Air-0414

来自主题: AI资讯
6974 点击    2025-04-15 11:01
北大团队提出LIFT:将长上下文知识注入模型参数,提升大模型长文本能力

北大团队提出LIFT:将长上下文知识注入模型参数,提升大模型长文本能力

北大团队提出LIFT:将长上下文知识注入模型参数,提升大模型长文本能力

长文本任务是当下大模型研究的重点之一。在实际场景和应用中,普遍存在大量长序列(文本、语音、视频等),有些甚至长达百万级 tokens。

来自主题: AI技术研报
7275 点击    2025-03-17 16:04