AI资讯新闻榜单内容搜索-Tokens

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: Tokens
字节Seed发布扩散语言模型,推理速度达2146 tokens/s,比同规模自回归快5.4倍

字节Seed发布扩散语言模型,推理速度达2146 tokens/s,比同规模自回归快5.4倍

字节Seed发布扩散语言模型,推理速度达2146 tokens/s,比同规模自回归快5.4倍

用扩散模型写代码,不仅像开了倍速,改起来还特别灵活! 字节Seed最新发布扩散语言模型Seed Diffusion Preview,这款模型主要聚焦于代码生成领域,它的特别之处在于采用了离散状态扩散技术,在推理速度上表现出色。

来自主题: AI资讯
5762 点击    2025-08-01 16:04
国产GPU跑满血DeepSeek,已经可以100 tokens/s了!

国产GPU跑满血DeepSeek,已经可以100 tokens/s了!

国产GPU跑满血DeepSeek,已经可以100 tokens/s了!

放眼当下,到底哪个芯片跑满血DeepSeek是最快的? 答案很意外——不是你以为的英伟达,而是一家国产GPU。 因为现在它的速度,已经直接来到了100 tokens/s!

来自主题: AI资讯
5582 点击    2025-07-27 14:04
重塑AI记忆边界:MemOS开源!时序推理较OpenAI提升159%

重塑AI记忆边界:MemOS开源!时序推理较OpenAI提升159%

重塑AI记忆边界:MemOS开源!时序推理较OpenAI提升159%

大模型记忆管理和优化框架是当前各大厂商争相优化的热点方向,MemOS 相比现有 OpenAI 的全局记忆在大模型记忆评测集上呈现出显著的提升,平均准确性提升超过 38.97%,Tokens 的开销进一步降低 60.95%,一举登顶记忆管理的 SOTA 框架,特别是在考验框架时序建模与检索能力的时序推理任务上,提升比例更是达到了 159%,相当震撼!

来自主题: AI技术研报
7046 点击    2025-07-07 14:44
想知道你的LLM API被过度收费了吗?隐藏的Tokens终于可以被审计了

想知道你的LLM API被过度收费了吗?隐藏的Tokens终于可以被审计了

想知道你的LLM API被过度收费了吗?隐藏的Tokens终于可以被审计了

近年来,大型语言模型(LLM)在处理复杂任务方面取得了显著进展,尤其体现在多步推理、工具调用以及多智能体协作等高级应用中。这些能力的提升,往往依赖于模型内部一系列复杂的「思考」过程或 Agentic System 中的 Agent 间频繁信息交互。

来自主题: AI技术研报
6614 点击    2025-06-18 11:05
秘塔AI推出“极速”模型,400 tokens/s,你搜索,我秒回

秘塔AI推出“极速”模型,400 tokens/s,你搜索,我秒回

秘塔AI推出“极速”模型,400 tokens/s,你搜索,我秒回

是的,秘塔AI搜索推出了全新“极速”模型。通过在GPU上进行kernel fusion,以及在CPU上进行动态编译优化,我们在单张H800 GPU上实现了最高400 tokens/秒的响应速度,大部分问题2秒内就能答完。

来自主题: AI资讯
9159 点击    2025-05-27 09:45
ICML 2025|如何凭「自动补全」实现100K生成3×加速?

ICML 2025|如何凭「自动补全」实现100K生成3×加速?

ICML 2025|如何凭「自动补全」实现100K生成3×加速?

在当前大模型推理愈发复杂的时代,如何快速、高效地产生超长文本,成为了模型部署与优化中的一大核心挑战。

来自主题: AI技术研报
7431 点击    2025-05-18 14:38