日均产出万亿Token!Mooncake落地生产,KV Cache命中率稳定突破90%
日均产出万亿Token!Mooncake落地生产,KV Cache命中率稳定突破90%趋境科技通过部署SGLang HiCache+Mooncake Store,将KV Cache从单机资源升级为集群级共享池化资源,支撑其日均产出超万亿Token的生产实践,KV Cache命中率稳定突破90%,并在生产环境中持续优化大规模推理集群的性能与稳定性。
搜索
趋境科技通过部署SGLang HiCache+Mooncake Store,将KV Cache从单机资源升级为集群级共享池化资源,支撑其日均产出超万亿Token的生产实践,KV Cache命中率稳定突破90%,并在生产环境中持续优化大规模推理集群的性能与稳定性。
RunningHub推出开源的H3 Lightning加速方案,在保留BF16满血精度的前提下使MiniMax H3视频生成速度提升约12倍,依托RH后训练加速模型、SageAttention2等工程优化并针对无NVLink的PCIe多卡环境调优,目前已全部开源至GitHub,支持创作者本地部署。
具身智能讨论的核心问题正在改变:从谁有更多数据能做出更强基础模型,转向谁能把机器人真正部署到现场,并让它持续做成任务。
真正的壁垒,藏在没法开源的部署Know-how里。
OpenAI发文宣布其"自动化AI研究实习生"已于2026年9月正式部署,并首次披露内部数据显示AI Agent工时已达人类研究员的3.1倍,黄仁勋同日公开表示AGI已经到来。
AI制药公司Owkin与勃林格殷格翰达成许可协议,将人工智能科学家K Pro及多模态患者数据用于肿瘤学和免疫学多个适应症的药物发现,K Pro已将Owkin内部药物靶点识别速度提升70%。
荷兰AI初创公司Wonderful完成5.5亿美元C轮融资,估值达50亿美元,其打造的AI操作系统AI OS可统一管理企业跨模型、跨部署方式的AI工作流,目前团队已扩展至650人并覆盖35个市场。
百融智能"硅基客服"在物流企业日通话量从不足1000通增至1.5万通,并在券商领域部署规模从30席扩至约210席,公司以新一代AICC智能联络技术和RaaS按结果付费模式,推动企业级Agent向航空、运营商等多行业扩张。
COCO Matrix CEO高宇翔在访谈中提出,真实世界不可能被提前穷举,具身智能应将In-Context Learning作为核心范式,让机器人通过现场示范和纠正直接适应新任务与新环境,而非每遇到新任务都依赖重新采集大量数据并训练模型,从而显著降低部署门槛和适配成本。
Perplexity推出本地优先智能体Portable Computer,通过专为端侧模型设计的Harness配合Qwen3.8-27B实现近零成本的本地推理,并在多项基准测试中超越Hermes和Pi等开源通用框架。