多模型协同推理方法、装置、设备及存储介质

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
多模型协同推理方法、装置、设备及存储介质
申请号:CN202411748375
申请日期:2024-11-29
公开号:CN119578552A
公开日期:2025-03-07
类型:发明专利
摘要
本公开提供了一种多模型协同推理方法、装置、设备及存储介质,涉及计算机技术领域。该方法包括:基于第一模型处理数据得到第一标记,基于第一标记与预设标记的关联数据生成第一中间标记,基于第一中间标记以及预设标记的关联数据生成第二中间标记,基于第二模型对第一中间标记以及第二中间标记进行校验,在校验未通过的情况下,基于第二模型处理第一标记、第一中间标记以及第二中间标记中的至少一个,得到多模型协同处理结果,通过多模型协同处理提高了模型推理的效率。
技术关键词
多模型协同 标记 推理方法 时延 负载均衡数据 推理装置 贪心算法 处理器 校验模块 可读存储介质 决策 变量 电子设备 指令 总量 存储器 计算机
系统为您推荐了相关专利信息
金属化薄膜电容器 监测方法 物理 高速数据采集设备 多尺度
审核方法 音频 中文自然语言 语义分析模型 滑动窗口机制
卸载方法 车联网环境 建立网络通信 节点间链路 联网车辆
扇区 数据加密 有效性 硬盘 加密算法
车辆行驶轨迹 警示系统 车辆行驶数据 车道 表达式