一种模型调用方法、装置、设备及存储介质

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种模型调用方法、装置、设备及存储介质
申请号:CN202510884571
申请日期:2025-06-27
公开号:CN120806135A
公开日期:2025-10-17
类型:发明专利
摘要
本申请实施例提供了一种模型调用方法、装置、设备及存储介质,可应用于人工智能技术领域,在该方法中,接收待处理任务中多个子任务各自的样本信息,分别将每个子任务的样本信息与设定的提示模板融合,得到每个子任务的提示文本,确定待处理任务指定的目标模型,目标模型部署在目标设备;当目标设备的资源利用率小于第一阈值时,基于资源利用率,从多个子任务中选取至少一个子任务;将至少一个子任务各自的提示文本输入目标模型进行并发推理,获得至少一个子任务各自的推理结果,实现了大量并发任务的复杂环境下系统吞吐能力的最大化,从而提高了任务处理的效率。
技术关键词
计算机设备 文本 样本 计算机程序产品 模板 资源 存储程序指令 可读存储介质 人工智能技术 模块 队列 存储器 标记 处理器