一种多用户多出口DNN推理分区与任务调度方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种多用户多出口DNN推理分区与任务调度方法
申请号:CN202411635248
申请日期:2024-11-15
公开号:CN119599127A
公开日期:2025-03-11
类型:发明专利
摘要
一种多用户多出口DNN推理分区与任务调度方法,在每个用户设备和边缘服务器上都部署了经过训练的多出口DNN模型,在一段时隙内,任务到达用户设备满足泊松分布并被存储在用户设备的任务队列中;以策略可行性区间为约束,以任务的出口点、分区点以及调度决策为优化变量,建立以最大化一段时隙内任务推理的总完成率和推理准确率为目标的优化问题P;将问题解耦为服务器调度优化问题P1,建立服务器任务的图模型,使用双贪心算法求解问题P1;再将问题简化为P2,建立马尔可夫决策过程,使用多智能体强化学习算法求解最优策略。本发明适用于多用户设备进行多出口DNN推理分区,能有效提高一段时间内的任务完成率和推理准确率。
技术关键词
服务器 多智能体强化学习 任务调度方法 分区 DNN模型 贪心算法 决策 多用户 策略 队列 数学模型 方格 变量 网络 分类器 分支 数据 终端