基于多目标强化学习的分布式流处理系统参数调优方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于多目标强化学习的分布式流处理系统参数调优方法
申请号:CN202511520893
申请日期:2025-10-23
公开号:CN120973549A
公开日期:2025-11-18
类型:发明专利
摘要
本发明公开了一种基于多目标强化学习的分布式流处理系统参数调优方法,首先设计了实时采集流处理作业算子状态的方法,用于为调优过程提供数据支持;进而设计了一种离线多目标强化学习方法,以在系统性能和资源使用效率的不同权重下快速学习全量参数空间的最优配置值;此外,本发明还设计了一种动态调整参数的方法,实现在动态工作负载下的平滑适应,确保作业图兼容性,且最小化生产环境下切换配置的成本。由此,本发明能在动态工作负载下快速自适应调优,有效平衡分布式流处理系统的性能与资源开销,降低流处理服务用户的运行成本。
技术关键词
分布式流 参数调优方法 强化学习模型 强化学习方法 速率 收集器 资源 动态 在线 处理器 计算机设备 离线 指标 可读存储介质 决策 存储器 策略