一种大数据应用优化方法、装置及存储介质

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种大数据应用优化方法、装置及存储介质
申请号:CN202511100858
申请日期:2025-08-07
公开号:CN120973531A
公开日期:2025-11-18
类型:发明专利
摘要
本发明属于大数据技术领域,具体为一种大数据应用优化方法,包括以下步骤:S1:实时采集系统负载指标,所述负载指标包括CPU负载、内存负载、磁盘I/O负载及网络负载;S2:基于强化学习模型动态调整计算节点资源分配策略,具体包括以下步骤:S2.1:‌数据采集与预处理;S2.2:算法选择与训练;S2.3:策略部署与在线学习;S3:采用分级缓存机制预加载高频访问数据,减少磁盘I/O延迟,具体包括以下步骤:S3.1:缓存优化‌;S3.2:‌存储架构优化;S3.3:文件系统优化。本发明通过动态资源调度与智能缓存协同,解决了大数据应用中资源浪费与性能瓶颈问题,尤其适用于物联网、金融科技等高时效性领域。
技术关键词
文件系统 资源分配策略 大数据 强化学习模型 采集系统 集群资源利用率 模拟真实负载 磁盘 全局资源分配 缓存机制 负载监测单元 支持横向扩展 RAID配置 内存 缓存管理单元 动态调度算法 动态资源调度 分层强化学习 连续动作空间