基于云计算的大数据分布式存储与并行处理协同方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于云计算的大数据分布式存储与并行处理协同方法
申请号:CN202510375144
申请日期:2025-03-27
公开号:CN120315867A
公开日期:2025-07-15
类型:发明专利
摘要
本发明公开了基于云计算的大数据分布式存储与并行处理协同方法,该方法包括:通过自适应动态分块引擎实时感知数据流特征,动态调整分块策略并生成元数据标签;通过综合评价算法构建节点选择模型,选择存储节点组成最优存储集群,通过负载优化模块基于负载状态动态调整资源匹配权重系数;将数据处理任务分解为并行子任务单元,构建双目标优化模型;通过分布式监控代理并结合分级预警策略触发动态再平衡机制;构建多级缓存体系优化数据访问路径,输出最终结果推送至用户终端并更新知识库。本发明通过动态分块、多维资源调度、弹性伸缩及智能缓存技术的协同优化,显著提升系统资源利用率、负载均衡能力及高并发场景下的稳定性。
技术关键词
协同方法 节点 存储集群 分块策略 优化数据访问 多维评价指标 规则生成器 动态 评价算法 分布式监控 模拟退火算法 Bloom过滤器 数据标签 智能缓存技术 特征提取模块 网络拓扑位置 系统资源利用率