摘要
本发明公开了基于云计算的大数据分布式存储与并行处理协同方法,该方法包括:通过自适应动态分块引擎实时感知数据流特征,动态调整分块策略并生成元数据标签;通过综合评价算法构建节点选择模型,选择存储节点组成最优存储集群,通过负载优化模块基于负载状态动态调整资源匹配权重系数;将数据处理任务分解为并行子任务单元,构建双目标优化模型;通过分布式监控代理并结合分级预警策略触发动态再平衡机制;构建多级缓存体系优化数据访问路径,输出最终结果推送至用户终端并更新知识库。本发明通过动态分块、多维资源调度、弹性伸缩及智能缓存技术的协同优化,显著提升系统资源利用率、负载均衡能力及高并发场景下的稳定性。