大数据集群迁移中的数据验证方法、装置、设备及介质

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
大数据集群迁移中的数据验证方法、装置、设备及介质
申请号:CN202511045588
申请日期:2025-07-28
公开号:CN120950481A
公开日期:2025-11-14
类型:发明专利
摘要
本发明涉及大数据技术领域,提供了一种大数据集群迁移中的数据验证方法、装置、设备及介质,其中方法包括:获取源数据集群和目标数据集群;根据标准数仓分层策略分别将源数据集群和目标数据集群划分为多个数据层,并针对各数据层绑定不同的数据比对策略;建立指纹基线表并构建抽样模型特征库;对各数据层进行数据分片处理,控制各数据层并行执行数据比对任务;若检测到目标数据集群和源数据集群的任一数据层存在差异,记录差异数据并进行数据修复。本发明通过将源数据集群和目标数据集群分层并行分片比对,让每一层的多个分片同时并行地进行数据比对任务,对各数据层绑定不同的比对策略,能够比对过程,提高整体的数据处理效率。
技术关键词
数据验证方法 集群 分层策略 分片 抽样模型 指纹 指标 黄金 降级策略 可读存储介质 大数据技术 数据获取模块 字段 队列 处理器 特征工程 报表