一种数据采集准确性检测和修复系统及其控制方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种数据采集准确性检测和修复系统及其控制方法
申请号:CN202411010133
申请日期:2024-07-26
公开号:CN118550975B
公开日期:2024-09-27
类型:发明专利
摘要
本发明提供一种数据采集准确性检测和修复系统及其控制方法,系统包括比对系统和修复系统;其中,所述比对系统包括配置单元、拉取数据单元和比对单元;所述修复系统包括读取配置单元、校验数据单元及数据修复单元;系统采用巡检方式或即时方式运行;通过对用户库数据和实时数仓数据按主键和字段进行比对,找到异常数据。对比的主键和字段是有限的,从而保证数据的拉取是轻量级的;对比的主键和字段是可配置的,能够灵活的满足比对需求;对比过程是单个用户单个表力度的,所需资源很小。降低了整体的成本,并且对用户库和实时数仓的影响极小,降低执行成本的同时降低对可用性的影响。
技术关键词
修复系统 比对系统 巡检方式 存储单元 异常数据 数据更新 表格 分布式计算框架 数据字 字段 列表 对象 算法 关系 日期 逻辑 标识 物理