摘要
本发明公开了一种一种面向多源异构数据源的数据普查方法及装置,数据普查方法包括:步骤S1、数据源初始化与元数据维护:接入多源异构数据源,建立包含基础信息、元数据及状态标识的数据源信息表;步骤S2、动态调度策略生成:根据数据源优先级、更新频率及数据量生成初始调度计划;步骤S3、增量识别与统计:对结构化数据源采用时间戳对比或事务日志解析,对非结构化数据源采用文件哈希或分块校验,输出增量统计日志;步骤S4、多源数据整合与输出,可视化展示及接口输出。本发明的技术效果为:本发明通过动态调度引擎、增量识别规则引擎、统一适配框架三大创新,实现了:资源利用率提升,处理效率飞跃,扩展性显著增强。