一种面向多源异构数据源的数据普查方法及装置

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种面向多源异构数据源的数据普查方法及装置
申请号:CN202510931679
申请日期:2025-07-07
公开号:CN120821706A
公开日期:2025-10-21
类型:发明专利
摘要
本发明公开了一种一种面向多源异构数据源的数据普查方法及装置,数据普查方法包括:步骤S1、数据源初始化与元数据维护:接入多源异构数据源,建立包含基础信息、元数据及状态标识的数据源信息表;步骤S2、动态调度策略生成:根据数据源优先级、更新频率及数据量生成初始调度计划;步骤S3、增量识别与统计:对结构化数据源采用时间戳对比或事务日志解析,对非结构化数据源采用文件哈希或分块校验,输出增量统计日志;步骤S4、多源数据整合与输出,可视化展示及接口输出。本发明的技术效果为:本发明通过动态调度引擎、增量识别规则引擎、统一适配框架三大创新,实现了:资源利用率提升,处理效率飞跃,扩展性显著增强。
技术关键词
面向多源异构 普查方法 多源异构数据源 元数据管理模块 日志解析规则 生成统计报表 分块 可视化看板 动态 状态监控模块 退避策略 标准化接口 校验算法 计划 文件系统 格式 资源分配