一种基于多源异构元数据与预训练大模型的数据血缘全链路溯源方法及系统
申请号:CN202510388535
申请日期:2025-03-31
公开号:CN119917814B
公开日期:2025-09-19
类型:发明专利
摘要
本发明提供了一种基于多源异构元数据与预训练大模型的数据血缘全链路溯源方法及系统,所述方法包括以下步骤:S1:采集元数据并对数据进行预处理;S2:使用数据血缘关系检测模型对S1处理后的数据进行识别,输出数据实体间的血缘概率矩阵;S3:基于动态阈值对血缘概率矩阵进行过滤生成血缘关系图谱;S4:对S3中获得的血缘关系图谱进行渲染来将数据血缘关系进行可视化。本发明通过元数据多维度特征提取与深度学习大模型的端到端训练,解决传统技术规则僵化、计算效率低、语义理解不足等问题,实现了高精度、自适应的数据血缘关系建模。
技术关键词
数据血缘关系
溯源方法
溯源系统
异构
链路
图谱
滑动窗口
数据处理流水线
网关单元
可视化模块
二维卷积神经网络
矩阵
非暂态计算机可读存储介质
Kafka集群
调用API接口
多维度特征提取
支持用户交互
在线学习机制
编码