一种可视化数据平台全链路数据流转溯源方法、系统、设备及介质

本发明涉及大数据治理与数据分析技术领域，公开了一种可视化数据平台全链路数据流转溯源方法、系统、设备及介质，包括：监听作业调度流程提交事件，解析各个作业节点的输入输出配置信息，转换成数据流转模型保存到溯源数据库中；对节点脚本和代码进行静态分析，保存解析结果到溯源数据库中；为每个数据记录生成唯一标识符，并在数据流转过程中记录相关信息；通过Kafka异步消息将数据流转关系写入到图数据库Neo4j中，用户通过可视化界面进行数据溯源查询。本发明的有益效果：提高了数据质量和安全性，解决主流开源工具在数据血缘分析功能方面的局限性和复杂度。