摘要
本发明涉及数据处理技术领域,特别涉及一种支持多源异构数据的处理方法及系统,所述方法包括:从不同的目标系统采集数据,并为每条数据添加对应目标系统的识别标签;构建多条与ETL路径并行的实时流水线对采集到的数据进行处理,将解析失败数据写入错误数据区,并生成警告信息;将采集到的数据去除解析失败数据后写入临时存储区内;将实时数据处理系统的输出和/或ETL路径的输出写入数据仓库;利用数据仓库内数据创建可视化的动态报表,通过预训练的机器学习模型对动态报表数据进行分析预测,并将预测结果写入动态报表,以预测库存需求和识别供应商风险。