一种支持多源异构数据的处理方法及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种支持多源异构数据的处理方法及系统
申请号:CN202510363080
申请日期:2025-03-26
公开号:CN119884229B
公开日期:2025-06-24
类型:发明专利
摘要
本发明涉及数据处理技术领域,特别涉及一种支持多源异构数据的处理方法及系统,所述方法包括:从不同的目标系统采集数据,并为每条数据添加对应目标系统的识别标签;构建多条与ETL路径并行的实时流水线对采集到的数据进行处理,将解析失败数据写入错误数据区,并生成警告信息;将采集到的数据去除解析失败数据后写入临时存储区内;将实时数据处理系统的输出和/或ETL路径的输出写入数据仓库;利用数据仓库内数据创建可视化的动态报表,通过预训练的机器学习模型对动态报表数据进行分析预测,并将预测结果写入动态报表,以预测库存需求和识别供应商风险。
技术关键词
实时数据处理系统 多源异构数据 机器学习模型 滑动时间窗口 比例积分控制算法 报表 语义标签 动态 滑动窗口 识别标签 强化学习算法 流数据处理系统 系统特征 时间序列预测模型 资源 数据处理引擎 插件 数据采集接口 NTP协议