一种多源异构数据智能清洗处理方法及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种多源异构数据智能清洗处理方法及系统
申请号:CN202510669058
申请日期:2025-05-23
公开号:CN120197042A
公开日期:2025-06-24
类型:发明专利
摘要
本发明公开了一种多源异构数据智能清洗处理方法及系统,属于数据清洗处理方法技术领域,获取工业传感器时序数据、长文本日志数据以及其他高维工业数据,对获取的数据进行清洗、缺失值处理、标准化、文本处理以及时间戳对齐,将预处理后的工业传感器时序数据输入Transformer自编码器,在Transformer输出的低维特征空间中,应用密度敏感的聚类方法,设定邻域半径和最小点数,识别数据密集区形成的数据簇和稀疏区的噪声点。
技术关键词
多源异构数据 滑动窗口采样 时序 前馈神经网络 文本 传感器 编码器 注意力机制 设备故障日志 工业 噪声 编码模块 瓶颈 邻域 模型训练模块 非线性特征 密度