一种多源异构数据智能清洗处理方法及系统
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
AITNT公众号
AITNT APP
AITNT交流群
搜索
首页
AI资讯
AI技术研报
AI监管政策
AI产品测评
AI商业项目
AI产品热榜
AI专利库
寻求报道
一种多源异构数据智能清洗处理方法及系统
申请号:
CN202510669058
申请日期:
2025-05-23
公开号:
CN120197042A
公开日期:
2025-06-24
类型:
发明专利
摘要
本发明公开了一种多源异构数据智能清洗处理方法及系统,属于数据清洗处理方法技术领域,获取工业传感器时序数据、长文本日志数据以及其他高维工业数据,对获取的数据进行清洗、缺失值处理、标准化、文本处理以及时间戳对齐,将预处理后的工业传感器时序数据输入Transformer自编码器,在Transformer输出的低维特征空间中,应用密度敏感的聚类方法,设定邻域半径和最小点数,识别数据密集区形成的数据簇和稀疏区的噪声点。
技术关键词
多源异构数据
滑动窗口采样
时序
前馈神经网络
文本
传感器
编码器
注意力机制
设备故障日志
工业
噪声
编码模块
瓶颈
邻域
模型训练模块
非线性特征
密度