一种基于机器学习的数据质量控制与预处理的方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于机器学习的数据质量控制与预处理的方法
申请号:CN202510893708
申请日期:2025-06-30
公开号:CN120950492A
公开日期:2025-11-14
类型:发明专利
摘要
本发明公开了一种基于机器学习的数据质量控制与预处理的方法,该方法具体包括如下步骤:S1,对长时间序列构造三段时间窗口,并对数据进行预处理;S2,利用统计判别算法过滤掉数据集的正样本,获取负样本数据集;S3,对于负样本数据集,构建单分类模型进行判决,完成异常值的处理;S4,获取S1中预处理后的数据集,采用监督‑无监督混合训练方法对数据集进行优化,获取缺测值填补后的数据集;S5,填补执行与多维验证,对S4中获取的缺测值填补后的数据集通过随机森林模型进行结果验证,完成缺测值的填补。本发明通过预处理前的动态时间窗口划分,构建短、中、长三时段滑动窗口,同步提取统计,解决传统方法因窗口固定导致的长期关联捕捉不足问题。
技术关键词
随机森林模型 移动平均算法 归一化方法 判别算法 样本 无监督 分类特征 动态时间窗口 统计特征 异常检测器 生成对抗网络 序列 验证机制 滑动窗口 异常数据 多项式 编码器 极值