一种适用于大数据分析的数据预处理方法及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种适用于大数据分析的数据预处理方法及系统
申请号:CN202510694210
申请日期:2025-05-28
公开号:CN120234545B
公开日期:2025-08-26
类型:发明专利
摘要
本发明公开了一种适用于大数据分析的数据预处理方法及系统,涉及数据预处理技术领域。包括通过大数据收集原始数据;使用动态相关性补充方法计算补充值,对数据的缺失特征值进行补充,对缺失特征值的补充更加符合数据的整体趋势,提高补充值准确性;通过可靠性常数计算方法获取不同来源的可靠性常数,对不同来源的数据进行不同比例的抽取;将数据进行合并、统一和归一化处理。本发明通过动态相关性补充方法计算补充值,对数据的缺失特征值进行补充,根据数据的其他特征值与缺失特征值的相关性,确定其他特征值对缺失特征值的相关权重,相关性呈动态变化,对缺失特征值的补充更加符合数据的整体趋势,提高补充值准确性。
技术关键词
数据预处理方法 特征值 常数计算方法 样本 更新方法 数据预处理系统 数据预处理技术 大数据 数据转换模块 数据收集模块 动态 机器学习算法 格式 数据处理模块 集成模块 数值 编码 代表 速度
系统为您推荐了相关专利信息
样本生成方法 多任务学习网络 三元组损失函数 可读存储介质 图像分类模型
序列预测模型 序列预测方法 变量 计算机设备 编码器
成因分析方法 多尺度 指标 密度 XGBOOST算法
表面瑕疵检测方法 语义协同 图片 掩模 特征提取网络
极化SAR图像 样本 功率 协方差矩阵 像素点