一种基于异构数据集的高维度并行处理方法及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于异构数据集的高维度并行处理方法及系统
申请号:CN202510818465
申请日期:2025-06-18
公开号:CN120951188A
公开日期:2025-11-14
类型:发明专利
摘要
本发明提供一种基于异构数据集的高维度并行处理方法及系统,涉及数据处理技术领域,方法包括:收集多个异构数据;对异构数据进行预处理;通过U‑k‑means聚类算法,对预处理后的异构数据进行分类,生成多个含有相似结构的异构数据集;提取各个异构数据集的高维特征;根据高维特征,通过离群值检测算法,计算离群值检测排名;根据离群值检测排名,确定异常数据;基于深度神经网络,构建分布式计算框架,并行处理异常数据。通过本发明能够有效提高计算效率和处理能力,同时能够更准确地识别和处理复杂的数据异常,简化了处理过程,进一步节省了处理时间,增强了模型的泛化能力。
技术关键词
并行处理方法 异常数据 异构 GRU模型 分布式计算框架 深度神经网络 统计特征 邻居 深度学习框架 数据缺失值 分布式文件 数据处理技术 密度 特征值 协方差矩阵 算法 因子 数据格式 可读存储介质