大数据平台数据处理方法、装置及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
大数据平台数据处理方法、装置及系统
申请号:CN202410753262
申请日期:2024-06-12
公开号:CN118568790A
公开日期:2024-08-30
类型:发明专利
摘要
本发明公开了一种大数据平台数据处理方法、装置及系统,该方法包括:根据预定规则预先对用于存储数据的至少两个集群节点进行异构处理,以得到第一类节点和第二类节点;获取数据库中各数据的属性信息;将数据库中各数据的属性信息输入至预先训练的数据分类模型,以输出各数据的分类标签,所述数据分类模型基于决策数算法和训练文本进行训练;根据各数据的分类标签分别将各数据存储至所述第一类节点或者所述第二类节点。通过本发明,可以优化数据存储和管理的效率和成本,提高数据的安全性和稳定性。
技术关键词
数据分类模型训练 节点 大数据平台 数据处理方法 集群 异构 数据存储 文本 数据处理装置 标签 决策树算法 数据处理系统 处理单元 记录单元 存储单元
系统为您推荐了相关专利信息
飞机发动机叶片 无线控制系统 控制器单元 无线发射器 通信架构
执行器 分布式锁 标识 哈希算法 多实例
虚拟筛选方法 深度图 数据样本集合 采样方法 分子
入侵检测方法 节点 实体 嵌入特征 无监督
集群划分方法 综合性 平衡度 指标 灵敏度矩阵