一种应用于开源数据库的区域数据分配方法及相关设备

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种应用于开源数据库的区域数据分配方法及相关设备
申请号:CN202411690668
申请日期:2024-11-22
公开号:CN119597760A
公开日期:2025-03-11
类型:发明专利
摘要
本申请实施例属于数据处理技术领域,涉及一种应用于开源数据库的区域数据分配方法及相关设备,该方法包括:根据大数据分析引擎读取目标数据仓库工具的分区数据,得到弹性分布式数据集;根据切分算法对弹性分布式数据集进行切分操作,得到均匀切割边界数据;根据均匀切割边界数据对弹性分布式数据集进行重分区操作,得到重分区数据;对重分区数据进行数据映射操作,得到hfile文件;根据均匀切割边界数据在目标开源数据库中创建预分区表;将hfile文件导入至预分区表中。本申请有效避免了hbase集群运行中发生的非常消耗资源的Major Compaction操作和因为region数据分布不均匀引起的查询热点问题。
技术关键词
分布式数据集 开源数据库 数据分配方法 数据仓库工具 大数据分析引擎 计算机可读指令 数据分配装置 子模块 分布式计算框架 数据读取模块 实时数据 告警机制 可读存储介质 算法 分区模块 数据处理技术 数据分布