基于通用标准文件的HBase批量导入方法、设备及存储介质

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于通用标准文件的HBase批量导入方法、设备及存储介质
申请号:CN202511228647
申请日期:2025-08-29
公开号:CN120892488A
公开日期:2025-11-04
类型:发明专利
摘要
本申请公开了一种基于通用标准文件的HBase批量导入方法、设备及存储介质,涉及数据处理技术领域,公开了基于通用标准文件的HBase批量导入方法,包括:将数仓平台导出的标准文件传输至与HBase集群关联的HDFS目录;基于所述HDFS目录,通过MapReduce作业将所述标准文件转换为符合目标HBase表结构的HFile文件;通过BulkLoad命令将所述HFile文件迁移至目标HBase目录,以完成数据导入。本申请通过直接解析通用标准文件,消除了多源数仓平台与HBase间的中间格式转换环节,提高了数仓平台导入数据至HBase的效率和可用性。
技术关键词
HBase表 数据处理器 批量 目录 集群 数据转换模块 平台 命令 数据处理技术 生成规则 可读存储介质 存储器 字段 分区 语义 报告 格式