一种企业数据库数据处理方法及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种企业数据库数据处理方法及系统
申请号:CN202411720639
申请日期:2024-11-28
公开号:CN119690964B
公开日期:2025-09-05
类型:发明专利
摘要
本发明公开了一种企业数据库数据处理方法及系统,涉及数据库管理技术领域,包括构建基于LSM树的列式存储分布式数据库架构;对分布式数据库执行数据分片操作;对各数据分片应用列存压缩技术,根据不同数据列特征选择相应的压缩算法;构建分布式查询处理器,接收并解析SQL查询请求,生成查询请求执行计划;根据查询请求执行计划在数据分片上并行执行子查询请求任务,收集中间结果集;合并中间结果集,进行数据冲突检测,生成最终结果集;将最终结果集序列化后传输至客户端,完成企业数据库数据处理。本发明通过采用LSM树结构和列式存储,结合高效的数据压缩算法,大幅提高了数据处理效率,使系统能够更快地处理和存储大量交易数据。
技术关键词
压缩算法 分布式数据库架构 数据依赖关系 故障恢复机制 机器学习模型 特征选择 生成时间戳 企业 合并触发机制 数据项 检查算法 抽象语法树 客户端 分片策略 数据写入机制 计划