一种数据仓库中SQL执行效率优化方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种数据仓库中SQL执行效率优化方法
申请号:CN202411616207
申请日期:2024-11-13
公开号:CN119537490A
公开日期:2025-02-28
类型:发明专利
摘要
本发明公开一种数据仓库中SQL执行效率优化方法,涉及数据库管理与数据处理技术领域;包括:基于数据库协议,根据规则配置,识别数据源,进行数据源适配,依次进行SQL语法解析、SQL路由识别和SQL重写,形成执行计划,将执行计划缓存起来,用于重复执行和调用,写操作时将数据映射到多个数据存储分区,避免写时数据倾斜;读操作时,利用数据扫描算法自动适配数据源,重写分片查询,减少空扫描;将执行计划提交给SQL执行引擎,由执行引擎进行标准语法执行和复杂语法分析,并生成二级执行计划,如果进行写操作,则进行热数据的分区存储并由执行计划定时进行冷数据归档;如果进行读操作,则进行分区剪枝优化,通过SQL执行引擎进行数据合并装配:对返回的数据进行归并处理,如果是读操作则动态分析执行计划并调整索引数据的内存分布,缓存高频数据;如果是写操作则对数据进行压缩存储,并对索引进行调整。
技术关键词
效率优化方法 效率优化装置 计划 分区 数据归档 数据存储 全文索引 索引方式 SQL语法 扫描算法 存储设备 离线 分片 文本 数据处理技术 模块 关键词 在线