优化跨域数据编织计算效能的数据加速处理方法及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
优化跨域数据编织计算效能的数据加速处理方法及系统
申请号:CN202411534312
申请日期:2024-10-31
公开号:CN119046019B
公开日期:2025-05-23
类型:发明专利
摘要
本发明公开一种优化跨域数据编织计算效能的数据加速处理方法及系统,涉及大数据处理与分析技术领域,针对当前跨域数据编织计算效率低的问题,采用方案:在数据采集环节构建分布式的数据采集架构,以通过优化参数和配置各节点数据采集策略实现对原始数据的定时采集或触发采集;在数据预处理环节搭建数据压缩器,以对采集的原始数据进行数据压缩,并输出到数据编织引擎;在数据协同计算环节构建数据加速引擎,以优化数据在数据编织引擎的存储和访问路径;在数据资源调度环节构建智能调度模型,以根据计算任务的优先级、资源可用性和网络带宽,动态调整计算任务的调度策略,生成调度方案。本发明可以提升跨域数据编织过程的计算效率与传输速度。
技术关键词
智能调度模型 数据采集架构 数据压缩算法 数据压缩器 数据采集策略 智能算法 效能 集群 节点 分布式架构 资源 参数 频率 动态 规模 指标 模块