基于DataX的数据同步任务调度方法、系统、设备及介质

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于DataX的数据同步任务调度方法、系统、设备及介质
申请号:CN202410714401
申请日期:2024-06-04
公开号:CN118626557A
公开日期:2024-09-10
类型:发明专利
摘要
本发明公开了基于DataX的数据同步任务调度方法、系统、设备及介质,属于大数据技术领域,本发明要解决的技术问题为DataX中划分任务不均衡,任务调度过程中无法动态调整任务执行,采用的技术方案为:该方法是基于DataX数据同步工具,通过把数据库表和数据量作为任务划分依据,把任务量均值作为大数据量库表同步任务的切分依据,实现细粒度任务划分,并在任务调度过程中,保证任务在切分和调度过程中的平衡性,实现数据同步任务的细粒度划分和动态调度。
技术关键词
数据同步 任务调度方法 任务调度系统 数据字 队列 动态 可读存储介质 大数据技术 链式结构 处理器 调度算法 存储器 监控模块 语句 脚本 密码 计算机 模板