基于DataX的数据同步任务调度方法、系统、设备及介质
申请号:CN202410714401
申请日期:2024-06-04
公开号:CN118626557A
公开日期:2024-09-10
类型:发明专利
摘要
本发明公开了基于DataX的数据同步任务调度方法、系统、设备及介质,属于大数据技术领域,本发明要解决的技术问题为DataX中划分任务不均衡,任务调度过程中无法动态调整任务执行,采用的技术方案为:该方法是基于DataX数据同步工具,通过把数据库表和数据量作为任务划分依据,把任务量均值作为大数据量库表同步任务的切分依据,实现细粒度任务划分,并在任务调度过程中,保证任务在切分和调度过程中的平衡性,实现数据同步任务的细粒度划分和动态调度。
技术关键词
数据同步
任务调度方法
任务调度系统
数据字
队列
动态
可读存储介质
大数据技术
链式结构
处理器
调度算法
存储器
监控模块
语句
脚本
密码
计算机
模板