一种基于快速动态负载调整的智能化数据接入与集成方法
申请号:CN202411833413
申请日期:2024-12-13
公开号:CN119988467A
公开日期:2025-05-13
类型:发明专利
摘要
本发明提供了一种基于快速动态负载调整的智能化数据接入与集成方法,包括自动探测和识别多种数据源,对数据源进行自动适配,以实现多源数据的无缝接入。方法通过自学习机制预测并自动纠正数据质量问题,并对原始数据进行清洗和转换。根据实时负载情况,系统动态调整数据处理流程,低负载时简化处理步骤,高负载时启动额外的ETL服务并进行节点扩展。此外,通过动态冷热数据分离存储策略,优化数据存储成本。系统提供RESTful API和GraphQL接口,并实时监控系统性能,以确保高效、稳定的数据处理与管理。
技术关键词
集成方法
数据访问接口
控制数据访问权限
界面显示系统
系统资源配置
数据处理时延
调度算法
比率
实时监控系统
数据格式
实时数据
标准化接口
动态
机器学习算法
内存
磁盘
生成日志
系统日志