摘要
本发明实施例提供了云原生湖仓一体协同管理方法及系统。监测组件的部署为调度中心提供实时准确的云平台资源状态数据;根据数据类型和访问热度分层存储数据,让数据存储与访问需求精准匹配;借助异构计算适配层确定最优芯片类型并生成跨芯片执行计划,确保计算任务与硬件能力高效适配;基于实时监测的资源利用率、任务队列长度等指标,由调度智能体动态进行资源调度,实现了资源的灵活分配与负载均衡;同步更新元数据,保证了数据信息的准确性和一致性,为后续数据处理和调度提供可靠依据。上述过程从资源监测、数据存储、任务适配、智能调度到元数据管理,构建了多云环境下的数据处理链路,可有效提升多云环境下的数据处理效率。