摘要
本发明涉及云计算技术领域,具体涉及一种云计算数据管理方法、装置、设备及可存储介质,方法:将大数据上传至HDFS后划分为等大小的数据块,并生成多个副本,分布存储于不同物理机的虚拟机中;周期性采集磁盘I/O行为数据,包括磁盘读写访问次数与带宽利用率,并构建线性回归模型,预测磁盘性能;根据预测结果,将更多数据块分配至高性能磁盘对应的虚拟机;监测各虚拟机的CPU性能、磁盘I/O利用率及Map任务延迟,计算综合性能评分,并据此对虚拟机排序;调度Map任务时优先选择高评分且具备数据局部性的虚拟机执行;当本地资源受限时,在其他具备局部性以非本地方式完成任务。本发明可以解决资源利用效率低下、数据本地性不足、任务调度优化能力较弱的问题。