一种基于Docker的大数据处理方法、装置、设备及介质

本申请公开了一种基于Docker的大数据处理方法、装置、设备及介质，涉及大数据处理技术领域，包括：确定初始Spark镜像，并基于预先编写的Shell脚本确定目标指令文件；利用Docker容器虚拟化技术，基于目标指令文件和初始Spark镜像生成目标Spark镜像；启动目标Spark镜像，并基于目标Spark镜像的集群管理模式启动目标Spark镜像中的Master节点和Worker节点；利用目标Spark镜像中的Master节点和Worker节点，基于预设任务执行触发机制执行相应的大数据计算任务。这样一来，本申请可以提升大数据组件的部署便捷性以及大数据计算任务的管理灵活性。