基于计算机视觉和机器学习的沙箱自动化测试方法、设备及计算机存储介质

本发明提供一种基于计算机视觉和机器学习的沙箱自动化测试方法，包括：收集沙箱终端的操作录像数据，并根据时间戳保存录像数据的屏幕布局信息文件和操作标记序列文件；将录像数据切分为若干场景的操作切片，对切片进行抽帧，对抽取的每一帧图像进行预处理，通过特征提取算法和屏幕布局信息文件提取预处理后图像中的特征元素；将提取的特征元素输入计算机视觉网络模型中进行训练，构建可操作元素分类模型，可操作元素分类模型识别录像数据中的可操作元素，将可操作元素输入机器学习模型中进行自监督学习训练，构建业务场景识别模型，业务场景识别模型根据收集的录像数据输出预测结果进行自动化测试。本发明提供了一种全面、可靠的自动化工具。