UI界面布局及结构自动识别方法及系统

本发明公开了UI界面布局及结构自动识别方法及系统，属于UI界面测试技术领域，本发明要解决的技术问题为如何实现对UI界面的布局及结构的自动识别，提升用户感官体验，采用的技术方案为：采集UI界面图像：通过前端采集UI界面图像，并通过AJAX将UI界面图像以FormData格式请求上传到服务器；图像预处理：采用OpenCV+Pillow使用两个互补的Python图像处理库构建预处理流水线，对UI界面的图片文件进行预处理；自动检测UI界面布局及结构：采用预训练的YOLOv8模型进行推理识别UI界面，并对模型推理结果进行后处理，生成缺陷列表并评估界面的整体状态；生成可视化报告。