一种基于深度学习的视频图像边缘信息修复方法

本发明公开了一种基于深度学习的视频图像边缘信息修复方法。属于图像处理领域。本发明设计了VEC(video edge connect)模型，此模型采用Encoder和Decoder对图像及边缘信息进行编解码，并基于时空解耦合Transformer实现特征交互与传播。通过YouTube‑vos以及Davis数据集对模型开展训练，这些数据集涵盖城市街景、自然风光、室内场景、人物活动等各类场景，具备丰富多样的边缘特征，使得模型能够精准学习到正常视频图像边缘的特征模式。相较于Edgeconnect针对单张图像边缘信息的修复方法，本方法充分利用视频的时序信息，通过Transformer网络架构实现时序信息在视频帧之间的传递，使得修复结果在时序上更为连贯，语义上更加可信，一定程度缓解了视频图像边缘信息修复结果帧间闪烁的问题。