一种全局局部特征融合的半监督视频目标分割方法及系统
申请号:CN202411688385
申请日期:2024-11-25
公开号:CN119625308A
公开日期:2025-03-14
类型:发明专利
摘要
本发明公开了一种全局局部特征融合的半监督视频目标分割方法及系统。其实现方案如下,首先获取所需的数据集,包括图像与视频数据集及其对应的分割标签,并对图像数据集进行扩充,对视频数据集进行采样,得到用于训练分割模型的训练数据集。其次设计分割模型,并构建损失函数用以训练分割模型,最后利用训练好的分割模型进行视频目标分割。本发明设计了局部‑全局分支融合模块对用于非局部匹配的特征进行全局上下文建模与局部细节增强,提高了模型区分相似特征的辨别能力,使得该网络能够有效地解决半监督视频目标分割任务中因相似干扰物引起的错误特征匹配问题。并在此基础上进一步结合目标尺度自适应下采样层,通过该层捕捉同一目标在不同尺度下的信息,在提升特征可辨别性的同时还减少了自注意力的计算复杂度,从而实现模型分割性能与推理预测效率的平衡。
技术关键词
记忆
注意力
编码器
分支
标签
解码器
分割方法
上采样
随机梯度下降
序列
静态图像数据
线性变换矩阵
错误特征
模型训练模块
视频帧
预训练模型