一种基于RAM、SAM、internVL和OMchat的预训练数据制备方法

本发明公开了一种基于RAM、SAM、internVL和OMchat的预训练数据制备方法，包括如下步骤：步骤一，将数据来源固定，按照每个来源设定特定比例，最终组合成100万数据；步骤二，使用万物识别RAM对原始图片进行预标注；步骤三，在经过步骤二预标注后的图片基础上使用internVL预标注；步骤四，将步骤三internVL预标注后的图片进行人工核对校准；步骤五，将步骤四人工核对校准后的图片通过万物分割SAM获得目标边缘mask信息；步骤六，使用OMchat多模态大模型训练目标的特征和mask信息进行多轮训练处理；步骤七，最后将处理后的数据作为OMdet多模态大模型的预训练数据。本发明的基于RAM、SAM、internVL和OMchat的预训练数据制备方法，高效地生成预训练数据从而提升算法泛化性能。