摘要
基于对比语言‑图像预训练模型的鱼类个体识别方法,步骤如下:数据采集与预处理:模型构建:基于预训练的CLIP模型构建鱼类个体识别模型,引入可学习的文本提示模块,将不同鱼类个体的文本描述与图像特征对齐;并设计轻量级的细粒度特征增强模块;模型训练:第一阶段:冻结图像编码器参数和文本编码器参数,仅优化可学习的文本提示;第二阶段:解冻图像编码器参数,固定文本编码器参数,结合细粒度特征增强模块,通过交叉熵损失和三元组损失函数进行训练,优化图像特征表示;模型测试:提取测试图像特征向量,与训练集中的特征向量进行相似度计算,实现鱼类个体识别。可精准捕捉鱼类个体细粒度特征,可在复杂环境中提升识别精度,具有强鲁棒性。