摘要
本发明公开了一种基于知识图谱的野生动物行为自动化识别方法,包括步骤如下:首先,采用YOLO和SAM技术,对图像进行目标检测和精确分割,识别出动物及环境类实体;然后,通过视觉与文字的两个计算分支,提取实体信息及其关系。在视觉分支中,基于EfficientNet‑B4对目标位置进行特征抽取,获取动物及环境的空间特征。在文字分支中,使用BERT模型对实体名称进行编码后,通过文本描述提取语义特征。随后,将视觉和文字特征融合,通过多头注意力机制捕捉二者间的复杂交互关系,生成动物间的行为关系;最后,基于识别到的实体及其关系信息,生成图谱中的节点和边,自动构建展示野生动物行为的知识图谱。