基于多模态大模型细粒度知识生成的命名实体识别方法

本发明提供了一种基于多模态大模型细粒度知识生成的命名实体识别方法，属于自然语言处理中的信息抽取技术领域。本发明方法结合多模态大模型MLLM和大语言模型LLM共同生成细粒度辅助知识，LLM使用上下文学习的方式，引导其生成和样本相关的辅助知识，MLLM使用人工标注数据对其进行微调，使其根据输入的文本和图像信息，输出相关的辅助知识，将得到的辅助知识与原始文本结合，进入下游的序列标注模型进行训练和推理，完成命名实体识别。本发明兼顾了对信息抽取有利的世界知识和多模态信息，提升了下游序列标记模型进行命名实体识别的性能，能够更精准地识别出文本中的实体。