摘要
本申请公开了一种金融领域知识库构建方法、装置及设备，该方法包括：首先从目标图像中识别出文本区域、表格区域、图像区域；然后利用OCR算法提取文本区域的文本数据，及对利用多模态AI模型提取出图像区域的语义特征和视觉特征以及表格区域对应的第二实体集合和实体类型；再利用两个实体集合的相似度进行幻觉检测，当利用检测结果判断出AI模型幻觉并未触发容错机制时，将两个实体集合进行智能对齐处理，筛选出最优实体匹配对；并对其实体类型进行格式化校验；进而再对文本区域对应的文本数据、图像区域对应的语义特征和视觉特征和校验通过的实体匹配对进行上下文知识关联处理，并利用得到的图结构文档表示对应的结构化知识构建更稳准确的知识库。
