面向RPA的多模态实体对齐自动融合方法、设备及介质
申请号:CN202410784499
申请日期:2024-06-18
公开号:CN118364428B
公开日期:2024-08-20
类型:发明专利
摘要
本申请提供了一种面向RPA的多模态实体对齐自动融合方法、设备及介质,涉及多模态实体对齐自动融合领域,方法包括:通过构建的嵌入模型获取实体的各个嵌入表示;将嵌入表示俩俩输入到构建的超网模型进行训练,得到最终融合表示;将最终融合表示输入至损失函数中,结合模拟退火的梯度法,更新超网模型的结构参数以及网络权重,确定最优融合算子;根据最优融合算子调整网络权重,确定融合算子架构,从而确定最优融合模型;获取待测实体的嵌入表示,将嵌入表示输入最优融合模型,确定各个实体的最终融合表示;通过对比各个实体的最终融合表示,对齐自动融合各个实体的多模态信息。引入可微架构搜索,消除了人工设计融合操作的需求。
技术关键词
实体
融合方法
多模态
网络接口
图像处理模块
可读存储介质
设备通信
电子设备
存储器
指令
图谱
超参数
文本
计算机
训练集
处理器