一种图像描述生成系统、训练方法、生成方法及电子设备

本发明公开了一种图像描述生成系统、训练方法、生成方法及电子设备，属于图像描述技术领域；将图像的视觉特征映射到一个视觉与语言可比的空间中，得到语义信息序列后，通过Transformer解码器实现语义信息序列和视觉特征序列的跨模态语义计算，得到各个候选词汇的中间隐藏状态，进而构建对应的有向无环图，从有向无环图中选出最优路径后，由线性分类器直接映射为图像文本描述。本发明充分利用了图像的视觉信息及所包含的语义信息，通过引入有向无环图学习了单词间的顺序关系，提高了生成描述的流畅性，且具有非自回归解码属性，能够以较快的速度生成高质量的图像文本描述。