一种多模态感知与认知数据集的构建方法和装置

本发明提供了一种多模态感知与认知数据集的构建方法和装置，获取图像信息，该图像信息包括智能体自身的摄像头实时抓取的画面；根据图像信息构建知识图谱；其中，该知识图谱包括实体信息和实体之间的位置关系；将图像信息切分为不重叠的子区域图像；根据子区域图像和知识图谱进行图像描述，生成描述图像内容的自然语言文本，并根据自然语言文本构建多模态感知与认知数据集，解决了现有技术中多模态数据集标注方法成本高、效率低、准确度低的问题，提升了多模态模型的感知能力以及包含推理、比较、描述的高级认知能力。