显示设备及界面内容标注方法

本申请一些实施例提供一种显示设备及界面内容标注方法，所述方法通过响应于第一请求标注指令，获取当前显示的界面图像以及用户界面的元信息，再将第一请求标注指令、界面图像以及元信息输入至多模态检索系统检索关联信息，再将关联信息、第一请求标注指令以及界面图像输入至多模态理解模型生成标注反馈信息，控制显示器在用户界面上显示标注反馈信息。所述方法通过多模态检索系统对多模态信息执行信息检索，其中，通过使用第一请求标注指令、界面图像以及元信息等作为多模态信息，可提升信息检索和理解的准确性，进而提高标注内容的准确率。