一种基于蒙特卡洛树与动态检索的多模态推理方法

本公开提供一种基于蒙特卡洛树与动态检索的多模态推理方法。应用于人工智能助手辅助教师判卷场景。具体来说，本框架包括统一的检索模块：所述检索模块包括混合模态检索语料库和多模态检索模块；所述多模态检索模块包括两种检索模块：文本检索模块和跨模态检索模块，采用知识概念过滤来选择关键的解决问题见解，利用蒙特卡罗树搜索和主动检索机制自动获取多模态推理的渐进式多模态推理注释进行数据标注；然后利用标注数据在两个阶段通过课程过程奖励建模逐步对齐过程奖励模型，以实现对多模态大模型推理的细粒度验证。结合了MCTS算法和主动检索策略，以改善多模态推理。该框架能够自动获取高质量的逐步推理注释，从而逐步对齐过程奖励模型，最终实现可靠的自动化多模态推理验证。