基于多模态融合的手术操作引导方法、系统及存储介质

本发明涉及医学操作指引技术领域，具体涉及基于多模态融合的手术操作引导方法、系统及存储介质，包括以下步骤：将在手术全流程周期中，记录各流程节点处用于实时手术操作的标准多源信息；在各流程节点处的所述标准多源信息中进行多模态特征提取，得到各流程节点处的所述标准多源信息的多模态特征；将各流程节点处的所述标准多源信息的多模态特征，通过LSTM模型进行双向时序预测训练，得到手术指引模型。本发明构建了手术指引模型，实现了直接性获取后续操作的指引数据，即后续操作的手术机器人位姿和器械用力情况，无需术中暂停，保证了手术操作的连贯性。