融合生成式AI的国产PC终端跨模态自然交互方法及系统

本发明公开了融合生成式AI的国产PC终端跨模态自然交互方法及系统，涉及人机交互技术领域，包括获取多模态数据并进行预处理与特征提取；构建模态适配器，将提取的多模态特征映射至共享语义空间，生成多模态语义向量；根据当前场景特征计算各模态的动态权重系数；对多模态语义向量进行融合生成跨模态融合特征，并对融合特征进行歧义消解处理；将消歧后的融合特征输入轻量化国产生成式AI模型，进行意图理解并生成多模态响应；将生成的多模态响应适配到国产PC终端硬件和操作系统，完成自然交互。本发明通过引入生成式AI国产大模型进行意图理解与响应生成，提升了国产PC终端跨模态交互的准确性与自然性。