一种面向移动场景的跨模态语义传输方法

本发明公开了一种面向移动场景的跨模态语义传输方法，首先利用具有连续值的语义标签压缩视觉语义，采用传统的触觉编码器提取触觉语义；然后基于Mamba模型和APPO算法处理并传输视觉和触觉语义；最后使用基于视觉触觉语义集成扩散模型的语义解码器重建视觉信号。本发明很好地解决了有限带宽下多模态数据冗余过多的问题；有效应对了移动场景中带宽波动和多径衰落信道的挑战；在移动设备上利用更少的接收语义实现了准确且轻量的视觉信号重建任务。