一种结合生成对抗网络和扩散模型实现EEG视觉刺激重建的方法

一种结合生成对抗网络和扩散模型实现EEG视觉刺激重建的方法，属于深度学习技术。本发明首先利用卷积神经网络对EEG信号进行特征提取，得到EEG信号的特征向量和类别信息。然后我们EEG信号的特征向量输入到生成对抗网络中进行初步的视觉重建工作，得到粗粒度图像。最后我们将生成对抗网络中生成的粗粒度图像与卷积神经网络预测的分类类别信息一起输入到语义引导扩散模型当中，通过正向加噪和逆向去噪，并在逆向过程中通过引入朝向目标类别的梯度信息，使用CLIP模型作为引导网络，使其能够根据图像内容和类别文本组合而成的混合引导条件生成与输入图像相似但是质量更高的图像。