摘要
本发明属于人工智能和机器学习领域，公开了一种具有鲁棒性的多模态联邦学习框架，包括：S1获取缺失模态，筛选出和缺失模态相关性强的模态，采用多层感知机训练进行预测，完成模态对齐；S2对模态中的特征数据打上标签，结合特征数据合成特征向量；S3使用基于注意力机制，融合特征数据，构成模态向量；S4对已经对齐并融合的模态数据进行本地训练；S5上传本地训练模型至服务器，采用联邦学习框架进行聚合操作，并将模型分发给客户端进行下轮迭代直至模型收敛。本发明通过预测缺失模态与多模态数据融合，有效解决模态缺失时训练模型精度降低的问题，减轻了模态缺失对训练精度的影响，提高了联邦学习的可靠性。
