基于VLSNR+MMOE组合式融合结构的多模态多任务皮肤护理推荐方法

本发明公开了一种基于VLSNR+MMOE组合式融合结构的多模态多任务皮肤护理推荐方法，包括下述步骤：提取皮肤图像的皮肤特征；构建护肤品知识图谱；将皮肤图像的皮肤特征和护肤品特征输入因子分解机进行训练，生成Top K候选护肤品集；基于VLSNR模型的多模态注意力编码器进行编码；基于多头注意力机制计算不同位置特征之间的关系，基于GRU模型输出时间序列特征向量；将时间序列特征向量、产品图文特征融合向量、用户图文特征融合向量、个性化特征向量、上下文特征向量拼接后输入MMoE模型，输出CTR、CVR和用户满意度的预测结果。本发明能够精准识别用户皮肤特征，并结合护肤品知识库进行个性化推荐。