摘要
本发明涉及皮肤病分类技术领域,具体公开了基于多模态数据融合的皮肤病分类方法,包括:对患者皮肤表面进行皮肤病图像采集;对采集后的不同皮肤病图像进行预处理,得到预处理后的皮肤图像;收集记录患者的年龄、性别、病史等信息,并对数值数据进行标准化处理,使用InceptionV3模型提取图像特征,并对皮肤病信息分类,通过结合InceptionV3模型提取的图像特征和多层感知器提取的元数据M特征,形成一个端到端的多模态分类系统,本发明在ISIC2018,HAM10000,DermNet,SD‑198等专业公用数据集上取得92%以上的准确率;预处理模型通过对图像数据进行标准化和增强,解决了数据质量和多样性的问题;多模态数据的融合,则通过结合患者的多方面信息,提高了模型的诊断准确性和泛化能力。