一种基于CLIP模型的事件相机数据分类算法

本发明公开了一种基于CLIP模型的事件相机数据分类算法，包括如下步骤：S1：对N‑Caltech、DVS128 Gesture数据集进行划分；S2：构建了一个端到端的轻量化的事件相机数据分类模型End to End EventCLIP；S3：通过两个阶段训练方法对S2提出的模型进行训练：第一阶段，基于S1划分的数据集进行训练，训练所述特征适配器以生成事件数据的嵌入表示，并将其作为教师模型；第二阶段，利用所述教师模型去指导学生模型的训练，完成模型训练；S4：基于S3第二阶段训练完的模型对新数据预测。本发明通过将EventCLIP和Event Transformer相结合，将参数量压缩至Event Transformer量级（89M），同时参数量降低至1/4、推理延迟缩减至7/9，构建了动态感知场景高精度、低功耗的实时嵌入式部署框架。