一种高速大数据实时清洗方法、电子设备及存储介质

本发明公开了一种高速大数据实时清洗方法、电子设备及存储介质，所述方法包括：将从高速路口实时采集的数据存储在消息队列中，根据分析需求信息将采集到的数据分为离线数据和实时数据，生成原始数据集；将不同来源的数据进行数据格式的统一以将原始数据集转换成具有固定字段的集成数据集；对所述集成数据集采用数据清洗算法，转换成清洗数据集。本发明实施例可以同时处理实时数据与离线数据，通过对数据进行时效性的分类，将数据划分为实时数据与离线数据两类，并针对性地采取差异化处理策略，从而能够适应不同的业务场景与需求。