摘要
本发明公开了一种基于大数据的电子信息技术的数据处理方法，涉及物联网设备技术领域。本发明以分布式流批一体处理为核心，通过实时采集、动态预处理与弹性存储构建数据湖底座，原始数据经标准化清洗后，按分区策略存储于HDFS/HBase，并通过加密和细粒度访问控制保障数据安全；在存储层基础上，利用Spark/Flink并行计算框架执行特征工程与模型训练，流处理模块通过时间窗口聚合与复杂事件模式识别，实现毫秒级实时分析；批处理模块则采用增量学习机制优化历史数据挖掘效率；分析结果通过API或自助门户嵌入业务流，驱动自动化决策；用户交互行为数据实时回流至特征库，持续迭代模型精度。
