摘要
本发明公开了一种基于大数据实时计算的湿地监测分析平台,属于大数据技术领域,具体包括:采集结构化数据和非结构化的用户行为数据,通过Maxwell采集关系型数据mysql中的业务数据;将采集的数据进行存储,对于需要实时计算的数据通过消息中间件Kafka进行存储;通过java或sql对数据存储层的数据进行清洗、转化和分析;基于flink将实时计算数据开窗聚合;基于Spark on hive对离线数据进行计算;通过关系型数据库mysql来存储数据计算层的数据结果,并提供API接口;基于FineReport实现数据可视化;本发明充分利用大数据的优势,以实现湿地资源的可持续利用与发展。