一种基于大数据实时计算的湿地监测分析平台

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于大数据实时计算的湿地监测分析平台
申请号:CN202411455635
申请日期:2024-10-18
公开号:CN118964863A
公开日期:2024-11-15
类型:发明专利
摘要
本发明公开了一种基于大数据实时计算的湿地监测分析平台,属于大数据技术领域,具体包括:采集结构化数据和非结构化的用户行为数据,通过Maxwell采集关系型数据mysql中的业务数据;将采集的数据进行存储,对于需要实时计算的数据通过消息中间件Kafka进行存储;通过java或sql对数据存储层的数据进行清洗、转化和分析;基于flink将实时计算数据开窗聚合;基于Spark on hive对离线数据进行计算;通过关系型数据库mysql来存储数据计算层的数据结果,并提供API接口;基于FineReport实现数据可视化;本发明充分利用大数据的优势,以实现湿地资源的可持续利用与发展。
技术关键词
历史监测数据 数据采集层 页面 分布式文件系统 关系型数据库 非结构化数据存储 数据可视化 支持用户自定义 社交媒体平台 报表 边缘检测算法 水质监测仪 离线 大数据技术 植被