一种基于分布式架构的新型智能数据采集平台

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于分布式架构的新型智能数据采集平台
申请号:CN202510401139
申请日期:2025-04-01
公开号:CN120386586A
公开日期:2025-07-29
类型:发明专利
摘要
本发明提供一种基于分布式架构的新型智能数据采集平台,属于工业数采与实时数据处理技术领域,本发明通过构建基于分布式架构的新型智能数据采集平台,系统采用三级优化策略:首先,基于Redis消息队列构建异步处理机制,实现请求流量削峰与资源动态调度,将系统吞吐量显著提升;其次,通过多级缓存架构设计(Redis+内存数据库),建立智能数据预取机制,将核心业务响应时延降低至毫秒级;最后,创新性采用TDengine时序数据库集群,结合其列式存储与分布式架构特性,提高了数据的并发处理能力。有效解决了传统架构存在的系统雪崩风险,为实时数据采集提供了可靠的国产化技术底座。
技术关键词
分布式架构 数据采集平台 数据预取机制 实时数据处理技术 动态调度算法 数据采集工作 实时数据采集 集群 数据采集层 队列 系统吞吐量 时序 提升系统 消息 资源分配