一种基于kafka的消息可控优化方法及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于kafka的消息可控优化方法及系统
申请号:CN202510811577
申请日期:2025-06-18
公开号:CN120336370B
公开日期:2025-08-29
类型:发明专利
摘要
本发明涉及消息队列技术领域,尤其是涉及一种基于kafka的消息可控优化方法及系统,所述方法,包括获取数据属性,并根据数据属性计算数据优先级数值;基于优先级数据构建位置索引缓存机制,根据位置索引缓存机制将缓存池中的分区‑偏移量数据持久化到索引表,基于持久化的优先级索引进行高优先级消息的优先消费,包括设置消费控制程序架构,并对消费队列隔离和引入消息去重操作;在高优先级消息的优先消费的前提下进行全链路性能调优,基于调优后的全链路进行业务场景扩展,本发明通过消费控制程序按优先级定向拉取消息,突破了Kafka分区并行消费的无序性,使高优先级消息可直接跳转至对应位置优先处理,显著缩短消费延迟。
技术关键词
拦截器 缓存机制 索引表 分区 数据中心 LRU算法 链路 动态分配内存 消息队列技术 数值 无锁队列 分布式环境 回调方法 批量 数据获取模块