自适应数据抓取方法、设备、存储介质及装置

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
自适应数据抓取方法、设备、存储介质及装置
申请号:CN202511397202
申请日期:2025-09-28
公开号:CN120892208A
公开日期:2025-11-04
类型:发明专利
摘要
本申请公开了一种自适应数据抓取方法、设备、存储介质及装置,涉及互联网技术领域,包括:基于目标用户发起的接口请求、预设配置文件以及预设自定义映射规则表对请求参数进行配置,获得数据配置信息;对数据配置信息进行抓数前置校验,获得前置校验结果;基于前置校验结果、预设滑动窗口算法从预设等级线程池中匹配目标等级线程池,启用目标等级线程池中的线程完成数据抓取,相较于传统数据抓取方法需要通过人工介入的方式进行系统更新和维护,影响数据抓取的准确性和成功率,本申请能够自动映射请求参数,可通知自定义映射规则表装配复杂参数和做参数前置校验,并筛选线程优先级完成数据抓取,提高了数据抓取的准确性和成功率。
技术关键词
数据抓取方法 滑动窗口算法 数据抓取装置 参数 监督式机器学习 格式 协议 抓取设备 装配模块 系统更新 报文 互联网技术 表达式 数据接口 处理器 样本 可读存储介质 关系