摘要
本申请公开了一种自适应数据抓取方法、设备、存储介质及装置,涉及互联网技术领域,包括:基于目标用户发起的接口请求、预设配置文件以及预设自定义映射规则表对请求参数进行配置,获得数据配置信息;对数据配置信息进行抓数前置校验,获得前置校验结果;基于前置校验结果、预设滑动窗口算法从预设等级线程池中匹配目标等级线程池,启用目标等级线程池中的线程完成数据抓取,相较于传统数据抓取方法需要通过人工介入的方式进行系统更新和维护,影响数据抓取的准确性和成功率,本申请能够自动映射请求参数,可通知自定义映射规则表装配复杂参数和做参数前置校验,并筛选线程优先级完成数据抓取,提高了数据抓取的准确性和成功率。