一种API信息抓取方法、电子设备、存储介质和程序产品
申请号:CN202410773857
申请日期:2024-06-14
公开号:CN120611078A
公开日期:2025-09-09
类型:发明专利
摘要
本公开实施例提供了一种API信息抓取方法、电子设备、存储介质和程序产品。该方法包括:基于链接获取策略以及与大模型进行至少一次提示交互,获取初始页面的目标子链接队列;基于动态爬虫程序依次遍历目标子链接队列中的子链接,并建立遍历到的子链接对应页面的页面模型,针对每个页面模型分别执行以下操作:基于交互结果和动态爬虫程序模拟初始页面中客户端与服务端的交互;获取交互产生的关于初始页面的API信息。该实施例方案解决了大模型无法动态爬取的问题,又避免了面对不同网页结构时需要重复设计爬取方案的问题,提高了API信息爬取的准确性、全面性以及信息抓取效率。
技术关键词
信息抓取方法
页面模型
动态爬虫
服务端
队列
客户端
应用程序编程接口
处理器
策略
网页结构
电子设备
可读存储介质
计算机程序产品
存储器
元素
表单