摘要
本发明实施例中提供了一种模块化的社交媒体数据采集方法、装置及电子设备,属于数据处理技术领域,该方法包括:在数据采集系统中设置引擎层、采集层和数据层;通过用于数据采集调度的Engines模块接收外部系统输入的请求信息,并根据预设的安全协议验证所述请求信息的合法性;当所述请求信息满足合法性要求之后,利用所述Engines模块对所述请求信息进行解析,得到解析结果;通过APIs模块或抓取模块执行相应的数据采集任务,并将采集到的数据传递给Pipelines模块进行数据解析和格式化,得到标准数据;将所述标准数据传递给所述Engines模块,利用所述Engines模块将所述标准数据发送给外部系统。本发明提高了社交媒体数据采集的易用性和灵活性。