一种数据采集方法、装置、电子设备及存储介质

本发明公开了一种数据采集方法、装置、电子设备及存储介质，该方法包括：确定待采集任务在当前采集周期的采集配置信息和消费配置信息；在当前采集周期内，通过采集程序对采集源中的待采集数据进行采集和处理，得到目标采集数据；采集程序被配置为按照当前采集周期的采集配置信息进行数据采集；通过采集管道对目标采集数据进行传输和缓存；通过消费组件对采集管道内缓存的目标采集数据进行存储；消费组件被配置为按照当前采集周期的消费配置信息进行数据消费；基于当前采集周期的数据采集效果和数据消费效果，确定下一采集周期所要使用的采集配置信息和消费配置信息。本方案可实现采集配置信息的动态调整，数据处理效率高，采集任务可高效执行。