一种基于算力主机管理运营平台的高效数据压缩与传输方法

本发明公开一种基于算力主机管理运营平台的高效数据压缩与传输方法,涉及大规模数据并发管理技术；包括：步骤1：在Kafka生产者端集成轻量级数据特征分析器，通过数据特征分析器实时提取数据流的特征指标，根据特征指标生成压缩策略参数，步骤2：对结构化数据与非结构化数据进行特征识别，提取数据特征，步骤3：基于数据特征、生产者/消费者CPU负载及网络带宽预测，构建多目标优化模型，动态选择压缩算法及压缩级别，根据压缩算法选择压缩策略参数，其中引入压缩收益比指标，计算压缩率提升与压缩耗时的比值，优先选择高收益比的压缩算法进行数据压缩与传输。