一种基于大数据生态的数据配额管理方法及系统

本发明公开了一种基于大数据生态的数据配额管理方法及系统，方法包括：通过hamster调度启动数据监控模块，整合多数据源采集存储及性能指标，经格式转换后写入Hive表；解析业务分类规则，为数据标注业务方向标签并存储；加载配额规则区分比例配额与定量配额，关联集群资源计算业务阈值；实时比对资源使用量与阈值，超限时生成告警，未超限时通过滑动窗口算法和线性回归模型进行增长趋势预测并生成预警；对接可视化平台生成多维报表。本发明通过设计优化的管理方法及相应适配系统，解决了多平台数据统计口径差异导致的配额管理难题，实现了细粒度业务级资源监控、动态阈值预警及可视化管控，提升了大集群资源利用效率与管理精细化程度。