概述

交付智能数据管理原型系统，相比数据湖，模型质量不降低前提下模型训练效率提升30%；完成原型与浪潮分布式存储AS13000 对接适配。

需求详情

研究基于数据价值评估的多模态数据智能管理系统，针对不同训练任务定义一致衡量多模态数据价值的指标，设计数据价值衡量建模算法，结合数据价值设计数据分层存储和数据流动机制，针对模型训练优化样本读取性能，实现数据全生命周期管理。研究数据与模型协同进化的动态数据调度器，智能化采样构建训练样本集，设计样本选择调度器，根据数据价值和模型的学习状态，实时构建样本Batch 进行训练；应用强化学习技术，动态调整数据价值，提升样本选择调度器的泛化能力。交付智能数据管理原型系统，相比数据湖，模型质量不降低前提下模型训练效率提升30%；完成原型与浪潮分布式存储AS13000 对接适配。