数据集的质量评估方法、装置、设备、介质以及程序产品

本申请提供了一种数据集的质量评估方法、装置、设备、介质以及程序产品，涉及人工智能技术领域，方法包括：获取待评估质量的文本数据集；对所述文本数据集进行层次聚类分析，得到所述文本数据集的聚类结果，以及，基于预设的大模型对所述文本数据集中的样本数据进行主题抽取，得到所述样本数据的语义主题；基于所述聚类结果和所述语义主题构建多层标签树，并基于所述文本数据集的标签分布计算所述多层标签树各节点的权重生成加权频次标签树；基于所述加权频次标签树提取所述文本数据集多个维度的量化指标以对所述文本数据集进行质量评估。采用本申请能够提升数据集在多任务大模型训练场景下的适配性。