基于大数据和深度学习的文本数据处理方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
基于大数据和深度学习的文本数据处理方法
申请号:CN202510151256
申请日期:2025-02-11
公开号:CN120067320A
公开日期:2025-05-30
类型:发明专利
摘要
本发明公开了基于大数据和深度学习的文本数据处理方法,其步骤包括构建文本大数据集,收集文本数据存储,并设置数据收集层参数,数据收集层负责获取来自多种来源的不同格式文本信息,使用数据预处理器,整理原始输入文本并完成标准化转换,选用特征提取器,将预处理后文本提取生成高质量特征表示,并生成标签,设置分类判定室,并在分类判定室内设置分类器集群,每个子分类器专注于某一类别的细粒度识别,对特征提取器生成标签进行识别对比,设置查询引擎,允许用户自定义复杂的筛选条件和排序逻辑,汇总统计,借助高速通道返回给前端界面展示成果报告。本发明属于数据处理领域,具体是指基于大数据和深度学习的文本数据处理方法。
技术关键词
文本数据处理方法 数据预处理器 大数据 特征提取器 生成标签 分类器 BERT模型 文本特征提取方法 分布式数据库技术 NLP技术 数据存储 神经网络模型 集群 资源共享 跨节点 生态系统 逻辑 主节点