一种文本分块方法、装置、存储介质及电子设备

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种文本分块方法、装置、存储介质及电子设备
申请号:CN202510939805
申请日期:2025-07-09
公开号:CN120448524B
公开日期:2025-09-30
类型:发明专利
摘要
本说明书公开了一种文本分块方法、装置、存储介质及电子设备,对原始知识文档分割得到的各初始文本块分别进行依存句法分析,得到各初始文本块的语义三元组,针对每个初始文本块,根据该初始文本块的语义三元组,构建语义网络图,所述语义网络图中的节点表示句子成分,边表示依存关系。根据所述语义网络图的图密度,确定该初始文本块的语义密度。本方法中,将抽象的语义密度转化为图结构,并通过图结构的图密度对语义密度进行量化,以便根据语义密度分割得到包含信息量相对均匀的文本块,提升大模型增强检索时的效果。
技术关键词
语义 文本分块方法 密度 三元组 依存句法分析 实体 节点 电子设备 处理器 模块 信息熵 可读存储介质 存储器 计算机 程序
系统为您推荐了相关专利信息
序列 项目推荐方法 语义 项目推荐装置 计算机设备
术语 论文 BERT模型 依存句法分析 抽取关键词
桥梁竖墙 智能监控系统 接缝 阶段 灌浆参数
分层卷积神经网络 多维特征向量 多维度特征提取 能力评估模型 语义特征
路径优化方法 人流密集区域 邻域搜索算法 模块化车辆 充电策略