文档处理方法、文档问答优化方法、电子设备及存储介质
申请号:CN202510127816
申请日期:2025-02-05
公开号:CN119557429B
公开日期:2025-04-18
类型:发明专利
摘要
本发明的实施例提供了一种文档处理方法、文档问答优化方法、电子设备及存储介质,涉及自然语言处理技术领域。通过将经过预处理的文档篇章数据的篇章编码序列输入大语言模型,计算大语言模型的各网络层的第一键向量序列以及第一值向量序列,将每一组第一键向量序列以及第一值向量序列作为文档篇章数据的一个中间注意值,计算出每个中间注意值的权重得分,根据各权重得分的大小,剔除预设比例的中间注意值,将保留的各中间注意值作为文档篇章数据的紧凑注意力表示。从而可以在用户提问时,根据紧凑注意力表示生成回答文本,可以提高大语言模型的计算效率,进而显著提升问答过程的速度和效率。
技术关键词
大语言模型
序列
注意力
语义向量
文本
数据
电子设备
分词
处理器
自然语言
编码
存储器
网络
程序
指令
速度