大语言模型位置编码和语义机制间的自发转化方法及系统
申请号:CN202511414874
申请日期:2025-09-30
公开号:CN120892947A
公开日期:2025-11-04
类型:发明专利
摘要
本发明涉及自然语言处理技术领域,提供了一种大语言模型位置编码和语义机制间的自发转化方法及系统。大语言模型位置编码和语义机制间的自发转化方法包括,根据训练样本数量和输入token维度,计算样本复杂度;当样本复杂度小于样本复杂度阈值,大语言模型采用基于位置编码的注意力机制处理输入数据;当样本复杂度从低样本侧无限接近样本复杂度阈值时,查询矩阵的低秩映射矩阵的极限值等于位置编码映射矩阵;当样本复杂度从高样本侧无限接近样本复杂度阈值时,查询矩阵的低秩映射矩阵的极限值等于语义特征映射矩阵;当样本复杂度大于样本复杂度阈值,则大语言模型采用语义增强的注意力机制处理输入数据;能够实现大语言模型高效地理解与生成。
技术关键词
复杂度
转化方法
大语言模型
样本
矩阵
语义特征
多头注意力机制
可读存储介质
编码特征
数据
自然语言
计算机设备
处理器
粒子