可部署于桌面端的肿瘤分级模型建立方法及肿瘤分级系统
申请号:CN202510195208
申请日期:2025-02-21
公开号:CN120164565A
公开日期:2025-06-17
类型:发明专利
摘要
本发明公开了可部署于桌面端的肿瘤分级模型建立方法及肿瘤分级系统,属于医疗文本处理领域,包括:基于大语言模型分别建立教师模型和学生模型;学生模型中的大语言模型的规模适于部署于桌面端,且教师模型中的大语言模型具有更大的规模和更强的文本理解能力;获取标注了与肿瘤分级相关的命名实体及分类信息的医疗文本作为训练数据,并通过知识蒸馏的方式对教师模型和学生模型进行训练,训练损失包括教师模型与学生模型的输出层损失(包括命名实体的识别损失以及分类损失)以及大语言模型部分中间层输出的特征间的损失;训练结束后,将学生模型作为肿瘤分级模型。本发明能够在资源受限的情况下,借助大语言模型实现高效、准确的肿瘤分级。
技术关键词
模型建立方法
肿瘤
大语言模型
上下文特征
文本
桌面
分级系统
教师
学生
特征提取网络
特征提取模块
规则化算法
子模块
注意力
规模
长短期记忆网络
命名实体识别
输入模块
规则算法