一种结合特征预训练和知识蒸馏的时序图学习方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种结合特征预训练和知识蒸馏的时序图学习方法
申请号:CN202410733183
申请日期:2024-06-07
公开号:CN118780346A
公开日期:2024-10-15
类型:发明专利
摘要
本发明属于信息技术领域,具体涉及一种结合特征预训练和知识蒸馏的时序图学习方法,本发明针对现有的时序图方法主要集中在低阶的时间信息上,而获取更高阶的邻居或社区信息则需要增加计算成本,从而显著影响模型效率的问题,提供了一种新的时序图学习方法,该方法将时序图中的信息分为时序级别、邻域级别、社区级别和全图级别;在训练过程中将时序级别的信息与一阶邻居结合起来,称为时序级结合;对于其他级别的信息,使用node2vec作为预训练模块生成预训练嵌入,这些嵌入作为获取附加信息的基础知识;该方法实现了跨不同模式的知识蒸馏,包括邻居级别的蒸馏、社区级别的分布和全图级别的传播。
技术关键词
学习方法 时序 节点 蒸馏 邻居 微调技术 社区结构 大语言模型 强度 度函数 教师 邻域 超参数 多层次 学生 概念 序列 模块 数据