概述

公司研发了一种日志语言模型训练方法，能够对不同系统的日志训练对应的日志语言模型，提升日志词向量的语义表达能力；生成的日志模板向量输入到日志异常检测、日志分类等下游任务模型中进行训练，提升了模型的效果。现需求该算法的应用与推广。

需求详情

上海鼎茂信息技术有限公司成立于2004年04月05日，经营范围包括一般项目：技术服务、技术开发、技术咨询、技术交流、技术转让、技术推广；软件开发；计算机软硬件及辅助设备批发；数据处理服务；计算机系统服务；信息系统集成服务；智能控制系统集成；人工智能通用应用系统；大数据服务；云计算装备技术服务。（除依法须经批准的项目外，凭营业执照依法自主开展经营活动） 许可项目：计算机信息系统安全专用产品销售。（依法须经批准的项目，经相关部门批准后方可开展经营活动，具体经营项目以相关部门批准文件或许可证件为准）。日志语言模型训练方法的应用主要在以下几个方面：提升日志词向量的语义表达能力：通过接受日志的输入并构建对应的日志语料库，构造数据集训练相应的日志语言模型，能够提升日志词向量的语义表达能力。构建异常检测的下游任务模型：将日志语言模型对日志模板进行向量表征，并将得到的日志模板向量应用到异常检测的下游任务训练中。截取固定序列长度的日志段落：将固定长度的日志段落随机划分为两个长句，分别为句子A和句子B，然后将这些句子用于构建句子对。数据集的重复构造：将日志语料重复构造十次形成数据集，以增强模型的泛化能力。不同系统的日志训练：此方法能够对不同系统的日志训练对应的日志语言模型，从而提升模型的适应性和泛化能力。公司研发了一种日志语言模型训练方法，接受日志的输入并构建对应的日志语料库，构造数据集训练相应的日志语言模型，使用日志语言模型对日志模板进行向量表征，将得到的日志模板向量应用到异常检测的下游任务训练中，截取固定序列长度的日志段落用于构建句子对，即将固定长度的日志段落随机划分为两个长句，分别为句子A和句子B，将日志语料重复构造十次形成数据集。该算法能够对不同系统的日志训练对应的日志语言模型，提升日志词向量的语义表达能力；生成的日志模板向量输入到日志异常检测、日志分类等下游任务模型中进行训练，提升了模型的效果。现寻求关于该算法在商业领域的开发合作，为后续迭代提供数据支撑。