一种基于分层滑动窗口机制的长文本生成方法及系统

本申请公开了一种基于分层滑动窗口机制的长文本生成方法及系统，涉及自然语言处理和深度学习技术领域，其中，该方法包括：构建Transformer模型，Transformer模型包含多层Transformer块；基于预设分层滑动窗口设定策略确定各Transformer块的窗口大小，并构成优化后的Transformer模型；对优化后的Transformer模型进行训练，并基于训练后的Transformer模型进行长文本处理。本申请解决了传统Transformer架构因固定注意力范围导致的长距依赖捕捉不完整与计算资源浪费的问题，可以用于自然语言处理、文本生成、机器翻译等领域。