基于FPGA加速的低耦合Transformer目标检测方法及系统
申请号:CN202511019120
申请日期:2025-07-23
公开号:CN120911516A
公开日期:2025-11-07
类型:发明专利
摘要
本发明提供了一种基于FPGA加速的低耦合Transformer目标检测方法及系统,包括:构建基于低耦合优化方法的Transformer目标检测网络模型;构建基于Winograd快速算法的多框架通用FPGA加速器,用于同时支持所述Transformer目标检测网络模型中用于特征提取的卷积神经网络和基于多头注意力机制的Transformer编解码器。本发明同时针对特殊类型算子提出了高效的访存变换方案,使得加速器针对所有算子有高计算效率的同时获得了更高的卷积运算性能;针对注意力机制中包含的多类特殊函数,提出了高精度近似方案与相应的数据流优化,并针对GELU提出差值拟合方法,提高了近似精度,同时将注意力缩放运算与Softmax算子融合,节省了运行时的缩放运算开销。
技术关键词
检测网络模型
多头注意力机制
加速器
处理单元
模块
编解码器
编码器结构
流水
多阶段
海面船只
矩阵
像素点
阵列
非线性
通道
主控单元