一种面向Transformer分布式计算并行任务调度的加速器

本发明公开了一种面向Transformer分布式计算并行任务调度的加速器架构，包括：输入数据控制器、脉动阵列运算块、非线性SoftMax运算块、中间数据控制器、数据流控制器、多FPGA互连控制器、输出控制器。该加速器具有如下特征：基于自主开发的指令运行；脉动阵列运算可以灵活适配神经网络中的矩阵乘法运算；中间数据控制器兼容有无BIAS计算；数据流控制器支持运算数据自请求与数据灵活复用；多FPGA互连控制器支持高速设备间数据通信，完成数据和指令的传输；输出控制器可以根据指令配置运算结果存储位置。该加速器充分利用指令封装化和高速传输，使得硬件在获得推理加速的同时对软件的调度算法具有友好性、泛用性，保证了分布式计算时的负载均衡和高效推理。