一种高并行度Softmax软硬件协同设计方法

本发明公开了一种高并行度Softmax软硬件协同设计方法，通过引入基于分布的和估计方法与Log2量化来改进Softmax算法，实现更少的面积开销、更快的运行速度和更低的能耗。该方法包括：统计阶段：处理整个输入向量以生成直方分布图和输入序列的最大值；和估计阶段：使用固定长度的直方图计算Softmax所需的指数近似和；归一化阶段：通过逐元素执行简化后的指数、除法计算并输出经过Log2量化后的Softmax结果；硬件实现：对于输入序列长度大于硬件数据并行处理长度的情况，先多次运行统计单元以获取完整序列的最大值与分布信息，然后执行一次和估计单元，最后多次运行归一化单元完成对所有元素的归一化处理。