面向大算力芯片的权重矩阵压缩方法、装置、设备和存储介质产品

本申请涉及一种面向大算力芯片的权重矩阵压缩方法、装置、设备和存储介质产品。所述方法包括：对原始权重矩阵进行比特切片处理，得到至少两个比特切片矩阵；对至少两个比特切片矩阵进行分类，得到至少一个第一比特切片矩阵和至少一个第二比特切片矩阵；对至少一个第二比特切片矩阵进行编码处理，得到至少一个编码后的第二比特切片矩阵；根据至少一个第一比特切片矩阵和至少一个编码后的第二比特切片矩阵，确定压缩后的权重矩阵；第二比特切片矩阵的稀疏率大于第一比特切片的稀疏率；压缩后的权重矩阵应用于Transformer网络的模型训练中。采用本方法能够降低权重矩阵存储负载，从而加快访存速度、提高系统整体性能。