一种大语言模型模块化推理计算系统、方法、装置及介质

本发明公开了一种大语言模型模块化推理计算系统、方法、装置及介质。通过对大语言模型模块化推理计算系统中的文本嵌入模块、多簇注意力模块、多层感知机模块和线性映射模块分别进行不同单元的配置，来实现对输入文本令牌序列的生成词令牌的计算，另外的，对注意力机制计算数据流方法和线性层计算数据流方法进行了改进。解决了现有技术中受限于外部存储带宽，将难以充分发挥芯片的计算效率、性能差和对专业人员要求高的问题，实现了构建更加完善的大语言模型，设计了高吞吐的计算数据流，能够充分发挥芯片的算力。