一种推理资源优化方法、装置及电子设备

本申请提供一种推理资源优化方法、装置及电子设备，该方法包括：获取神经网络模型在不同硬件资源下的推理服务响应性能数据，以及在不同硬件资源下的硬件成本数据；对推理服务响应性能数据和硬件成本数据进行优化建模，获得硬件成本最小的硬件资源部署方案；根据硬件成本最小的硬件资源部署方案生成神经网络模型的配置文件；根据配置文件对神经网络模型和不同硬件资源进行自适应调度优化。在上述方案的实现过程中，通过对推理服务响应性能数据和硬件成本数据进行优化建模，并根据获得硬件成本最小的硬件资源部署方案生成的配置文件，对神经网络模型和不同硬件资源进行自适应调度优化，从而有效地提高了硬件资源的利用率。