智能计算中心通过推理Serverless消纳算力的方法及装置

本发明提供一种智能计算中心通过推理Serverless消纳算力的方法及装置，方法包括：步骤S1：每隔预设的检查时间，检查推理集群的期望推理单元数量是否小于实际推理单元数量，得到检查结果；步骤S2：若检查结果指示期望推理单元数量大于或者等于实际推理单元数量，对推理集群进行扩容；步骤S3：若检查结果指示期望推理单元数量小于实际推理单元数量，返回步骤S1直至检查结果连续指示期望推理单元数量小于实际推理单元数量的次数大于或者等于预设的次数阈值，对推理集群进行缩容；步骤S4：采用目标负载算法，对推理集群进行负载优化处理；目标负载算法包括PrefixHas算法，本发明避免算力浪费，提高算力的利用率。