神经网络超参数的优化方法

一种神经网络超参数的优化方法，首先选定解空间的搜索范围和种群迭代轮次的上限，设定迭代种群的初始值及迭代轮次数；然后进入迭代求解，在一个迭代周期内，通过基于协方差矩阵自适应进化策略(CMA‑ES)生成若干初始候选解后，并对其进行适应度评估；通过基于树结构帕森估计器(TPE)的贝叶斯优化算法依次生成若干补充候选解，并进行适应度评估；之后综合当前轮次的全部候选解，从中选择适应度最高的若干精英个体作为下一代种群，更新CMA‑ES算法的相关参数，完成一次迭代；若未达到设定的种群迭代轮次上限，则重复上述迭代求解过程，若达到设定轮次上限，则输出最优解。本发明显著提升了优化的稳定性，在应对具有多局部最小值的复杂优化问题时表现出更高的求解效率。