前言

熟悉论文术语

一、什么是超参数？

机器学习模型中一般有两类参数：

• 一类需要从数据中学习和估计得到，称为模型参数（Parameter）—即模型本身的参数。比如，线性回归直线的加权系数（斜率）及其偏差项（截距）都是模型参数。
• 一类则是机器学习算法中的调优参数（tuning parameters），需要人为设定，称为超参数（Hyperparameter）。比如，正则化系数λ，决策树模型中树的深度。

二、参数和超参数的区别：

• 模型参数是模型内部的配置变量，需要用数据估计模型参数的值。
• 模型超参数是模型外部的配置，其值无法从数据中估计，需要手动设置，并且在过程中用于帮助估计模型参数。

机器学习中一直说的“调参”，实际上不是调“参数”，而是调“超参数”。

超参数示例

迭代次数epoch，k近邻法（kNN）中的k（最相近的点的个数），决策树模型中树的深度等等都属于超参数。