超参数是模型训练前由用户设置的外部配置，与从数据中直接学习的模型参数不同。为了找到最优的超参数组合，从业者通常会经历一个试错的过程。

超参数的类型：

不同类型的机器学习模型有着各自独特的超参数集，这些参数需要根据具体数据集的特点和需求进行调整。

1. 学习率（适用于基于梯度下降算法）：控制优化步骤的大小。

2. 决策树数量及深度（适用于随机森林、梯度提升等集成方法）：定义了集成过程中使用的决策树数目以及每棵树的最大深度和最小分裂节点样本数。

3. 正则化强度（在线性模型中使用）：通过选择合适的正则化方式（如L1或L2）来防止过拟合现象发生。

4. 核函数及其参数（支持向量机）：指定所采用的内核类型及其相关参数设置。

5. K值选择（K最近邻算法）：决定用于分类或回归任务时考虑的最近邻居个数。

6. 神经网络架构设计：包括层数安排和每层神经元数量的选择。

7. 激活函数种类：依据应用场景挑选合适的激活函数形式，例如ReLU, Sigmoid, Leaky ReLU或者tanh。

8. Epoch次数：确定整个训练期间完整遍历一次数据集的次数。

9. Batch Size大小：每次迭代处理的数据样本量。

10. 聚类数目设定（针对K-Means算法）：明确希望将数据集划分为多少个子群。

为了寻找能够使模型表现最佳的超参数配置，通常采用网格搜索、随机搜索甚至是更高级的优化策略来进行系统性探索。