集成学习（Ensemble Learning）是一种机器学习范式，它通过组合多个学习器（或模型）的预测结果来提高整体模型的性能。这种方法基于这样的理念：多个模型的集体智慧通常会优于任何一个单独的模型。集成学习方法能够提升模型的准确性、鲁棒性，并有助于防止过拟合。
集成学习主要包含以下几种策略：
Bagging (Bootstrap Aggregating): Bagging是一种并行式集成方法，它通过自举法（bootstrap）从原始数据集中随机抽取多个样本集，然后分别训练不同的模型。常用的Bagging算法包括随机森林（Random Forests）。在预测阶段，对于分类问题，采用多数投票的方式决定最终结果；对于回归问题，则取所有模型预测值的平均值作为输出。Boosting: Boosting是一种序列化集成方法，其核心思想是按顺序训练一系列弱学习器（weak learners），每一个新的学习器都在前一个学习器的错误上进行改进。常见的Boosting算法有AdaBoost和梯度提升决策树（Gradient Boosting Decision Tree, GBDT）。Boosting通过调整每个样本的权重或者使用损失函数的梯度下降来逐步优化模型。Stacking: Stacking也是一种集成学习技术，但与Bagging和Boosting不同的是，它不是直接对不同的模型进行简单平均或加权平均，而是通过训练一个元模型（meta-model）来整合基础模型（base-models）的预测结果。具体来说，就是将基础模型的输出作为新特征输入到元模型中进行训练，以产生最终的预测结果。这些方法各有优缺点，适用于不同类型的问题和数据集。在实际应用中，可以根据具体情况选择合适的集成策略，或结合多种策略以获得更好的性能。集成学习是提升机器学习模型性能的重要手段之一。
