梯度提升机（Gradient Boosting Machine，简称 GBM）是集成学习领域中极具影响力的算法，凭借卓越的预测性能，在分类、回归等任务中被广泛应用，尤其成为数据科学竞赛与工业界建模的优选工具。其核心逻辑在于通过串行迭代构建弱学习器集群，将多个 “不完美” 模型融合为一个强学习器，从而突破单一模型的性能瓶颈。
GBM 的工作机制可凝练为 “循序渐进，以弱补弱”：
起点初始化：以简单模型（如基于均值的常数模型）作为初始强学习器，完成对所有样本的首次预测。残差驱动学习：每次迭代中，计算当前模型预测值与真实标签的差值（残差），以此作为新弱学习器的训练目标 —— 让新模型专注拟合前序误差，实现 “纠错式学习”。梯度优化整合：弱学习器多采用深度较浅的决策树（称为 “stump”），通过梯度下降法最小化损失函数，以特定权重（学习率）将新模型融入强学习器，逐步降低整体误差。迭代终止：当达到预设迭代次数或残差收敛时停止，最终强学习器为所有弱学习器的加权组。这一算法的显著优势体现在：
适应性强：无需对数据分布做严格假设，可同时处理连续与离散特征，兼容多样化数据场景。拟合能力卓越：通过逐轮修正误差，能捕捉复杂的非线性关系与特征交互，拟合精度突出。可解释性良好：支持通过特征重要性量化变量贡献，为业务决策提供依据。但其局限性亦不容忽视：
计算开销大：串行训练模式导致大规模数据下训练耗时较长，效率受限。过拟合风险：迭代过多或弱学习器过复杂易引发过拟合，需通过调优学习率、树深度及正则化参数缓解。为突破原生 GBM 的效率瓶颈，XGBoost、LightGBM 等变种应运而生，它们通过并行计算优化、高效节点分裂策略等创新，在保持精度的同时大幅提升训练速度，使梯度提升框架成为工业界与学术界的核心工具，持续推动机器学习在实际场景中的落地应用。
