↑↑↑点击上方蓝字，回复资料，10个G的惊喜
集成学习方法
和传统学习方法训练一个学习器不同，集成学习方法训练多个学习器并结合它们来解决一个问题。通常，集成学习也被称为基于委员会的学习(committee-based learning)或多分类器系统(multiple classifier system)。下图为一个通用的集成学习框架。
集成通常比最优个体学习器更准确，其中横坐标为噪声水平（noise level），纵坐标为分类错误率（error），三种对比方法分别为平均法（average）、最优个体法（best single）和结合方法（combination）[Hansen & Salamon，1990][Schapire，1990] 是理论方面的工作，它构造性地证明了弱学习器可以被提升为强学习器。虽然我们所需的高精度学习器难以训练，但弱学习器在实践中却容易获得，这个理论结果为使用集成学习方法获得强学习器指明了方向。一般来讲，构建集成有两个步骤：首先产生基学习器，然后将它们结合起来。为了获得一个好的集成，通常认为每个基学习器应该尽可能准确，同时尽可能不同。值得一提的是，构建一个集成的计算代价未必会显著高于构建单一学习器。这是因为使用单一学习器时，模型选择和调参经常会产生多个版本的模型，这与在集成学习中构建多个基学习器的代价是相当的；同时，由于结合策略一般比较简单，结合多个基学习器通常只会花费很低的计算代价。
集成学习方法的应用
KDD Cup 作为最著名的数据挖掘竞赛，自 1997 年以来每年举办，吸引了全球大量数据挖掘队伍参加。竞赛包含多种多样的实际任务，如网络入侵检测(1999)、分子生物活性和蛋白质位点预测(2001)、肺栓塞检测(2006)、客户关系管理(2009)、教育数据挖掘(2010)和音乐推荐(2011)等。在诸多机器学习技术中，集成学习方法获得了高度的关注和广泛的使用。例如，在连续三年的 KDD Cup 竞赛中(2009—2011)，获奖的冠军和亚军都使用了集成学习方法。另一项著名的赛事 Netflix Prize由 Netflix 公司举办。竞赛任务是基于用户的历史偏好提升电影推荐的准确度，如果参赛队伍能在 Netflix 公司自己的算法基础上提升 10% 的准确度，就能够获取百万美元大奖。2009 年 9 月 21 日，Nexflix 公司宣布，百万美元大奖由 BellKor’s Pragmatic Chaos 队获得，他们的方案结合了因子模型、回归模型、玻尔兹曼机、矩阵分解、k-近邻等多种模型。另外还有一支队伍取得了和获奖队伍相同的效果，但由于提交结果晚了 20 分钟无缘大奖，他们同样使用了集成学习方法，甚至使用“The Ensemble”作为队名。除了在竞赛上获得显赫战绩，集成学习方法还被成功应用到多种实际应用中。实际上，在几乎所有的机器学习应用场景中都能发现它的身影。例如，计算机视觉的绝大部分分支，如目标检测、识别、跟踪，都从集成学习方法中受益。基于 AdaBoost 和级联结构，Viola & Jones [2001，2004] 提出了一套通用的目标检测框架。Viola & Jones [2004] 显示在一台 466MHz 计算机上，人脸检 测器仅需 0.067 秒就可以处理 384×288 的图像，这几乎比当时最好的技术快 15倍，且具有基本相同的检测精度。在随后的十年间，这个框架被公认为计算机视觉领域最重大的技术突破。Huang et al. [2000] 设计了一套集成学习方法解决姿态无关的人脸识别问题。它的基本思路是使用特殊设计的模型集成多个特定视角的神经网络模型。和需要姿态信息作为输入的传统方法相比，这个方法不需要姿态信息，甚至能在输出识别结果的同时输出姿态信息。Huang et al. [2000] 发现这个方法的效果甚至优于以完美姿态信息作为输入的传统方法。类似的方法后来被用于解决多视图人脸检测问题 [Li et al.，2001]。目标跟踪的目的是在视频的连续帧中对目标对象进行连续标记。通过把目标检测看成二分类问题，并训练一个在线集成来区分目标对象和背景，Avidan [2007] 提出了集成跟踪(ensemble tracking)方法。该方法通过更新弱分类器来学习由于对象外观和背景发生的变化。Avidan [2007] 发现这套方法能处理多种 具有不同大小目标的不同类别视频，并且运行高效，能应用于在线任务。在计算机系统中，用户行为会有不同的抽象层级，相关信息也会来自多个渠道，集成学习方法就非常适合于刻画计算机安全问题 [Corona et al.，[2009]。Giacinto et al. [2003] 使用集成学习方法解决入侵检测问题。考虑到有多种特征刻画网络连接，他们为每一种特征构建了一个集成，并将这些集成的输出结合 起来作为最终结果。Giacinto et al. [2003] 发现在检测未知类型的攻击时，集成学习方法能够获得最优的性能。此后，Giacinto et al. [2008] 提出了一种集成方法解决基于异常的入侵检测问题，该方法能够检测出未知类型的入侵。恶意代码基本上可以分为三类：病毒、蠕虫和木马。通过给代码一个合适的表示，Schultz et al. [2001] 提出了一种集成学习方法用以自动检测以往未见的恶意代码。基于对代码的 n-gram 表示，Kolter & Maloof [2006] 发现增强决策树(boosted decision tree)能够获得最优的检测效果，同时他们表示这种方法可以在操作系统中检测未知类型的恶意代码。集成学习方法还被应用于解决计算机辅助医疗诊断中的多种任务，尤其用于提升诊断的可靠性。周志华等人设计了一种双层集成架构用于肺癌细胞检测任务 [Zhou et al.，2002a]，其中当且仅当第一层中的所有个体学习器都诊断为“良性”时才会预测为“良性”，否则第二层会在“良性”和各种不同的癌症类型间进行预测。他们发现双层集成方法能同时获得高检出率和低假阳性率。对于老年痴呆症的早期诊断，以往的方法通常仅考虑来自脑电波的单信道数据。Polikar et al. [2008] 提出了一种集成学习方法来利用多信道数据;在此方法中，个体学习器基于来自不同电极、不同刺激和不同频率的数据进行训练，同时它 们的输出被结合起来产生最终预测结果。除了计算机视觉、安全和辅助诊断，集成学习方法还被应用到多个其他领域和任务中。例如，信用卡欺诈检测 [Chan et al.，1999;Panigrahi et al.，2009]，破产预测 [West et al.，2005]，蛋白质结构分类 [Tan et al.，2003;Shen & Chou，2006]，种群分布预测 [Araújo & New，2007]，天气预报 [Maqsood et al.，2004;Gneiting & Raftery，2005]，电力负载预测 [Taylor & Buizza，2002]， 航空发动机缺陷检测 [Goebel et al.，2000;Yan & Xue，2008]，音乐风格和艺 术家识别 [Bergstra et al.，2006] 等。推荐阅读
（点击标题可跳转阅读）
学深度学习是不是需要先学机器学习？
清华大学公开课：数据挖掘理论与算法老铁，三连支持一下，好吗？↓↓↓
