这是一个标准化的决策流程，而决策树其实就是通过利用历史数据构造对未来实例进行自动化决策的方法，核心是确定每个属性在决策树中的位置。
在整个决策树的生成过程中，从根部节点开始生成，每次向下分类都选择信息增益率最大的节点，不断迭代生成决策树。为了防止过拟合，也会采用一定的规则算法对决策树进行减枝，例如规定生成子节点的最小信息增益率，小于一定值不生成子节点。
决策树是多元分类器常用算法之一，很多机器学习算法都会用决策树的模型构建更高级的模型。相对其他的算法模型，决策树的决策流程更贴近决策实际情况，决策树形成的规则也可以帮助我们更深入地理解业务。
3. 进化学派（The evolutionaries）
进化学派，是以遗传学和进化生物学的理论基础，进行模型构建。核心方法是构造算法的评估标准和进化方法，在系统中不断迭代算法获得最佳解决方案。今年兴起的强化学习就是进化学派的代表。
近年来机器学习的浪潮进入大众视野，和AlphaGo战胜李世石和柯洁的新闻有很大地关系。很多人不知道的是——在战胜了柯洁之后，Deepmind公司推出了抛开人类经验的新版本人工智能AlphaGo Zero，这就是强化学习的典型应用。
强化学习是系统用试错的方式进行学习，通过不断和环境交互训练策略。在系统中，需要构建出可以和系统不断交互的环境，对系统的每一个动作进行评判，系统根据每个动作的奖惩信号（强化信号），不断调整最佳的动作策略。下面是一个典型的信息交互图。
具体在围棋场景中，对弈中每一盘棋的胜负和局势变化都是系统的奖惩信号，每一步落子都是动作，虚拟对局中的围棋规则就是系统的环境。
这种算法目前在工业界已经有了很多应用，比如基于强化学习的推荐算法等。在实际背景下，算法面临的环境往往是不确定的，不像围棋中的规则总是固定的。为了应对这个问题，算法就需要将现实问题抽象为稳定的虚拟环境，也就是构成出仿真系统，这也是现实条件下，强化学习算法构建过程中最难的一步。
仿真系统也不是新鲜的概念，所有的航空航天器要上天都要测试空气动力学性能，就会用到风洞系统，风洞就是对飞行中各种情况的仿真。而算法系统需要构造的就是这样一个在线的风洞。
强化学习目前的缺点也很明显，算法高度依赖仿真系统的构建，应用场景有限，同时实现复杂且不可解释，还需要投入大量的资源。
但是强化学习的学习过程，很像生物的进化过程，人类本质也是在地球这个环境中，以生存和繁衍为目标进化出的高级智能。也许强化学习进一步发展后，能够真正推进机器学习进入更高的层次。
4. 贝叶斯学派（The Bayesian school of thought）
贝叶斯学派专注于研究概率推理和用贝叶斯定理解决问题。贝叶斯定理的核心是用先验概率来推测后验概率，也就是不断通过新的数据来更新原有的对于概率的估计。朴素贝叶斯算法就是贝叶斯学派的典型算法，典型的应用就是垃圾邮件过滤系统。
在介绍朴素贝叶斯算法之前，先简单介绍下贝叶斯定理。贝叶斯定理是计算两个随机事件条件概率转化方法的定理。比如对于随机事件A和B，贝叶斯定理的数学描述如下：
贝叶斯定理是构造朴素贝叶斯算法的基础。下面就在邮件过滤的背景下介绍这个算法：
我们如果已经有一批已知的垃圾邮件，就可以知道垃圾邮件的一些典型特征。接下来如果我们先验地知道一封邮件包含的特征和垃圾邮件类似，我们就可以做出推断，这封邮件有很大概率是垃圾邮件。
很多算法都会围绕贝叶斯定理展开，朴素贝叶斯是其中一个代表。贝叶斯算法也是少有的对小规模数据也可以应用的算法。掌握好贝叶斯定理这个工具，对做好数据和策略相关工作，有着重要的促进作用。
5. 类推学派（The analogizers）
类推学派的核心是最近邻的方法，通过相似性判断，用近邻的已知数据，预估未知的数据。一些传统的推荐算法，就是类推方法的典型应用。类推学派的一个典型算法就是隐语义模型（Latent Factor Model，LFM），这个算法的最佳实践也是在推荐系统中。
推荐算法的起点，就是用户的行为数据，如果用户和物品发生了越多的交互，则行为越强。推荐算法就是基于用户行为数据补全下面表格的空白。这个表格其实就是一个“用户×物品”矩阵。
