那么为什么 Sigmoid 函数总是返回 0 到 1 之间的值呢？请记住，代数中任意数的负数次方等于这个数正数次方的倒数。
所需数学知识：我们在这里已经讨论过指数和概率，你需要对代数和概率有充分的理解，以便理解 Logistic 算法的工作原理。如果你想深入了解概念，我建议你学习概率论以及离散数学或实数分析。
K-Means 聚类
定义：K Means 聚类算法是一种无监督机器学习，用于对无标签数据（即没有定义的类别或分组）进行归类。该算法的工作原理是发掘出数据中的聚类簇，其中聚类簇的数量由 k 表示。然后进行迭代，根据特征将每个数据点分配给 k 个簇中的一个。K 均值聚类依赖贯穿于整个算法中的距离概念将数据点「分配」到不同的簇中。距离的概念是指两个给定项之间的空间大小。在数学中，描述集合中任意两个元素之间距离的函数称为距离函数或度量。其中有两种常用类型：欧氏距离和曼哈顿距离。欧氏距离的标准定义如下：
其中 (x1,y1) 和 (x2,y2) 是笛卡尔平面上的坐标点。虽然欧氏距离应用面很广，但在某些情况下也不起作用。假设你在一个大城市散步；如果有一个巨大的建筑阻挡你的路线，这时你说「我与目的地相距 6.5 个单位」是没有意义的。为了解决这个问题，我们可以使用曼哈顿距离。曼哈顿距离公式如下：
其中 (x1,y1) 和 (x2,y2) 是笛卡尔平面上的坐标点。
所需数学知识：实际上你只需要知道加减法，并理解代数的基础知识，就可以掌握距离公式。但是为了深入了解每种度量所包含的基本几何类型，我建议学习一下包含欧氏几何和非欧氏几何的几何学。为了深入理解度量和度量空间的含义，我会阅读数学分析并选修实数分析的课程。
决策树
定义：决策树是类似流程图的树结构，它使用分支方法来说明决策的每个可能结果。树中的每个节点代表对特定变量的测试，每个分支都是该测试的结果。决策树依赖于信息论的理论来确定它们是如何构建的。在信息论中，人们对某个事件的了解越多，他们能从中获取的新信息就越少。信息论的关键指标之一被称为熵。熵是对给定变量的不确定性量进行量化的度量。熵可以被表示为：
在上式中，P(x_i) 是随机事件 x_i 发生的概率。对数的底数 b 可以是任何大于 0 的实数；通常底数的值为 2、e（2.71）和 10。像「S」的花式符号是求和符号，即可以连续地将求和符号之外的函数相加，相加的次数取决于求和的下限和上限。在计算熵之后，我们可以通过利用信息增益开始构造决策树，从而判断哪种分裂方法能最大程度地减少熵。信息增益的公式如下：
