线性回归是一种统计方法，用于检查两个连续变量之间的关系：一个自变量和一个因变量。线性回归的目标是通过一组数据点找到最佳拟合线，然后可用于对未来的观察进行预测。
简单线性回归模型的方程为：
y = b0 b1*x
其中 y 是因变量，x 是自变量，b0 是 y 截距（直线与 y 轴的交点），b1 是直线的斜率。斜率表示给定 x 变化时 y 的变化。
为了确定最佳拟合线，我们使用最小二乘法，该方法找到使预测 y 值与实际 y 值之间的平方差之和最小化的线。
线性回归也可以扩展到多个自变量，称为多元线性回归。多元线性回归模型的方程为：
y = b0 b1x1 b2x2 … bn*xn
其中 x1, x2, …, xn 是自变量，b1, b2, …, bn 是相应的系数。
线性回归可用于简单线性回归和多元线性回归问题。系数 b0 和 b1, …, bn 使用最小二乘法估计。一旦估计了系数，它们就可以用于对因变量进行预测。
线性回归可用于对未来进行预测，例如预测股票的价格或将出售的产品的单位数量。然而，线性回归是一种相对简单的方法，可能并不适合所有问题。它假设自变量和因变量之间的关系是线性的，但情况可能并非总是如此。
此外，线性回归对异常值高度敏感，这意味着如果存在任何不遵循数据总体趋势的极值，将会显着影响模型的准确性。
总之，线性回归是一种强大且广泛使用的统计方法，可用于检查两个连续变量之间的关系。它是一个简单但功能强大的工具，可用于预测未来。但是，请务必记住，线性回归假设变量之间存在线性关系，并且对异常值敏感，这可能会影响模型的准确性。
线性回归面试问题及答案：1. 线性回归的假设是什么？
线性回归的假设是：
线性：自变量和因变量之间的关系是线性的。
独立性：观察结果彼此独立。
同方差性：误差项的方差在自变量的所有水平上都是恒定的。
正态性：误差项呈正态分布。
无多重共线性：自变量彼此不高度相关。
无自相关：误差项与其自身不自相关。
2. 如何确定线性回归模型的拟合优度？
有多种方法可以确定线性回归模型的拟合优度：
R 平方：R 平方是一种统计度量，表示因变量中的方差由模型中的自变量解释的比例。R 平方值为 1 表示模型解释了因变量中的所有方差，值为 0 表示模型没有解释任何方差。
调整 R 平方：调整 R 平方是 R 平方的修改版本，它考虑了模型中自变量的数量。在比较具有不同数量自变量的模型时，它可以更好地指示模型的拟合优度。
均方根误差 (RMSE)：RMSE 衡量预测值与实际值之间的差异。RMSE 较低表明模型与数据的拟合效果更好。
平均绝对误差 (MAE)：MAE 衡量预测值与实际值之间的平均差异。MAE 越低表明模型与数据的拟合效果越好。
3.如何处理线性回归中的异常值？
线性回归中的异常值可能会对模型的预测产生重大影响，因为它们可能会扭曲回归线。处理线性回归中的异常值有多种方法，包括：
删除异常值：一种选择是在训练模型之前简单地从数据集中删除异常值。然而，这可能会导致重要信息的丢失。
转换数据：应用转换（例如记录数据日志）有助于减少异常值的影响。
使用稳健回归方法：稳健回归方法（例如 RANSAC 或 Theil-Sen）对异常值的敏感度低于传统线性回归。
使用正则化：正则化可以通过在成本函数中添加惩罚项来帮助防止由异常值引起的过度拟合。
最终，最好的方法将取决于特定的数据集和分析的目标。
2. 逻辑回归
逻辑回归是一种统计方法，用于根据一个或多个自变量预测二元结果，例如成功或失败。它是机器学习中的一种流行技术，通常用于分类任务，例如确定电子邮件是否是垃圾邮件，或预测客户是否会流失。
逻辑回归模型基于逻辑函数，逻辑函数是一个 sigmoid 函数，它将输入变量映射到 0 到 1 之间的概率。然后使用该概率对结果进行预测。
逻辑回归模型由以下方程表示：
P(y=1|x) = 1/(1 e^-(b0 b1x1 b2x2 … bn*xn))
其中 P(y=1|x) 是给定输入变量 x 时结果 y 为 1 的概率，b0 是截距，b1, b2, …, bn 是输入变量 x1, x2, … 的系数， xn。
通过在数据集上训练模型并使用优化算法（例如梯度下降）来最小化成本函数（通常是对数损失）来确定系数。
模型训练完成后，就可以通过输入新数据并计算结果为 1 的概率来进行预测。将结果分类为 1 或 0 的阈值通常设置为 0.5，但这可以根据情况进行调整具体任务以及误报和漏报之间所需的权衡。
下图是逻辑回归模型的示意图：
在此图中，输入变量 x1 和 x2 用于预测二进制结果 y。逻辑函数将输入变量映射为概率，然后使用该概率对结果进行预测。系数 b1 和 b2 通过在数据集上训练模型来确定，阈值设置为 0.5。
总之，逻辑回归是预测二元结果的强大技术，广泛应用于机器学习和数据分析。它易于实现、解释，并且可以轻松地进行正则化以防止过度拟合。
逻辑回归面试题及答案：1.什么是物流功能？
逻辑函数，也称为 sigmoid 函数，是一条 S 形曲线，可将任何实数值映射到 0 到 1 之间的值。它的定义为 f(x) = 1 / (1 e^-x ) 其中 e 是自然对数的底。逻辑函数在逻辑回归中用于对二元结果的概率进行建模。
2.逻辑回归可以用于多类分类吗？
是的，逻辑回归可用于多类分类，方法是为每个类创建单独的二元逻辑回归模型并选择预测概率最高的类。这被称为一对一或一对一的方法。或者，我们可以使用 softmax 回归，它是逻辑回归的推广，可以直接处理多个类别。
3. 如何解释逻辑回归中的系数
逻辑回归中的系数表示在保持所有其他预测变量不变的情况下，预测变量发生一个单位变化时结果的对数几率的变化。优势比可用于解释系数的大小。优势比大于 1 表示预测变量增加一个单位会增加结果的可能性，而优势比小于 1 表示预测变量增加一个单位会降低结果的可能性。
3. 支持向量机（SVM）
支持向量机 (SVM) 是一种监督学习算法，可用于分类或回归问题。SVM 背后的主要思想是通过最大化间隔（边界与每个类最近的数据点之间的距离）来找到分隔数据中不同类的边界。这些最接近的数据点称为支持向量。
