线性回归是一种统计方法，用于发现变量之间的关系。在机器学习背景下，线性回归可找出特征与标签之间的关系。
例如，假设我们想要根据汽车的重量预测汽车的每加仑汽油行驶里程（mpg），并且我们有以下数据集：
- 图1-
如果我们绘制这些点，会得到以下图表：
- 图2-
汽车重量（以磅为单位）与每加仑汽油行驶英里数评级。随着汽车变重，其每加仑汽油行驶里程通常会降低。
我们可以通过通过这些点绘制一条最优拟合线来创建自己的模型：
- 图3-
通过上图中的数据绘制的最佳拟合线。
» 线性回归方程
用代数学术语来讲，该模型可定义为 y=mx+b，其中
y 是每加仑行驶英里数，即我们要预测的值。m 是线条的斜率。x 是英镑，即我们的输入值。b 是 y 轴截距。在机器学习中，我们可以将线性回归模型的方程写为：
y′=b+w1x1
其中：
y′ 是预测的标签，即输出。b 是模型的偏差。偏差与线性代数方程中的 y 截距的概念相同。在机器学习中，偏差有时称为 w0。偏差是模型的参数，在训练期间计算得出。w1 是特征的权重。权重与线性代数方程中的斜率 m 的概念相同。权重是模型的参数，在训练期间计算得出。x1 是特征，即输入。在训练过程中，模型会计算可生成最佳模型的权重和偏差。
- 图4：线性模型的数学表示法 -
在我们的示例中，我们将根据所绘制线条计算权重和偏差。偏差为 30（线条与 y 轴的交点），权重为 -3.6（线条的斜率）。该模型将定义为 y′=30+(−3.6)(x1) ，我们可以使用它进行预测。例如，使用此模型，一辆重 4,000 磅的汽车的预测油耗为每加仑汽油行驶 15.6 英里。
- 图5 -
使用该模型，一辆重 4,000 磅的汽车的预测油耗为每加仑 15.6 英里。
» 具有多个特征的模型
虽然本部分的示例仅使用一项特征（汽车的重量），但更复杂的模型可能依赖于多项特征，每项特征都有一个单独的权重 (w1、w2 等)。例如，具有五个特征的模型将如下所示：
y′=b+w1x1+w2x2+w3x3+w4x4+w5x5
例如，用于预测油耗的模型还可以使用以下特征：
发动机排气量加速性能气缸数量马力此模型的编写方式如下：
- 图6 -
一个包含五个特征的模型，用于预测汽车的每加仑汽油能行驶的英里数。
通过绘制这些其他特征的图表，我们可以看到它们也与标签“每加仑行驶里程数”之间存在线性关系：
- 图7 -
汽车的排气量（以立方厘米为单位）和每加仑的英里数。随着汽车发动机的增大，其每加仑的英里数评级通常会降低。
- 图8 -
汽车的加速度和每加仑英里数。随着汽车加速时间的延长，每加仑汽油行驶里程通常会增加。
- 图9 -
汽车的马力和每加仑英里数。随着汽车马力的增加，每加仑的英里数评级通常会降低。
