一元线性回归是用一条直线y = ax + b来拟合二维数据点的方法,使所有数据点到直线的纵向距离平方和最小。
最小二乘法的目标函数:
min Σ(yi - (a·xi + b))²
对 a 和 b 分别求偏导并令其为零,得到正规方程组:
a·Σxi² + b·Σxi = Σxi·yi
a·Σxi + n·b = Σyi
解得:
a = Σ(xi-x̄)(yi-ȳ) / Σ(xi-x̄)²
b = ȳ - a·x̄
R² 决定系数衡量回归直线对数据变异的解释程度:
R² = 1 - SS_res / SS_tot
其中:
SS_tot = Σ(yi - ȳ)²(总变差)
SS_res = Σ(yi - ŷi)²(残差平方和)
R² 越接近1,回归拟合越好;R² = 1 表示所有点恰好在直线上。
相关系数 r:r = Σ(xi-x̄)(yi-ȳ) / √(Σ(xi-x̄)²·Σ(yi-ȳ)²)
r 的符号与 a 相同,表示线性相关的方向;|r| 越接近1,线性关系越强。