为什么在线性回归中使用普通最小二乘法?

为什么在线性回归中使用普通最小二乘法?
Anonim

回答:

如果Gauss-Markof假设成立,则OLS提供任何线性估计的最低标准误差,因此最佳线性无偏估计

说明:

鉴于这些假设

  1. 参数co-efficents是线性的,这只是意味着 #beta_0和beta_1# 是线性但是 #X# 变量不一定是线性的 #x的^ 2#

  2. 数据来自随机样本

  3. 没有完美的多重共线性,因此两个变量并不是完全相关的。

  4. #欧洲联盟#/#x_j)= 0# 平均条件假设为零,意味着 #x_j# 变量不提供有关未观察变量的平均值的信息。

  5. 对于任何给定的水平,方差是相等的 #X##var(U)=Σ-^ 2#

那么OLS是线性估计器群中的最佳线性估计器或(Best Linear Unbiased Estimator)BLUE。

如果你有这个额外的假设:

  1. 方差通常是分布的

然后OLS估计器成为最佳估计器,无论它是线性还是非线性估计器。

这实际上意味着如果假设1-5保持,那么OLS提供任何线性估计器的最低标准误差,并且如果1-6保持则它提供任何估计器的最低标准误差。