Método de los Mínimos Cuadrados

El método de los mínimos cuadrados para el Ajustamiento Lineal, formulado por Gauss, propone encontrar una recta ${\hat{Y}}_i=a_1+b_1{X}_i$ analizando los desvíos del modelo de regresión.

Un desvío es $e_i=Y_i-{\hat{Y}}_i$, siendo $Y_i$ un valor empírico de la ordenada.

$$\begin{array}{rl}{a}_1& =\frac{\sum Y_i\sum X_i^2-\sum Y_i{X}_i\sum X_i}{n\sum X_i^2-(\sum X_i{)}^2}\\ b_1& =\frac{n\sum Y_i{X}_i-\sum Y_i\sum X_i}{n\sum X_i^2-(\sum X_i{)}^2}\end{array}$$

Siendo $a_1$ un coeficiente que indica la cantidad promedio de $Y_i$ cuando $X_i=0$ (ordenada al origen), y $b_1$ un coeficiente que indica la variación promedio de $Y_i$ para una variación unitaria de $X_i$ (pendiente).

${\sum }_{i=1}^n{Y}_i=n{a}_1+b_1{\sum }_{i=1}^n{X}_i⟹{\sum }_{i=1}^n{Y}_i-n{a}_1-b_1{\sum }_{i=1}^n{X}_i={\sum }_{i=1}^n(Y_i-a_1-b_1{X}_i)={\sum }_{i=1}^n(Y_i-{\hat{Y}}_i)=0$

Dado $\sum (Y_i-{\hat{Y}}_i)=0$, la recta de ajustamiento se comporta como una medida de posición dinámica.

Método Abreviado

Se transforma la variable $X_i$ para simplificar las ecuaciones de $a_1$ y $b_1$. Sea $x_i=X_1-\overline{X}$ tal que se cumple $\sum x_i=\sum (X_i-\overline{X})=0$, aplicando una propiedad de la media aritmética.

$$\begin{array}{rl}\sum _{i=1}^n{Y}_i=n{a}_1^{\prime }+\cancel{b_1^{\prime }\sum _{i=1}^n{x}_i}=n{a}_1^{\prime }⟹a_1^{\prime }& =\frac{{\sum }_{i=1}^n{Y}_i}{n}=\overline{Y}\\ \sum _{i=1}^n{Y}_i{x}_i=\cancel{a_1^{\prime }\sum _{i=1}^n{x}_i}+b_1^{\prime }\sum _{i=1}^n{x}_i^2=b_1^{\prime }\sum _{i=1}^n{x}_i^2⟹b_1^{\prime }& =\frac{{\sum }_{i=1}^n{x}_i{Y}_i}{{\sum }_{i=1}^n{x}_i^2}\\ {\hat{Y}}_i& =a_1^{\prime }+b_1^{\prime }{x}_i\end{array}$$

Ahora, dado ${\hat{Y}}_i=a_1^{\prime }+b_1^{\prime }$:

$$\begin{array}{rl}{\hat{Y}}_i+a_1^{\prime }+b_1^{\prime }{x}_i=a_1^{\prime }+b_1^{\prime }(X_i-\overline{X})=a_1{1}^{\prime }+b_1^{\prime }{X}_i-b_1^{\prime }\overline{X}& =(a_1^{\prime }-b_1^{\prime }\overline{X})+b_1^{\prime }{X}_i\\ a_1& =(a_1^{\prime }-b_1^{\prime }\overline{X})=\overline{Y}-b_1\overline{X}\\ b_1& =b_1^{\prime }\end{array}$$

En el gráfico, se dice que la variable $x_i$ es centrada porque a cada $X_i$ se le resta $\overline{X}$. Este desplazamiento no afecta a la pendiente, lo cual explica que $b_1=b_1^{\prime }$.

Caso Inverso

Ahora, se imagina una alternativa en la que $Y_i$ es la variable independiente.

Sea un ajustamiento inverso con una segunda recta ajustada ${\hat{X}}_i=a_2+b_2{Y}_i$. Por lo general, la recta original y la inversa no coinciden, es decir, $a_1\ne a_2$ y $b_1\ne b_2$.

$a_2^{\prime }=\frac{\sum X_i}{n}=\overline{X}\wedge b_2^{\prime }=\frac{\sum y_i{X}_i}{\sum y_i^2}$

En el gráfico se evidencia que ambas rectas se intersectan en el punto $(\overline{X},\overline{Y})$.