Minimos cuadrados generalizados

MINIMOS CUADRADOS GENERALIZADOS, CON EJERCICIOS

1. CAP´ıTULO 9
M´ınimos cuadrados generalizados y m´axima verosimilitud
9.1. Introducci´on
En el marco del modelo cl´asico, los supuestos de homocedasticidad,E(u
2
i
) =σ
2
u
(i=
1,2, . . . n), y ausencia de autocorrelaci´on,E(u
iuj) = 0∀i�=j(i, j= 1,2, . . . n),
implican que la matriz de varianzas y covarianzas deues escalar
V(u) =E[(u−E(u))(u
�
−E(u
�
))] =E












u
1
u2
.
.
.
u
n






�
u
1u2. . . un







=






E(u
2
1
)E(u 1u2). . . E(u 1un)
E(u
2u1)E(u
2
2
). . . E(u 2un)
.
.
.
.
.
.
.
.
.
.
.
.
E(u
nu1)E(u nu2). . . E(u
2
n
)






=






σ
2
u
0. . .0
0σ
2
u
. . .0
.
.
.
.
.
.
.
.
.
.
.
.
0 0 . . . σ
2
u






=σ
2
u
In
El supuesto de homocedasticidad implica que todos los elementos de la diagonal principal
deV(u), las varianzas, son iguales a un escalarσ
2
u
, mientras que el de autocorrelaci´on
implica que los elementos situados fuera de la diagonal principal deV(u), las covarianzas,
son iguales a cero. Si relajamos estos dos supuestos, entonces la matriz de varianzas y
covarianzas deja de ser escalar
V(u) =






E(u
2
1
)E(u 1u2). . . E(u 1un)
E(u
2u1)E(u
2
2
). . . E(u 1un)
.
.
.
.
.
.
.
.
.
.
.
.
E(u
nu1)E(u nu2). . . E(u
2
n
)






=






σ
2
1
σ12. . . σ1n
σ21σ
2
2
. . . σ2n
.
.
.
.
.
.
.
.
.
.
.
.
σ
n1σn2. . . σ
2
n






=Σ
Definici´on81.El
modelolinealgeneralconperturbacionesnoesf´ericas es
Y
i=β1+β2X2i+· · ·+β kXki+ui, i= 1, . . . , n
en dondeE(u
i) = 0,E(u
2
i
) =σ
2
i
yE(u iuj) =σ ij∀i�=j, que podemos escribir en
notci´on matricial comoy=Xβ+u, conE(u) =0yE(uu
�
) =Σ.
Observaci´on55. Conviene escribirΣ=σ
2
u
Ω, para obtener el modelo lineal general
con perturbaciones esf´ericas como un caso especial del modelo con perturbaciones no
esf´ericas,Ω=I.
En este cap´ıtulo vamos a demostrar que en el modelo lineal general con perturba-
ciones no esf´ericas, hay un estimador alternativo y superior al estimador de m´ınimos
cuadrados ordinarios: el estimador de m´ınimos cuadrados generalizados, que es equiva-
lente al estimador de m´axima verosimilitud cuando el vector de errores sigue una dis-
tribuci´on normal multivariante.
129

2. 130 9.2. El estimador de m´ınimos cuadrados ordinarios
9.2. El estimador de m´ınimos cuadrados ordinarios
Proposici´on85.En el modelo lineal general con heterocedasticidad y/o autocor-
relaci´on, el estimador de m´ınimos cuadrados ordinarios es
ˆ
β
M CO=
u
X
�
X
b
−1
X
�
y
Demostraci´on.El m´etodo de m´ınimos cuadrados ordinarios no tiene en cuenta la
matriz de varianzas y covarianzas de los errores al minimizar la suma de cuadrados de
los residuos:
Q=ˆu
�
ˆu= (y−X
ˆ
β)
�
(y−X
ˆ
β) = (y
�
−
ˆ
β
�
X
�
)(y−X
ˆ
β)
�
Proposici´on86.En el modelo lineal general con heterocedasticidad y/o autocor-
relaci´on, el estimador MCO es insesgado.
Demostraci´on.Por definici´on
E(
ˆ
β
M CO) =E
s
β+
u
X
�
X
b
−1
X
�
u
f
Comoβes un par´ametro yXes una matriz no estoc´astica,
E(
ˆ
β
M CO) =β+
u
X
�
X
b
−1
X
�
E(u) =β
porqueE(u) = 0. �
Observaci´on56. La proposici´on anterior es l´ogica porque que la propiedad de inses-
gadez se basa en los supuestos de regresores no estoc´asticos yE(u) =0, pero no tiene
en cuenta la matriz de varianzas y covarianzas de los errores.
Proposici´on87.En el modelo lineal general con heterocedasticidad y/o autocor-
relaci´on, la matriz de varianzas y covarianzas de
ˆ
β
M COes
V(
ˆ
β
M CO) =σ
2
u
u
X
�
X
b
−1
u
X
�
ΩX
b u
X
�
X
b
−1
Demostraci´on.Por definici´on
V(
ˆ
β
M CO) =E
´
�
ˆ
β
M CO−E(
ˆ
β
M CO)
�
ˆ
β
M CO−E(
ˆ
β
M CO)

�
,
Como el estimador es insesgado,
ˆ
β
M CO−E(
ˆ
β
M CO) =
ˆ
β
M CO−β= (X
�
X)
−1
X
�
u, y su
traspuesta
�
ˆ
β
M CO−E(
ˆ
β
M CO)

�
=
�
ˆ
β
M CO−β

�
=u
�
X(X
�
X)
−1
, de modo que
V(
ˆ
β
M CO) =E
s
u
X
�
X
b
−1
X
�
uu
�
X
u
X
�
X
b
−1
f
=
u
X
�
X
b
−1
X
�
E
y
uu
�
q
X
u
X
�
X
b
−1
=
u
X
�
X
b
−1
X
�
y
σ
2
u
Ω
q
X
u
X
�
X
b
−1
=σ
2
u
u
X
�
X
b
−1
u
X
�
ΩX
b u
X
�
X
b
−1
�
Proposici´on88.En el modelo lineal general con heterocedasticidad y/o autocor-
relaci´on, el estimador MCO es consistente si
l´ım
n→∞
.
X
�
ΩX
n
O
=R
es una matriz finita.
Prof. Dr. Jos´e Luis Gallego G´omez
Departamento de Econom´ıa. Universidad de Cantabria
Apuntes de Econometr´ıa. LADE y LE. Curso 2008-2009.
Material publicado bajo licencia Creative Commons

3. 9. M´ınimos cuadrados generalizados y m´axima verosimilitud 131
Demostraci´on.Un estimador es consistente si su error cuadr´atico medio tiende a
un vector de ceros cuandontiende a infinito. Como el estimador de m´ınimos cuadrados
es insesgado, el error cuadr´atico medio es igual a la matrizde varianzas y covarianzas, y
l´ım
n→∞
V(
ˆ
β) = l´ım
n→∞
σ
2
n
.
X
�
X
n
O
−1
.
X
�
ΩX
n
O .
X
�
X
n
O
−1
= 0Q
−1
RQ
−1
=O
�
Proposici´on89.Suponiendou∼N(0, σ
2
u
Ω), el estimador MCO tiene una dis-
tribuci´on normal
ˆ
β
M CO∼N(β, σ
2
u
u
X
�
X
b
−1u
X
�
ΩX
b u
X
�
X
b
−1
)
Proposici´on90.El estimadorˆσ
2
u
=ˆu
�
ˆu/(n−k)es un estimador sesgado.
Demostraci´on.
E(ˆu
�
ˆu) =E(u
�
Mu) =E(tru
�
Mu) =E(trMuu
�
) =trME(uu
�
) =σ
2
u
trMΩ�=σ
2
u
(n−k)
�
9.3. El estimador de m´ınimos cuadrados generalizados
En esta secci´on nos planteamos la siguiente pregunta: ¿es posible transformar un
modelo lineal general con perturbaciones no esf´ericas en un modelo lineal general con
perturbaciones esf´ericas? Si la respuesta es afirmativa, entonces el modelo transformado
cumplir´a las hip´otesis b´asicas y todos los resultados establecidos en los temas anteriores
ser´an de aplicaci´on directa. El estimador de m´ınimos cuadrados ordinarios (MCO) en
el modelo transformado se denomina estimador de m´ınimos cuadrados generalizados
(MCG). Este estimador ser´a ELIO.
Para encontrar un modelo transformado con las hip´otesis b´asicas, premultiplicamos
el modelo lineal general con perturbaciones no esf´ericas por una matrizPno estoc´astica
Py=PXβ+Pu
Este modelo transformado puede escribirse como
y
∗=X∗β+u ∗
en dondey ∗=Py,X ∗=PXyu ∗=Pu.
El t´ermino de error en el modelo transformadou
∗cumple las siguientes propiedades:
1.E(u
∗) =E(Pu) =PE(u) =0
2.E(u
∗u
�
∗
) =E(Puu
�
P
�
) =PE(uu
�
)P
�
=σ
2
u
PΩP
Si la matrizPes tal queσ
2
u
PΩP
�
=σ
2
u
I, entonces el modelo transformado:
1. contiene los par´ametros de inter´esβyσ
2
u
2. cumple las hip´otesis b´asicas.
De aqu´ı, el estimador de m´ınimos cuadrados ordinarios en el modelo transformado pro-
porciona el estimador lineal, insesgado y eficiente deβy el estimador insesgado de
σ
2
u
.
Proposici´on91.Existe una matrizPtal quePΩP
�
=I
Prof. Dr. Jos´e Luis Gallego G´omez
Departamento de Econom´ıa. Universidad de Cantabria
Apuntes de Econometr´ıa. LADE y LE. Curso 2008-2009.
Material publicado bajo licencia Creative Commons

4. 132 9.3. El estimador de m´ınimos cuadrados generalizados
Demostraci´on.De la definicici´on de autovalores y autovectores, podemos escribir
ΩC=CΛ
en dondeΛ=diag(λ
1, . . . , λn) es la matriz diagonal de autovalores yCes la matriz
autovectores. Adem´as, por serΩuna matriz sim´etrica, la matrizCes ortogonal o
unitariaC
−1
=C
�
. De aqu´ı, podemos escribir
Ω=CΛC
�
DefiniendoΛ
1/2
=diag(
√
λ1, . . . ,
√
λn), tenemos que
Ω=CΛ
1/2
Λ
1/2
C
�
PremultiplicandoΩporΛ
−1/2
C
�
y postmultiplicando porCΛ
−1/2
Λ
−1/2
C
�
ΩCΛ
−1/2
=Λ
−1/2
C
�
CΛ
1/2
Λ
1/2
C
�
CΛ
−1/2
=I
De aqu´ı, vemos que la matriz buscada es
P=Λ
−1/2
C
�
. �
De la demostraci´on anterior, se derivan las dos siguientesrelaciones que ser´an de
inter´es m´as adelante:
1.Ω
−1
=P
�
P
2.Ω=P
−1
P
�
−1
Proposici´on92.El estimador lineal, insesgado y ´optimo deβes
ˆβ
M CG=
u
X
�
Ω
−1
X
b
−1
X
�
Ω
−1
y
que se denomina estimador de M´ınimos Cuadrados Generalizados o estimador de Aitken.
Demostraci´on.Como el modelo transformado cumple los supuestos del modelo
cl´asico, el estimador el estimador de m´ınimos cuadrados ordinarios
ˆ
β=
u
X
�
∗
X∗
b
−1
X
�
∗
y∗
ser´a el estimador lineal, insesgado y ´optimo, que podemosexpresarse en t´erminos de los
datos originales
ˆ
β=
u
X
�
P
�
PX
b
−1
X
�
P
�
Py=
u
X
�
Ω
−1
X
b
−1
X
�
Ω
−1
y
�
Proposici´on93.La matriz de varianzas y covarianzas del estimador de MCG es
V ar(
ˆ
β
M CG) =σ
2
u
(X
�
Ω
−1
X)
−1
Demostraci´on.La matriz de varianzas y covarianzas del estimador de MCO deβ
en el modelo transformado es
V ar(
ˆ
β
M CG) =σ
2
u
(X
�
∗
X∗)
−1
=σ
2
u
u
X
�
P
�
PX
b
−1
=σ
2
u
u
X
�
Ω
−1
X
b
−1
�
Prof. Dr. Jos´e Luis Gallego G´omez
Departamento de Econom´ıa. Universidad de Cantabria
Apuntes de Econometr´ıa. LADE y LE. Curso 2008-2009.
Material publicado bajo licencia Creative Commons

5. 9. M´ınimos cuadrados generalizados y m´axima verosimilitud 133
Proposici´on94.El estimador insesgado deσ
2
u
es
ˆσ
2
M CG
=
(y−X
ˆ
β
M CG)
�
Ω
−1
(y−X
ˆ
β
M CG)
n−k
Demostraci´on.El estimador insesgado deσ
2
u
en el modelo transformado es
ˆσ
2
=
ˆu
�
∗
ˆu∗
n−k
=
(y
∗−X∗
ˆ
β
M CG)
�
(y∗−X∗
ˆ
β
M CG)
n−k
=
(y−X
ˆ
β
M CG)
�
P
�
P(y−X
ˆ
β
M CG)
n−k
�
9.4. Contraste de hip´otesis
Los contrastes de hip´otesis se realizan en el modelo transformado aplicando los
procedimientos establecidos en los temas anteriores. A modo de resumen, se presentan
las siguientes proposiciones cuya demostraci´on es trivial.
Proposici´on95.Bajo el supuestou∼N(0, σ
2
u
Ω), el estimador MCG deβtiene
una distribuci´on normal
ˆ
β
M CG∼N
u
β, σ
2
u
(X
�
∗
X∗)
−1
b
≡N
u
β, σ
2
u
(X
�
Ω
−1
X)
−1
b
Proposici´on96.Bajo el supuestou∼N(0, σ
2
u
Ω), el estad´ıstico(n−k)ˆσ
2
M CG
/σ
2
u
tiene una distribuci´on Chi-cuadrado conn−k.
Proposici´on97.La hip´otesisH
0:Rβ−r=0se rechaza al nivel de significaci´on
αsi
F≡[R
ˆ
β
M CG−r]
�
[ˆσ
2
M CG
R(X
�
∗
X∗)
−1
R
�
]
−1
[R
ˆ
β
M CG−r]/q > c
o bien
F≡[R
ˆ
β
M CG−r]
�
[ˆσ
2
M CG
R(X
�
Ω
−1
X)
−1
R
�
]
−1
[R
ˆ
β
M CG−r]/q > c
en dondeces el valor cr´ıtico para el cualP rob(F
q,n−k > c) =α.
9.5. Bondad de ajuste
En la estimaci´onMCGpodemos definir dos residuos:
1. los calculados en el modelo de inter´es
ˆu
M CG=y−X
ˆ
β
M CG
2. los calculados en el modelo transformado
ˆu
∗=y∗−X∗
ˆ
β
M CG=Pˆu M CG
Los residuosˆu ∗derivados de la estimaci´on MCO del modelo transformado cumplen
la propiedadX
�
∗
ˆu∗=0. Cuando el modelo transformado incluye t´ermino constante, la
media de estos residuos es igual cero. Sin embargo, en la mayor´ıa de las situaciones el
modelo transformado no incluye t´ermino constante, por lo que la media de los residuos
ˆu
∗es distinta de cero. De aqu´ı, en el modelo transformado, la descomposici´on de la suma
de cuadrados total en explicada y residual no se cumple siempre
SCT
∗�=SCE ∗+SCR ∗
Prof. Dr. Jos´e Luis Gallego G´omez
Departamento de Econom´ıa. Universidad de Cantabria
Apuntes de Econometr´ıa. LADE y LE. Curso 2008-2009.
Material publicado bajo licencia Creative Commons

6. 134 9.7. M´etodo de m´axima verosimilitud
En consecuencia, el coeficiente de determinaci´onR
2
∗
no est´a acotado entre 0 y 1. Pero,
a´un cuando el modelo transformado incluya t´ermino constante y elR
2
∗
est´e comprendido
entre 0 y 1, no tiene mucho sentido usar este estad´ıstico como medida de bondad de
ajuste, porque no estamos interesados en explicary
∗sino los datos observadosy.
Por otro lado, los residuos calculados en el modelo de inter´esˆu
M CGno tienen media
cero, y elR
2
basado en estos residuos no est´a acotado.
9.6. M´ınimos cuadrados generalizados factibles
El c´alculo del estimador MCG deβrequiere conocer la matrizΩ. Como los errores
aleatorios no son observables, la matrizΩes desconocida y no es posible obtener el
estimador MCG. En la pr´actica, tenemos que estimar la matrizΩ.
Definici´on82.El estimador de m´ınimos cuadrados generalizados factibles deΩes
ˆβ
M CGF=
�
X
�ˆ
Ω
−1
X

−1
X
�ˆ
Ω
−1
y
en donde
ˆ
Ωes una estimaci´on deΩ.
Observaci´on57. Las propiedades en peque˜nas muestras del estimadorˆβ
M CGFson
desconocidas, por lo que no es claro si es un estimador mejor que el de MCO.
El c´alculo del estimador MCG requiere invertir la matrizΩde ordenn×n. La in-
versi´on de esta matriz supone una gran coste computacionaly puede evitarse cuando la
matrizΩtiene una determinada estructura. En los temas de heterocedasticidad y auto-
correlaci´on, estudiaremos las formas m´as comunes de la matrizΩy los procedimientos
m´as convenientes para obtener el estimador de m´ınimos cuadrados generalizados sin
invertirΩ.
9.7. M´etodo de m´axima verosimilitud
El m´etodo de m´ınimos cuadrados no requiere conocer la distribuci´on de las obser-
vaciones. En 1921 R.A. Fisher propuso un m´etodo de estimaci´on basado en la funci´on
de verosimilitud.
Definici´on83.El vector de variables aleatoriasy= (y
1y2. . . yn)
�
sigue una
distribuci´on normal multivariantecon vector de mediasE(y) =Xβy matriz de
covarianzasV(y) =σ
2
u
Ω,y∼N(Xβ, σ
2
u
Ω), si tiene una funci´on de densidad conjunta
de la forma
(9.1) p(y) =
.
1
2π
O
n/2
|σ
2
u
Ω|
−1/2
exp
.
−
1
2
(y−Xβ)
�
(σ
2
u
Ω)
−1
(y−Xβ)
O
where|σ
2
u
Ω|es el determinante de la matriz de covarianzas yexp()indica el n´umeroe
elevado a ese argumento.
La funci´on de densidad conjunta nos dice cu´al es laprobabilidadde observar una
muestra particular de la variable aleatoriay. Para calcular esta probabilidad necesitamos
conocer los par´ametros (β;σ
2
u
). Usando unas estimaciones de estos par´ametros, junto
con los valores conocidos de las matricesXyΩ, podr´ıamos estimar la probabilidad de
obtener una muestra observada simplemente evaluando el determinante y el exponente
de la funci´on.
Prof. Dr. Jos´e Luis Gallego G´omez
Departamento de Econom´ıa. Universidad de Cantabria
Apuntes de Econometr´ıa. LADE y LE. Curso 2008-2009.
Material publicado bajo licencia Creative Commons

7. 9. M´ınimos cuadrados generalizados y m´axima verosimilitud 135
Definici´on84.La funci´on de densidad conjunta contemplada como una funci´on de
los par´ametros desconocidos
L(β, σ
2
u
|y,X,Ω) =p(y)
se denominafunci´on de verosimilitud.
El m´etodo de estimaci´on de m´axima verosimilitud consiste en encontrar los valores
de los prar´ametros que maximizan la probabilidad de obtener la muestra observada.
Definici´on85.Los estimadores de m´axima verosimilitud de los par´ametros de-
sconocidosβyσ
2
u
son los valores
˜
βy˜σ
2
u
que maximizan la funci´on de verosimilitud
L(β, σ
2
u
|y,X,Ω).
Puesto que la probabilidad siempre es positiva y el logaritmo es una transforma-
ci´on mon´otona, maximinzarL(β, σ
2
u
|y,X,Ω) es equivalente a maximizar su logaritmo
neperiano,�(β, σ
2
u
) = ln(L(β, σ
2
u
|y,X,Ω)). Tomando logaritmos neperianos en (9.1)
tenemos
�(β, σ
2
u
) =−
n
2
ln(2π)−
n
2
ln(σ
2
u
)−
1
2
ln(Ω)−
1
2σ
2
(y−Xβ)
�
Ω
−1
(y−Xβ)
en donde hemos usado los resultados|σ
2
u
Ω|= (σ
2
u
)
n
|Ω|y ln(e
z
) =z.
Proposici´on98.Los estimadores de m´axima verosimilitud deβyσ
2
u
son
˜β=(X
�
Ω
−1
X)
−1
X
�
Ω
−1
y
˜σ
2
u
=
(y−X
˜
β)
�
Ω
−1
(y−X
˜
β)
n
Demostraci´on.Las derivadas parciales de�(β, σ
2
u
) respeto deβyσ
2
u
son
∂�(β, σ
2
u
)
∂β
=−
1
σ
2
u
(−X
�
Ω
−1
y+X
�
Ω
−1
Xβ)
∂�(β, σ
2
u
)
∂σ
2
u
=−
n
2σ
2
u
+
1
2σ
4
u
(y−Xβ)
�
Ω
−1
(y−Xβ)
Igualando estas dos derivadas parciales a cero y resolviendo simultaneamente las ecua-
ciones resultantes encontramos los estimadores buscados. �
Observaci´on58. En la demostraci´on anterior, al igualar las derivadas parciales a
cero tenemos que reemplazar los par´ametros desconocidos por sus estimaciones. Estas
derivadas no tienen porqu´e anularse cuando se eval´uan para los valores verdaderos de
los par´ametros.
Los estimadores de m´axima verosimilitud son invariantes atransformaciones de los
par´ametros. Es equivalente maximizar la funci´on de verosimilitud respecto deσ
2
u
que
respecto deσ
2
u
.
9.8. Resumen
1. Al relajar los supuestos de homocedasticidad y autocorrelaci´on, el estimador
de m´ınimos cuadrados deβes lineal e insesgado, pero ineficiente.
Prof. Dr. Jos´e Luis Gallego G´omez
Departamento de Econom´ıa. Universidad de Cantabria
Apuntes de Econometr´ıa. LADE y LE. Curso 2008-2009.
Material publicado bajo licencia Creative Commons

8. 136 9.9. Ejercicios
2. El estimador lineal, insesgado y ´optimo deβen el modelo lineal general con
perturbaciones no esf´ericas es el estimador de m´ınimos cuadrados generalizados
ˆ
β
M CG=
m
X
�
Ω
−1
X
a
−1
X
�
Ω
−1
y
3. El estimador deMCGsupone que la matrizΩes conocida.
4. Las medidas de bondad de ajuste asociadas a la estimaci´onpor MCG no son
muy informativas.
5. Bajo el supuesto normalidad, es estimador de m´ınimos cuadrados generalizados
coincide con el estimador de m´axima verosimilitud.
Palabras clave
Heterocedasticidad
Autocorrelaci´on
Perturbaciones no esf´ericas
M´ınimos cuadrados generalizados
MCG factibles
M´axima verosimilitud
9.9. Ejercicios
1. Demuestre que el estimador MCG deβminimiza la suma de cuadrados gener-
alizada
(y−X
ˆ
β
M CG)
�
Ω
−1
(y−X
ˆ
β
M CG)
2. Demuestre que el estimador
ˆ
β
M CGes m´as eficiente que el estimador
ˆ
β
M CO.
Pista: demuestre que la diferencia entreV ar(
ˆ
β
M CG)
−1
yV ar(
ˆ
β
M CO)
−1
es una
matriz semidefinida positiva y use la relaci´onΩ
−1
=P
�
P.
3. Obtenga los estimadores de m´axima verosimilitud en el marco del modelo
cl´asico con normalidad.
Prof. Dr. Jos´e Luis Gallego G´omez
Departamento de Econom´ıa. Universidad de Cantabria
Apuntes de Econometr´ıa. LADE y LE. Curso 2008-2009.
Material publicado bajo licencia Creative Commons