DISTRIBUCION NORMAL
La distribución normal, también llamada gaussiana,
es la distribución continua más importante en la
teoría de estadística y en la práctica. Las
distribuciones de muchas variables aleatorias en experimentos
ordinarios pueden aproximarse satisfactoriamente por una curva
normal. El
teorema
central del límite ayuda a explicar la causa
de que estas distribuciones aparezcan en trabajos de estadística
tan frecuentemente; demuestra que muchas distribuciones, bajo
ciertas condiciones, son aproximadamente iguales a la normal.
Recordamos que una variable aleatoria es de distribución
normal si su función de densidad viene dada por:
\( \displaystyle p_X(x) = \frac{1}{\sigma\sqrt{2\pi}}·\exp[-
\frac{(x-\mu)^2}{2\sigma^2}]\:, \:-\infty < x < \infty\qquad
(19) \)
donde \( \mu \) es la media y \( \sigma^2 \) la varianza de X.
Estos dos parámetros caracterizan completamente la distribución,
pues todos los momentos pueden deducirse de \( p_X(x)\). Además,
por una traslación y cambio de escala podemos transformar
una función de densidad gaussiana arbitraria de parámetros
\( \mu , \sigma^2 \) en la función de densidad gaussiana
tipificada de parámetros (0 , 1), y viceversa.
La distribución gaussiana multivariable es una extensión
natural del caso escalar que combina una distribución de
varias variables aleatorias. Un caso - importante de distribución
gaussiana multivariable es aquel en el que todas las variables
tienen medias nulas. Esto nos lleva a decir que un vector de variables
aleatorias:
\(X^T = (X_1,X_2,...,X_n) \)
con media cero es una distribución gaussiana multivariable,
si cada componente de X es una combinación lineal de variables
aleatorias gaussianas tipificadas independientes. Así,
si \( Z_1,...,Z_n \) son independientes :
\( \displaystyle X_i = \sum_{j=1}^{m}e_{ij}Z_j\quad , \quad
i = 1,..., n \qquad\qquad (20) \)
Es una variable aleatoria gaussiana tipificada. Si en particular
\( m = n , \:c_{ii} = 1\:, c_{ij} = 0 \:,\: \forall i\neq j
\)
Entonces
\( X_i = Z_i \:, \: i = 1,...,m \)
Y y diremos qué X es un vector m-variable gaussiano tipificado.
Eh notación matricial, podemos definir el vector m-dimensional
Z cuya traspuesta es :
\( Z^T = (Z_1,...,Z_m) \)
y la matriz de orden n x m:
\( c = (c_{ij}) \;,\; i = 1,...,n \; ;\; j = 1,...,m \)
con lo que tenemos :
El valor esperado de X y su matriz de covarianza serán,
respectivamente:
\(\begin{array}{l}
E[X] = E[c·Z] = c·E[Z] = c·0 = 0\quad\quad
(21) \\
\\
E[X·X^T] = E[cZ·Z^T c^T] = c·E[Z·Z^T]c^T
= c·I·c^T = c·c^T\quad (22)
\end{array}\)
donde I es la matriz identidad de orden m .
Como en el caso escalar, una simple traslación del origen
da un vector gaussiano multivariable con un vector media arbitrario.
Sea \( \mu \) un vector constante de dimensión n cuya traspuesta
es:
\( \mu^T = (\mu_1, ..., \mu_n) \)
y sea
\(Y = X + \mu = c·Z + \mu \)
entonces:
\( E[Y] = E[X + \mu] = E[X] + \mu = c·E[Z] + \mu = 0
+ \mu = \mu \)
y se dice que Y es una distribución gaussiana multivariable
con media \( \mu \) matriz de covarianza \( c·e^T \).
La función densidad de distribución de la variable
aleatoria m-dimensional X - dependerá de la matriz c.
En el caso de que esta matriz sea cuadrada no singular esta
función de densidad puede obtenerse con facilidad a partir
de la de Z.
Puesto que \( Z_1,..., Z_n \) son variables aleatorias independientes,
la función de densidad total de Z es el producto de sus
funciones de densidad marginales:
\( \displaystyle \begin{array}{l}
P_Z(z) = \prod_{i=1}^{n}\frac{1}{\sqrt{2\pi}}·\exp\left(-\frac{z^2_i}{2}\right)
= \left(\frac{1}{2·\pi}\right)^{n/2}\exp\left(-\frac{\sum
z_i^2}{2}\right) = \\
\\
= \left(\frac{1}{2·\pi}\right)^{n/2}\exp\left(-\frac{z^Tz}{2}\right)\qquad
(23)
\end{array} \)
Para pasar de una densidad n-dimensional a otra por medio de
una transformación no singular el jacoviano de la transformación
viene dado por el determinante de la matriz inversa de c, con
lo que la densidad total de las componentes de X es:
\( \displaystyle \begin{array}{l}
p_X(x) = p_Z(e^{-1}x)·det(c^{-1}) = \\
\\
=\left(\frac{1}{2·\pi}\right)^{n/2}\exp\left[- \frac{x^T(c^T)^{-1}c^{-1}x}{2}\right]·det(c^{-1})
= \\
\\
= \left(\frac{1}{2·\pi}\right)^{n/2}·det(c^{-1})·\exp\left[-\frac{x^T(c·c^T)^{-1}x}{2}\right]
\end{array} \)
La inversa de la matriz \( c·c^T\) es la matriz de una
forma cuadrática que podemos denotar en la forma \( \sigma^2
\) . Además se tiene:
\( det \sigma^2 = (det c)(det c^T) = (det c)^2 \)
por todo ello, la función de densidad total de X puede
escribirse :
\( \displaystyle p_X(x) = \frac{(det \sigma^2)^{-1}}{(2\pi)^{n/2}}
\exp \left[-\frac{x^T(\sigma^2)^{-1}x}{2}\right]\qquad (24)
\)
Si consideramos ahora una variable aleatoria de la forma:
donde \( \mu \) es un vector constante arbitrario, la función
de densidad del vector Y será:
\( \displaystyle\begin{array}{l}
p_Y(y) = P_x(y-\mu) = \\
\\
=\frac{(det \sigma^2)^{-1}}{(2\pi)^{n/2}} \exp \left[- \frac{1}{2}(y-\mu)^T(\sigma^2)^{-1}(y-\mu)\right]\quad
(25)
\end{array} \)
Vemos entonces que, como en el caso escalar, deben especificarse
dos cantidades para definir un vector gaussiano de una distribución
multivariable i el vector media \( \mu \) y la matriz de covarianza
\( \sigma^2 \) .Dos vectores gaussianos con los mismos parámetros
estadísticos corresponden a distribuciones idénticas.
Una misma distribución multivariable gaussiana, X, puede
resultar de distintas combinaciones lineales de n variables independientes
tipificadas, \( Z_1,...,Z_n\).
Para ver esto consideremos dos distribuciones multivariables gaussianas
de la forma:
\( X = c·Z\quad ; \quad W = b·Z = c·d·Z
\)
donde c es una matriz no singular y d una matriz ortonormal (\(d·d^T
= d^Td = I\)).
Tenemos:
\( \sigma_w^2 = b·b^T = c·d·d^Tc^T = c·I·c^T
= c·c^T = \sigma_x^2\qquad (26) \)
por lo que W y X tienen la misma distribución.
Un vector gaussiano multivariable, X, será degenerado siempre
que su matriz de covarianza , \( \sigma^2 \) sea singular. En
este caso la densidad de probabilidad de X estará concentrada
en un subespacio cuya dimensión es menor que la de X. Esta
situación tiene lugar siempre que :
(a) n > m. En este caso tenemos m variables gaussianas independientes
tipificadas, \( Z_1,...,Z_n\) , y se han definido n > m combinaciones
lineales entre ellas. Puesto que el rango de c no puede ser mayor
que m, esta matriz será necesariamente singular y X tendrá
una distribución gaussiana multivariable degenerada.
(b) \( n\leq m\), y el rango de c es k < n, También
en este caso c es una matriz singular y X tiene una distribución
degenerada.
La función característica de un vector gaussiano
multivariable puede obtenerse aplicando la ecuación (16).
En general, siendo Y una distribución gaussiana multivariable
con una función de densidad dada por la ecuación
(25), su función característica es :
\( \displaystyle\begin{array}{l}
\phi_Y(u) = E[e^{i·u^Ty}] = E[e^{i·u^T(x+\mu)}]
= \\
\\
= \exp\left(i·u^T\mu - \frac{u^T\sigma^2u}{2}\right)\quad(27)
\end{array} \)
La función característica de Y proporciona una útil
herramienta para el estudio de sus propiedades.
Propiedades de
una distribución gaussiana multivariable
Como propiedades más interesantes de una distribución
gaussiana multivariable podemos enumerar:
l) Siendo \( Y_1 \) un conjunto cualquiera k-dimensional de un
vector gaussiano multivariable Y con vector media \( \mu \) y
matriz de covarianza \( \sigma^2 \) resulta que Y es así
mismo un vector gaussiano multivariable con vector media \( \mu_1
\) y matriz de covarianza \( \sigma_{11}^2 \) , donde \( \mu_1
\; y \; \sigma_{11}^2 \) están construidos a partir de
\( \mu \; y \; \sigma^2 \) .
Para ver esto partimos el vector Y en la forma:
\( Y = \left(
\begin{array}{c}
Y_1 \\
\ldots \\
Y_2 \\
\end{array}
\right) \)
donde \( Y_1 \) es un vector k-dimensional que contiene las variables
aleatorias cuya distribución parcial queremos derivar,
e \( Y_2 \) es un vector (n-k)-dimensional. La función
característica de \( Y_1 \) es :
\( \phi_{Y_1}(\xi_1)= E[e^{i\xi^TY}] \)
y siendo \( v^T = \left(\xi_1^T : 0^T\right) \) resulta :
\( v^T·Y = \left(\xi_1^T : 0^T\right)\left(
\begin{array}{c}
Y_1 \\
\ldots \\
Y_2 \\
\end{array}
\right) = \xi_1^TY_1 + 0^TY_2 = \xi_1^TY_1 \)
donde 0 denota el vector (n-k)-dimensional nulo. Con ello,
a partir de la ecuación (27) tenemos:
\( \displaystyle \phi_{Y_1} (\xi_1) = E[e^{i·v^TY}] =
\phi_Y(v) = \exp\left(i·v^T\mu - \frac{v^T\sigma^2v}{2}\right)\quad
(28) \)
Consideremos ahora la partición:
\( \mu = \left(
\begin{array}{c}
\mu_1 \\
\ldots \\
\mu_2 \\
\end{array}
\right)\qquad ; \qquad \sigma^2 = \left(
\begin{array}{ccc}
\sigma_{11}^2 & \vdots & \sigma_{12}^2 \\
\cdots & \cdots & \cdots \\
\sigma_{21}^2 & \vdots & \sigma_{22}^2 \\
\end{array}
\right) \)
siendo \( \mu_1 \) un vector k-dimensional y \( \sigma_{11}^2
\) una matriz de orden k. Tenemos :
\( \begin{array}{l} v^T\mu = \left(\xi_1^T\: :\: 0^T\right)
\left(
\begin{array}{c}
\mu_1 \\ \ldots \\ \mu_2 \\
\end{array}
\right) = \xi_1^T\mu_1 \\ \\ v^Tˇ\sigma^2ˇv = \left(\xi_1^T\:
:\: 0^T\right) \left( \begin{array}{ccc} \sigma_{11}^2 & \vdots
& \sigma_{12}^2 \\ \cdots & \cdots & \cdots \\ \sigma_{21}^2
& \vdots & \sigma_{22}^2 \\ \end{array} \right)\left( \begin{array}{c}
\xi_1 \\ 0 \\ \end{array} \right) = \\ \\ = \xi_1^Tˇ\sigma_{11}^2ˇ\xi_1
\\ \end{array} \)
y sustituyendo estos valores en la ecuación (28) :
\( \displaystyle \phi_{Y_1}(\xi_1)\exp\left(i·\xi_1^T\mu_1
- \frac{\xi_1^T\sigma_{11}^2\xi_1}{2}\right)\qquad (29)\)
pero esta expresión es la función característica
de un vector gaussiano multivariable con media \( \mu_1 \) y matriz
de covarianza \( \sigma_{11}^2 \) por lo que hemos probado lo
que nos proponíamos.
2) Siendo Y una distribución gaussiana n-variable y \(
\sigma^2 \) una matriz diagonal, las componentes \( Y_1,...,Y_n
\) de Y son variables aleatorias gaussianas independientes.
Lo que se afirma con esto es que para el caso de distribuciones
normales la in dependencia y no correlación de variables
son propiedades recíprocas.
3) Siendo Y una distribución gaussiana multivariable con
media \(\mu \) y matriz de covarianza \( \sigma^2 \) , si se tiene
\( V = a·Y \) , donde a es una matriz constante de orden
rxn y rango r, entonces V es una distribución gaussiana
r-variable con media \( a·\mu \) y matriz de covarianza
\( a·\sigma^2a^T \) .
Está claro que esta propiedad implica también
que cualquier combinación lineal de varios vectores gaussianos
multivariables (de la misma dimensión) debe tener así
mismo una distribución gaussiana multivariable.
Siendo Y una distribución n-dimensional gaussiana con subvectores
\( Y_1 \) (de dimensión k) e \( Y_2 \) (de dimensión
(n-k)), la densidad condicional de \( Y_1 \) , dada \( Y_2 = y_2
\) es una función gaussiana k-dimensional con vector media
y matriz de covarianza dados respectivamente por:
\( \mu_1 + \sigma_{12}^2(\sigma_{22}^2)^{-1}(y_2-\mu_2)\quad
; \quad \sigma_{11}^2 - \sigma_{12}^2(\sigma_{22}^2)^{-1}·\sigma_{21}^2
\)
Esta propiedad caracteriza por completo las probabilidades condicionadas
de variables aleatorias gaussianas. Si \( (X,Y_1,...,Y_n)^T\)
es un vector aleatorio multivariable gaussiano, entonces, por
la propiedad anterior, la densidad condicional de X, dada \( (Y_1,...,Y_n)^T
= Y = y\), es una distribución gaussiana con media y varianza
dadas por :
\( \displaystyle \mu_x + c^T(\sigma_Y^2)^{-1}(y-\mu_Y)\quad
; \quad \sigma_x^2 - c^T(\sigma_Y^2)^{-1}c \)
donde c es el vector de covarianzas :
\( \displaystyle c^T = \left(cov[X;Y_1],...,\,cov[X;Y_n] \right)
\)
Se sigue de lo visto que la esperanza condicionada:
\(E[X|Y = y] = \mu_x + c^T(\sigma_Y^2)^{-1}(y-\mu_Y) \)
es una función lineal de \( y^T = (y_1,...,y_n)\) (llamada
también regresión de X sobre Y) y que la variable
aleatoria \( E[X|Y] \) es una gaussiana con media \( \mu_x \)
y varianza \( c^T(\sigma_Y^2)^{-1}c \)
5) Siendo \( X_1, X_2,..., X_n\) una secuencia de vectores independientes
m-variables idénticamente distribuidos, cada uno con media
\( \mu \) y matriz de covarianza \( \sigma^2 \) es una gaussiana.
Entonces, si se ha definido:
\( \displaystyle Z_n = \frac{1}{\sqrt{n}}·S_n \quad ,
n = 1,2,... \)
con
\( \displaystyle \sum c^{-1}(x_j - \mu) \)
La distribución para \( Z_n \) converge a una gaussiana
m-variable tipificada cuando m tiende a infinito.
Esta propiedad constituye el teorema
central del límite que es uno de los resultados
más importantes de la matemática y tiene un interés
primordial en estadística.
Para demostrar esto consideramos:
\( \displaystyle Y_j = c^{-1}(X_j - \mu) \quad ; \quad \frac{S_n}{\sqrt{n}}
= \frac{1}{\sqrt{n}}\sum_{j=1}^{n}Y_j \)
con lo cual:
\( \displaystyle \phi_{S_n/\sqrt{n}}(\xi) = \phi_{S_n}\left(\frac{1}{\sqrt{n}\xi}\right)=
\left[\phi_Y\left(\frac{1}{\sqrt{n}}\xi\right)\right]^n \)
donde \( \phi_Y \) es la función característica
común de todos los \( Y_1 \) . Puesto que la media de \(
Y_j \) es 0 y su matriz de covarianza es I, podemos escribir:
\( \displaystyle \phi_{Y_j}(\xi) = 1 - \frac{1}{2}\xi^T\xi +
r(\xi) \)
donde :
\( \displaystyle \frac{r(\xi)}{\xi^T\xi} \rightarrow 0 \)
Cuando todas las componentes \( \xi_j \rightarrow 0 \).
De ese modo, la función:
\( \displaystyle \phi_{S_n/\sqrt{n}}(\xi) = \left[1 - \frac{1}{2n}\xi^T\xi\left(1
- \frac{2r(\xi/n)}{\xi^T\xi/n}\right)\right]^n\qquad (30) \)
Tiene por limite, cuando n tiende a infinito, el valor \( \exp
(- \xi^T\xi/2) \) que es la función característica
de una distribución gaussiana m-variable normal