1 algebra lineal y vectores aleatorios
TRANSCRIPT
INTRODUCCIÓN 1. Álgebra lineal y vectores aleatorios 2. Distribución normal multivariante ANÁLISIS DE LA MATRIZ DE COVARIANZAS 3. Componentes principales 4. Análisis factorial 5. Correlaciones canónicas CLASIFICACIÓN 6. Análisis discriminante 7. Análisis de conglomerados
ANÁLISIS MULTIVARIANTE
1
1. ÁLGEBRA LINEAL Y VECTORES ALEATORIOS
Vectores Ortogonalización de Gram-Schmidt Matrices ortogonales Autovalores y autovectores Formas cuadráticas Vectores y matrices aleatorias Matriz de datos
2
ALGEBRA LINEAL
Vectores
Matriz de datos: p variables observadas en n objetos
4
nxp
npnnn
p
p
p
X
xxxx
xxxx
xxxx
xxxx
=
321
3333231
2232221
1131211
pℜen
Objeto_1
Objeto_n
Variable_1 Variable_p
nxp
npnnn
p
p
p
X
xxxx
xxxx
xxxx
xxxx
=
321
3333231
2232221
1131211
pℜen
Objeto_1
Objeto_n
Variable_1 Variable_p
ALGEBRA LINEAL
Vectores
2. Producto de un escalar por un vector
⋅
⋅=⋅
pxc
xc
xc 1
3. Producto escalar de dos vectores
pp
p
iii yxyxyxyxyxyx ++====• ∑
=
111
',
6
ALGEBRA LINEAL
Vectores
4. Norma de un vector
Propiedades
∑=
===p
iixxxxxx
1
22/1)'('
zxbyxabzayx ,,, +=+
xyyx ,, =
00,0, =⇔=≥ xxxyxx
x xx x
7
ALGEBRA LINEAL
Vectores
5. Distancia entre dos vectores
6. Ángulo entre dos vectores
yxyxd −=),(
y
x
yx −y
x
yx −
8
ϑϑθyx
yx,cos =ϑ
yxyx ⊥⇒=⇒= 0cos0, ϑ
θ
θ
ALGEBRA LINEAL
Vectores
Desigualdad de Cauchy-Schwarz
yxyx ≤,
Consecuencia:
9
1cos1
1,
1
,
≤≤−
≤≤−
≤≤−
ϑyx
yx
yxyxyx
θ
ALGEBRA LINEAL
Vectores
7. Ortogonalidad
8. Ortonormalidad
{ }nuuu ,,, 21 jiuu ji ,∀⊥
es ortonormal si es ortogonal
y todos los vectores tienen norma 1, es decir,
es ortogonal si
10
{ }neee ,,, 21
iei ∀=1
ALGEBRA LINEAL
Vectores
Ejemplo
11
θcos)(),()(?)(
)(,)(
3
0
1
2
0
1
vvudivvuiii
uiivui
vu
⊥
><
−=
−=
ALGEBRA LINEAL
Vectores
Un conjunto de vectores { }nuuu ,,, 21
es linealmente independiente si
n
n
iii cccuc ===⇒=∑
=
211
0
(la única manera de construir una combinación lineal igual a 0 es que todos los coeficientes sean 0)
12
=0
ALGEBRA LINEAL
Vectores
Proposición. Todo conjunto ortogonal de vectores no nulos es linealmente independiente.
{ }nuuu ,,, 21 ortogonal ⇒ { }nuuu ,,, 21 l.i.⇐
00,
0,,
0
11
11
=⇒≠
==++
=++
jjj
jjjnnj
nn
cuu
uucucucu
ucuc
Demostración
13
ALGEBRA LINEAL
Ortogonalización de Gram-Schmidt
V subespacio vectorial de pℜsi V es espacio vectorial,
;,, ℜ∈∀∈∀ bayVvues decir, si Vbvau ∈+
Dado A =
ℜ∈≡ ∑
=
n
iiii cucAspan
1
:
{ }nuuu ,,, 21
Propiedades
subespaciounesAspanii
AspanAi
)()(
)( ⊂
16
;⊂ pV
ALGEBRA LINEAL
Ortogonalización de Gram-Schmidt
Proposición
{ }n
i
uuspanv
niuv
,,
,,1
1
⊥⇒⇒=⊥
{ }
0,,,
,,
11
1
===
∈
∑∑==
i
n
ii
n
iii
n
uvcucvvu
uuspanu
Demostración
17
ALGEBRA LINEAL
Ortogonalización de Gram-Schmidt
111
11
11
1
222
231
11
1333
111
1222
11
,
,
,
,
,
,
,
,,
,
−−−
−−−−=
−−=
−=
=
nnn
nnnnn u
uu
uxu
uu
uxxu
uuu
uxu
uu
uxxu
uuu
uxxu
xu
Sean
Dado un conjunto de vectores l.i., se puede construir otro conjunto ortogonal que genere elmismo espacio.
linealmente independientes{ }nxxx ,,, 21
18
ALGEBRA LINEAL
Ortogonalización de Gram-Schmidt
Entonces:
{ } { }{ } ortogonalesuuii
uuspanxxspani
n
nn
,,)(
,,,,)(
1
11
=
19
ALGEBRA LINEAL
Matrices ortogonales
Matrices ortogonales
Anxn; inversa A-1: A A-1 = A-1A = I.
A’ transpuesta de A.
Qnxn es ortogonal si Q’Q = QQ’ = I.(las columnas de una matriz ortogonal son vectores ortonormales)
=
mnmm
n
mxn
aaa
aaa
A
21
11211
20
ALGEBRA LINEAL
Matrices ortogonales
Propiedades
QyQxy
x
21
xQxiii
QyQxyxii
yxQyQxi
ortogonal
matrizQyx p
=⊥⇒⊥
=
∈
)(
)(
,,)(
; ,
ALGEBRA LINEAL
Autovalores y autovectores
Anxn; xAxquetalx λ=≠∃⇔ 0
x
λ autovalor de A
x es autovector asociado a λ
0
0)(,0
0,0
0 ,0
=−⇔=−≠∃
⇔=−≠∃⇔=−≠∃
IA
xIAx
IxAxx
xAxx
λλλλ
Polinomiocaracterístico
Ecuacióncaracterística
22
ALGEBRA LINEAL
Autovalores y autovectores
Propiedades
..
,)(
)(
21
22
1121
21
ilsonxyxautovalorconx
autovalorconxii
trAi n
⇒≠
=+++
λλλλ
λλλ
Diagonalización de matrices
jiijnxn aaAAsimétricaA =⇔=⇔ '
=
nnn
n
nxn
aa
a
aaa
A
1
12
11211
24
ALGEBRA LINEAL
Autovalores y autovectores: diagonalización
Si A simétrica entonces
=
'
'
'
0
0
2
1
2
1
21
nn
nnxn
e
e
e
eeeA
λ
λλ
existen autovalores reales nλλ ,,1 con autovectores asociados nee ,,1
ortonormales tales que
P P’D
A=PDP’, siendo D diagonal y P ortogonal
(Toda matriz simétrica es diagonalizable)
25
ALGEBRA LINEAL
Autovalores y autovectores:representación espectral
Sea
nλλ ,,1 con autovectores ortonormales nee ,,1
tales que
Si A es simétrica entonces existen autovalores reales
.''222
'111 nnn eeeeeeA λλλ +++=
.
1
12
11211
=
nnn
n
nxn
aa
a
aaa
A
27
ALGEBRA LINEAL
Ejemplo
Descomposición espectral de
28
−
−=
62
29A
Autovalores y autovectores:representación espectral
ALGEBRA LINEAL
Formas cuadráticas
⇓
Anxn simétrica;
( )
∑∑∑∑ ∑<= == = =
−−
+==
=+++++++=
=
=
n
jii
n
jjiij
n
i
n
j
n
iiijjiij
nnnnjiijnnn
nnnn
n
n
xxaxaxxa
xxaxxaxxaxaxa
x
x
x
aa
a
aaa
xxxxf
1 11 1 1
2
11211222
111
2
1
1
21
11211
21
2
)(
nx ℜ∈ ,
=
nx
x
x 1
f(x)=x’ A x es una forma cuadrática
29
ALGEBRA LINEAL
Formas cuadráticas
Ejemplo
Expresar matricialmente la forma cuadrática
Escribir en forma cuadrática
30
32312123
22
21321 546325),,( xxxxxxxxxxxxf −+−+−=
( )
−
=2
12121 22
21),(
x
xxxxxf
ALGEBRA LINEAL
Formas cuadráticas
Como Anxn es simétrica, es diagonalizable,
se puede escribir A = PDP’ y, por tanto,
queda: f(x) = x’PDP’x.
Haciendo y = P’x:
( ) ,
0
0
')(1
211
1 ∑=
=
==
n
iii
nn
n y
y
y
yyDyyyf λλ
λ
se tiene
.)( 2
1
211
2nn
n
iii yyyyf λλλ∑
=
++==
31
Formas cuadráticas
x2
x1 y2y1
e2e1 2λ
c
1λ
c
ALGEBRA LINEAL32
y los autovectores x’Ax=c2 representa geométricamente una elipseen
2222
211
2
2
'''
cyycxPDPxcAxx
=+⇒==
λλ
; los autovalores son 21 λλ >normalizados son e1 y e2.
2ℜ
Formas cuadráticas
ALGEBRA LINEAL33
Ejemplo
Representar, hallar los ejes y obtener la expresión
reducida de
( ) 9135
513
2
121 =
−
−x
xxx
Formas cuadráticas
Clasificación de formas cuadráticas
ALGEBRA LINEAL34
Sea f(x) = x’ A x
f es definida positiva si
f es semidefinida positiva si
f es semidefinida negativa si
f es definida negativa si
f es indefinida si
0)(,0 >≠∀ xfx0)(, ≥∈∀ xfx n
0)(,0 <≠∀ xfx
0)(0)( 2121 <>∈∃∈∃ xfyxfquetalxyx nn
0)(, ≤∈∀ xfx n
Formas cuadráticas
Sean los autovalores de A
f es definida positiva
f es semidefinida positiva
f es semidefinida negativa
f es definida negativa
f es indefinida
ALGEBRA LINEAL
0,,01 <<⇔ nλλ
0,,01 ≤≤⇔ nλλ
0,,01 ≥≥⇔ nλλ
0,,01 >>⇔ nλλ
0,0 <∃>∃⇔ ji λλ
35
nλλ ,,1
Raíz cuadrada de una matriz
B es raíz de A si A=BB;
ALGEBRA LINEAL
∑=
=n
iii eeA
1
'λ
Raíz cuadrada de una matriz:
A semidefinida positiva;
B=A1/2 ; A=A1/2 A1/2
Si A es simétrica y A=PDP’ con
descomposición espectral
entonces:
36
Formas cuadráticas
ALGEBRA LINEAL
Raíz cuadrada de una matriz:
'
'
0
0
'
0
0
1
12/1
1
ii
n
ii
n
n
ee
PPA
PPASea
∑=
=
=
=⇒
=
λ
λ
λ
λ
λ
'1
'
/10
0/1
1
11
ii
n
i in
eePPA ∑=
− =
=
λλ
λ
Nota:
37
Descomposición singular de una matriz
ALGEBRA LINEAL
iλ
Dada la matriz Amxn, AA’ es cuadrada y
simétrica; por tanto, diagonalizable.
VUAk
=
00
0
0
01
λ
λ
es un valor singular de A, si 2
iλ es autovalor de AA’.
Descomposición singular
Sea A una matriz mxn; kλλ ,,1 valores singulares de A.
Entonces existen matrices ortogonales U y V tales que:
38
Vectores y matrices aleatorias
22 )]([)(
)(
aleatoria variable
iiiiii
ii
i
XEXEXV
XE
X
−===
=
σσµ
=Χ
=
mnmm
n
p XXX
XXX
X
X
X
21
112111
;
Vectoraleatorio
Matrizaleatoria
31
Vectores y matrices aleatorias
=
==
)(
)( 11
pp XE
XE
EX
µ
µµ
Se llama vector de medias a:
y covarianza entre dos variables a
Se define la matriz de covarianzas de X como:
)].)([(),( jjiijiij EXXEXXEXXCov −−==σ
=∑=∑=
ppp
p
XVX
σσ
σσ
1
111
40
:Entonces . , ;constantes c ,11
Σ==
=
= VXEX
c
c
X
X
X
pp
µ
ccXcVii
cXcEi
Σ==
')'( )(
')'( )( µ
'.)( )(
.)( )(
:Entonces .constantes de matriz
CCCXVii
CEXCXEi
Cmxp
Σ==
Vectores y matrices aleatorias
Vectores y matrices aleatorias
ALGEBRA LINEAL
Ejemplo
42
−
−=∑
−=
−=−=−=
=
42
26
0
1
2
2
123
212
121
2
1
µ
XXY
XXY
XXY
X
XX
Vectores y matrices aleatorias
)()()()()()()(
)()(
)()(
)()()(
1
111
YEXEYXEYiiiBXAEAXBEii
XEXE
XEXE
AXAEAXEi
mxn
mnm
n
+=+⇒=
==
Propiedades
Sea Xmxn y sean Akxm y Bnxr matrices de constantes.
Entonces:
43
Vectores y matrices aleatorias
,
1
1
1
21
221
112
=
pp
p
p
rr
rr
rr
ρ
Matriz de correlaciones
,2/12/1 −− ∑= VVρen forma matricial:
donde V es la matriz de varianzas:
=
=
2
2111
0
0
0
0
ppp
V
σ
σ
σ
σ
donde ;jjii
ijijr
σσσ
=
44
Vectores y matrices aleatorias
=
=
=
+)2(
)1(
1
1
1
;X
X
X
X
X
X
X
X
X
X
p
r
r
p
Partición de un vector aleatorio
=
)2(
)1(
µµµ Vector de medias:
Sea
Matriz de covarianzas:
∑∑∑∑
=∑2221
1211
),(),()()(
)2()1()2()1('2112
)2(22
)1(11
ji XXCovXXCovXVXV
==∑=∑=∑=∑
, donde
45
Matriz de datos
46
nxp
npnnn
p
p
p
X
xxxx
xxxx
xxxx
xxxx
=
321
3333231
2232221
1131211
pℜen
Objeto_1
Objeto_n
Variable_1 Variable_p
nxp
npnnn
p
p
p
X
xxxx
xxxx
xxxx
xxxx
=
321
3333231
2232221
1131211
pℜen
Objeto_1
Objeto_n
Variable_1 Variable_p
n
xx
n
xx
n
iip
p
n
ii ∑∑
== == 111
1
Matriz de datos
47
=
px
x
x 1
Vector de medias:
Matriz de varianzas y covarianzas:
donde
=
ppp
p
n
ss
ss
S
1
111
nxxxxs jkj
n
kikiij /)()(
1
−−=∑=
Matriz de correlaciones:2/12/1 −−= nnn VSVR , donde
=
pp
n
s
s
V
0
011
Matriz de datos
; ...,,,; 21
1
diiXXX
X
X
X n
p
=
Proposición
n
XX
n
ii∑
== 1
Dado
55
∑−=
∑==
n
nSEiii
nXVii
XEi
n
1)()(
/)()(
)()( µ
Matriz de datos
56
La matriz de datos se puede representar como:
Diagrama de dispersión, n puntos en el espaciopℜ
x1
x2
p=2
x1
x2
x3p=3
Como para p>3 no es posible representarlo, se utilizan
diagramas de dispersión múltiple con pares de
variables.
Matriz de datos
57
Considerando las columnas en vez de la filas de la
matriz de datos, es decir, p puntos en n
nxp
npnnn
p
p
p
X
xxxx
xxxx
xxxx
xxxx
=
321
3333231
2232221
1131211
pℜen
Objeto_1
Objeto_n
Variable_1 Variable_p
nxp
npnnn
p
p
p
X
xxxx
xxxx
xxxx
xxxx
=
321
3333231
2232221
1131211
pℜen
Objeto_1
Objeto_n
Variable_1 Variable_p
Y1 Y2 Y3 Yp
Para cuatro variables:
=
34333231
24232221
14131211
xxxx
xxxx
xxxx
X
Y1 Y2 Y3 Y4
Y1 Y4
Y3
Y2
Matriz de datos
58
y forma el mismo ángulo con todos
los ejes.
=
1
1
11 nx
n=1
Vector de unos: n unos
Propiedades
es el vector unitario que forma el mismo
ángulo en todas las direcciones.
n/1
Matriz de datos
59
Proyección de un vector sobre el vector
==⋅==
∑=
i
i
i
n
jij
ii
x
x
xn
xy
ypr 1111,1
1,)( 1
1
:1
yi
1 1ix
Matriz de datos
61
Entonces:
ij
jjii
ij
jjii
ij
ji
ji
ji
ijjkj
n
kikiji
iiiiniiii
rss
s
nsns
ns
dd
dddd
nsxxxxdd
nsdxxxxd
====•
=−−=•
=⇒−++−=•
∑=
,),cos(
)()(,
)(...)(
1
2221
Matriz de datos
62
=∑
==
=
ppp
p
pp
XE
X
X
X
σσ
σσ
µ
µµ
1
11111
;)(;
Varianza generalizada y varianza total:
Matriz de datos
63
Varianza generalizada de X:
Varianza total de X:
Varianza generalizada muestral:
Varianza total muestral:
)det(∑=∑
pptraza σσ ++=∑ 11)(
ppn ssStraza ++= 11)(
)det( nn SS =
Matriz de datos
64
Interpretación geométrica
Área =
Varianza generalizada en
pn n
VolumenS
2
=
||)1(cos1 2122211
2221121 nSnrssnnsnssendd =−=−== θθ
p
Matriz de datos
68
=
=
=
=
=
ppppp
p
n
pp b
b
b
c
c
c
ss
ss
S
x
x
x
X
X
X
11
1
11111
;;;;
Combinaciones lineales de las componentes de
una variable
y las combinaciones lineales:
Media muestral de c’X:
Varianza muestral de c’X:
Covarianza muestral de c’X y b’X:
pp
pp
XbXbXbXcXcXc
++=++=
11
11
''
xc'cSc n'
bSc n'
Matriz de datos
69ALGEBRA LINEAL
Ejemplo
31
21
3
2
1
2'32'
014
012
013
102
XXXbXXXc
X
X
X
XX
−=−=
=
=