第七章 特征的选择和提取 - math.pku.edu.cn · 第七章 特征的选择和提取 ......
TRANSCRIPT
第七章 特征的选择和提取
2010.12.06
基于K-L变换的特征提取
主成分分析(PCA)
3
主成分的意义
4
K-L 变换
对随机向量 x,用确定的完备正交归一向量系 uj (j = 1 ,2, …, ∞)展开
1
, ;Tj j j j
j
c c
x u u x
1,.
0,Ti j
i j
i j
u u其中,
5
K-L 变换
用有限项逼近
x
均方误差
1
;d
j jj
c
x u
1
( ) ( ) ;T T Tj j
j d
E E
x x x x u xx u
1
min min ( )
. . 1, 1, , ;
T Tj j
j d
Ti i
E
s t i d
u u xx
u u
目标函数:
6
K-L 变换
最小化均方误差
1 1
( ) ( 1)T Tj j j j j
j d j d
g
u u u u u
( ) 0 ( ) 0, 1, , ;j jj
g I j d
u u
u
0, = , 1, , ;j j jd j u u 令 有
1
.jj d
7
K-L 展开式的性质
1. 信息的最佳(压缩)表达
—
均方误差最小
2. 新空间的特征互不相关
[ ] [ ]
;
T Ti j i j
Ti i j i ij
E c c E
u xx u
u u
[ ] [ ]
;
T T T
T
E E U U
U U
cc xx
Λ
1
2
0
;
0 D
Λ
8
K-L 展开式的性质
3.
表示熵最小
归一化展开系数的方差(特征值λj)
表示熵
.1 ,10 ,,,2,1 ,1
1
D
iijD
ii
jj Dj
1
log .D
j jRj
H
9
K-L 展开式的性质
10
K-L 展开式的性质
4.
总体熵
考查用均值代表样本 集所造成的不确定性
总体熵最小的变换
)];([log xpEH p
1 2[ , , , ]dA u u u
其中u1 ,…,ud 为Ψ的的d个特征向量,其对应的特征 值满足λ1 ≤λ2 ≤… ≤λd ≤… ≤ λD 。
11
K-L 坐标系的产生矩阵
非监督特征变换
监督特征变换
]))([(
][T
T
E
E
μxμx
xx
协方差矩阵:
二阶矩矩阵:
1
, ( ),
( )( ) , 1, , .
c
w i i i ii
Ti i i i
S P P P
E i c
Σ
Σ x μ x μ
12
从类平均向量中提取判别信息
1. 计算 K-L 变换的产生矩阵:
2. 得特征值λi 的特征向量 ui ,i = 1, …, D;新特 征分量 yi = ui
Tx,方差为λi ;
3. 评价新特征各分量的分类性能:
将 J(yi ) 排序:
取前 d 个最大 J(yi ) 值相应的特征向量组成变换 矩阵:
1
c
w i ii
S P
Σ ;
( ) ;Tj b j
jj
J y
u S u
1 2( ) ( ) ( ) ( ),d DJ y J y J y J y
1 2[ , , , ].dU u u u
13
包含在类均值向量中的判别信息的最优压缩
1. 对 Sw 进行白化变换
由 Sw 出发通过 K-L 变换消除分量间的相关性
归一化:
2. 对 Sb′进行 K-L 变换:rank(Sb
′) ≤ c-1,Sb′最
多有 d≤c-1 个非零特征值,v1 , .., vd 为对应的 特征向量;
];,,[, 1 DwT UUU uuS
12 ;T
wB U B B I S令
' ;Tb bB B S S
12 ' '
1, [ , , ].dW U V V v v总变换矩阵:
14
例
15
K-L 变换的典型应用
降维与压缩
构造参数模型
人脸识别
人脸图像合成
16
Eigenface
人脸数据库
17
Eigenface
18
Eigenface
19
计算 Eigenface
1. 收集一组人脸图像 I1 ,…,IM (训练样本集合);
2. 用(列)特征向量Γi 表示每一幅人脸图像 Ii ;
3. 计算平均特征向量:
4. 计算类中心化特征向量:
5. 计算样本协方差矩阵
1
1 ;M
iiM
;i i
1 21
1 , where [ ];M
T Ti i M
i
AA AM
20
计算 Eigenface
6. 计算 AAT 的特征向量
考察 M×M 维矩阵 ATA;
计算 ATA 的特征向量 vi:
矩阵 ATA 和 AAT 有相同的特征值,而本征向量 间满足关系
Σ的归一化特征向量:
;Ti i iA A v v
;i iAu v
1 , 1,2, , ;i ii
A i M
u v
21
原图像的降维表示
1
, ( );K
Ti j j j j i
j
mean w w
u u
1 2 , 1,2, , ;Ti i i
i Kw w w i M
22
利用 Eigenface 的人脸识别
1. 归一化:
2. 投影到特征脸空间:
3. 将Φ表示成向量:
4. 计算:
er 为特征脸空间内距离(欧式/马氏距离);
5. 如果 Γ被识别为训练样本集中的
i;
;
1
, ( );K
Tj j j j
j
w w
u u
;21T
Kwww
min ;r iie
,r re T
23
利用 Eigenface 的人脸检测
1. 计算
2. 计算
3. 计算
4. 如果
则Γ是人脸图像。
;
1
, ( );K
Tj j j j
j
w w
u u
;de
,d de T
特征选择
(简介)
25
两大类特征选择方法
Filter 方法:不考虑所使用的学习算法。通常给 出一个独立于分类器的指标 J 来评价所选择的特 征子集 S,然后在所有可能的特征子集中搜索出 使得 J 最大的特征子集作为最优特征子集。
Wrapper 方法:将特征选择和分类器结合在一 起,即特征子集的好坏标准是由分类器决定的,
在学习过程中表现优异的的特征子集将被选中。
26
最优搜索方法
穷举算法
分支定界算法
应用条件:准则函 数具有单调性
27
非最优搜索方法
单独最优特征组合
顺序前进法(SFS)、广义 SFS 法
顺序后退法(SBS)、广义 SBS 法
增 l 减 r 法(L-R 法)、广义 L-R 法
28
遗传算法的术语
基因链码:代表问题一个解的编码(称为“个 体”),编码的每一位是一个“基因”;
群体:解(个体)的集合;
交叉:以两个个体为双亲作基因链码的交叉,产 生两个新的个体作为后代;
变异:对某个体,随机选取并翻转其中一位;
适应度:以给定的优化准则评价解性能的优劣。
29
遗传算法的基本框架
1. 初始化进化的代数
t = 0;
2. 给出初始化群体
P(t),并令
xg 为任意一个体;
3. 对
P(t) 中每个个体估值,并将群体中最优解 x’ 与
xg 比较,若优于 xg ,则令 xg = x’;
4. 如果终止条件满足,则算法结束,xg 为最终结 果。否则,转步骤
5;
5. 从
P(t) 选择个体并进行交叉和变异操作,得到 新一代个体
P(t+1) ,令
t=t+1,转步骤 3。