reconhecimento facial baseado em eigenfaces e na pca com múltiplos thresholds por paulo quintiliano...
TRANSCRIPT
Reconhecimento Facial Baseado em Eigenfaces e na PCA com
Múltiplos Thresholds
Por
PAULO QUINTILIANO DA SILVA
Orientador: Prof. Dr. ANTÔNIO NUNO DE CASTRO SANTA ROSA
Universidade de Brasília
IE – Departamento de Ciência da Computação
• Papel do Reconhecimento Facial
• O relacionamento entre as pessoas está baseado no Reconhecimento Facial
02
• Histórico do Reconhecimento Facial
• Em 1878, Sir Francis Galton escreveu artigo apresentando a sua Composite Portraiture
03
A idéia de comparação de medidas de Galton é utilizada em pesquisas atuais na Ciência da Computação
04
Objetivos deste trabalho
• Modelo de Reconhecimento Facial, baseado na PCA e nas eigenfaces
• Projeção da face questionada no espaço de faces
• O Reconhecimento Facial é determinado pela mínima distância euclideana dentro do threshold de uma classe
05
BIOMETRIA
06
• Definição
• Histórico
• Princípio do Threshold
• O corpo é a própria chave
• Aplicações
• Qual sistema de biometria é o melhor?
Biometria
07
Reconhec. Facial na Psicologia
• Níveis do reconhecimento da face:
• Reconhecimento em nível de entrada; e
• Reconhecimento do em nível subordinado
• O cérebro tem regiões específicas para o Reconhecimento Facial
08
Etapas do Reconhecimento Facial
• Representação Facial
• Template-based
• Feature-based
• Appearance-based
• Detecção Facial
• Reconhecimento Facial
09
Fatores que interferem no desempenho do RF
• Expressões Faciais
• Iluminação inadequada
• Disfarces
• Escala
• Posição da Face
10
Expressões Faciais
Iluminação inadequada
11
Disfarces
Escala
12
Posição da Face
13
Técnicas Utilizadas no RFA
• Uso das Características Geométricas da Face
• Uso de templates
• Redes Neurais Artificiais
• Hidden Markov Models
• Eigenfaces
14
Banco de Dados de Faces utilizado para avaliação
• The Yale Face DataBase• 15 classes
• 11 imagens p/classe: centerlight, withglasses, happy, leftlight, noglasses, normal, rightlight, sad, sleepy, surprised e wink
15
Banco de Dados de Faces
16
Modelo Proposto para o Reconhe- cimento Facial Automático
• Baseia-se na PCA e nas eigenfaces, autovalores e autovetores.
• projeção da face questionada no espaço das eigenfaces.
• Encontra a distância euclideana mínima dentro do threshold de uma classe 17
Implementação
• Linguagem Matlab, versão 5.0
• 10 mil linhas de fonte
• Todas as imagens são submetidas aos algoritmos
• Compaq Presario 5170, PII-350 MHz, 128 MB RAM
• 30 minutos para a execução18
Detecção Facial utilizada
• Grande intervenção Manual
19
Autovalores e Autovetores
0 IW Autovalores de W
0 ii xIW Autovetores de W
ix
20
Para )0( ix
),...,1,;,...,1( 2',1, NkjNikji
• As M imagens de faces são convertidas em vetores coluna
• Calcula-se a Face Média
M
iiM 1
1
21
Face Média
22
23
• Novo conjunto de imagens, “O Espaço ”, obtido da diferença entre as imagens originais e a face média.
),...,1( Miii
24
Montagem da matriz A
1 3 4 M2
)( 2xMN
1,;, ijjiA
25
Montagem da matriz C
1 3 4 2
)( 22xNN
2N TAAC
26
Montagem da matriz L
1 3 4 M2
)(MxM
AAL T
27
Montagem da matriz V
)(MxM
Autovetores da matriz L1v 2v 3v 4v Mv
28
Montagem da matriz U
)( 2xMN
Autovetores da matriz C1u 2u 3u 4u Mu
29
Cálculo dos Autovetores de C
M
kklkl Mlvu
1
),...,1(,
)()( 2 MxMxMNVAU
30
MMvvvvu ,133,122,111,11 .....
MMvvvvu ,233,222,211,22 .....
MMvvvvu ,333,322,311,33 .....
MMvvvvu ,433,422,411,44 .....
MMMMMMM vvvvu ,33,22,11, ....
Cálculo dos Autovetores de C
31
Cálculo dos Autovetores de C
MMxM tttT ...21)(
Md
d
d
D.2
1
M
iii tdTD
1
Sejam e
Será mostrado que é verdadeira.
MMMMM
MMM
MM
MMMMM
M
M
dtdtdt
dtdtdt
dtdtdt
d
d
d
ttt
ttt
ttt
TD
....
.............
.............
....
....
...
...
....
...............
...............
....
....
2211
222121
1212111
2
1
21
22221
11211
32
Cálculo dos Autovetores de C
Colocando-se em evidência os escalares d, teremos:
MM
M
M
M
MM t
t
t
d
t
t
t
d
t
t
t
dTD
.
....
.
.
.
.2
1
2
22
12
2
1
21
11
1
M
iiiMM tdtdtdtdTD
12211 ...Logo:
33
.,...,1),( NciU iT
i
Treinamento do modelo de RF
Imagens usadas: withglasses, happy, noglasses e sleepy.
34
Representação das faces a partir das eigenfaces
2, 5, 10, 20, 30 e 50 maiores autovalores.
Autovalores de 2, de 5, de 10, de 20, de 30 e de 50 até 128.
35
Reconhecimento de faces a partir das eigenfaces
)( TU
),...,1(,22 Nciii
Cálculo da distância euclideana
36
Cálculos dos thresholds
),...,1,(}max{1
Ncjik jii
• Foram usados fatores k de 1 a 10
• Uso dos autovetores com os maiores autovalores
• Corte hard. Usando-se apenas os 5, 10, 20, 30 e 50 maiores autovalores 37
Tabela dos thresholds
38
CLASSES E SEUS RESPECTIVOS THRESHOLDS EM FUNÇÃO DO FATOR "K"Fator
"k"01 02 03 04 05 06 07 08 09 10 11 12 13 14 15
1 3.65 4.75 4.24 5.02 4.80 4.95 5.03 4.52 4.37 4.63 4.73 5.01 4.69 4.59 4.49
2 1.82 2.37 2.12 2.51 2.40 2.47 2.51 2.26 2.18 2.31 2.36 2.50 2.34 2.29 2.24
3 1.21 1.58 1.41 1.67 1.60 1.65 1.67 1.50 1.45 1.54 1.57 1.67 1.56 1.53 1.49
4 0.91 1.18 1.06 1.25 1.20 1.23 1.25 1.13 1.09 1.15 1.18 1.25 1.17 1.14 1.12
5 0.73 0.95 0.84 1.00 0.96 0.99 1.00 0.90 0.87 0.92 0.94 1.00 0.93 0.91 0.89
6 0.60 0.79 0.70 0.83 0.80 0.82 0.83 0.75 0.72 0.77 0.78 0.83 0.78 0.76 0.74
7 0.52 0.67 0.60 0.71 0.68 0.70 0.71 0.64 0.62 0.66 0.67 0.71 0.67 0.65 0.64
8 0.45 0.59 0.53 0.62 0.60 0.61 0.62 0.56 0.54 0.57 0.59 0.62 0.58 0.57 0.56
9 0.40 0.52 0.47 0.55 0.53 0.55 0.55 0.50 0.48 0.51 0.52 0.55 0.52 0.51 0.49
10 0.36 0.47 0.42 0.50 0.48 0.49 0.50 0.45 0.43 0.46 0.47 0.50 0.46 0.46 0.44
Ob.: Valores divididos por 1.0e+015
Resultados ObtidosUso das 120 imagens bem
iluminadasN. Auto-vetores
Erros Acertos1º lugar
Acertos1º e 2º
Acertos1º 2º 3º
05 23,22% 49,17% 64,17% 76,67%
10 11,67% 63,33% 77,50% 88,33%
20 6,67% 81,67% 89,17% 93,33%
30 3,33% 87,50% 92,50% 96,67%
50 1,67% 88,33% 94,17% 98,33%
39
Resultados ObtidosUso de todas as 165 imagens
N. Auto-vetores
Erros Acertos1º lugar
Acertos1º e 2º
Acertos1º 2º 3º
05 46,67% 33,33% 44,85% 53,33%
10 35,15% 43,64% 57,58% 64,85%
20 25,45% 64,24% 71,52% 74,55%
30 20,61% 68,48% 76,36% 79,39%
50 16,36% 72,12% 76,97% 83,64%
40
Técnicas de Simetrização
• Melhora as condições de iluminação e a performance do algoritmo
Pode também ser usado em:
• Imagens de faces semi-oclusas
• Imagens de faces em perfil 41
Técnicas de Simetrização
Simples
(>=2/3)
Média com a inversa
(< 2/3) 42
Resultados da aplicação da Simetrização
43
CLASSES EM QUE FORAM FEITOS OS BATIMENTOSIMA-
GEM
01 02 03 04 05 06 07 08 09 10 11 12 13 14 15
04A 1.26 0.93 1.03 1.26 0.85 1.03 1.35 0.82 0.83 0.84 1.25 0.93 1.18 0.89 0.93
26A 1.73 0.97 1.23 1.23 1.17 1.09 1.10 0.97 1.02 1.00 1.54 0.92 1.01 1.07 1.16
04D 0.42 1.33 1.19 1.51 1.30 1.42 1.71 1.02 1.06 1.30 0.89 1.51 1.37 1.11 1.08
26D 0.95 1.03 0.68 1.15 1.17 1.22 1.38 0.75 0.87 1.02 1.04 1.29 0.77 0.81 0.86
Ob.: Valores divididos por 1.0e+015
Resultados Obtidos
Uso das 45 imagens com problemas de iluminação Simetri- zação
Erros 1º Lugar
1º e 2º 1º 2º 3º
Sem 57,77% 24,44% 31,11% 42,22%
Com 40,00% 42,22% 46,66% 60,00%
44
Expansão das Eigenfaces em Eigenmouth e Eigennose
45
Expansão das Eigenfaces em Eigenmouth e Eigennose
46
Expansão das Eigenfaces em Eigeneyes (um olho)
47
Expansão das Eigenfaces em Eigeneyes (dois olhos)
48
Resultados ObtidosEigenmouth e eigennose (120
imagens)
85,00% 80,83% 69,17% 15,00% 50
86,67% 80,00% 66,67% 13,33% 30
85,83% 83,33% 65,00% 14,16% 20
86,67% 83,33% 62,50% 13,33% 10
82,50% 75,00% 50,00% 17,50% 05
Acertos1º 2º 3º
Acertos1º e 2º
Acertos1º lugar
ErrosN. Auto-vetores
49
Resultados ObtidosEigeneye esquerdo (120 imagens)
87,50% 86,66% 80,83% 15,00% 50
84,17% 80,00% 74,17% 13,33% 30
83,33% 77,50% 66,66% 14,16% 20
84,17% 68,33% 50,83% 13,33% 10
77,33% 59,16% 35,00% 17,50% 05
Acertos1º 2º 3º
Acertos1º e 2º
Acertos1º lugar
ErrosN. Auto-vetores
50
Conclusão
• O modelo é robusto no tratamento de imagens de faces bem iluminadas e com expressões faciais diversas
• Dispensa considerações da geometria da face e distância entre os órgãos faciais
• É sensível no tratamento de imagens obtidas em condições não controladas
• Simetrização e Eigenfeatures
51
Publicações em Congressos e Periódicos Internacionais
• “Pratical Procedures to Improve Face Recognition Based on Eigenfaces and Principal Component Analysis” (5 páginas) - Proceedings of 5th PRIA - Rússia, 2000
• “Face Recognition Based on Eigenfaces and Symmetryzation” (17 páginas) - Periódico internacional PATTERN RECOGNITION AND IMAGE ANALYSIS - Rússia, 2001 52
Apresentação de Artigos em Congressos Internacionais
• “Face Recognition Based on Eigenfaces with Multiple Thresholds” (8 páginas) - SPIE, San Jose/EUA, janeiro/2001
• “Face Recognition Based on Eigeneyes, Eigennose, Eigenmouth and Eigenfaces” (9 páginas) - EVOIASP2001, Milan/Itália, abril/2001
53
Apresentação de Artigos em Congressos Internacionais
• “Face Recognition Working with Half-Occluded Face Images Based on Eigenmouth, Eigennose and Eigeneyes with Multiple Thresholds” - Boston/EUA, outubro/2001
54