uma investigaÇÃo do modelo de rede neural repart em tarefas de reconhecimentos de padrÕes araken...
TRANSCRIPT
UMA INVESTIGAÇÃO DO MODELO UMA INVESTIGAÇÃO DO MODELO DE REDE NEURAL RePART EM DE REDE NEURAL RePART EM
TAREFAS DE RECONHECIMENTOS TAREFAS DE RECONHECIMENTOS DE PADRÕESDE PADRÕES
Araken de Medeiros Santos
Anne Magály de P. Canuto
Orientadora
ROTEIROROTEIRO
Trabalhos Anteriores
Motivação
Objetivos
Modelos Neurais
Análise Comparativa e Estatística
Considerações Finais
Trabalhos futuros
TRABALHOS ANTERIORESTRABALHOS ANTERIORES
Análise comparativa do desempenho
do RePART com o Fuzzy ARTMAP,
ARTMAP-IC e Fuzzy MLP
Caracteres numéricos
MOTIVAÇÃOMOTIVAÇÃO
Qual o comportamento do RePART
em outras tarefas de reconhecimento
de padrões?
OBJETIVOSOBJETIVOS Descobrir vantagens e desvantagens
de cada um dos modelos abordados
em aplicações de reconhecimento de
padrões
Dar um embasamento mais amplo à
utilização do RePART
ART ART (Adaptive Resonance Theory)(Adaptive Resonance Theory)
Grau de similaridade
Dilema estabilidade-plasticidade
RNA incremental
Aprendizagem não-supervisionada
ART x Fuzzy ARTART x Fuzzy ART
Mesma estrutura
ART => teoria dos conjuntos clássica
Fuzzy ART =>teoria dos conjuntos fuzzy
ART x Fuzzy ARTART x Fuzzy ART
j
j
jw
wIT
Cálculo dos neurônios FCálculo dos neurônios F22
ART => AND booleano (x*y)ART => AND booleano (x*y)
Fuzzy ART => AND fuzzy Fuzzy ART => AND fuzzy [min(x, y)][min(x, y)]
ARTMAP/Fuzzy ARTMAPARTMAP/Fuzzy ARTMAP
Dois módulos ART
ARTa => padrão de entrada
ARTb => saída desejada
Map Field
Aprendizagem supervisionada
ESTRUTURA DO ARTMAPESTRUTURA DO ARTMAP
J = (b, 1-b)I = (a, 1-a)
a b
Wj
PROBLEMAS DO ARTMAPPROBLEMAS DO ARTMAP
Proliferação de categoria
Má classificação (1 vencedor)
Sensibilidade a ruídos
ARTMAP-ICARTMAP-IC
Mesmo processo de aprendizagem
Melhorias na fase de reconhecimento
Suavizar o problema de má classifica-
ção
ARTMAP-ICARTMAP-IC
Codificação distribuída (grupo de
vencedores)
Parâmetro contador de instância
RePARTRePART
Suavizar os problemas de proliferação de categoria e má classificação
Codificação distribuída (grupo de vencedores + grupo de perdedores)
Parâmetro contador de instância
RePARTRePART
Mecanismos Adicionais:
Vigilância variável individual
(proliferação de categorias)
Recompensa/Punição
(má classificação)
Vigilância VariávelVigilância Variável
Dilema bias/variância
Individual
Freqüência relativa de ativação (RFA)
Inversa da média relativa de ativação
(RIAA)
VigilânciaVigilância VariávelVariável
RIAA RFA t vig t vigi i 1
k
k
k jj
ii
TN
N
c
ct RFA* 001 . 1 *
i
ii
c
t Tt RIAA
RECOMPENSA/PUNIÇÃORECOMPENSA/PUNIÇÃO
Vencedores => recompensa
Perdedores => punição
Má classificação
RECOMPENSA/PUNIÇÃORECOMPENSA/PUNIÇÃO2
*
wj
JJ knumWin
numWinTR
2
*
numLos
knumLoslwP
lj
jJ
APRENDIZAGEMAPRENDIZAGEM
Semelhante ao FA e AIC
Diferença básica => cálculo das
vigilâncias de todos os neurônios
RECONHECIMENTORECONHECIMENTO Neurônios F2 de ARTa
Ranking dos neurônios
Divisão em vencedores e perdedores
Neurônios Map Field => duas fases
NEURÔNIOS MAP FIELDNEURÔNIOS MAP FIELD
jjjk
jjj
jjjkk Rw
Tc
TcwU *
*
**
jjjk
jjj
jjjkk Pw
Tc
TcwU *
*
**
),()(1
N
kkUMaxIW
EXPERIMENTOSEXPERIMENTOS
Análise Intraclasse
5 bases de dados
Validação cruzada com 30 grupos
ANÁLISE COMPARATIVAANÁLISE COMPARATIVA
Taxa de reconhecimento
Complexidade da rede
Variação no número de vencedores
Modificação nas freqüências
IMAGE DATASETIMAGE DATASET Instâncias geradas randomicamente de
7 imagens de outdoor
7 classes
19 atributos
330 padrões por classe
IMAGE DATASETIMAGE DATASETRNA Erro Médio (%) Desvio Padrão
Fuzzy ARTMAP 19,86 4,54
ARTMAP-IC 1 75,10 3,87
ARTMAP-IC 2 68,46 5,48
ARTMAP-IC 3 60,23 6,47
ARTMAP-IC 4 75,10 3,87
ARTMAP-IC 5 68,46 5,48
ARTMAP-IC 6 60,23 6,47
ARTMAP-IC 7 75,23 4,36
ARTMAP-IC 8 66,40 6,78
ARTMAP-IC 9 54,18 5,39
RePART 1 13,20 4,85
RePART 2 13,45 4,77
RePART 3 14,71 5,93
RePART 4 13,25 4,86
RePART 5 13,45 4,77
RePART 6 13,45 4,77
RePART 7 12,90 4,77
RePART 8 13,27 4,85
RePART 9 15,29 5,35
15%
1,5%
Menor nº de vencedores
Maior nº de vencedores
IMAGE DATASETIMAGE DATASET
FA e AIC => 147 neurônios
RePART => 74 neurônios
49,6% menos
CARACTERES ALFANUMÉRICOSCARACTERES ALFANUMÉRICOS
Instâncias de 384 bits (16x24)
330 padrões por classe
CARACTERES ALFANUMÉRICOSCARACTERES ALFANUMÉRICOSRNA Erro Médio (%) Desvio Padrão
Fuzzy ARTMAP 11,74 2,89
ARTMAP-IC 1 36,99 4,04
ARTMAP-IC 2 31,62 4,31
ARTMAP-IC 3 25,01 3,54
ARTMAP-IC 4 36,99 4,04
ARTMAP-IC 5 31,60 4,32
ARTMAP-IC 6 24,98 3,55
ARTMAP-IC 7 19,21 2,68
ARTMAP-IC 8 19,38 3,58
ARTMAP-IC 9 16,67 2,85
RePART 1 16,41 2,79
RePART 2 11,83 2,64
RePART 3 15,51 3,23
RePART 4 16,42 2,79
RePART 5 11,57 2,84
RePART 6 13,59 2,94
RePART 7 16,52 2,80
RePART 8 11,09 2,75
RePART 9 12,90 2,86
12%
4,58%
Influência da modificação na freqüência
CARACTERES ALFANUMÉRICOSCARACTERES ALFANUMÉRICOS
FA e AIC => 490 neurônios
RePART => 340 neurônios
30,61% menos
CANCER DE MAMACANCER DE MAMA(Breast-cancer)(Breast-cancer)
2 classes
32 atributos
240 padrões por classe
CANCER DE MAMACANCER DE MAMA(Breast-cancer)(Breast-cancer)RNA Erro Médio (%) Desvio Padrão
Fuzzy ARTMAP 4,72 6,02
ARTMAP-IC 1 8,27 9,10
ARTMAP-IC 2 6,58 8,86
ARTMAP-IC 3 5,95 7,59
ARTMAP-IC 4 8,27 9,10
ARTMAP-IC 5 6,58 8,86
ARTMAP-IC 6 5,95 7,59
ARTMAP-IC 7 8,27 9,10
ARTMAP-IC 8 6,58 8,86
ARTMAP-IC 9 5,95 7,59
RePART 1 3,42 5,21
RePART 2 5,75 7,49
RePART 3 7,43 9,93
RePART 4 3,42 5,21
RePART 5 5,75 7,56
RePART 6 7,43 9,93
RePART 7 3,63 5,20
RePART 8 5,75 7,49
RePART 9 7,43 9,93
Modificação na freqüência não alterou resultados
FA e AIC => 234 neurônios
RePART => 145 neurônios
38% menos
CANCER DE MAMACANCER DE MAMA(Breast-cancer)(Breast-cancer)
CANCER DE MAMACANCER DE MAMA(WDBC)(WDBC)
2 classes
10 atributos
210 padrões por classe
CANCER DE MAMACANCER DE MAMA(WDBC)(WDBC)
Modificação na freqüência não alterou resultados
RNA Erro Médio (%) Desvio Padrão
Fuzzy ARTMAP 7,40 7,70
ARTMAP-IC 1 13,80 11,30
ARTMAP-IC 2 9,23 10,59
ARTMAP-IC 3 7,30 9,25
ARTMAP-IC 4 13,80 11,30
ARTMAP-IC 5 9,25 10,59
ARTMAP-IC 6 7,30 9,25
ARTMAP-IC 7 14,03 11,24
ARTMAP-IC 8 9,22 10,58
ARTMAP-IC 9 7,30 9,25
RePART 1 3,95 6,03
RePART 2 4,43 6,52
RePART 3 5,87 8,75
RePART 4 3,95 6,03
RePART 5 4,43 6,52
RePART 6 5,87 8,75
RePART 7 3,95 6,03
RePART 8 4,68 6,49
RePART 9 5,87 8,75
5,5%
1,87%
FA e AIC => 105 neurônios
RePART => 56 neurônios
46,67% menos
CANCER DE MAMACANCER DE MAMA(WDBC)(WDBC)
BIOLOGIA MOLECULARBIOLOGIA MOLECULAR
Seqüência de DNA
60 atributos
3 classes
750 padrões por classe
BIOLOGIA MOLECULARBIOLOGIA MOLECULARRNA Erro Médio (%) Desvio Padrão
Fuzzy ARTMAP 28,18 6,89
ARTMAP-IC 1 32,04 3,56
ARTMAP-IC 2 30,72 3,36
ARTMAP-IC 3 28,71 3,82
ARTMAP-IC 4 31,64 3,43
ARTMAP-IC 5 30,71 3,37
ARTMAP-IC 6 28,71 3,82
ARTMAP-IC 7 16,36 3,96
ARTMAP-IC 8 18,18 3,48
ARTMAP-IC 9 18,09 3,96
RePART 1 15,42 4,11
RePART 2 16,93 4,50
RePART 3 19,29 4,09
RePART 4 15,42 4,11
RePART 5 16,93 4,50
RePART 6 19,29 4,09
RePART 7 15,42 4,11
RePART 8 16,93 4,50
RePART 9 19,29 4,09
Modificação na freqüência não alterou resultados
Modificação na freqüência alterou resultados
BIOLOGIA MOLECULARBIOLOGIA MOLECULAR
FA e AIC => 1710 neurônios
RePART => 910 neurônios
46,78% menos
ANÁLISE GERALANÁLISE GERAL
RePART
Taxa de reconhecimento superior
Complexidade inferior
Número de vencedores
Efeitos inversos no ReP e AIC
ANÁLISE ESTATÍSTICAANÁLISE ESTATÍSTICA
T-Teste de variância combinada
Compara duas amostras (conjunto de
resultados) para verificar se as diferen-
ças são estatísticamente significantes.
ANÁLISE ESTATÍSTICAANÁLISE ESTATÍSTICA
Erro médio
Desvio padrão
Número de grupos
ANÁLISE ESTATÍSTICAANÁLISE ESTATÍSTICA
Validação cruzada com 30 grupos
Nível de confiança => 95% (=0,05)
Teste unicaudal inferior (X, Y)
Indica se a amostra X é significante-
mente menor que a amostra Y
ANÁLISE ESTATÍSTICAANÁLISE ESTATÍSTICA
Busca do RePART e AIC com me-
lhores resultados em cada uma
das aplicações utilizadas
RePART x Fuzzy ARTMAP
RePART x ARTMAP-IC
IMAGE DATASETIMAGE DATASET
RNAs Erro Médio (%) Desvio Padrão p
R-1 13,20 4,85
FA 19,86 4,54
RePART X Fuzzy ARTMAP
4,62583E-07
RNAs Erro Médio (%) Desvio Padrão p
R-1 13,20 4,85
AIC-9 54,18 5,39
R-1 13,20 4,85
AIC-3 60,23 6,479,607E-39
RePART X ARTMAP-IC
4,63191E-38
RePART apresentou erro médio estatisicamente inferior ao do Fuzzy ARTMAP e ARTMAP-IC
CARACTERES ALFANUMÉRICOSCARACTERES ALFANUMÉRICOS
RNAs Erro Médio (%) Desvio Padrão p
FA 11,74 2,89
R-2 11,83 2,64
FA 11,74 2,89
R-9 12,90 2,860,06178842
RePART X Fuzzy ARTMAP
0,450109088
O Fuzzy ARTMAP teve erro médio inferior, mas não estatisticamente significante
CARACTERES ALFANUMÉRICOSCARACTERES ALFANUMÉRICOSRNAs Erro Médio (%) Desvio Padrão p
R-2 11,83 2,64
AIC-2 25,01 3,54
R-2 11,83 2,64
AIC-9 16,67 2,85
R-9 12,90 2,86
AIC-2 25,01 3,54
R-9 12,90 2,86
AIC-9 16,67 2,851,85483E-06
1,10706E-23
2,89438E-09
2,38712E-21
RePART obteve erro médio estatisticamente inferior ao do Fuzzy ARTMAP e ARTMAP-IC
CÂNCER DE MAMA CÂNCER DE MAMA (Breast-cancer)(Breast-cancer)
RNAs Erro Médio (%) Desvio Padrão p
R-1 3,42 5,21
FA 4,72 6,02
RePART X Fuzzy ARTMAP
0,187412822
RNAs Erro Médio (%) Desvio Padrão p
R-1 3,42 5,21
AIC-3 5,95 7,59
RePART X ARTMAP-IC
0,068844643
RePART apresentou erro médio estatisticamente seme-lhante ao FA e AIC, contudo pode ser considerado mais eficiente (complexidade inferior e desempenho superior)
CÂNCER DE MAMA CÂNCER DE MAMA (WDBC)(WDBC)
RNAs Erro Médio (%) Desvio Padrão p
R-1 3,95 6,03
FA 7,40 7,70
RePART X Fuzzy ARTMAP
0,029116722
RNAs Erro Médio (%) Desvio Padrão p
R-1 3,95 6,03
AIC-3 9,25 7,30
RePART X ARTMAP-IC
0,00164638
Novamente, o RePART apresentou erro médio estatis-ticamente inferior ao FA e AIC
BIOLOGIA MOLECULARBIOLOGIA MOLECULAR
RNAs Erro Médio (%) Desvio Padrão p
R-1 15,42 4,11
FA 28,18 6,89
RePART X Fuzzy ARTMAP
1,99093E-12
RNAs Erro Médio (%) Desvio Padrão p
R-1 15,42 4,11
AIC-3 28,71 3,82
R-1 15,42 4,11
AIC-7 16,36 3,970,18565607
RePART X ARTMAP-IC
4,29471E-19
RePART apresentou erro médio inferior ao FA e AIC-3 e semelhante ao AIC-7, logo pode-se observar que a modifi- cação nas freqüências melhorou significantemente o desem-penho do ARTMAP-IC
ANÁLISE GERALANÁLISE GERAL
RePART < FA e AIC em 3 bases
< AIC e FA em 1 base
FA e AIC em 1 base
+ eficiente => complexidade inferior
desempenho semelhante
CONSIDERAÇÕES FINAISCONSIDERAÇÕES FINAIS
RePART
Taxa de reconhecimento superior
Complexidade inferior
Em média 42% menos neurônios
CONSIDERAÇÕES FINAISCONSIDERAÇÕES FINAIS
RePART
Erro médio em geral igual ou inferior
ao do FA e AIC do ponto de vista
estatístico, nunca superior
CONSIDERAÇÕES FINAISCONSIDERAÇÕES FINAIS
O RePART alcançou os objetivos que
motivaram sua definição: suavizar os
problemas presentes nos modelos da
família ARTMAP (proliferação de cate-
gorias e má classificação)
TRABALHOS FUTUROSTRABALHOS FUTUROS
Realizar uma análise interclasse para
que seja dado um embasamento ainda
mais amplo à utilização do RePART.
FIM