reconhecimento de linguagem de sinais e tecnologia adaptativa · reconhecimento de linguagem de...
TRANSCRIPT
![Page 1: Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa · Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa Dr. Hemerson Pistori ... Funções Adaptativas](https://reader033.vdocuments.site/reader033/viewer/2022052713/5be3360109d3f24a208cc0b7/html5/thumbnails/1.jpg)
12/13/04 1
Reconhecimento de Linguagem de Sinais e
Tecnologia Adaptativa
Dr. Hemerson Pistori †
† GPEC - Universidade Católica Dom Bosco (UCDB) - Campo Grande, MS Brasil
www.gpec.ucdb.br
Imagens extraídas de www.dicionariolibras.com.br
![Page 2: Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa · Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa Dr. Hemerson Pistori ... Funções Adaptativas](https://reader033.vdocuments.site/reader033/viewer/2022052713/5be3360109d3f24a208cc0b7/html5/thumbnails/2.jpg)
12/13/04 2
Sumário Língua Brasileira de Sinais e Configuração de mãos
Autômatos de Estados Finitos Adaptativos
Tecnologia Adaptativa e Árvores de Decisão Adaptativas
Protótipo de um Tradutor Sinal->Texto Segmentação e Rastreamento da Pele Humana Extração de Parâmetros
Experimentos e Resultados
Conclusões e Trabalhos Futuros
![Page 3: Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa · Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa Dr. Hemerson Pistori ... Funções Adaptativas](https://reader033.vdocuments.site/reader033/viewer/2022052713/5be3360109d3f24a208cc0b7/html5/thumbnails/3.jpg)
12/13/04 3
Língua Brasileira de Sinais
● 166.000 Surdos no Brasil (4 milhões – deficiência
auditiva)
● LIBRAS – Língua Brasileira de Sinais
● Importante para desenvolvimento intelectual de
crianças surdas
● Diferentes partes do corpo, movimento e
configuração
● 4000 – 20000 línguas no mundo (LIBRAS != ASL)
● Tão importante quanto reconhecimento da fala
● Trabalho atual: reconhecimento de configurações de
mão.
![Page 4: Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa · Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa Dr. Hemerson Pistori ... Funções Adaptativas](https://reader033.vdocuments.site/reader033/viewer/2022052713/5be3360109d3f24a208cc0b7/html5/thumbnails/4.jpg)
12/13/04 4
Reconhecimento da Língua de Sinais
Página do Instituto Nacional de Educação de Surdos:http://www.ines.org.br/libras/
![Page 5: Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa · Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa Dr. Hemerson Pistori ... Funções Adaptativas](https://reader033.vdocuments.site/reader033/viewer/2022052713/5be3360109d3f24a208cc0b7/html5/thumbnails/5.jpg)
12/13/04 5
Objetivos de Pesquisa
• Novos algoritmos para reconhecimento de configurações de mão.
• Integrar Algoritmos e Técnicas de Aprendizagem Computacional e Processamento Digital de Imagens
• Explorar utilização da Tecnologia Adaptativa no Domínio do Reconhecimento de Sinais
![Page 6: Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa · Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa Dr. Hemerson Pistori ... Funções Adaptativas](https://reader033.vdocuments.site/reader033/viewer/2022052713/5be3360109d3f24a208cc0b7/html5/thumbnails/6.jpg)
12/13/04 6
Autômatos de Estados Finitos Adaptativos
![Page 7: Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa · Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa Dr. Hemerson Pistori ... Funções Adaptativas](https://reader033.vdocuments.site/reader033/viewer/2022052713/5be3360109d3f24a208cc0b7/html5/thumbnails/7.jpg)
12/13/04 7
Autômato de Estados Finitos Adaptativos
![Page 8: Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa · Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa Dr. Hemerson Pistori ... Funções Adaptativas](https://reader033.vdocuments.site/reader033/viewer/2022052713/5be3360109d3f24a208cc0b7/html5/thumbnails/8.jpg)
12/13/04 8
Tecnologia Adaptativa
q0
a bMecanismo Subjacente(Autômatos, Gramáticas,
Tabelas de Decisão, Cadeias de Markov, …)
Mecanismo Adaptativo
[?|+|-][ Transições | Produções | Linhas da Tabela, …)
q2q1
AA
q0
a b
q2q1
q* q**a bAA
FSA
Pesquisas fora do Brasil: Rubinstein, Burshteyn, Christiansen, Cabasino , Boullier, Quinn Tyler, Kutrib, Shutt.
![Page 9: Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa · Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa Dr. Hemerson Pistori ... Funções Adaptativas](https://reader033.vdocuments.site/reader033/viewer/2022052713/5be3360109d3f24a208cc0b7/html5/thumbnails/9.jpg)
12/13/04 9
AdapTree
● Árvore de Decisão não Determinística +
Funções Adaptativas.
● Discretização Global baseada em Ganho de
Informação (como C4.5)
● Substituição Global de Valores Ausentes
( Média e Moda)
![Page 10: Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa · Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa Dr. Hemerson Pistori ... Funções Adaptativas](https://reader033.vdocuments.site/reader033/viewer/2022052713/5be3360109d3f24a208cc0b7/html5/thumbnails/10.jpg)
12/13/04 10
Protótipo de um Tradutor Sinal->Texto
![Page 11: Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa · Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa Dr. Hemerson Pistori ... Funções Adaptativas](https://reader033.vdocuments.site/reader033/viewer/2022052713/5be3360109d3f24a208cc0b7/html5/thumbnails/11.jpg)
12/13/04 11
Protótipo de um Tradutor Sinal->Texto
Segmentação - Detecção de Pele Humana
Binarização
Extração de Parâmetros – Momentos Estatísticos
Aprendizagem Supervisionada - AdapTree
Rastreamento – Momentos Estatísticos
![Page 12: Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa · Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa Dr. Hemerson Pistori ... Funções Adaptativas](https://reader033.vdocuments.site/reader033/viewer/2022052713/5be3360109d3f24a208cc0b7/html5/thumbnails/12.jpg)
12/13/04 12
Segmentação – Detecção da Pele Humana
RGB >>>> HSV[ μH–σH μH +σH] [ μS–σS μS +σS ]
^ ^ ^ ^
^ ^ ^ ^
![Page 13: Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa · Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa Dr. Hemerson Pistori ... Funções Adaptativas](https://reader033.vdocuments.site/reader033/viewer/2022052713/5be3360109d3f24a208cc0b7/html5/thumbnails/13.jpg)
12/13/04 13
Extração de Parâmetros
• Centro de Massa (Momento de Primeiro Ordem - Média)• “Direção” (Momento de Segunda Ordem – Desvio Padrão)• Quatro Sub-Regiões
PV
![Page 14: Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa · Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa Dr. Hemerson Pistori ... Funções Adaptativas](https://reader033.vdocuments.site/reader033/viewer/2022052713/5be3360109d3f24a208cc0b7/html5/thumbnails/14.jpg)
12/13/04 14
Extração de Parâmetros - Momentos
0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 105 110 115
80
75
70
65
60
55
50
45
40
35
30
25
20
15
10
5
0
(57.5 , 42.5) σx=32.46
σy=15.13
Cuidado !!! Não se trata da direção do eixo principal
![Page 15: Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa · Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa Dr. Hemerson Pistori ... Funções Adaptativas](https://reader033.vdocuments.site/reader033/viewer/2022052713/5be3360109d3f24a208cc0b7/html5/thumbnails/15.jpg)
12/13/04 15
Extração de Parâmetros
5561 0 0 13[ ] 2857 -755
-755 220[ ]
1797 0 0 448[ ] 1453 -202
-202 588[ ]
Direção do Eixo Principal: Autovetor correspondente ao maior autovalor da matriz de covariância.
Excentricidade:Maior Autovalor dividido pelo Menor Autovalor
![Page 16: Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa · Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa Dr. Hemerson Pistori ... Funções Adaptativas](https://reader033.vdocuments.site/reader033/viewer/2022052713/5be3360109d3f24a208cc0b7/html5/thumbnails/16.jpg)
12/13/04 16
Experimentos e Resultados
N/A95.23%
(0.29s)
N/AN/AN/A95.02%
(0.17s)
Hand Shape
- 9 Sings
- 180/90
82.39%
(10.5s)
80.75%
(0.06s)
81.13%
(0s)
84.15%
(0s)
70.75%
(1.12s)
76.7%
(0.1s)
Hepatit.
94.57%
(830.67s)
93.41%
(4.37s)
93.28%
(0.07s)
92.78%
(0.17s)
90.12%
(29.05s)
92.22%
(5.18s)
Hypoth.
93.84%
(74.66s)
87.39%
(0.48s)
89.58%
(0.01s)
90.76%
(0.03s)
84.29%
(2.09s)
86.72%
(0.66s)
Ionosph.
93.08%
(1.83s)
94.31%
(0.01s)
92.75%
(0s)
93.33%
(0s)
89.22%
(0.88s)
93.92%
(0.03s)
Iris
BackP.C4.5KNNNbayesId3AdapT.Dataset
WEKA – Percent_Correct (Training Time) - 10 x 10 Fold Stratified Cross-Valid.Datasets: UCI Machine Learning Repository
![Page 17: Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa · Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa Dr. Hemerson Pistori ... Funções Adaptativas](https://reader033.vdocuments.site/reader033/viewer/2022052713/5be3360109d3f24a208cc0b7/html5/thumbnails/17.jpg)
12/13/04 17
Conclusões
Formalismo Adaptativo: Inferência em Árvores de Decisão e Teoria dos Autômatos.
AdapTree – Desempenho (Taxa de Acerto, Tempo de Treinamento e Teste) Comparável a Algoritmos Clássicos: ID3, NBayes, KNN, C4.5, ML-FF-Neural Network with Backprop. (Menor Taxa de Acerto mas Menor Tempo de Treinamento)
![Page 18: Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa · Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa Dr. Hemerson Pistori ... Funções Adaptativas](https://reader033.vdocuments.site/reader033/viewer/2022052713/5be3360109d3f24a208cc0b7/html5/thumbnails/18.jpg)
12/13/04 18
Trabalhos Futuros• SIGUS: Plataforma para Desenvolvimento Integrando Processamento Digital de Imagens (ImageJ), Aprendizagem Computacional (Weka) e Tecnologia Adaptativa (AdapTools).
• Interfaces Baseadas na Detecção da Direção do Olhar
• Autômatos de Estados Finitos e Algoritmos Genéticos
![Page 19: Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa · Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa Dr. Hemerson Pistori ... Funções Adaptativas](https://reader033.vdocuments.site/reader033/viewer/2022052713/5be3360109d3f24a208cc0b7/html5/thumbnails/19.jpg)
12/13/04 19
Projeto SIGUS
WebCamJMF
ImageJ WekaConvers.
J-I
Adap-Tree-E
FiltrosPDS
Monitor
Teclado/Mouse
Convers.I-W
TreinamentoTeste
Olhar LIBRAS
![Page 20: Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa · Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa Dr. Hemerson Pistori ... Funções Adaptativas](https://reader033.vdocuments.site/reader033/viewer/2022052713/5be3360109d3f24a208cc0b7/html5/thumbnails/20.jpg)
12/13/04 20
Projeto TOPOLINO
Segmentação e Rastreamento de Camundongos, em Ambientes Controlados, utilizando Visão Computacional
![Page 21: Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa · Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa Dr. Hemerson Pistori ... Funções Adaptativas](https://reader033.vdocuments.site/reader033/viewer/2022052713/5be3360109d3f24a208cc0b7/html5/thumbnails/21.jpg)
12/13/04 21
Projeto COURO
Detecção Automática de Defeitos em Couro Bovino utilizando Visão Computacional, Aprendizagem Automátic e Tecnologia Adaptativa
![Page 22: Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa · Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa Dr. Hemerson Pistori ... Funções Adaptativas](https://reader033.vdocuments.site/reader033/viewer/2022052713/5be3360109d3f24a208cc0b7/html5/thumbnails/22.jpg)
12/13/04 22
AdapTools - http://www.ucdbnet.com.br/adaptools/
![Page 23: Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa · Reconhecimento de Linguagem de Sinais e Tecnologia Adaptativa Dr. Hemerson Pistori ... Funções Adaptativas](https://reader033.vdocuments.site/reader033/viewer/2022052713/5be3360109d3f24a208cc0b7/html5/thumbnails/23.jpg)
12/13/04 23
www.ec.ucdb.br/~pistori : Minha página
www.gpec.ucdb.br : GPEC (Grupo de Pesquisa em Engenharia e Computação da UCDB)
www.pcs.usp.br/~lta : LTA (Grupo de Pesquisa em Linguagens e Tecnologias Adaptativas
Visite