alfaluva: luva detectora de sinais em libras para auxílio...
TRANSCRIPT
Universidade Tecnológica Federal do Paraná – UTFPR
Departamento Acadêmico de Eletrônica – DAELN
Departamento Acadêmico de Informática – DAINF
Engenharia de ComputaçãoOficina de Integração 3 (IF66J) – S71 – 2016/2
Relatório TécnicoALFALUVA: Luva detectora de sinais em LIBRAS
para auxílio na alfabetização
Fernanda G. Silvano – [email protected]
Karina Oguido – karina [email protected]
Romulo I. Souza – [email protected]
Vítor H. Yoshioka – [email protected]
Novembro de 2016
Resumo
A Língua Brasileira de Sinais (LIBRAS) é uma linguagem baseada em ges-tos e a principal forma de comunicação para pessoas surdas. Não estápresente no cotidiano da maioria dos brasileiros por ser pouco difundidafora do âmbito dos deficientes auditivos. A disseminação desta lingua-gem também entre pessoas sem deficiência auditiva é um grande desafio,pois se trata de uma linguagem muito diferente em vários aspectos. Nestetrabalho, apresenta-se o desenvolvimento e testes de um dispositivo quereconheça as letras do alfabeto para auxiliar na alfabetização em libras. Odispositivo consiste em uma luva, cujos gestos são reconhecidos por ummicrocontrolador e enviados via comunicação Bluetooth para um aplica-tivo Android. O aplicativo possui três modos de aprendizado: memoriza-ção do alfabeto, prática dos gestos e aprendizado de novas palavras. As-sim, o sistema desenvolvido proporciona um aprendizado eficiente, autô-nomo e intuitivo dos sinais em LIBRAS.
1 Introdução
Segundo o IBGE, o censo de 2010 revelou que cerca de 9,7 milhões de brasilei-ros possuem deficiência auditiva, o que representa 5,1% da população. Alémdisso, deste total, cerca de 2 milhões possuem deficiência auditiva severa, re-presentando 1% da população [1]. Assim, a Língua Brasileira de Sinais (LIBRAS)é amplamente utilizada por surdos e pessoas com dificuldades auditivas paracomunicação nos centros urbanos e desde 2002 é reconhecida como segundalíngua oficial brasileira, pela Lei 10.436 [2]. Visando auxiliar na alfabetizaçãodessas pessoas, decidiu-se criar a ALFALUVA. A ALFALUVA é um dispositivo quebusca, por meio de sensores de flexão e de contato, acelerômetro e um micro-controlador, identificar os sinais feitos pelo usuário, processá-los e transmití-los
1
Relatório Técnico: ALFALUVA 2
para um aplicativo Android via conexão Bluetooth, de maneira fácil e intuitiva.A Figura 1 apresenta a visão geral do projeto.
Figura 1: Visão geral do projeto.
Alguns sinais são muito semelhantes e se diferenciam apenas pela posiçãode um dedo, geralmente o polegar. Para isso, os sensores de contato servemcomo "chaves"que ajudam a diferenciá-los. Os sensores flex são os responsá-veis por detectar a flexão dos dedos, enquanto o acelerômetro detecta os mo-vimentos angulares da mão do usuário (detalhes na seção 2). Esses sinais sãoprocessados pelo Genuino MEGA e enviados ao aplicativo Android via Blueto-oth. As Tabelas 1 e 2 apresentam os requisitos funcionais e não funcionais doprojeto, respectivamente.
Tabela 1: Requisitos funcionais do projeto.
Índice Requisitos funcionais1 O software deverá identificar os sinais feitos pelo usuário2 O software deverá corrigir erros nos sinais feitos pelo usuário3 O software apresentará as opções de modo aprendizado e de prática
Relatório Técnico: ALFALUVA 3
Tabela 2: Requisitos não funcionais do projeto.
Índice Requisitos não funcionais1 O aplicativo deverá ter interface simples e intuitiva2 O aplicativo deverá ser desenvolvido na plataforma Android3 O dispositivo deverá ser leve e confortável ao usuário4 A comunicação entre o dispositivo e o aplicativo será via Bluetooth5 O aplicativo deverá conter um banco de dados com palavras básicas6 Sensores de cobre serão utilizados para detectar contato7 Sensores flex serão utilizados para detectar a flexão dos dedos8 Acelerômetro será utilizado para detectar movimentos angulares9 Os sinais deverão ser feitos após pressionar o botão
2 Dispositvos utilizados
Nesta seção serão abordados os sensores, sistema embarcado e a comunicaçãoentre os dispostivos do projeto.
2.1 Sensores
O sensor flex é um resistor variável, cuja resistência aumenta com a flexão dosensor. Um dos lados do sensor é pintado com uma tinta com polímeros con-dutores que, quando flexionados, promovem o afastamento das partículas con-dutoras umas das outras, aumentando a resistência entre os terminais do sensor[3]. Conhecendo-se a resistência em repouso, é possível é possível identficar oquão flexionado foi o sensor. Por esta razão esse sensor foi escolhido para a ela-boração deste projeto.
O acelerômetro é um sensor que mede a aceleração de um objeto acopladoem relação à gravidade da Terra [4]. Este tipo de sensor é muito utilizado nossmartphones e video games para captar movimentos do dispositivo. Neste pro-jeto optou-se pela utilização do acelerômetro para a obtenção dos movimentosangulares, já que alguns sinais diferenciam-se de outros pela movimentação damão, como por exemplo as letras “I” e “J”, onde o dedo mínimo é o único dedoestendido. O acelerômetro escolhido para esse projeto foi o MMA7361, que pos-sui três eixos (X, Y, Z), alta sensibilidade e baixo consumo de energia [5]
O circuito interno do acelerômetro, quando ligado, faz com que as saídas X,Y e Z possuam valores de tensões que variam entre o ground e o nível da ten-são de alimentação [4]. Com o acelerômetro conectado ao Genuino, os valoresde tensões referentes aos pinos de saída dos eixos (Xout, Yout e Zout) são con-vertidos, via conversor A/D presente no Genuino, em valores proporcionais aomovimento do acelerômetro [5].
Relatório Técnico: ALFALUVA 4
Alguns sinais em LIBRAS são muito semelhantes entre si e não podem serdiferenciados apenas com os sensores flex e o acelerômetro. Por exemplo, asletras "U"e "V"são diferenciadas apenas com o contato entre dois dedos. Poreste motivo, recorreu-se aos sensores de contato, que funcionam como chaves.Este tipo de sensor consiste apenas em um fio condutor soldado a uma linha decobre costurada a uma pequena área específica da luva. Se houver contato, osensor retorna um sinal e é possível determinar se os dedos estão ou não encos-tados. A Figura 2 mostra os sensores utilizados no projeto.
(a) (b) (c)
Figura 2: Sensores utilizados no projeto. (a) sensor flex, (b) acelerômetro MMA7361,(c) sensor de contato.
2.2 Sistema embarcado
O Genuino é uma placa de controle de entrada e saída de dados, com hardware esoftware open-source. Nela, é possível programar enviando um conjunto de ins-truções ao microcontrolador da placa, utilizando a linguagem de programaçãoArduino, a qual é baseada na linguagem Processing, através do Software Arduino(IDE) [6].
Neste projeto, o Genuino utilizado é o MEGA R3 2560, baseado no ATmega2560,que possui 54 entradas e saídas digitais, 16 entradas analógicas, 4 UARTs (por-tas seriais de hardware), além de um cristal oscilador de 16 MHz, um reguladorde tensão de 15 V, botão de reset, uma porta USB, que fornece alimentação en-quanto estiver conectada ao computador, pinos conectores e LEDs para auxiliarna visualização do funcionamento da placa [7]. O principal aspecto levado emconta na escolha do Genuino foi a quantidade de portas analógicas, visto queseriam necessárias oito destas portas apenas para os sensores flex e o acelerô-metro. A Figura 3 (a) mostra o Genuino utilizado no projeto.
2.3 Comunicação
A comunicação entre o sistema embarcado e o aplicativo Android adotada foi aBluetooth, pelo fato de ser wireless e estar disponível nos smartphones. Com o
Relatório Técnico: ALFALUVA 5
módulo Bluetooth ligado ao sistema embarcado, é possível pareá-lo com o dis-positivo Android, de modo que o microcontrolador seja capaz de enviar as letrasreconhecidas para o aplicativo. O módulo Bluetooth utilizado é o HC-05, quepode ser configurado no modo master (mestre), slave (escravo) e loopback (en-vio e recebimento de dados por um mesmo canal) [8]. A Figura 3 (b) mostra omódulo Bluetooth utilizado no projeto. Opera de 1,8 V a 3,6 V e possui interfaceUART com baud rate programável [9].
(a) (b)
Figura 3: Dispositivos utilizados. (a) Genuino MEGA R3 2560, (b) Módulo BluetoothHC-05.
3 Desenvolvimento
Nesta seção serão abordados os passos do desenvolvimento do projeto, desde aconstrução da luva até a integração entre o dispositivo e o aplicativo.
3.1 Construção da luva
O primeiro passo foi a confecção da luva, pois todos os demais dependem dele.Após alguns testes com os sensores, a luva de inverno de poliéster foi a opçãomais adequada ao projeto, por proporcionar mais firmeza aos componentes ese ajustar melhor na mão. Os sensores flex, o acelerômetro e os sensores decontato foram costurados na luva utilizando um fio elástico, que permite umafolga para a movimentação dos dedos sem que os componentes escapem ousejam danificados. A Figura 4 mostra o resultado final.
Relatório Técnico: ALFALUVA 6
(a) (b)
Figura 4: Luva finalizada. (a) dorso, (b) palma.
3.2 Reconhecimento de gestos
O próximo passo no desenvolvimento do projeto foi o reconhecimento dos ges-tos. Para isso, foi utilizado o método de árvore decisão. Ao analisar todos os si-nais, as letras foram separadas em blocos, de acordo com os dedos flexionados ese havia algum movimento detectado pelo acelerômetro. Dessa maneira, erampoupadas muitas comparações, caso cada letra tivesse que ser testada em cadaiteração. Por se tratar de um método determinístico, dependendo do usuário,algumas letras podem não ser reconhecidas, pois os valores detectados podemnão estar dentro da faixa de valores determinados do projeto.
A Figura 5, mostra a letra "B"em vermelho como exemplo, cujos dedos sãotodos esticados, com exceção do polegar. Na Figura 5, o sinal "+" indica que osdedos estão flexionados ou se houve variação no sinal, no caso do acelerômetroe dos sensores; ”-" indica que os dedos estão esticados; "?" indica que o dedonão é de tanta relevância na identificação do gesto; "sensor 1" é o sensor locali-zado entre os dedos indicador e médio; e "sensor 2" é o sensor localizado entreos dedos polegar e indicador.
Relatório Técnico: ALFALUVA 7
Figura 5: Árvore de decisão desenvolvida.
3.3 Aplicativo
O aplicativo foi desenvolvido para o sistema operacional Android, o qual é ba-seado no núcleo Linux e seu código é open-source disponibilizado pelo Google.Além disso, está presente em centenas de milhões de dispositivos móveis emmais de 190 países [10].
O aplicativo para smartphones Android possui um banco de dados com pa-lavras básicas para a alfabetização e um menu principal com 4 botões: calibrarluva, aprender alfabeto, aprendizado e praticar, como pode ser visto na Figura6. As três últimas opções incorporam um contador de erros e acertos para veri-ficação acurácia na identificação dos sinais.
Figura 6: Menu principal do aplicativo.
Para que seja possível escolher as demais opções, primeiramente é necessá-
Relatório Técnico: ALFALUVA 8
rio que seja feita a calibragem da luva, para que os gestos sejam reconhecidos,uma vez que os valores encontrados variam de usuário para usuário. A orienta-ção inicial do acelerômetro é identificada e valores numa escala de 0 (totalmenteflexionados) a 12 (totalmente esticados) são atribuídos a cada dedo. A Figura 7mostra como funciona o processo de calibragem.
(a) (b) (c) (d)
Figura 7: Opção "calibrar luva". (a) dedos esticados, (b) dedos flexionados, (c) aviso defalha (d) calibragem feita com sucesso.
A opção "aprender alfabeto"é voltada para aqueles que não estão familiari-zados com os gestos. Ela ensina ao usuário o alfabeto de LIBRAS, mostrando natela o sinal e a letra correspondente. A Figura 8 mostra seu funcionamento.
(a) (b) (c)
Figura 8: Opção "aprender alfabeto". (a) letra A, (b) letra B, (c) letra C.
A opção "aprendizado"assume que o usuário já está familiarizado e conse-gue identificar as letras do alfabeto. Ela sugere palavras aleatórias do banco dedados para serem soletradas, mas ainda com ajuda das imagens dos gestos. Parafacilitar a visualização, a letra atual é sinalizada em azul e a letra anterior emverde ou vermelho, em caso de acerto ou erro, respectivamente. Isso pode ser
Relatório Técnico: ALFALUVA 9
visualizado na Figura 9. Nessa opção, cada erro é contabilizado e um acerto só éválido se a palavra inteira for soletrada corretamente.
(a) (b) (c)
Figura 9: Opção "aprendizado". (a) letra B atual, (b) acerto da letra B, (c) erro da letraR.
A última opção, "praticar", não possui nenhum tipo de ajuda e o usuáriopode escrever palavras livremente. As letras são escritas na tela e, caso nenhumaseja identificada, um sinal de "?"será exibido. Se a palavra estiver no banco dedados e houver no máximo dois erros, o corretor automático será ativado apóso pressionamento do botão "confirmar"e exibirá uma lista de palavras. Caso apalavra escolhida pelo usuário esteja nessa lista, um acerto é contabilizado e umerro, caso contrário. A Figura 10 mostra o funcionamento dessa opção.
(a) (b) (c) (d)
Figura 10: Opção "praticar". (a) exemplo de escolha de palavra, (b) palavra com atédois erros, (c) lista de palavras baseadas nas letras reconhecidas, (d) aviso de acerto depalavra.
Relatório Técnico: ALFALUVA 10
3.4 Integração
O último passo do desenvolvimento do projeto foi a integração entre a luva, sis-tema embarcado e aplicativo. Para que a comunicação seja feita, o módulo Blu-etooth deve operar em modo loopback, enviando e recebendo dados por ummesmo canal. O sistema embarcado fica esperando que algum sinal seja envi-ado pelo aplicativo. Caso a opção "calibrar luva"seja pressionada, a variável deverificação permite que o loop de calibragem seja executado. Nas demais op-ções, o sistema embarcado espera o sinal do dispositivo, identifica e envia parao aplicativo exibir na tela do smartphone. Para facilitar a elaboração dos códi-gos, apenas caracteres são enviados entre o sistema embarcado e o aplicativo.
4 Resultados
Nesta seção serão abordados os resultados obtidos a partir dos testes para ava-liar a acurácia do método de detecção de sinais implementado.
4.1 Testes
Para avaliar a acurácia do dispositivo, foram realizados dois tipos de testes: noprimeiro, cada membro da equipe repetiu o alfabeto por cinco vezes; e no se-gundo, dois usuários que conheciam LIBRAS previamente, sendo um deles de-ficiente auditivo, repetiram o alfabeto por cinco vezes. Os resultados podemser vistos na Tabela 3. A equipe ficou muito satisfeita com os resultados obti-dos, pois ao longo do desenvolvimento do projeto, observou-se que acuráciaaumentava em função dos aprimoramentos nas regras da árvore de decisão.
Relatório Técnico: ALFALUVA 11
Tabela 3: Testes para a medida acurácia.
Teste A Teste BLetra Fernanda Vitor Romulo Karina Convidado 1 Convidado 2
A 5 5 5 5 4 5B 5 5 5 5 5 5C 4 5 5 5 4 3D 5 5 5 5 4 5E 5 5 5 5 5 5F 5 5 5 5 5 5G 5 5 5 4 5 5H 4 5 5 5 5 4I 4 5 5 3 2 3J 4 4 4 4 2 4K 4 3 4 5 2 3L 5 5 5 5 5 5M 5 5 5 5 5 5N 5 5 5 5 4 5O 2 2 3 5 5 1P 5 5 5 4 1 4Q 5 5 5 5 5 5R 5 5 5 4 5 5S 5 5 5 5 4 4T 5 5 5 4 4 5U 5 5 5 5 5 5V 5 5 5 5 5 5W 5 5 5 5 5 5X 4 5 5 5 1 5Y 5 5 5 5 5 5Z 4 4 2 4 1 3
Acurácia 92,31% 94,62% 94,62% 93,85% 79,23% 87,69%
4.2 Custos
Os custos totais do projeto foram muito acima do esperado, pois os sensoresflex não são de fácil acesso e foram taxados pela Receita Federal ao chegarem nopaís. A Tabela 4 apresenta os custos totais para a elaboração deste projeto.
Relatório Técnico: ALFALUVA 12
Tabela 4: Custos do projeto.
Item R$/unidade Qtde. Total (R$)Genuino MEGA 76,00 1 76,00
Luva de poliéster 15,00 1 15,00Sensor flex 124,60 5 623,00
Fio de cobre 10,00 1 10,00Acelerômetro MMA7361 20,00 1 20,00Módulo Bluetooth HC-05 30,00 1 30,00
Mini protoboard 7,50 2 15,00Botão táctil 1,50 1 1,50
Espaguete termo retrátil 2,00 1 2,00Outros - - 30,00
TOTAL 822,50
5 Considerações finais
Pode-se concluir que o projeto ALFALUVA apresentou resultados muito satis-fatórios, pois todos os requisitos funcionais e não-funcionais foram atendidosno dispositivo e aplicativo desenvolvidos. De maneira geral, o objetivo de alfa-betização também foi cumprido, pois ao final todos os membros da equipe sãocapazes de identificar e soletrar palavras em LIBRAS.
A maioria das letras eram identificadas em 100% das tentativas e os sinaisreconhecidos ficaram muito próximos aos reais do alfabeto em LIBRAS. O apli-cativo, simples e intuitivo, realiza as tarefas sem latência ou erros que impossi-bilitam o processo de aprendizado. As únicas dificuldades encontradas foramos dados enviados pelo módulo Bluetooth, pois em alguns casos, caracteres nãoidentificados eram enviados ao aplicativo.
Como trabalhos futuros, algumas melhorias podem ser implementadas nodispositivo, como por exemplo a redução de fios e cabos conectados por meiode comunicação Bluetooth com o sistema embarcado, melhorias nos códigos dedetecção dos movimentos da mão e uso de um giroscópio.
Agradecimentos
A equipe agradece ao apoio incondicional por parte dos familiares, que foramessenciais para o pontapé inicial do projeto. A todos os colegas e amigos que,de alguma forma, contribuíram com ideias e incentivos durante as dificulda-des. Aos professores e orientadores Gustavo Benvenutti Borba e Guilherme Al-ceu Schneider, pelas orientações e considerações durante o decorrer do projeto.
Relatório Técnico: ALFALUVA 13
Referências
[1] ADAP: Associação de Deficientes Auditivos, Pais, Amigos e Usuários de Im-plante Coclear. http://www.adap.org.br/site/index.php/artigos/20-deficiencia-auditiva-atinge-9-7-milhoes-de-brasileiros.
[2] Casa Civil da Presidência da República. Lei nº 10.436, de 24 de abril de 2002.http://www.planalto.gov.br/ccivil_03/leis/2002/L10436.htm.
[3] SpectraSymbol flex sensor datasheet. https://cdn.sparkfun.com/datasheets/Sensors/ForceFlex/FLEX%20SENSOR%20DATA%20SHEET%202014.pdf.
[4] Accelerometer Basics. https://learn.sparkfun.com/tutorials/accelerometer-basics.
[5] Accelerometer MMA7361L Datasheet. https://www.sparkfun.com/datasheets/Components/General/MMA7361L.pdf, 2008.
[6] Arduino Introduction. https://www.arduino.cc/en/Guide/Introduction.
[7] Genuino Board Mega 2560. https://www.arduino.cc/en/Main/arduinoBoardMega2560.
[8] Arduino e Cia: Diferença entre os módulos bluetooth HC-05 e HC-06.http://www.arduinoecia.com.br/2015/01/diferenca-bluetooth-hc-05-hc-06.html.
[9] HC-05 Bluetooth Module Datasheet. http://www.robotshop.com/media/files/pdf/rb-ite-12-bluetooth_hc05.pdf.
[10] Google Android Developers. https://developer.android.com/about/android.html.