![Page 1: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/1.jpg)
Mejora de la interfaz vocal de Mejora de la interfaz vocal de control de un robot autónomo control de un robot autónomo móvil. Adaptación acústica y móvil. Adaptación acústica y
generación supervisada de mapasgeneración supervisada de mapas
Autor: Nuria Pérez MagariñosAutor: Nuria Pérez Magariños
Tutor: Juan Manuel Montero MartínezTutor: Juan Manuel Montero Martínez
![Page 2: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/2.jpg)
ÍndiceÍndice
ObjetivosObjetivos Proyecto ROBINTProyecto ROBINT Técnicas empleadasTécnicas empleadas Configuración del sistemaConfiguración del sistema AdaptaciónAdaptación Evaluación y pruebasEvaluación y pruebas Conclusiones y líneas futurasConclusiones y líneas futuras
![Page 3: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/3.jpg)
ObjetivosObjetivos
Adaptación de los modelos acústicosAdaptación de los modelos acústicos Guiado del robotGuiado del robot Aprendizaje automáticoAprendizaje automático
![Page 4: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/4.jpg)
Proyecto ROBINTProyecto ROBINT
Robots guíaRobots guía Interacción hombre-robotInteracción hombre-robot Generación de mapasGeneración de mapas
![Page 5: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/5.jpg)
Guiado del robotGuiado del robot
Fase de aprendizajeFase de aprendizaje Fase de verificaciónFase de verificación Propuesta inicial de frasesPropuesta inicial de frases
Relación con el guíaRelación con el guía MovimientoMovimiento GrafoGrafo ConfirmaciónConfirmación VisitaVisita
![Page 6: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/6.jpg)
Técnicas empleadasTécnicas empleadas
Adaptación a tarea o a locutorAdaptación a tarea o a locutor Máximo a posteriori (MAP)Máximo a posteriori (MAP)
HTKHTK
![Page 7: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/7.jpg)
Configuración del sistemaConfiguración del sistema
![Page 8: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/8.jpg)
Configuración del sistemaConfiguración del sistema
Ficheros de configuraciónFicheros de configuración Detector.iniDetector.ini Entorno.iniEntorno.ini Tade.iniTade.ini Voz.iniVoz.ini Reco_cfg_generico.iniReco_cfg_generico.ini Prb_htk_generico_Speechdat.iniPrb_htk_generico_Speechdat.ini
![Page 9: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/9.jpg)
Configuración del sistemaConfiguración del sistema
Ficheros de configuraciónFicheros de configuración Urbano.iniUrbano.ini
![Page 10: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/10.jpg)
Configuración del sistemaConfiguración del sistema
![Page 11: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/11.jpg)
Configuración del sistemaConfiguración del sistema
![Page 12: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/12.jpg)
AdaptaciónAdaptación
Interfaz GráficaInterfaz Gráfica CRobintDialogCRobintDialog Caracteristicas_modeloCaracteristicas_modelo AdaptacionAdaptacion
Thread principalThread principal Threads_ROBINTThreads_ROBINT
![Page 13: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/13.jpg)
AdaptaciónAdaptación
![Page 14: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/14.jpg)
AdaptaciónAdaptación
![Page 15: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/15.jpg)
AdaptaciónAdaptación
![Page 16: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/16.jpg)
AdaptaciónAdaptación
![Page 17: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/17.jpg)
AdaptaciónAdaptación
Directorio de grabación o modelos
Usuario
Tipo de micrófono
Tipo de entorno
Tipo de adaptación
![Page 18: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/18.jpg)
AdaptaciónAdaptaciónGrabaciones
Usuario nº 1 Usuario nº 2 Usuario nº 3
MSC MCC
noRuido
ruido
Genérica
Tarea 1
Tarea 2
MCC =Micrófono con cable
MSC = Micrófono sin cable
Ruido = Entorno ruidoso
noRuido = Entorno no ruidoso
![Page 19: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/19.jpg)
Adaptacióndiccionarios
Generación de ficheros de etiquetas
Parametrizaciónficherosde audio
Normalización
AdaptaciónMAP
AdaptaciónMLLR
.dic
.data
AdaptaciónAdaptación
Formateopara HTK
Modelosadaptados
Modelosadaptados
![Page 20: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/20.jpg)
Evaluación y pruebasEvaluación y pruebas
Evaluación de los modelos genéricosEvaluación de los modelos genéricos
Locutor Media Varianza
Mujer 54,2 29,0
Hombre 24,0 9,0
![Page 21: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/21.jpg)
Evaluación y pruebasEvaluación y pruebas
Evaluación de los modelos genéricosEvaluación de los modelos genéricos Experimentos de adaptaciónExperimentos de adaptación
Experimento 1Experimento 1: Emplear para cada : Emplear para cada emoción las mismas 90 frases de emoción las mismas 90 frases de entrenamiento y 10 frases de test siempre.entrenamiento y 10 frases de test siempre.
Experimento 2Experimento 2: Dividir las frases en 10 : Dividir las frases en 10 grupos de manera que se prueben todas grupos de manera que se prueben todas las frases, haciendo un promedio de los las frases, haciendo un promedio de los resultados.resultados.
![Page 22: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/22.jpg)
Evaluación y pruebasEvaluación y pruebas
Determinación de laDeterminación de la ττ óptimaóptima
emocioni
igenerico errorerrorMejora
1 2 3 4 5 6 7
Hombre Experimento 1 98,0 98,0 92,1 86,9 83,7 83,0 82,3
Hombre Experimento 2 59,1 60,1 60,1 58,8 - 57 -
Mujer Experimento 1 161,4 160,8 164,1 158,8 151,7 134,0 135,3
Mujer Experimento 2 129,7 132,7 133,9 134,7 - 134,7 -
![Page 23: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/23.jpg)
Evaluación y pruebasEvaluación y pruebas
Determinación de laDeterminación de la ττ óptimaóptima Proporción entre entrenamiento y testProporción entre entrenamiento y test
![Page 24: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/24.jpg)
Evaluación y pruebasEvaluación y pruebas
Determinación de laDeterminación de la ττ óptimaóptima Proporción entre entrenamiento y testProporción entre entrenamiento y test Reconocimiento cruzado Reconocimiento cruzado
Promedio (%)
Total 16,1
Sorpresa-Miedo 12,7
Alegría-Asco-Enfado-Tristeza-Neutra 13,2
Reconocimiento cruzado en el
hombre
![Page 25: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/25.jpg)
Evaluación y pruebasEvaluación y pruebas
Determinación de laDeterminación de la ττ óptimaóptima Proporción entre entrenamiento y testProporción entre entrenamiento y test Reconocimiento cruzadoReconocimiento cruzado
Promedio (%)
Total 44,1
Enfado-Neutra 11,8
Enfado-Neutra-Tristeza 23,4
Enfado-Neutra-Sorpresa 18,8
Enfado-Neutra-Tristeza-Sorpresa 26,9
Reconocimiento cruzado en la mujer
![Page 26: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/26.jpg)
Evaluación y pruebasEvaluación y pruebas
Determinación de laDeterminación de la ττ óptimaóptima Proporción entre entrenamiento y testProporción entre entrenamiento y test Reconocimiento cruzado Reconocimiento cruzado
![Page 27: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/27.jpg)
Evaluación y pruebasEvaluación y pruebas
Determinación de laDeterminación de la ττ óptimaóptima Proporción entre entrenamiento y Proporción entre entrenamiento y
testtest Reconocimiento cruzadoReconocimiento cruzado Entrenamiento con varias emocionesEntrenamiento con varias emociones
![Page 28: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/28.jpg)
Evaluación y pruebasEvaluación y pruebas
![Page 29: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/29.jpg)
ConclusionesConclusiones
Se han mejorado y simplificado la portabilidad y configuración Se han mejorado y simplificado la portabilidad y configuración del sistemadel sistema
Se ha añadido la posibilidad de que el locutor realice una Se ha añadido la posibilidad de que el locutor realice una adaptación de los modelos al sistemaadaptación de los modelos al sistema Interfaz gráficaInterfaz gráfica ScriptScript de Windows de Windows
Primera aproximación al guiado del robotPrimera aproximación al guiado del robot En la adaptación de habla emocionada son mucho más En la adaptación de habla emocionada son mucho más
efectivos los valores bajos de efectivos los valores bajos de ττ para dar más peso a los datos para dar más peso a los datos de adaptaciónde adaptación
El habla neutra no es la que mejor reconoce a las demás El habla neutra no es la que mejor reconoce a las demás emocionesemociones
Entrenar con más emociones no significa reconocer mejorEntrenar con más emociones no significa reconocer mejor
![Page 30: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/30.jpg)
Líneas futuras de Líneas futuras de investigacióninvestigación
Llevar a cabo la implementación del Llevar a cabo la implementación del prototipo para el sistema de guiado prototipo para el sistema de guiado del robotdel robot
Estudiar la mejora en el Estudiar la mejora en el reconocimiento con emociones reconocimiento con emociones empleando la técnica MLLRempleando la técnica MLLR
![Page 31: Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez](https://reader036.vdocuments.site/reader036/viewer/2022081508/56814a7d550346895db79358/html5/thumbnails/31.jpg)
¿PREGUNTAS?