las tecnologías del habla en españolliceu.uab.cat › ... ›...

Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola

Máster de estudios hispánicos: aplicaciones e investigaciónDepartament de Filologia Espanyola, Universitat de València

26 de marzo de 2007

Las tecnologías del habla en españolJoaquim Llisterri

Grup de Fonètica, Departament de FilologiaEspanyola, Universitat Autònoma de Barcelona

[email protected]

http://liceu.uab.cat/~joaquim



26 de marzo de 2007

Materiales en Internet

http://liceu.uab.cat/~joaquim/

applied_linguistics/Valencia_07/

Valencia_07.html


Las tecnologías del habla en español

Las tecnologías del habla

La conversión de texto en habla

El reconocimiento automático del habla

Los sistemas de diálogo

La situación de las tecnologías del hablaen España










• Objetivo

• Facilitar la comunicación oralentre personas y sistemasinformáticos


Tecnologías del habla

• Salida vocal

Síntesis del habla

• Entrada vocal

Reconocimiento del habla

• Interacción vocal

Sistemas de diálogo


Del texto ... … al habla

Las tecnologías del hablaLa síntesis del habla


Las tecnologías del hablaEl reconocimiento del habla

Del habla … … al texto


Las tecnologías del hablaLos sistemas de diálogo

Eh, pues mire, queríasaber a qué hora salela… el último tren, eh…hacia Barcelona, desdeMadrid, el sábado

Reconocimiento Comprensión

PETICIÓN, DESTINO=“Barcelona”,ORIGEN=“Madrid”, Fecha: DÍA=“28”,

HORA=“Último”

Generación de respuesta

El último tren sale a las11 y 53 minutos de la noche

Síntesis









Módulos de tratamientolingüístico de un conversor

de texto en habla


Síntesis basada en corpus

• Corpus-based speech synthesis

• Sistemas de síntesis basados en laselección de unidades (unit selection) delongitud variable (non-uniform)

• Las unidades de síntesis están recogidasen un corpus y se concatenan una vezrealizada la selección



Selección de unidades• El corpus de síntesis constituye el inventario de

unidades• Se selecciona la cadena fonética más larga que

corresponde al texto de entrada del sistema desíntesis

• Se minimiza el número de concatenaciones y sebusca la adecuación prosódica

• Diseño y evaluación de algoritmos de selección



Diseño del corpus

• Definición del inventario de alófonos y desus combinaciones

• Cobertura de los alófonos y de suscombinaciones (difonemas)

• Cobertura de los fenómenos prosódicos


LLISTERRI, J.- MACHUCA, M.- MADRIGAL, N.- MANCINI, F.- MASSIMINO, P.- de la MOTA, C.- RIERA, M.- RÍOS, A. (2004)"Aspectos lingüísticos en el diseño de un conversor de texto en habla en castellano y en catalán: El sistema LoquendoTTS®", in VI

Congreso de Lingüística General. Universidade de Santiago de Compostela, Santiago. 3-7 de mayo de 2004. Universidade de Santiago deCompostela, Facultade de Filoloxía, Área de Lingüística Xeral. pp. 521-522.

http://liceu.uab.es/~joaquim/publicacions/Llisterri_et_al_04_Conversor_Texto_Habla_Castellano_Catalan_Loquendo.pdf

• Corpus inicial de 3 millones de palabrasextraídas de textos periodísticos, literarios,culturales, científicos, didácticos, etc.

• Selección automática de secuencias que seacerquen al equilibrio fonético teniendo encuenta el contexto de aparición de los alófonos

• Edición manual de 200 frases enunciativas einterrogativas para ajustar el equilibrio y laestructura sintáctica





• Selección del locutor en función de lavariedad lingüística, la elocución y laplasticidad: locutores profesionales

• Control lingüístico de la grabación de las200 frases

• Correspondencia entre la realización dellocutor y la transcripción fonéticagenerada por el sistema





• Base de datos acústica de unos 200 Mbcodificada a 16 kHz en PCM (Pulse Code

Modulation)

• Reducción del tamaño mediante técnicas decodificación de la señal


GTH, Grupo de Tecnologías del Habla,Universidad Politécnica de Madrid

http://www-gth.die.upm.es/research/synthesis/synth-form-concat-e.html/

Conversión de texto en habla por concatenación


GTP, Grup de Tractament de la Parla,Universitat Politècnica de Catalunya

http://gps-tsc.upc.es/veu/soft/demos/tts.php3


GTS, Grupo de Tratamiento de la Señal, Universidade de Vigohttp://www.gts.tsc.uvigo.es/cotovia/

Conversión de textoen habla basada encorpus

Conversión de textoen habla basada endifonemas


Telefónica I+D, Madrid

Conversión de texto en habla basada enconcatenación de unidades (1996)

Conversión de texto en habla basada en corpus(2003)


Verbio Technologies SLhttp://www.verbio.com/webverbio2/html/demos_ttsonline.php


Verbio Technologies SLhttp://www.verbio.com/webverbio2/html/demos_news.php


Actor, Loquendohttp://actor.loquendo.com/actordemo/

Es, m, f

EsCh, f

EsMx, f

EsAr, m

Cat, f Cat, m


Loquendo Gilded TTShttp://actor.loquendo.com/actordemo/


AT&T Labs Natural Voiceshttp://www.naturalvoices.att.com/demos/

EspMx, f


AT&T Labs Natural Voiceshttp://www.naturalvoices.att.com/demos/

EspMx, f


Bell Labs - Lucent Technologies

Eng, m

Eng, f

EsMx, m

Es, m


RealSpeak, Nuancehttp://www.nuance.com/realspeak/demo/default.asp

Eng, f

EsMx, f


Acapela Grouphttp://demo.acapela-group.com/

Es, f

En, f









• Reconocimiento depalabras aisladas

• Reconocimiento depalabras conectadas

• Reconocimiento de hablacontinua+ dificultad

- dificultad

Tipo de enunciado


• Sistemas dependientesdel locutor

• Sistemasindependientes dellocutor

+ dificultad

- dificultad

Número de locutores


•Vocabulariorestringido

•Vocabulario sinrestricciones

+ dificultad

- dificultad

Tamaño del vocabulario


• Entorno silencioso• Entorno con ruido

predictible• Entorno con ruido

aleatorio+ dificultad

- dificultad

Entorno


ADQUISICIÓN DE DATOS

EXTRACCIÓN DECARACTERÍSTICAS

CREACIÓN DE PLANTILLAS DEREFERENCIA

PROCEDIMIENTO DEDECISIÓN

Etapas en el reconocimiento del habla


DIGITALIZACION DE LA SEÑAL DETECCIÓN DE PRINCIPIO Y FINAL DE PALABRA

CODIFICACIÓN EN FORMA DE PLANTILLADICCIONARIO

DE PLANTILLASDE REFERENCIA

COMPARACIÓNCOMPARACIÓN

MEDIDA DE LA DISTANCIA ENTELA PLANTILLA DE REFERENCIAY LA PLANTILLA DE ENTRADA

DECISIÓN SOBRE ELRECONOCIMIENTO

Reconocimiento de palabras aisladas


Esquema básico de un sistema dereconocimiento automático del habla


voz texto

ENTRENAMIENTO algoritmo de

entrenamiento

base de datos de modelos fonéticos

diccionariofonético

COMPILACIÓN DE

MODELOS LÉXICOSgenerador de

modelos léxicos

base de datos de modelos léxicos

RECONOCIMIENTO

algoritmo de reconocimiento

gramática

procesadoracústico

hablasecuencia de

unidades

Mariño (1993)

Modelo de reconocimiento de hablacontinua


Control del sistema operativoWindows Vista en español

http://www.youtube.com/watch?v=SKm-g7hUSag


Nuance Dragon Naturally Speaking• Más de 250.000 palabras• Vocabulario legal• Vocabulario médico• Vocabulario de la seguridad• Versión en español

http://www.nuance.com/naturallyspeaking/http://spain.nuance.com/naturallyspeaking/

Dictado automático


IBM Via Voice

• 100.000 palabras de vocabulario básico

• 475.000 palabras de vocabulario “de respaldo”

• Vocabulario legal

• Vocabulario médico

• Versión en español

http://www-306.ibm.com/software/voice/viavoice/

Dictado automático


Reconocimiento automático del habla y enseñanza de lapronunciación asistida por ordenador


LAFFORD, B.A. (2004) "Review of Tell Me More Spanish",Language Learning and Technology 8, 3: 21-34.

http://llt.msu.edu/vol8num3/pdf/review1.pdf


Ordinate Corporation, Menlo Park, Californiahttp://www.ordinate.com/









Objetivos de un sistema de diálogo

HCI, Human - Computer

Interaction



Eh, pues mire, queríasaber a qué hora salela… el último tren, eh…hacia Barcelona, desdeMadrid, el sábado

Reconocimiento Comprensión

PETICIÓN, DESTINO=“Barcelona”,ORIGEN=“Madrid”, Fecha: DÍA=“28”,

HORA=“Último”

Generación de respuesta

El último tren sale a las11 y 53 minutos de la noche

Síntesis


Módulos de un sistema de diálogo



Módulo de reconocimiento del habla

• Convierte la señal sonora de entrada -continua- en una representación escrita -discreta - de las palabras reconocidas


• Reconocimiento automático del habla(ASR, Automatic Speech Recognition)



Módulo de interpretación semántica

• Determina el “significado” (contenido) dela secuencia de palabras reconocida

Procesamiento del lenguaje natural

• Comprensión del lenguaje (NLU,Natural Language Understanding)



Comprensión del contenidoComprensión del lenguaje natural (NLU)

Eh, pues mire, quería saber a qué horasale la… el último tren, eh… haciaBarcelona, desde Madrid, el sábado

PETICIÓN, DESTINO=“Barcelona”, ORIGEN=“Madrid”, FECHA:DÍA=“28”, HORA=“Último”



Módulo de gestión del diálogo

• Gestiona la interacción entre la persona yel sistema para la realización de la tareadeseada

• Módulo central de control en un sistemade diálogo



Módulo de generación de lenguaje

• Crea un enunciado bien formado a partirde la representación internaproporcionada por el sistema

Procesamiento del lenguaje natural

• Generación del lenguaje (NLG, Natural

Language Generation)



Creación de respuestas

Generación de lenguaje natural (NLG)

PETICIÓN, DESTINO=“Barcelona”,ORIGEN=“Madrid”, Fecha: DÍA=“28”,HORA=“Último”

El último tren sale a las 11 y 53minutos de la noche



Módulo de conversión de texto en habla

• Transforma en una señal sonoracontinua- el texto creado por el módulode generación de respuestas -discreto-


• Conversión de texto en habla (TTS,Tex-to-Speech Synthesis)


BASURDE (1998-2001)Sistema de diálogo oral en dominios restringidos

http://gps-tsc.upc.es/veu/basurde/Home.htm

• Reconocimiento• “Para conseguir una tasa de reconocimiento

aceptable es deseable que la frase se pronuncieevitando ruidos y a una velocidad de locuciónnormal”

• Comprensión• Información telefónica de horarios y precios de

trenes regionales y de grandes líneas

• Salida vocal


Acceso al ordenador mediante el teléfono

• Portales de voz


Portal de voz

Selección por voz

Restaurantes

Farmacias de guardia

Reconocimientodel habla

Palabras aisladas


Portal de voz

Grabación previa

Selección por voz

Informaciónsolicitada

Restaurantes

Restaurantes de Ávila


Portal de voz

Sistema automático

Selección por voz

Informaciónsolicitada

Farmacias de guardia

Existe unafarmacia…


Portal de voz

ochoHe encontrado nueve

diez

Existe una farmacia de guardia

Mensajes pregrabadospara insertar palabras

procedentes de una lista

Conversión de texto escrito en habla


Venta de entradas

CineEntradasYdilo Advanced Voice Solutions

http://www.ydilo.com/esp/caseStudies.html


Banca Telefónica

BpT, Banca por TeléfonoNatural Vox

http://www.natvox.es/demos_bpt.html


Gestión del correo electrónico

TelCorreoUniversidade de VigoUniversidade de Santiago de

CompostelaSistema de diálogo para acceso telefónico a

servicios telemáticoshttp://www.gts.tsc.uvigo.es/telcorreo/


Cita previahttp://www.verbio.com/webverbio/html/demos_basic.php









La situación de las tecnologías del habla en EspañaLLISTERRI, J. (2004) “Las tecnologías del habla para el español”, in SEQUERA, R. (Ed.) Ciencia, tecnología y lengua española: la

terminología científica en español. Madrid, 11-12 de diciembre de 2003. Madrid: Fundación Española para la Ciencia y la Tecnología. pp.123-141. http://liceu.uab.es/~joaquim/publicacions/Llisterri_04_Tecnologias_Habla_Espanol.pdf

• 17 grupos de I+D

• Teoría de la Señal y Comunicaciones

• Ingeniería Electrónica

• Informática

• Proyectos coordinados entre equipos delmismo ámbito




• Integración entre el procesamiento del lenguaje naturaly las tecnologías del habla

TALP UPC• Colaboraciones estables con equipos especializados en

fonéticaGTH UPM + LE UNEDGTP UPC + GF DFE UAB

• Grupos interdisciplinares con participación delingüistas




• I+D orientada a servicios telefónicos

Telefónica I+D

• Comercialización de los resultados de laI+D universitaria

Verbio




• Integración de tecnologías del habla encentralitas telefónicas (información,atención al cliente, comercio electrónico)

Natural Vox, Grupo Voice• Integración de tecnologías del habla en

portales de vozYdilo




Interés por el mercado hispanohablante• Productos básicos para el usuario final -dictado

automático- comercializados por empresasextranjeras o multinacionales

• Desarrollo de sistemas de conversión de texto enhabla para servicios telefónicos por parte deempresas extranjeras

Potencial investigador importante




Relativa escasez de recursos básicoscompartidos Poca inversión empresarial en productos yservicios para el usuario final Poca visibilidad de las tecnologías del habla enlos programas nacionales de I+D Escasa colaboración interdisciplinar










26 de marzo de 2007

Materiales en Internet

http://liceu.uab.cat/~joaquim/

applied_linguistics/Valencia_07/

Valencia_07.html

las tecnologías del habla en españolliceu.uab.cat › ... ›...

Documents