1 medienintensive lehrmodule in der computerlinguistik-ausbildung teilprojekt a3, gesprochene...
TRANSCRIPT
1
Medienintensive Lehrmodule in der Computerlinguistik-
Ausbildung
Teilprojekt A3, Gesprochene Sprache
Felicitas Haas, Wolfgang Hess, Bernhard Schröder
Universität Bonn
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 2IKP, Uni Bonn
Übersicht
• Einleitung: Motivation
• Inhalt des Moduls
• Szenario
• Multimediale Elemente
• Arbeitsplan
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 3IKP, Uni Bonn
Motivation des Moduls
Interdisziplinärer Charakter in der Sprachtechnologie
Informationstechnik / Informatik
Computerlinguistik Phonetik
z.B. Dialogsysteme, Sprachverstehenssysteme, Sprachsynthesesysteme
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 4IKP, Uni Bonn
Lernziel
• Überblick über die Entwicklung und den heutigen Stand von Sprachsynthese und Spracherkennung
• Verstehen und Beurteilung wichtiger Aspekte und Probleme der akustischen Mensch-Maschine-Kommunikation
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 5IKP, Uni Bonn
Grundlagen und Umfang des Moduls
• In Bonn: 3 zweistündige Vorlesungen, 1 Seminar – Grundlagen der Sprachsignalverarbeitung– Akustische Mensch-Maschine-Kommunikation 1,2– Material aus Seminar zum Thema Fokus
• Im Projekt:Äquivalent von 4 Semesterwochenstunden ?
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 6IKP, Uni Bonn
• Sprachausgabe: Sprachsynthese• Linguistische Aspekte der Verarbeitung gesprochener
Sprache
Inhaltliche Strukturierung
• Spracheingabe: Spracherkennung, Sprachverstehenssysteme
• Grundlagen der Sprachsignalverarbeitung[Exkurs: für die Verarbeitung gesprochener Sprache benötigte Mathematik]
• Einführung: Aufgaben und Einsatzmöglichkeiten der akustischen Mensch-Maschine-Kommunikation
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 7IKP, Uni Bonn
• Spektrogramm
Teilmodul Sprachsignalverarbeitung
• Bau des menschlichen Sprechtrakts
• Sprachsignale und ihre Darstellung im Rechner
• Kurzzeitanalyse
• Kurzzeitspektralanalyse
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 8IKP, Uni Bonn
Exkurs Mathematik
• Mathematische Grundlagen zur Sprachsignalverarbeitung
• Variable Ansteuerung durch das Teilmodul Sprachsignalverarbeitung
• Rücksicht auf individuellen Wissensstand der Studierenden
• Abbau der Scheu vor mathematischen Inhalten
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 9IKP, Uni Bonn
• Hidden-Markov-Modelle
• Klassische Mustererkennungsverfahren
• Einzelworterkennung
• Erkennung von Prosodie
• Probleme der Erkennung fließender Sprache und Spontansprache
• Dynamic Time Warping
Teilmodul SpracherkennungGrundprobleme
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 10IKP, Uni Bonn
• Anwendungen: einfacher, interaktiver, trainierbarer Spracherkenner mit geringem Wortschatz
Teilmodul SpracherkennungAnwendungen
• Spracheingabesysteme: Historische Entwicklung und Beispiele
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 11IKP, Uni Bonn
• Akustische Synthese– Verschiedene Prinzipien akustischer Synthese
• Direkte Sprachsynthese vom Sprachkorpus– Demonstration verschiedener Synthesesysteme
• Frage der Prosodie– Demonstration der prosodischen Manipulation
synthetischer und natürlicher Sprachsignale
Teilmodul Sprachsynthese
• Synthese auf segmentaler Ebene – Verkettung
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 12IKP, Uni Bonn
Teilmodul Sprachsynthese (2)
• Evaluierung der Qualität– Bewertung von synthetischen Stimuli
verschiedener Systeme
• Einige ausgewählte Anwendungen
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 13IKP, Uni Bonn
• Phonem-Graphem-Verhältnis• Beschreibung der Syntax gesprochener
Sprache• Prosodie als Mittel semantischer und
pragmatischer Markierung• Spracherkennung und Äußerungskontext• Dialogverarbeitung• Korpora gesprochener Sprache
• Gesprochene vs. geschriebene Sprache
Teilmodul Linguistische Aspekte
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 14IKP, Uni Bonn
• Individuelle Lerngeschwindigkeit und Lernziele
• Mehrere Lernpfade
• „Einstiegsmöglichkeiten“ in unterschiedlichen Kontexten
• Vernetzung mit anderen MiLCA-Modulen
Szenario
• Aufbereitung als Web Based Training
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 15IKP, Uni Bonn
Kenntnisstand
Lernprozess im Teilmodul
A1 A2 A3 Ak.....
Lernfortschritt
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 16IKP, Uni Bonn
Vernetzung der (Teil-)Module
Grundlagen der Sprachsignalverarbeitung
Mathematik
Spracheingabe Sprachausgabe
Linguistische AspekteAndere MiLCA-Module
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 17IKP, Uni Bonn
Vernetzung mit anderen ModulenLinguistische Aspekte
• Beschreibung der Syntax gesprochener Sprache
• Prosodie als Mittel semantischer und pragm. Markierung
• Spracherkennung und Äußerungskontext
• Dialogverarbeitung• Korpora gesprochener
Sprache
Parsing und Grammatik
Computational Semantics
Computational Semantics
Dialogsysteme Texttechnologie
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 18IKP, Uni Bonn
• Vokaltraktsimulator
• Graphisch unterstützte Manipulation von
Sprachsignalen (Grundfrequenz, Dauer, etc.)
• Akustische Synthetisatoren
• Spracherkenner mit begrenztem Wortschatz
Multimediale Elemente
• Virtuelles Sprachsignallabor
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 19IKP, Uni Bonn
• Selektion von Teilsignalen
• Oszillogramm
• Spektrogramm
• Einzelspektrum
Sprachsignallabor
• Akustische Aufnahme und Wiedergabe
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 20IKP, Uni Bonn
BeispielBreitbandspektrogramm
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 21IKP, Uni Bonn
Vokaltraktsimulator
Mittsagittalschnitt (aus Fellbaum, 1984) und simulierter Vokaltrakt (aus Klöcker, 2001) am Beispiel des Vokals [a:]
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 22IKP, Uni Bonn
ArbeitsplanArbeitsplan