uniwersytet kardynała stefana wyszyńskiego, uniwersytet warszawski 29-30.05.2014

60
Uniwersytet Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski 29-30.05.2014 Prozodia w semantyce – semantyka w prozodii Grazyna Demenko Zaklad Fonetyki Instytut Językoznawstwa, UAM Semantyka intonacji

Upload: reese

Post on 13-Jan-2016

41 views

Category:

Documents


1 download

DESCRIPTION

Semantyka intonacji. Uniwersytet Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski 29-30.05.2014 Prozodia w semantyce – semantyka w prozodii Grazyna Demenko Zaklad Fonetyki Instytut Językoznawstwa, UAM Pozna ń , 12-13 September 2006. Semantyka intonacji - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Uniwersytet Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski 29-

30.05.2014

Prozodia w semantyce – semantyka w prozodii

Grazyna Demenko

Zaklad Fonetyki Instytut Językoznawstwa, UAM

Poznań, 12-13 September 2006

Semantyka intonacji

Page 2: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Wprowadzenie

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014 Prozodia w semantyce – semantyka w prozodii

Podstawowe zagadnienia Problemy badan prozodycznych Analiza intonacji

• Funkcje intonacji • Struktury akcentowe• Interpretacja semantyczna • Formalizacja opisu

Modele intonacji• Sposoby modelowania • Modelowanie intonacji polskiej

Aplikacje

Kierunki rozwojowe

Page 3: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

AnalizaISC Model Definicje, teoria i praktyka

Problemy badań prozodycznychIstnieje duża rozbieżność w metodologii badan prozodycznych . Problem przetwarzania prozodii ujmowany jest w charakterystyczny sposób dla określonej dziedziny: (a) przez informatykę jako sposób kodowania informacji słownych, (b) przez fonetykę i akustykę jako element sygnału przenoszącego określone cechy fizyczne i fonetyczne (c) przez lingwistykę jako element modelowania struktur gramatycznych, dyskursu,(d) przez psychologię w odniesieniu do pozajęzykowych aspektów mowy (e) przez audiologię i foniatrię jako element procesu komunikatywny i jego zaburzen.  1. «ogół brzmieniowych właściwości języka charakteryzujących sylaby lub ich ciągi w toku wypowiedzi»2. «dział językoznawstwa zajmujący się brzmieniowymi właściwościami języka»3. «nauka o budowie wiersza zajmująca się zagadnieniami akcentu, iloczasu i intonacji» Prozodia w semantyce – semantyka w prozodii

Semantyka intonacji Analiza Modelowanie Aplikacje

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014

Page 4: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

AnalizaISC Model Definicje, teoria i praktyka

Semantyka intonacji

Problemy badań prozodycznych„Znaczenie semantyczne” a „znaczenie pragmatyczne”Wyrażenia języka naturalnego posiadają znaczenie dosłowne („znaczenie semantyczne”, rozważane z punktu widzenia semantyki).

Jednak wytwarzając wyrażenia, uzupełniamy ich „znaczenie semantyczne”, korzystając z naszej wiedzy o kontekście wypowiedzi i uczestnikach rozmowy (dodajemy „znaczenie pragmatyczne” ). 

Wynik wnioskowania pragmatycznego, w którym odbiorca komunikatu przypisuje nadawcy pewne znaczenie (znaczenie dla mówcy), wychodzące poza to, co jest powiedziane w zdaniu (znaczenie zdania).

 

 

Prozodia w semantyce – semantyka w prozodii

Semantyka intonacji Analiza Modelowanie Aplikacje

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014

Page 5: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

AnalizaISC Model

Definicje, teoria i praktyka

Semantyka intonacji

Problemy badań prozodycznych -informacje paralingwistyczne jako dodane do treści językowych dla celowej modyfikacji znaczenia wypowiedzi (np. poprzez zmiany jakości głosu, sposobu fonacji nadawanie zabarwienia emocjonalnego)

- nielingwistyczne, jak te, które nie mogą być stosowane celowo, takie jak np. wiek, płeć, stan zdrowia, odruchy bezwarunkowe odgłosy produkowane przez mowce często związane ze środowiskiem fizycznym oraz niekontrolowane reakcje na stan emocjonalny, stres.. Cechy nielingwistyczne występujące w sygnale mowy związane sa z dwoma podstawowymi uwarunkowaniami: a)fizjologicznymi i anatomicznymi oraz b)niekontrolowanymi psychologicznymi i neuropsychologicznymi

Prozodia w semantyce – semantyka w prozodii

Semantyka intonacji Analiza Modelowanie Aplikacje

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014

Page 6: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Prozodia w mowie i tekscie

Semantyka intonacji

Problemy badań prozodycznych

Planowaniewiadomości

Planowaniewypowiedzi

Neuromotorycznesterowanie

Artykulacja

Paralingwistyczna

Stylintencje

Nielingwistyczna

Fizyczne cechyemocje

Językowa

LeksykalnaSyntaktycznaSemantycznaPragmatyczna

Reguły gramatyki

Reguły prozodii

fizjologiczne

Fizyczne

uwarunkowania

mowa

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Page 7: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

AnalizaISC Model Funkcje intonacji

Semantyka intonacji

Analiza intonacjiIndeksowa (wskazująca cechy indywidualne lub identyfikujące przynależność społeczną, regionalną). Sposób oraz zakres zmian wysokości tonu, średnie położenie głosu stanowią podstawę dla oceny wieku, płci, specyficznych cech wymowy, osobowości mówcy.

Leksykalna i syntaktyczna. Funkcja ta związana jest z segmentacją prozodyczną wypowiedzi na jednostki znaczące. Granice fraz intonacyjnych częściowo określone są przez strukturę syntaktyczną, częściowo przez inne uwarunkowania związane z czynnikami pozalingwistycznymi. Segmentacja, dzielenie wypowiedzi na podstawie takich jednostek jest zazwyczaj pierwszym krokiem przy przetwarzaniu ciągłego akustycznego sygnału. Syntaktyczne i intonacyjne frazowanie są bardzo podobne, ale nie muszą sobie dokładnie odpowiadać. Położenie sylaby akcentowanej może sygnalizować granicę wyrazu.

Semantyczna. Słowa są akustycznie podkreślane poprzez uwydatnianie prozodyczne sylab będących potencjalnymi nośnikami akcentu. Wiele języków zachodnioeuropejskich ma więcej niż jeden typ akcentu. Jest zatem konieczne, aby rozpoznać nie tylko, który element wypowiedzi jest akcentowany, ale także, jaki to jest typ akcentu.

Prozodia w semantyce – semantyka w prozodii

Semantyka intonacji Analiza Modelowanie Aplikacje

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014

Page 8: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

AnalizaISC Model Funkcje intonacji

Semantyka intonacji

Analiza intonacjiSemantyczna. Odnosi się głównie do tematycznego umiejscowienia akcentu, podkreślenia nowej informacji, uwydatnienia najważniejszego elementu wypowiedzi. Przykładowo: tematyczne umiejscowienie akcentu w wypowiedzi Ania jedzie nad morze może wygenerować trzy możliwości: (a) Ania jedzie nad morze (odpowiedź na pytanie Dokąd jedzie Ania?), (b) Ania jedzie nad morze (odpowiedź na pytanie Kto jedzie nad morze?), (c) Ania jedzie nad morze (odpowiedź na pytanie Czy Ania jedzie nad morze?). PragmatycznaPytanie, komenda, stwierdzenie lub prośba narzucają określony typ konturu intonacyjnego (o znaczeniu wypowiedzi: Przeczytasz ten rozdział? Przeczytasz ten rozdział! Przeczytasz ten rozdział zadecydują głównie zmiany wysokości tonu w obrębie całej wypowiedzi).

Semantyka intonacji Analiza Modelowanie Aplikacje

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014

Page 9: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Funkcje intonacji

Semantyka intonacji

Analiza intonacji

Dyskursowa. Funkcja ta związana jest bezpośrednio z sytuacją komunikacyjną i aktami dialogowymi. Między innymi ma na celu podtrzymanie uwagi rozmówcy, kontynuację bądź zakończenie rozmowy, nawiązanie kontaktu. Spełnia również ważną funkcję w podziale i interpretacji i rodzaju jednostek dyskursowych. Sygnalizuje również, czy mówca skończył swoją wypowiedź, i czy inna osoba może mówić (reguluje kolejność wypowiedzi). Dostarcza informacji o tym, co przekazuje mówca, np. czy jest to wątpliwość, doradzanie, zachęcanie, dezaprobata.

Psychologiczna. Bardzo często zrozumienie treści wypowiedzi związane jest z właściwą segmentacją wypowiedzi. Psychologiczna funkcja intonacji umożliwia wyodrębnienie z mowy jednostek, które są łatwe do zapamiętania. Przykładowo wypowiedź: Możesz pomalować na niebiesko zielono czerwono czarno lub żółto ↘ jest trudniejsza do zrozumienia i zapamiętania niż wypowiedź podzielona intonacyjnie: Możesz pomalować na↗ niebiesko ↗ zielono↗ czerwono↗ czarno lub żółto↘ .

Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego

Uniwersytet Warszawski 29-30.05.2014

Page 10: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Funkcje intonacji

Semantyka intonacji

Analiza intonacji

Afektywna. Funkcja afektywna związana jest głównie ze stanami emocjonalnymi (odzwierciedlającymi się w wypowiedziach wyrażających np. złość, radość, gniew, strach), również jednak z nastawieniem do rozmówcy, do tego, co on mówi (np. wątpienie, niedowierzanie), do własnych wypowiedzi, przekazujących słuchaczowi ironię, sarkazm, akceptację.

Neurologiczna i neurolingwistyczna. Funkcja ta wyraża zaburzenia w prozodycznej ekspresji: hiperprozodia – przesadne wykorzystywanie zakresu głosu, intensywności, iloczasu, hipoprozodia –zredukowana ekspresja prozodyczna i dysprozodia – niewłaściwe użycie struktury prozodycznej. Funkcja ta objawia się w analizie różnych długoterminowych zaburzeń ośrodkowego układu nerwowego, jak również krótkoterminowych zaburzeń.

Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego

Uniwersytet Warszawski 29-30.05.2014

Page 11: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Struktury akcentowe

Semantyka intonacji

Analiza intonacji

JO LA WY PI ŁA SOK

Prozodia ma strukture hierarchicznąProzodyczne elementy:

Akcent potencjalny, akcent realny,akcent rdzennyProzodyczne struktury:

Stopa rytmiczna, stopa akcentowa, fraza intonacyjna

• akcent potencjalny

Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego

Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Page 12: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

AnalizaISC Model

Semantyka intonacji

Analiza intonacji

JO LA WY PI ŁA SOK

akcent realny

Semantyka intonacji Analiza Modelowanie Aplikacje

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014

Struktury akcentowe

Page 13: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

AnalizaISC Model

Semantyka intonacji

Analiza intonacji

JO LA WY PI ŁA SOK

akcent rdzenny

Prozodia w semantyce – semantyka w prozodii

Semantyka intonacji Analiza Modelowanie Aplikacje

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014

Struktury akcentowe

Page 14: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Struktury akcentowe

Semantyka intonacji

Analiza intonacji

Prozodia w semantyce – semantyka w prozodii

Przebieg częstotliwości podstawowej w wypowiedzi ja jem.

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Page 15: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

nawóz

na wóz

Page 16: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

pora dnia poradnia

Akustyczne wyznaczniki akcentu

Page 17: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

AnalizaISC Model Interpretacja semantyczna

Semantyka intonacji

Analiza intonacji

„  

Co jest powiedziane Co jest powiedziane Jak jest powiedzianeJak jest powiedziane• TY powiedziales to do niej?

• Ty powiedziales to do niej?

• Ty powiedziales to do niej?

• Ty powiedziales to do niej?

• Ty powiedziales to do niej?

Prozodia w semantyce – semantyka w prozodii

Semantyka intonacji Analiza Modelowanie Aplikacje

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014

Page 18: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Interpretacja semantyczna

Semantyka intonacji

Analiza intonacji

Jerzy nie pije bo jest nieszczęśliwy (Jerzy pije ale powodem jego picia nie jest fakt ze jest nieszczesliwy

Jerzy nie pije I bo jest nieszczęsliwy

(nie pije z tego powodu ze jest nieszczesliwy

Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego

Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Page 19: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Interpretacja semantyczna

Semantyka intonacji

Analiza intonacji

Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego

Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Page 20: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014
Page 21: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Interpretacja semantyczna

Page 22: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Interpretacja semantyczna

Semantyka intonacji

Analiza intonacji

z telewizyjnego kina nocnego // wciąż z sympatią wspominam // człowieka który się zmniejszał /// film z gatunku fikcji naukowej /// a więc raczej fantastyczny // i raczej nie naukowy /// ale za to pobudzający wyobraźnię /// była to opowieść o panu /// który// zaczął się zmniejszać /// oczywiście / poza tym panem // wszyscy to bagatelizowali /// żona powtarzała mu // że jest wcale duży jak na małego /// bo dużo zarabiał /// a lekarz kazał mu// dobrze się odżywiać // nic się nie przejmować // i na zakrętach hamować /// bo/ każdy dobrze życzy małemu /// który dobrze zarabia /// życie pana który malał // stawało się więc coraz trudniejsze ///  

Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego

Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Page 23: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Znacznik Granica Prawdopodobieństwo Komentarz

paragr

af

[1] obligatoryjna bardzo silna

…. ?! ?... [1] obligatoryjna bardzo silna

. ! ? [2] obligatoryjna silna

; : „ ” * [2] obligatoryjna mniej silna

/ - , [2] obligatoryjna mniej silna

( ) {} [] <> // otw. [2] obligatoryjna mniej silna

spójnik [3] – [5] opcjonalna zróżnicowana

fraza przyimkowa [3] – [5] opcjonalna zróżnicowana

granica pomiędzy grupą

podmiotu i orzeczenia

[3] – [5] opcjonalna zróżnicowana

imiesłów [3] – [5] opcjonalna zróżnicowana

elementy dyskursowe [3] opcjonalna zróżnicowana

złożoność struktury

leksykalnej

[3] opcjonalna zróżnicowana

Page 24: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Interpretacja semantyczna

Uniwersytet Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski 29-

30.05.2014, Prozodia w semantyce – semantyka w prozodii

Semantyka intonacji

Analiza intonacji

REALSPEAK

Jego prace napisane w ostatnich latach - za granicą nie znalazły uznania.

Jego prace napisane w ostatnich latach za granicą - nie znalazły uznania.

Semantyka intonacji Analiza Modelowanie Aplikacje

Page 25: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Figure 3: a) I keep trying to get through…. (Fmin =121Hz), b) I’ve reported it so many times already… - clearly audible irritation (Fmin =173 Hz) c) … so I don’t know anything anymore… - the answer after being asked by a police officer to calm down (Fmin =115 Hz).

Page 26: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Formalizacja opisu

Semantyka intonacji

Analiza intonacji

Prozodia w semantyce – semantyka w prozodii

Mama myje rano lalę małej Joli.

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Page 27: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Formalizacja opisu

Semantyka intonacji

Analiza intonacji

Prozodia w semantyce – semantyka w prozodii

Rys.1a. Zmiany wysokości tonu w stwierdzeniach (S). Rys.1b. Zmiany wysokości tonu w poleceniach (P).

Rys.1c. Zmiany wysokości tonu w pytaniach (PU1). Rys.1d. Zmiany wysokości tonu w pytaniach (PU2).

Rys.1e. Zmiany wysokości tonu w pytaniach (PR).

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Page 28: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

• Sposoby modelowania

Semantyka intonacji

Modele intonacji

• Modele oparte są na różnych typach danych: akustycznych, percepcyjnych• Różny materiał- typy dyskursu • Różne typy analiz fizycznych wykładników cech prozodycznych• Istnieje wiele modeli intonacji• Jest ogólna zgoda w zakresie wystepowania prozodycznej prominencji i prozodycznego frazowania.• Kontrowersje tyczą typow prominenci i typów frazowania

Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego

Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Page 29: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Semantyka intonacji

Modele intonacji

Wysokie (H) i niskie (L) tony są skojarzone z prozodycznymi zdarzeniami . Przerwania (break indices) opisują stopień rozdzielenia między wyrazami

ToBI (Tones and Break Indices)H*

L*

L+H*

L*+H

H+!H*

Phrase Accents describing the pitch movement from the last Boundary Tones describing the pitch movement immediately before the boundary

L-L% L-H% H-H% H-L% !H-L%

Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego

Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

• Sposoby modelowania

Page 30: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Semantyka intonacji

Modele intonacji

Fujisaki model

Phrase Control Mechanism

Accent Control Mechanism

Phrase Component

Accent Component

loge Fb

loge F0 (t)

Ap

Aa

T01 T02

T03

t

t

t

T11 T21

T12 T22

T13 T23

T14 T24

Phrase Command

Accent Command

Ga(t)

Gp(t)

)}()({)(ln)(ln 210011

jajjajajipipib ttGTtGATtGAFtFJ

j

I

i

Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego

Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

• Sposoby modelowania

Page 31: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Semantyka intonacji

Modele intonacji

Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego

Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

• Sposoby modelowania

Page 32: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Semantyka intonacji

Modele intonacji

Model IPO. charakteryzującym się cechami sekwencyjności oraz superpozycją jest model ’t Harta. Model zakłada, że słuchacz wrażliwy jest tylko na te zmiany częstotliwości podstawowej, które były zamierzone przez mówcę. Najmniejszą jednostką percepcyjnej analizy jest zmiana parametru F0 (tzw. pitch movement), opisana następującymi percepcyjnie istotnymi cechami: kierunek (wzrost, spadek), synchronizacja (wczesna, późna, bardzo późna), prędkość zmiany (szybka, wolna), wielkość (pełna, częściowa).

Model KIM. Intonacyjny model KIM (Kieler Intonationsmodell) bazujący na brytyjskich tradycjach (tonach Hallidaya) est to funkcjonalny model oparty na badaniach fonologicznych, fonetycznych i percepcyjnych. integruje również syntaktyczne, semantyczne, pragmatyczne i ekspresywne funkcje intonacji. Intonację określają połączenia między maksimami i minimami przebiegu parametru F0 zsynchronizowane z ekstremami na samogłoskach akcentowanych (synchronizacja: wczesna, środkowa, późna), granice prozodyczne, tempo mowy, nieciągłości oraz pauzy. W modelu uwzględniono 3 położenia ekstremów: wczesne, środkowe i późne oraz nadano im funkcje semantyczne (wczesne oznacza fakt ustalony, środkowe świadczy o pojawieniu się nowej informacji, zaś późne związane jest z emfazą).

Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego

Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

• Sposoby modelowania

Page 33: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Semantyka intonacji

Modele intonacji Model Tilt. Fonetyczny i sekwencyjny model Tilt reprezentuje intonację jako sekwencję ciągłych

sparametryzowanych zmian częstotliwości podstawowej (Taylor, 1994). Elementarną jednostką jest intonacyjne zdarzenie (zmiana). Istnieją dwa rodzaje zdarzeń: akcenty i tony brzegowe, każde z nich ma wzrost i spadek, który może być różnej wielkości. Parametry modelu Tilt, które w pełni opisują kształt zmiany tonu, posiadają również językowo użyteczne interpretacje. Zarówno akcenty, jak i tony graniczne, charakteryzowane są poprzez ten sam zestaw parametrów: amplitudę, czas trwania, tilt, pozycję ekstremum oraz czasową synchronizację. Tilt jest obliczany na podstawie względnej wielkości wzrostu i spadku parametru F0. Wartość 1 oznacza wyłącznie wzrost, -1 wskazuje, że jest całkowity spadek. Dowolna wartość pomiędzy 1 i 0 wskazuje na występowanie zarówno wzrostu, jak i spadku.  System Prosogram. Prosogram jest półautomatyczną metodą transkrypcji prozodii opartą na modelu tonalnej percepcji. (Mertens, 1995). Głównym założeniem Prosogramu jest stwierdzenie, iż podstawowymi jednostkami dla percepcji intonacji są wokaliczne ośrodki sylaby. Stylizacja przebiegu wysokości tonu intonacji w Prosogramie uwzględnia percepcyjne progi dla postrzegania zmian w obrębie sylaby.Dla spostrzegania różnic w zmianie częstotliwości podstawowej (tzn. glissando) określony próg (G w semitonach na sekundę) wyraża się jako G = 0,16/T2 (ST/s), gdzie T jest czasem trwania zmiany. System Prosogram odnosi się tylko do jednego poziomu analizy intonacji, tj. do percepcyjnego, nie uwzględnia poziomu fonologicznego oraz fonetycznego, co stanowi dość poważne ograniczenie.

Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego

Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

• Sposoby modelowania

Page 34: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Semantyka intonacji

Modele intonacji Model INTSINT (INTernational Transcription System for INTonation). Głównym założeniem tej

metody jest stwierdzenie, że forma i funkcja intonacji powinny być reprezentowane oddzielnie. Formy intonacji można opisywać i analizować na różnych poziomach reprezentacji: na fonologicznej, fonetycznej i fizycznej. Segmenty definiowane globalnie odniesione są do indywidualnego zakresu zmian parametru F0: linii górnej − Top (T), linii środkowej − Mid (M), linii dolnej − Bottom (B). Segmenty definiowane lokalnie uwzględniają poprzedzające zmiany parametru F0 na poprzednich sylabach: wyższą − Higher (H), niższą − Lower (L), taką samą − Same (S), rosnącą w górę − Upstepped (U), opadającą na dół − Downstepped (D).

PENTA. Model PENTA opiera się na dwóch podstawowych założeniach. Po pierwsze melodia mowy wytwarzana jest przez artykulacyjny system, którego właściwości fizyczne i neurologiczne nakładają różne ograniczenia na generowane formy akustyczne – w szczególności inercja narządów artykulacyjnych ogranicza maksymalną prędkość zmian parametru F0, a koordynacja różnych artykulatorów ogranicza stopnie swobody (Xu, 2004). Po drugie, mnogość funkcji komunikacyjnych przekazywanych równocześnie wymaga, aby każda funkcja była unikalnie zakodowana. Te funkcje kontrolują zmiany parametru F0 przez charakterystyczne schematy kodowania, które obejmują lokalną wartość docelową, zakres zmiany i wysiłek artykulacyjny. Zmiana częstotliwości podstawowej może mieć charakter statyczny (może być niska, wysoka) lub dynamiczny (rosnąca, opadająca). W przypadku statycznej zmiany ważna jest relatywna wartość docelowa, przy dynamicznej zmianie zarówno prędkość zmiany, jak i wartość docelowa mają znaczenie.

Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego

Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

• Sposoby modelowania

Page 35: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Modelowanie intonacji polskiej

Semantyka intonacji

Modele intonacji

Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego

Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Page 36: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Modelowanie intonacji polskiej

Semantyka intonacji

Modele intonacji

Prozodia w semantyce – semantyka w prozodii

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Page 37: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Modelowanie intonacji polskiej

Semantyka intonacji

Modele intonacji

Prozodia w semantyce – semantyka w prozodii

Dla polskiego wyróżnimy następujące typu struktur akcentowych:1) zmiana wysokości tonu na początku sylaby akcentowanej: •tony dynamiczne rosnące: LH, LL_, LH_ •tony dynamiczne opadające: HL,HH_,HL_ 2) zmiana wysokości tonu po sylabie akcentowanej: •tony statyczne rosnące: L_H, L_L, L_H_ •tony statyczne opadające: H_L_,H_H 3) ton równy: F 4) H* i L*5) H*L i L*H

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Page 38: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Intonacja rosnąca

Page 39: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Rises

Page 40: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

FALLS

Page 41: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Falls

Page 42: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

RF

Page 43: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014
Page 44: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Modelowanie intonacji polskiej

Semantyka intonacji

Modele intonacji

Prozodia w semantyce – semantyka w prozodii

Przebiegi opadające Przebiegi rosnace Przebiegi złożone Przebiegi równe

H_H : 879

H_H! : 231

H_L : 17

H_L! : 9

H_L_ : 611

HH_ : 94

HL : 81

HL! : 133

HL& : 1

HL_ : 673

H* 606

L!H : 150

L!H! : 53

L!H_ : 104

L!L_ : 45

L* : 235

L_H : 177

L_H! : 13

L_H_ : 304

L_L : 31

L_L! : 180

LH : 259

LH! : 74

LH& : 3

LH&H : 4

LH&H!: 5

LH&H_: 1

LH&L_: 4

LH_ : 295

LL_ : 79

F: 1200

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Page 45: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Lingwistyka

Semantyka intonacji

Aplikacje

• Badania lingwistyczne: semantyka prozodycznaNa pograniczu składni i  semantyki, polegające na tym, że pewne wyrażenia wykazują tendencję do występowania w kontekstach pewnego typu – opisujących zjawiska negatywne i pozytywne.

• Badania porównawcze systemów fonologii intonacyjnej w różnych językach• Segmentacja tekstu i mowy: akcentuacja, fraza syntaktyczna i prozodyczna • Klasyfikacja aktów dialogowych, dyskursu• Rozpoznawanie dialektu, identyfikacja języka• Badania psycholingwistyczne: klasyfikacja emocji, stresu, charakterystyka osobowości• Nauka języka

Prozodia w semantyce – semantyka w prozodii

Semantyka intonacji Analiza Modelowanie Aplikacje

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014

Page 46: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Foniatria, Audiologia, Neuorologia

Semantyka intonacji

Aplikacje

Prozodia w semantyce – semantyka w prozodii

Semantyka intonacji Analiza Modelowanie Aplikacje

•Rozpoznawanie i klasyfikacja patologii głosu i mowy

•Ocena sprawności i rehabilitacja narządu słuchu i głosu

•Logopedia

•Psychologiczne i psychiatryczne analizy

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014

Page 47: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

AnalizaISC Model Technika

Semantyka intonacji

Aplikacje

• Telekomunikacja • Oprogramowanie do nauki języka • Rozpoznawanie języka• Synteza mowy• Rozpoznawanie mowy

• Modele akustyczne• Modele lingwistyczne• Rozpoznawanie i charakterystyka głosu mówcy

Prozodia w semantyce – semantyka w prozodii

Semantyka intonacji Analiza Modelowanie Aplikacje

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014

Page 48: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

AnalizaISC Model

Rozpoznawanie języka

Semantyka intonacji

Aplikacje

Figure 3: Language group classification (Slavic vs. Germanic) on the basis of f0 span and kurtosis (left panel for training, right panel for testing)

Prozodia w semantyce – semantyka w prozodii

Semantyka intonacji Analiza Modelowanie Aplikacje

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014

Page 49: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

AnalizaISC Model

Synteza mowy

Semantyka intonacji

Aplikacje

Prozodia w semantyce – semantyka w prozodii

Semantyka intonacji Analiza Modelowanie Aplikacje

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014

Page 50: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

AnalizaISC Model

Synteza mowy

Semantyka intonacji

Aplikacje

Prozodia w semantyce – semantyka w prozodii

Semantyka intonacji Analiza Modelowanie Aplikacje

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014

Page 51: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

AnalizaTechnologia mowy

Rozpoznawanie mowy

Semantyka intonacji

Aplikacje

 

Korpus Syntaktycznie proste zdania o fonetycznie i prozodycznie kontrolowanej strukturze

CVC trifony w kontekście dźwięcznych spółgłosek na określonej akcentowanej/nieakcentowanej pozycji Np. dla trifonu jem (w kontekście sonorantów) otrzymujemy 5 prozodycznych pozycji:Jemy dziś w restauracji.Kolacje zwykle jemy w domu.Łososia dziś jemy?Tego nie pijemy, tylko jemy.Czy ja to zjem? 

Dla poszczególnych trifonów w kontekście sonorantów wygenerowano po klika pozycji prozodycznych, zależnie od frekwencji określonej struktury. Np. dla trifonu bud (kontekst dźwięcznych zwartych spółgłosek) wygenerowano 4 pozycje suprasegmentalne: Buda psa spróchniała. Taka buda jest wygodna. Zobaczyliśmy wspaniałą budę. Czy naprawiłeś budę? 

Prozodia w semantyce – semantyka w prozodii

Semantyka intonacji Analiza Modelowanie Aplikacje

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014

Page 52: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Charaktrystyka głosu i mowy

Semantyka intonacji

Aplikacje

Rys. 21. Kontur F0 dla bardzo ekspresywnej wypowiedzi (oburzenie): Nie bo ja mu wleję, ja mu pokażę panie, no chodzi za mną taka menda jedna... (Fmaks. = 675 Hz, Fmin. = 109 Hz), wysoki stopień stresu.

Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego

Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Page 53: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Charaktrystyka głosu i mowy

Semantyka intonacji

Aplikacje

Rys. 22. Kontur F0 w wypowiedzi pod wpływem silnego stresu (panika): Proszę szybko przyjechać, wróciłam z pracy, mój mąż wisi w garażu… (Fmaks. = 589 Hz, Fmin. = 277 Hz).

Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego

Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Page 54: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Charakterystyka głosu i mowy

Semantyka intonacji

Aplikacje

Rys. 23. Kontur F0 wypowiedzi kobiety w stanie depresji: (Fmaks. = 230 Hz, Fmin. = 192 Hz). Mowa powolna (3,5 syl./s).

Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego

Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Page 55: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Semantyka intonacji

Aplikacje

Rys. 26. Płaski kontur F0 dla wypowiedzi wytworzonej w panice: Halo, proszę pana, tu jest napad na dom! Bardzo szybkie tempo mowy (9,8 syl./s). Fmaks. = 233 Hz, Fmin. = 211 Hz.

Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego

Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Charakterystyka głosu i mowy

Page 56: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Semantyka intonacji

Aplikacje

Rys. 27. Stopniowy stres w wypowiedzi: a) ktoś wchodzi do domu (Fmin. = 315 Hz), b) ktoś wchodzi do pokoju, jest zamaskowany (Fmin. = 350 Hz), c) on wyszedł z pokoju, gdzieś tu jest – bezpośrednie zagrożenie (Fmin. = 400 Hz).

Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego

Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Charakterystyka głosu i mowy

Page 57: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Semantyka intonacji

Aplikacje

Rys. 28. Stopniowo narastający stres w wypowiedzi: a) Proszę przyjedźcie szybko na ……, oni chcą zabić mojego syna, wybili okno (Fmin. = 289 Hz), b) …….. Elżbieta, szybko, gangsterzy już są (Fmin. = 345 Hz), c) Szybko. No już się dzieje (Fmin. = 495 Hz), d) Szybko, zabijają Stacha [krzyk], (Fmin. = 495 Hz, Fmaks. = 748 Hz).

Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego

Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Charakterystyka głosu i mowy

Page 58: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Semantyka intonacji

Aplikacje

Stały poziom stresu w wypowiedzi: Proszę przyjechać, jest włamanie, ona śmiertelnie się boi…(Fmin. = 240 Hz, Fmaks. = 352 Hz).

Głos neutralny, minimalny stres: Dzwoniłam godzinę temu, chciałabym odwołać interwencję... (Fmin. = 167 Hz, Fmaks. = 264 Hz).

Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego

Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Charakterystyka głosu i mowy

Mama.wav

Page 59: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Semantyka intonacji

Kierunki badań

Zasadnicze wymogi stawiane współczesnej transkrypcji prozodycznej muszą zostać jednoznacznie określone,

•Reprezentacja prozodii powinna być obiektywna, dobrze ugruntowana teoretycznie, łatwa do interpretacji. Punktem wyjściowym mogą być badania percepcyjne odnoszące się do różnicowania zauważalnych zmian wysokości tonu. •Transkrypcję prozodyczną należy skorelować ze strukturą czasową sygnału (np. zmianami rytmu, układem pauz, pauz wypełnionych i innych elementów nielingwistycznych) oraz z widmową (np. zmianami jakości głosu, redukcjami, kooartykulacjami) i również z segmentalną transkrypcją fonetyczną.

•Transkrypcja powinna w sposób obiektywny oceniać struktury prozodyczne w dłuższych i krótszych wypowiedziach, niezależnie od mówcy oraz stylu wypowiedzi.

•transkrypcja powiązana była z określonymi funkcjami intonacji w sposób jak najbardziej jednoznaczny.

•Transkrypcja powinna uwzględniać aspekty charakterystyczne dla określonego języka oraz niezależne, uniwersalne przynajmniej dla określonej grupy językowej.

•Wskazana byłaby automatyzacja transkrypcji w jak największym stopniu, zwłaszcza w przypadku dużych korpusów danych.

•Każda transkrypcja musi być weryfikowalna statystycznie w odniesieniu do postawionych założeń. Prozodia w semantyce – semantyka w prozodii

Uniwersytet Kardynała Stefana Wyszyńskiego Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje

Page 60: Uniwersytet  Kardynała Stefana Wyszyńskiego, Uniwersytet Warszawski  29-30.05.2014

Semantyka intonacji

Recent Experiments on the Wyznaczniki akcetu

of Prosody in GermanDziękuję za Dziękuję za uwagęuwagę!

Prozodia w semantyce – semantyka w prozodii Uniwersytet Kardynała Stefana Wyszyńskiego

Uniwersytet Warszawski 29-30.05.2014

Semantyka intonacji Analiza Modelowanie Aplikacje