sintesi vocale concatenativa tramite modello sinusoidale

22
Sintesi Vocale SMS Giacomo Sommavilla Introduzione Sintesi Concatenativa Sintesi SMS Dettagli implementativi Conclusioni Sintesi Vocale Concatenativa tramite Modello Sinusoidale Giacomo Sommavilla, Carlo Drioli, Piero Cosi, Giulio Paci Istituto di Scienze e Tecnologie della Cognizione - Sede di Padova "Fonetica e Dialettologia" Consiglio Nazionale delle Ricerche, Padova, Italia Workshop "Toni Mian" - 26 Ottobre 2007, Padova

Upload: others

Post on 16-Jan-2022

10 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Sintesi Vocale Concatenativa tramiteModello Sinusoidale

Giacomo Sommavilla, Carlo Drioli, Piero Cosi, GiulioPaci

Istituto di Scienze e Tecnologie della Cognizione - Sede diPadova "Fonetica e Dialettologia" Consiglio Nazionale delle

Ricerche, Padova, Italia

Workshop "Toni Mian" - 26 Ottobre 2007, Padova

Page 2: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Sommario

1 Introduzione

2 Sintesi Concatenativa

3 Sintesi SMS

4 Dettagli implementativi

5 Conclusioni

Page 3: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Sommario

1 Introduzione

2 Sintesi Concatenativa

3 Sintesi SMS

4 Dettagli implementativi

5 Conclusioni

Page 4: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Text-To-Speech

Definizione

Applicazione software capace di riprodurre la voce,attraverso una trascrizione da grafemi a fonemi delle frasida pronunciare

Esempi di Implementazione

loquendofestival

LPCOGIresLPCMBROLASMS...

Page 5: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Text-To-Speech

Definizione

Applicazione software capace di riprodurre la voce,attraverso una trascrizione da grafemi a fonemi delle frasida pronunciare

Esempi di Implementazione

loquendofestival

LPCOGIresLPCMBROLASMS...

Page 6: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Sommario

1 Introduzione

2 Sintesi Concatenativa

3 Sintesi SMS

4 Dettagli implementativi

5 Conclusioni

Page 7: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

TTS Concatenativi

loquendo

Sintesi Concatenativa a Selezionedi Unitá Variabili

sequenze di molti fonemi,parole o addirittura frasiintere

SMS, MBROLA, ...

Sintesi Concatenativa di Difoni segmenti acustici cheincludono la transizionetra due fonemiconsecutivi

Page 8: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

TTS Concatenativi

loquendo

Sintesi Concatenativa a Selezionedi Unitá Variabili

sequenze di molti fonemi,parole o addirittura frasiintere

SMS, MBROLA, ...

Sintesi Concatenativa di Difoni segmenti acustici cheincludono la transizionetra due fonemiconsecutivi

Page 9: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Schema Generale TTS

Page 10: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Schema Generale TTS

Page 11: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Schema TTS Concatenativo

Page 12: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Sommario

1 Introduzione

2 Sintesi Concatenativa

3 Sintesi SMS

4 Dettagli implementativi

5 Conclusioni

Page 13: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Modello del Segnale

Sinusoidi + Residuo

s(t) =R∑

r=1

Ar cos[2πfr t + θr ] + e(t)

Page 14: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Modello del Segnale

Sinusoidi + Residuo

s(t) =R∑

r=1

Ar cos[2πfr t + θr ] + e(t)

Page 15: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Schema TTS Concatenativo

Page 16: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Schema TTS Concatenativo

Page 17: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Sommario

1 Introduzione

2 Sintesi Concatenativa

3 Sintesi SMS

4 Dettagli implementativi

5 Conclusioni

Page 18: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Dettagli implementativi

Linguaggio di Programmazione C++Utilizzo del Framework CLAM(http://clam.iua.upf.edu/)OpenSource (GPL)

Page 19: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Sommario

1 Introduzione

2 Sintesi Concatenativa

3 Sintesi SMS

4 Dettagli implementativi

5 Conclusioni

Page 20: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Conclusioni

Stato Attuale

FunzionaQualitativamente comparabile ad MBROLAElevato consumo di risorse

Sviluppi Futuri

Analisi SMS a pitch sincronoProcesso di verifica dell’analisi SMSImplementazioni alternative di pitch shifting e timestretchingSintesi emotiva

Page 21: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Conclusioni

Stato Attuale

FunzionaQualitativamente comparabile ad MBROLAElevato consumo di risorse

Sviluppi Futuri

Analisi SMS a pitch sincronoProcesso di verifica dell’analisi SMSImplementazioni alternative di pitch shifting e timestretchingSintesi emotiva

Page 22: Sintesi Vocale Concatenativa tramite Modello Sinusoidale

Sintesi VocaleSMS

GiacomoSommavilla

Introduzione

SintesiConcatenativa

Sintesi SMS

Dettagliimplementativi

Conclusioni

Esempi

Sintesi MBROLASintesi SMSSintesi SMS con trasformazione (1)Sintesi SMS con trasformazione (2)Sintesi MBROLA (T=1.5, F=2)Sintesi SMS (T=1.5, F=2)