7/29/2019 icmc_1.pdf

1/4

S t r u c t u r e d A d d i t i v e S y n t h e s i s : T o w a r d s a M o d e l

o f S o u n d T i m b r e a n d E l e c t r o a c o u s t i c M u s i c F o r m s

M y r i a m D e s a i n t e - C a t h e r i n e ( m y r i a m @ l a b r i . u - b o r d e a u x . f r )

S y l v a i n M a r c h a n d ( s m @ l a b r i . u - b o r d e a u x . f r )

S C R I M E - L a B R I - U n i v e r s i t e B o r d e a u x I

3 5 1 c o u r s d e l a L i b e r a t i o n , F - 3 3 4 0 5 T a l e n c e C e d e x , F r a n c e

A b s t r a c t

W e h a v e d e v e l o p e d a s o u n d m o d e l u s e d f o r e x p l o r i n g s o u n d t i m b r e . T h i s m o d e l i s c a l l e d S t r u c t u r e d

A d d i t i v e S y n t h e s i s , o r S A S f o r s h o r t . I t h a s t h e e x i b i l i t y o f a d d i t i v e s y n t h e s i s w h i l e a d d r e s s i n g

t h e f a c t t h a t b a s i c a d d i t i v e s y n t h e s i s i s e x t r e m e l y d i c u l t t o u s e d i r e c t l y f o r c r e a t i n g a n d e d i t i n g

s o u n d s . S A S c o n s i s t s o f a c o m p l e t e a b s t r a c t i o n o f s o u n d s a c c o r d i n g t o o n l y f o u r p a r a m e t e r s :

a m p l i t u d e , f r e q u e n c y , c o l o r , a n d w a r p i n g . T h e s e p a r a m e t e r s a r e i n s p i r e d b y t h e v o c a b u l a r y o f

c o m p o s e r s o f e l e c t r o - a c o u s t i c m u s i c a s w e l l a s b y t h e l i t e r a t u r e a n d c o n s t i t u t e a s o l i d b a s e f o r

i n v e s t i g a t i n g s c i e n t i c r e s e a r c h o n t h e n o t i o n o f t i m b r e . S e v e r a l a n a l y s e s o f e l e c t r o - a c o u s t i c p i e c e s

h a v e b e e n p e r f o r m e d i n c o l l a b o r a t i o n b e t w e e n s c i e n t i s t s a n d m u s i c i a n s . W e h a v e i d e n t i e d t h e n e e d

f o r a c e r t a i n n u m b e r o f m a n i p u l a t i o n s o f s o u n d , t h a t w e h a v e d e t e r m i n e d t o b e s t r a i g h t f o r w a r d i n

o u r m o d e l . A p p l i c a t i o n s o f t h e S A S m o d e l a r e n u m e r o u s . A n e w l a n g u a g e f o r m u s i c a l c o m p o s i t i o n

h a s b e e n i m p l e m e n t e d a n d s h o u l d p r o v i d e a w a y t o v a l i d a t e a n d e n r i c h t h e m o d e l .

1 I n t r o d u c t i o n

T h e S C R I M E i s a n o r g a n i z a t i o n f o r s c i e n t i c

r e s e a r c h e r s i n c o m p u t e r s c i e n c e a t t h e U n i v e r -

s i t y a n d m u s i c c o m p o s e r s o f t h e C o n s e r v a t o i r e

t o c o l l a b o r a t e . P r o j e c t s o f t h e S C R I M E s h o u l d

n o t o n l y b e s c i e n t i c a l l y v a l i d , b u t a l s o m u s i c a l l y

r e l e v a n t . R e s e a r c h p r o j e c t s o f t h i s s t r u c t u r e a r e

m a i n l y s i t u a t e d i n t h e e l d o f t h e a s s i s t a n c e f o r

c o m p o s i t i o n o f e l e c t r o - a c o u s t i c m u s i c . W e o b -

s e r v e a n d t r y t o u n d e r s t a n d a c t u a l p r a c t i c e s o f

e l e c t r o - a c o u s t i c c o m p o s e r s i n o r d e r t o p r o v i d e o u r

r e s e a r c h i n s o u n d a n d m u s i c m o d e l i n g w i t h n e w

e l e m e n t s . O n e m o t i v a t i o n i s t h e s t u d y o f s o u n d

t i m b r e f r o m a p e r c e p t u a l a n d m u s i c a l p o i n t o f

v i e w , i n c o l l a b o r a t i o n w i t h p s y c h o - a c o u s t i c i a n s .

A n o t h e r m o t i v a t i o n i s t o p r o v i d e c o m p o s e r s w i t h

t o o l s w e l l a d a p t e d t o t h e i r a c t u a l n e e d s .

I n t h i s p a p e r , w e p r e s e n t t h r e e r e s e a r c h s u b -

j e c t s t h a t a r e r e l e v a n t i n o r d e r t o r e a c h o u r o b -

j e c t i v e s . T h e s e c o n d s e c t i o n p r e s e n t s t h e a n a l y -

s i s o f e l e c t r o - a c o u s t i c m u s i c w h i c h i s s t u d i e d i n

c l o s e c o l l a b o r a t i o n w i t h c o m p o s e r s . T h e t h i r d

s e c t i o n p r e s e n t s t h e S A S s o u n d m o d e l t h a t h a s

b e e n i m p l e m e n t e d a n d i s b e e n v a l i d a t e d i n c o l l a b -

o r a t i o n w i t h p s y c h o - a c o u s t i c i a n s a n d c o m p o s e r s .

T h e f o u r t h s e c t i o n s h o w s t h e a p p l i c a t i o n s o f t h i s

m o d e l i n c o m p o s i t i o n a l a n d e d u c a t i o n a l c o n t e x t s .

2 M u s i c A n a l y s i s

A m u s i c a l a n a l y s i s o f a p i e c e c o n s i s t s r s t i n

s e g m e n t i n g t h e p i e c e i n o r d e r t o d i s c o v e r a t e m -

p o r a l o r g a n i z a t i o n b e t w e e n s e v e r a l s o u n d o b j e c t s .

M u s i c a l d i s c o u r s e c a n b e a n a l y z e d o n t h e b a s i s o f

t h o s e s o u n d o b j e c t s b y p o i n t i n g o u t r e l a t i o n s b e -

t w e e n p a r a m e t e r s o f d i e r e n t p a r t s o f t h e p i e c e .

W h e n t h e p i e c e i s w r i t t e n , t h e a n a l y s i s i s

b a s e d o n t h e m u s i c a l s c o r e w h i c h p r o v i d e s t h e i n i -

t i a l s e g m e n t a t i o n . E l e c t r o - a c o u s t i c m u s i c a l p i e c e s

c o n s t i t u t e a v e r y s p e c i a l c a s e b e c a u s e t h e y a r e n o t

w r i t t e n . T h e i r s u p p o r t i s m a g n e t i c o r n u m e r i c .

A m o n g t h e a n a l y s e s i d e n t i e d b y F r a n c o i s D e -

l a l a n d e D e l 8 6 ] w e c h o s e t o p e r f o r m t h e p o i e t i c

( p r o d u c t i o n - o r i e n t e d ) a n d a e s t h e s i c ( r e c e p t i o n -

o r i e n t e d ) o n e s .

P o i e t i c a n a l y s i s i s b a s e d o n p r o d u c t i o n . S u c h

a n a n a l y s i s c a n b e c a r r i e d o u t i n c o l l a b o r a t i o n

w i t h t h e c o m p o s e r o f t h e p i e c e t o a n a l y z e . I t s

o b j e c t i v e i s t o s t u d y t h e m u s i c a l d i s c o u r s e i n o r -

d e r t o n d o u t i n f o r m a t i o n a b o u t t h e p r o d u c t i o n

o f t h e p i e c e , t h a t i s , t h e t o o l s a n d t h e p r a c t i c e s

t h a t w e r e u s e d i n o r d e r t o b u i l d t h e p i e c e .

A e s t h e s i c a n a l y s i s i s b a s e d o n l i s t e n i n g . S u c h

a n a n a l y s i s c a n b e p e r f o r m e d b y a c o m p o s e r o r

b y a l i s t e n e r w h o i s v e r y f a m i l i a r w i t h e l e c t r o -

a c o u s t i c m u s i c , o r b y c o n d u c t i n g e x p e r i m e n t s i n -

v o l v i n g s e v e r a l l i s t e n e r s . T h i s k i n d o f a n a l y s i s

p r o v i d e s i n f o r m a t i o n o n t h e w a y l i s t e n e r s u n d e r -

s t a n d e l e c t r o - a c o u s t i c m u s i c .

A s a m a t t e r o f f a c t , o n l y p o i e t i c a n d a e s t h e s i c

a n a l y s e s p r o v i d e i n f o r m a t i o n c o n c e r n i n g m o d e l s

t h a t a r e i n t h e c o m p o s e r ' s m i n d w h e n h e c o m -

p o s e s m u s i c o r w h e n h e l i s t e n s t o t h e m u s i c . W e

c o n d u c t e d t h e f o l l o w i n g t w o a n a l y s e s i n c o l l a b o -

r a t i o n w i t h c o m p o s e r s .

W e p e r f o r m e d a n a e s t h e s i c a n a l y s i s o f t h e s e c -

o n d m o v e m e n t \ B a l a n c e m e n t " o f t h e \ V a r i a t i o n s

p o u r u n e p o r t e e t u n s o u p i r " b y P i e r r e H e n r y

( t h i s w o r k h a s b e e n c a r r i e d o u t i n c o l l a b o r a t i o n

7/29/2019 icmc_1.pdf

2/4

w i t h t h e c o m p o s e r E d g a r N i c o u l e a u D C N 9 8 ] ) . I n

t h a t m o v e m e n t , i n e x i o n s o f t h e g r a t i n g d o o r a r e

v e r y c l o s e t o v o i c e m o d u l a t i o n s o t h a t t h e y r e -

m i n d l i s t e n e r s o f m e l o d i c , r h y t h m i c a n d d y n a m i c

s t r u c t u r e s t h a t a r e u s u a l l y a n a l y z e d i n t h a t c a s e .

S o u n d o b j e c t s o f t h e p i e c e h a v e b e e n i t e m i z e d

a n d t h e n g r o u p e d i n s e v e r a l f a m i l i e s . A c o m -

m o n f o r m a l i s m p e r m i t s t h e d e s c r i p t i o n o f t h e e v o -

l u t i o n s o f f r e q u e n c i e s , d u r a t i o n s a n d a m p l i t u d e s

f o r a l l t h e s o u n d o b j e c t s . T h i s a n a l y s i s l e a d s t o

q u i t e c l a s s i c a l r e s u l t s s i n c e i t i n v o l v e s w e l l - k n o w n

s t r u c t u r e s l i k e m e l o d y , d y n a m i c a n d r h y t h m . O f

c o u r s e , t h e c a s e o f t h e a n a l y z e d p i e c e i s v e r y p a r -

t i c u l a r a n d s u c h r e s u l t s c a n n o t b e o b t a i n e d w i t h

a n y e l e c t r o - a c o u s t i c p i e c e . A n y w a y , t h i s r e s e a r c h

m a y c o n t i n u e w i t h t h e s t u d y o f t h e t i m b r e s t r u c -

t u r e s .

W e a l s o p e r f o r m e d a p o i e t i c a n a l y s i s o f t h e

s e c o n d m o v e m e n t o f \ L a c h u t e d ' I c a r e " b y J e a n -

M i c h e l R i v e t ( t h i s w o r k h a s b e e n c a r r i e d o u t i n

c o l l a b o r a t i o n w i t h h i m D C R 9 8 ] ) . A r s t s e g -

m e n t a t i o n i s p r o p o s e d a s w e l l a s a c l a s s i c a t i o n

o f t h e s o u n d s a c c o r d i n g t o t h e p r o d u c t i o n o f t h e

p i e c e . T h e n , s e v e r a l s e g m e n t a t i o n s b a s e d o n t h i s

c l a s s i c a t i o n a r e s t u d i e d a n d a t e m p o r a l s t r u c -

t u r e i s d i s c o v e r e d . T h i s a n a l y s i s h a s p o i n t e d o u t

s t r u c t u r e s t h a t w e r e p e r t i n e n t f o r t h e c o m p o s e r .

F o r e x a m p l e , a c l a s s i c a t i o n o f s o u n d s w a s o b t a i n

a c c o r d i n g t o t h e c o m p o s e r ' s c r i t e r i a f o r c h o o s i n g

o n e s o u n d r a t h e r t h a n a n o t h e r . T h o s e c r i t e r i a

m a y v a r y f r o m o n e c o m p o s e r t o a n o t h e r a n d a c -

c o r d i n g t o h i s o b j e c t i v e s s o t h a t i t i s n e c e s s a r y t o

m a k e t h e s a m e k i n d o f c o l l a b o r a t i o n w i t h s e v e r a l

c o m p o s e r s . T h e o b j e c t i v e i s o n t h e o n e h a n d ,

t o n d o u t s o m e m u s i c a l e l e m e n t s w h i c h c o u l d

b e u s e f u l t o s e v e r a l c o m p o s e r s , a n d t o h e l p u s i n

s o u n d m o d e l i n g o n t h e o t h e r h a n d .

A l l t h e s e a n a l y s e s o f e l e c t r o - a c o u s t i c p i e c e s

h a v e b e e n p e r f o r m e d i n c o l l a b o r a t i o n b e t w e e n s c i -

e n t i s t s a n d m u s i c i a n s o f t h e S C R I M E . W e h a v e

i d e n t i e d t h e n e e d f o r a c e r t a i n n u m b e r o f m a n i p -

u l a t i o n s o f s o u n d s . A m o n g t h e s e a r e m o d u l a t i o n ,

m i x i n g , l t e r i n g , t i m e s t r e t c h i n g , c r o s s - s y n t h e s i s ,

m o r p h i n g , a s w e l l a s n e w w a y s t o c r e a t e h y b r i d

s o u n d s . T h e p r o b l e m w a s y e t t o n d a s o u n d

m o d e l a l l o w i n g t h e c o m p o s e r s t o p e r f o r m t h e s e

m a n i p u l a t i o n s i n a n i n t u i t i v e a n d m u s i c a l w a y .

3 T h e S A S M o d e l

T h e S t r u c t u r e d A d d i t i v e S y n t h e s i s ( S A S )

m o d e l i s a s p e c t r a l s o u n d m o d e l b a s e d o n a d d i t i v e

s y n t h e s i s . T h e S A S p a r a m e t e r s a r e i n s p i r e d b y

t h e v o c a b u l a r y o f c o m p o s e r s o f e l e c t r o - a c o u s t i c

m u s i c a s w e l l a s b y t h e l i t e r a t u r e . W e p r o p o s e t o

f o c u s o n t h e p e r c e p t i o n o f t h e s o u n d r a t h e r t h a n

i t s p h y s i c a l c a u s e , i n o r d e r t o u n i f y s o u n d ( m i -

c r o s c o p i c ) a n d m u s i c ( m a c r o s c o p i c ) . W e p r o p o s e

a s w e l l t o c o n s i d e r t h e m u s i c a l i n t e n t i o n o f t h e

i n s t r u m e n t a l i s t i n s t e a d o f h i s p h y s i c a l a c t i o n o n

t h e i n s t r u m e n t .

3 . 1 A d d i t i v e S y n t h e s i s

A d d i t i v e s y n t h e s i s i s t h e o r i g i n a l s p e c t r u m

m o d e l i n g t e c h n i q u e . I t i s r o o t e d i n F o u r i e r ' s t h e -

o r e m , w h i c h s t a t e s t h a t a n y p e r i o d i c f u n c t i o n c a n

b e m o d e l e d a s a s u m o f s i n u s o i d s a t v a r i o u s a m -

p l i t u d e s a n d h a r m o n i c f r e q u e n c i e s . F o r p s e u d o -

p e r i o d i c s o u n d s , t h e s e a m p l i t u d e s a n d f r e q u e n -

c i e s e v o l v e s l o w l y w i t h t i m e , c o n t r o l l i n g a s e t

o f p s e u d o - s i n u s o i d a l o s c i l l a t o r s c o m m o n l y c a l l e d

p a r t i a l s . T h e a u d i o s i g n a l a c a n b e c a l c u l a t e d

f r o m t h e s e a d d i t i v e p a r a m e t e r s u s i n g t h e f o l l o w -

i n g e q u a t i o n s :

a ( t ) =

P

X

p = 1

a

p

( t ) c o s (

p

( t ) ) ( 1 )

p

( t ) =

p

( 0 ) + 2

Z

t

0

f

p

( u ) d u ( 2 )

w h e r e P i s t h e n u m b e r o f p a r t i a l s a n d f

p

, a

p

, a n d

p

a r e r e s p e c t i v e l y t h e i n s t a n t a n e o u s f r e q u e n c y ,

a m p l i t u d e a n d p h a s e o f t h e p - i e t h p a r t i a l . T h e

P p a i r s ( f

p

; a

p

) a r e t h e p a r a m e t e r s o f t h e a d d i -

t i v e m o d e l a n d r e p r e s e n t p o i n t s i n t h e f r e q u e n c y -

a m p l i t u d e s p a c e , a s s h o w n i n g u r e 1 .

A n y s o u n d c a n b e f a i t h f u l l y s y n t h e s i z e d i n r e a l

t i m e f r o m t h e m o d e l e q u a t i o n s c o n t a i n i n g t h e s e

p a r a m e t e r s . T h e r e a l - t i m e s y n t h e s i s h a s b e e n i m -

p l e m e n t e d i n t h e R e S p e c t s o f t w a r e t o o l M S 9 9 ] .

T h e d i c u l t y i s t h e n t o o b t a i n t h e s e p a r a m e -

t e r s f r o m r e a l , e x i s t i n g s o u n d s . F o r t h a t r e a s o n ,

w e h a v e d e v e l o p e d a n a n a l y s i s m e t h o d c a p a b l e

o f c o n v e r t i n g s a m p l e d s o u n d s i n t o t h e S A S p a -

r a m e t e r s , i m p l e m e n t e d i n t h e I n S p e c t p r o g r a m

M S 9 9 ] . I t i s o f c o u r s e p o s s i b l e t o e l i m i n a t e a n a l -

y s i s e n t i r e l y , a n d c r e a t e n e w s o u n d s d i r e c t l y , u s -

i n g t h e p a r a m e t e r s o f o u r m o d e l . T h i s i s i n d e e d

p o s s i b l e b e c a u s e t h e r e i s a c l o s e c o r r e s p o n d e n c e

b e t w e e n t h e s e p a r a m e t e r s a n d r e a l m u s i c p e r c e p -

t i o n .

C

a m p l i t u d e

( f

p

; a

p

)

t i m e

F

f r e q u e n c y

F i g u r e 1 : t h e s p e c t r u m o f a n h a r m o n i c s o u n d .

3 . 2 S t r u c t u r e d A d d i t i v e S y n t h e s i s

T h e a d d i t i v e s y n t h e s i s m o d e l i s e x t r e m e l y d i f -

c u l t t o u s e d i r e c t l y f o r c r e a t i n g a n d e d i t i n g

s o u n d s . T h e r e a s o n f o r t h i s d i c u l t y i s t h e h u g e

n u m b e r o f m o d e l p a r a m e t e r s w h i c h a r e o n l y r e -

m o t e l y r e l a t e d t o m u s i c a l p a r a m e t e r s a s p e r c e i v e d

7/29/2019 icmc_1.pdf

3/4

b y a l i s t e n e r . T h e S t r u c t u r e d A d d i t i v e S y n t h e s i s

( S A S ) m o d e l h a s t h e e x i b i l i t y o f a d d i t i v e s y n -

t h e s i s w h i l e a d d r e s s i n g t h e s e p r o b l e m s . I t i m -

p o s e s c o n s t r a i n t s o n t h e a d d i t i v e p a r a m e t e r s , g i v -

i n g b i r t h t o s t r u c t u r e d p a r a m e t e r s a s c l o s e t o

p e r c e p t i o n a n d m u s i c a l t e r m i n o l o g y a s p o s s i b l e ,

t h u s r e i n t r o d u c i n g a p e r c e p t i v e a n d m u s i c a l c o n -

s i s t e n c y b a c k i n t o t h e m o d e l . T h e r e m a i n i n g o f

t h i s s e c t i o n q u i c k l y p r e s e n t s t h e S A S m o d e l . A n

e x t e n d e d p r e s e n t a t i o n c a n b e f o u n d i n D C M 9 9 ] .

3 . 2 . 1 S t r u c t u r e d P a r a m e t e r s

S A S c o n s i s t s o f a c o m p l e t e a b s t r a c t i o n o f

s o u n d s a c c o r d i n g t o o n l y f o u r p h y s i c a l p a r a m e -

t e r s , f u n c t i o n s c l o s e l y r e l a t e d t o p e r c e p t i o n :

A m p l i t u d e A : t i m e ! a m p l i t u d e

H u m a n b e i n g s p e r c e i v e a m p l i t u d e o n a l o g a r i t h -

m i c s c a l e . A m p l i t u d e c a n b e c a l c u l a t e d f r o m t h e

a d d i t i v e p a r a m e t e r s l i k e t h i s : A ( t ) =

P

P

p = 1

a

p

( t ) .

C a l c u l a t i n g t h e v o l u m e i n d B f r o m t h e a m p l i t u d e

i s e a s y : 2 0 l o g

1 0

(

A

A

0 d B

) .

F r e q u e n c y F : t i m e ! f r e q u e n c y

T h e w a y o f c a l c u l a t i n g t h e f r e q u e n c y f r o m t h e a d -

d i t i v e p a r a m e t e r s i s t r i c k i e r , a n d c a n b e f o u n d i n

D C M 9 9 ] . A n y w a y , f o r h a r m o n i c s o u n d s F c o i n -

c i d e s w i t h t h e f u n d a m e n t a l , p o s s i b l y m i s s i n g o r

\ v i r t u a l " . T h e f r e q u e n c y i s a l s o p e r c e i v e d o n a

l o g a r i t h m i c s c a l e . F o r e x a m p l e , t h e M I D I p i t c h

i s a f u n c t i o n o f f r e q u e n c y : 5 7 + 1 2 l o g

2

(

F

4 4 0

) .

C o l o r C : f r e q u e n c y t i m e ! a m p l i t u d e

C o l o r c o i n c i d e s w i t h a n i n t e r p o l a t e d v e r s i o n o f

t h e s p e c t r a l e n v e l o p e R i s 8 6 ] . W e c a l l i t c o l o r b y

a n a l o g y b e t w e e n a u d i b l e a n d v i s i b l e s p e c t r a . T h i s

a n a l o g y i s a l r e a d y w e l l - k n o w n f o r n o i s e s ( w h i t e ,

b l u e , e t c . ) .

W a r p i n g W : f r e q u e n c y t i m e ! f r e q u e n c y

G e n e r a l l y , t h e p a r t i a l f r e q u e n c i e s a r e n o t e x a c t l y

m u l t i p l e s o f t h e f u n d a m e n t a l f r e q u e n c y F . W a r p -

i n g g i v e s t h e r e a l f r e q u e n c y o f a p a r t i a l f r o m t h e

t h e o r e t i c a l o n e i t s h o u l d h a v e h a d i f t h e s o u n d

h a d b e e n h a r m o n i c . O f c o u r s e f o r a l l h a r m o n i c

s o u n d s W ( t ) = I d , t h a t i s , 8 t ; W ( f ; t ) = f .

3 . 2 . 2 S t r u c t u r e d E q u a t i o n s

F r o m t h e f o u r s t r u c t u r e d p a r a m e t e r s , w e c a n

c a l c u l a t e t h e t h e a u d i o s i g n a l a :

a ( t ) = A ( t )

P

P

p = 1

C ( W ( p F ( t ) ; t ) ; t ) c o s (

p

( t ) )

P

P

p = 1

C ( W ( p F ( t ) ; t ) ; t )

w h e r e P = m a x

t

f b

F

m a x

F ( t )

c g

( F

m a x

i s t h e h i g h e s t a u d i b l e f r e q u e n c y ) a n d

p

( t ) =

p

( 0 ) + 2

Z

t

0

W ( p F ( u ) ; u ) d u

T h e s e e q u a t i o n s a r e t h e \ s t r u c t u r e d " v e r s i o n o f

e q u a t i o n s 1 a n d 2 . A l l t h e s e e q u a t i o n s r e q u i r e

a p p r o x i m a t e l y t h e s a m e c o m p u t a t i o n t i m e .

3 . 3 N o i s e a n d T r a n s i e n t s

S A S c a n f a i t h f u l l y r e p r o d u c e a w i d e v a r i -

e t y o f s o u n d s { a s a d d i t i v e s y n t h e s i s d o e s {

p r o v i d e d t h e y a r e m o n o p h o n i c . H o w e v e r i t

c a n n o t p r o d u c e n o i s e s o r t r a n s i e n t s . R e c e n t

m o d e l i n g t e c h n i q u e s l i k e S M S S e r 9 7 ] ( S p e c t r a l

M o d e l i n g S y n t h e s i s ) a n d S + T + N V M 9 8 ] ( S i -

n u s o i d s + N o i s e + T r a n s i e n t s ) w e r e p r o p o s e d t o e x -

t e n d t h e a d d i t i v e m o d e l . T h e S A S m o d e l c a n b e

e x t e n d e d t o i n c l u d e n o i s e s , s i n c e e v e r y n o i s e c a n

b e m o d e l e d a s a l t e r e d ( o r c o l o r e d ) w h i t e n o i s e

a t a c e r t a i n a m p l i t u d e . T h e a m p l i t u d e a n d c o l o r

p a r a m e t e r s e x i s t a l s o f o r n o i s e s a n d a r e s u c i e n t

t o d e n e a n y o f t h e m . W h i t e n o i s e h a s a w h i t e

c o l o r ( C = 1 ) , a n d e v e r y n o i s e n a m e d a f t e r a n

a n a l o g y w i t h a l i g h t s p e c t r u m m a t c h e s t h i s c o r -

r e s p o n d e n c e o f t e r m i n o l o g y . O n t h e o t h e r h a n d

v e r y s h o r t s o u n d s l i k e t r a n s i e n t s c a n n o t b e r e p -

r e s e n t e d i n t h i s s p e c t r a l m o d e l .

4 A p p l i c a t i o n s o f t h e M o d e l

S A S c o n s t i t u t e s a s o l i d b a s e f o r i n v e s t i g a t -

i n g s c i e n t i c a n d m u s i c a l r e s e a r c h o n t h e n o -

t i o n o f t i m b r e . A p p l i c a t i o n s o f t h e m o d e l a r e

n u m e r o u s . A n e w s o u n d s y n t h e s i s l a n g u a g e f o r

m u s i c a l c o m p o s i t i o n h a s b e e n i m p l e m e n t e d a n d

s h o u l d p r o v i d e a w a y t o v a l i d a t e a n d e n r i c h t h e

m o d e l . A p e d a g o g i c a l t o o l f o r e a r l y - l e a r n i n g

e l e c t r o - a c o u s t i c m u s i c i s b a s e d o n t h i s m o d e l . I t

p r o v i d e s s o u n d c o n t r o l s t h a t a r e w e l l - s u i t e d f o r

y o u n g c h i l d r e n b e c a u s e t h e y a r e b a s e d o n s o u n d

l i s t e n i n g r a t h e r t h a n s i g n a l s y n t h e s i s .

4 . 1 C r e a t i o n

T h e S A S p a r a m e t e r s a r e c l o s e l y r e l a t e d t o t h e

m u s i c a l o n e s . F i g u r e 2 s h o w s t h e f r e n c h a v o w e l

s u n g o n t h r e e n o t e s . W e c a n c l e a r l y s e e t h e d y -

n a m i c a n d t h e m e l o d y o f t h e s o n g r e s p e c t i v e l y i n

t h e A a n d F s o u n d p a r a m e t e r s . T h e a r b i t r a r y

d i s t i n c t i o n b e t w e e n m u s i c a n d s o u n d p a r a m e t e r s

s i m p l y d i s a p p e a r s .

A

F

C

W I d

F i g u r e 2 : s i n g i n g v o i c e i n t h e S A S m o d e l .

M o s t o f m u s i c a l t r a n s f o r m a t i o n s c a n b e s i m -

p l y e x p r e s s e d a s S A S p a r a m e t e r v a r i a t i o n s . D e -

p e n d i n g o n t h e r a t e o f t h e s e v a r i a t i o n s , c o m -

p o s e r s c a n m o d i f y b o t h t h e m i c r o - s t r u c t u r e a n d

7/29/2019 icmc_1.pdf

4/4

t h e m a c r o - s t r u c t u r e o f m u s i c a l p i e c e s i n a m u l t i -

s c a l e c o m p o s i t i o n V a g 9 8 , D C M 9 9 ] . W h e n t h e

v a r i a t i o n s a r e s l o w e n o u g h , t h e y c a n b e w r i t t e n

o n a s c o r e . T h i s i s t h e d o m a i n o f w r i t i n g . W h e n

t h e y a r e t o o f a s t t o b e w r i t t e n , w e e n t e r t h e c o n -

t r o l ( o r i n t e r p r e t a t i o n ) d o m a i n . F i g u r e 3 g i v e s

a b r i e f s u m m a r y o f t h e r e l a t i o n s b e t w e e n m u s i -

c a l t e r m i n o l o g y a n d S A S f o r t h e s e t w o d o m a i n s .

M u l t i - s c a l e c o m p o s i t i o n u s i n g S A S c a n b e f o u n d

i n D C M 9 9 ] .

W r i t i n g C o n t r o l

( 0 - 8 H z ) ( 8 - 2 0 H z )

A m p l i t u d e D y n a m i c , T r e m o l o ,

C r e s c e n d o R o u g h n e s s

F r e q u e n c y M e l o d y , V i b r a t o ,

T r i l l S c i n t i l l a t i n g

C o l o r O r c h e s t r a l S p e c t r a l

S o n o r i t y E n v e l o p e

W a r p i n g C h o r d s , S p e c t r a l

A g g r e g a t e s H a r m o n i c i t y

F i g u r e 3 : s o m e r e l a t i o n s b e t w e e n m u s i c a l

t e r m i n o l o g y a n d t h e f o u r S A S p a r a m e t e r s ,

f o r t w o r a n g e s o f v a r i a t i o n r a t e s .

T o e a s e t h e c o m p o s i t i o n w i t h S A S , s y m b o l i c

s t r u c t u r e s m u s t b e a d d e d o n t h e t o p o f t h e s u b -

s y m b o l i c s o u n d m o d e l , l i k e t h e h i e r a r c h i c t e m p o -

r a l o r g a n i z a t i o n o f m u s i c a l s t r u c t u r e s p r o p o s e d b y

B a l a b a n B S 9 3 ] .

4 . 2 E d u c a t i o n

S i n c e S A S i s b a s e d o n p e r c e p t i v e a n d m u s i c a l

c r i t e r i a , w e t h i n k i t i s w e l l - s u i t e d f o r c o m p u t e r -

a s s i s t e d e a r l y - l e a r n i n g m u s i c . D o l a b i p i s a m u l t i -

e l d p r o j e c t w h o s e o b j e c t i v e i s t h e c r e a t i o n o f

a m e t a - i n s t r u m e n t t o b e u s e d f o r e a r l y - l e a r n i n g

e l e c t r o - a c o u s t i c m u s i c . P r a c t i c a l e x p e r i e n c e i n

n u r s e r y s c h o o l i s l e a d b y a m u s i c i a n , a t e a c h e r ,

a p s y c h o l o g i s t a n d a m u s i c t e a c h i n g s p e c i a l i s t .

T h i s p r o j e c t i s c o m p o s e d m a i n l y o f t w o p a r t s .

T h e r s t o n e i s a n h a r d w a r e d e v i c e c o n s i s t i n g o f

p o t e n t i o m e t e r s a n d b u t t o n s w e l l - s u i t e d f o r m a -

n i p u l a t i o n b y c h i l d r e n . T h e s e c o n d o n e i s a s o f t -

w a r e t o o l p r o d u c i n g s o u n d s a c c o r d i n g t o t h e d a t a

s e n t b y t h e d e v i c e . T h e s o f t w a r e t o o l a l l o w s t h e

u s e r t o c h a n g e t h e w a y t h e d a t a g e t i n t e r p r e t e d .

T h e d e v e l o p m e n t t e a m s o f t h e s o f t w a r e a n d h a r d -

w a r e p a r t s b u i l d t o o l s t h a t a r e n e c e s s a r y f o r e x -

p e r i m e n t i n g t h e p e d a g o g i c a l p r o g r a m .

5 C o n c l u s i o n

I n t h i s p a p e r w e h a v e p r e s e n t e d t h e S t r u c -

t u r e d A d d i t i v e S y n t h e s i s ( S A S ) m o d e l . T h i s

m o d e l r e p r e s e n t s s o u n d s a s t e m p o r a l e v o l u t i o n s

o f p a r a m e t e r s c l o s e t o p e r c e p t i o n a n d m u s i c a l t e r -

m i n o l o g y , t h u s f a v o r i n g t h e u n i c a t i o n o f s o u n d

a n d m u s i c a t a s u b - s y m b o l i c l e v e l .

W e a r e d e v e l o p i n g a s o u n d s y n t h e s i s l a n g u a g e

b a s e d o n S A S , t h a t h a s b e e n u s e d b y J e a n - M i c h e l

R i v e t t o p r o d u c e i n t e r e s t i n g s o u n d s i n a p i e c e o f

h i s . I n o r d e r t o u s e S A S f o r t h e w h o l e c o m p o -

s i t i o n a l p r o c e s s , a h i e r a r c h i c m o d e l m u s t b e d e -

s i g n e d o n t h e t o p o f S A S a n d i n c o r p o r a t e d i n t h e

l a n g u a g e .

A g a i n t h e S C R I M E a l l o w s s c i e n t i s t s a n d m u -

s i c i a n s t o h e l p e a c h o t h e r . C o m p o s e r s l e a d r e -

s e a r c h e r s t o u n d e r s t a n d t h e i r m u s i c a l p r a c t i c e s ,

w h i l e r e s e a r c h e r s t r y t o p r o v i d e c o m p o s e r s w i t h

r e a l t o o l s f o r a s s i s t a n c e f o r c o m p o s i t i o n i n h a r -

m o n y w i t h t h e i r m u s i c a l n e e d s .

R e f e r e n c e s

B S 9 3 ] M . B a l a b a n a n d C . S a m o u n . H i e r a r c h y ,

T i m e a n d I n h e r i t a n c e i n M u s i c M o d e l -

i n g . L a n g u a g e s o f d e s i g n , 1 ( 3 ) , 1 9 9 3 .

D C M 9 9 ] M y r i a m D e s a i n t e - C a t h e r i n e a n d S y l -

v a i n M a r c h a n d . V e r s u n m o d e l e p o u r

u n i e r m u s i q u e e t s o n d a n s u n e c o m -

p o s i t i o n m u l t i e c h e l l e . I n P r o c e e d i n g s o f

t h e J o u r n e e s d ' I n f o r m a t i q u e M u s i c a l e

( J I M ' 9 9 ) , p a g e s 5 9 { 6 8 , 1 9 9 9 .

D C N 9 8 ] M . D e s a i n t e - C a t h e r i n e a n d E d g a r d

N i c o u l e a u . S e g m e n t a t i o n e t f o r m a l i -

s a t i o n d ' u n e o e u v r e e l e c t r o a c o u s t i q u e .

S u b m i t t e d t o M u s u r g i a , 1 9 9 8 .

D C R 9 8 ] M . D e s a i n t e - C a t h e r i n e a n d J . M . R i v e t .

A l a r e c h e r c h e d e m o d e l e s p o e t i q u e s .

S u b m i t t e d t o M u s u r g i a , 1 9 9 8 .

D e l 8 6 ] F r a n c o i s D e l a l a n d e . E n l ' a b s e n c e d e

p a r t i t i o n . A n a l y s e M u s i c a l e , p a g e s 5 4 {

5 8 , 1 9 8 6 .

M S 9 9 ] S . M a r c h a n d a n d R . S t r a n d h . I n -

S p e c t a n d R e S p e c t : s p e c t r a l m o d e l -

i n g , a n a l y s i s a n d r e a l - t i m e s y n t h e s i s

s o f t w a r e t o o l s f o r r e s e a r c h e r s a n d c o m -

p o s e r s . I n P r o c e e d i n g s o f t h e I n t e r -

n a t i o n a l C o m p u t e r M u s i c C o n f e r e n c e

( I C M C ' 9 9 , B e i j i n g ) , 1 9 9 9 .

R i s 8 6 ] J . C . R i s s e t . T i m b r e e t s y n t h e s e d e

s o n s . A n a l y s e m u s i c a l e , p a g e s 9 { 1 9 ,

1 9 8 6 .

S e r 9 7 ] X a v i e r S e r r a . M u s i c a l S i g n a l P r o c e s s -

i n g , c h a p t e r M u s i c a l S o u n d M o d e l i n g

w i t h S i n u s o i d s p l u s N o i s e , p a g e s 9 1 {

1 2 2 . S t u d i e s o n N e w M u s i c R e s e a r c h .

S w e t s & Z e i t l i n g e r , L i s s e , t h e N e t h e r -

l a n d s , 1 9 9 7 .

V a g 9 8 ] H . V a g g i o n e . T r a n s f o r m a t i o n s m o r -

p h o l o g i q u e s ( . . . ) . I n P r o c e e d i n g s o f

t h e J o u r n e e s d ' I n f o r m a t i q u e M u s i c a l e

( J I M ' 9 8 ) , p a g e G 1 , 1 9 9 8 .

V M 9 8 ] T o n y S . V e r m a a n d T e r e s a H . Y .

M e n g . T i m e S c a l e M o d i c a t i o n U s -

i n g a S i n e s + T r a n s i e n t s + N o i s e S i g n a l

M o d e l . I n P r o c e e d i n g s o f t h e D i g i -

t a l A u d i o E e c t s W o r k s h o p ( D A F X ' 9 8 ,

B a r c e l o n a ) , p a g e s 4 9 { 5 2 , 1 9 9 8 .