8/6/2019 Robot With a Sense of Self

1/7

P r o c e e d i n g s 2 0 0 5 I E E E I n t e r n a t i o n a l S y m p o s i u m o nC o m p u t a t i o n a l I n t e l l i g e n c e i n R o b o t i c s a n d A u t o m a t i o nJ u n e 2 7 - 3 0 , 2 0 0 5 , E s p o o , F i n l a n d

D e v e l o p m e n t o f a R o b o t w i t h a S e n s e o f S e l fK . Kawamura, W. D o d d , P . R a t a n a s w a s d a n d R . A . G u t i e r r e z

C e n t e r f o r I n t e l l i g e n t S y s t e m s , V a n d e r b i l t U n i v e r s i t y 'N a s h v i l l e , T e n n e s s e e 3 7 2 3 5 - 0 1 3 1 U S Ak a w a m u r a @ v u s e . v a n d e r b i l t . e d u

A b s t r a c t - T h i s p a p e r d e s c r i b e s o u r e f f o r t st o d e v e l o p a r o b o t w i t h a s e n s e o f s e l f u s i n g am u l t i a g e n t - b a s e d c o g n i t i v e a r c h i t e c t u r e a n dc o n t r o l w i t h t h r e e d i s t i n c t i v e memory s y s t e m s ,n a m e l y ( 1 ) s p a t i o - t e m p o r a l s h o r t - t e r m m e m o r y ,( 2 ) p r o c e d u r a l / d e c l a r a t i v e / e p i s o d i c l o n g - t e r mmemory a n d ( 3 ) a t a s k - o r i e n t e d a d a p t i v ew o r k i n g m e m o r y . S u c h a r o b o t m a y b e c a l l e d ac o g n i t i v e r o b o t . C o g n i t i v e r o b o t s s h a r e a n u m b e ro f k e y f e a t u r e s w i t h c o n s c i o u s m a c h i n e s . W e a r ee x p l o r i n g t h e i n t e r f a c e b e t w e e n c o g n i t i v e r o b o t sa n d m a c h i n e c o n s c i o u s n e s s t h r o u g h a n i n t e r n a lm o d e l c a l l e d t h e S e l f A g e n t .I n d e x t e r m s - c o g n i t i v e r o b o t , c o g n i t i v e c o n t r o l ,m a c h i n e c o n s c i o u s n e s s , s e l f a g e n t , a d a p t i v ew o r k i n g m e m o r y

I . INTRODUCTIONI n r e c e n t y e a r s , d e s i g n p h i l o s o p h i e s i n t h e f i e l d o fr o b o t i c s h a v e f o l l o w e d t h e c l a s s i c d i a l e c t i c . I n i t i a le f f o r t s t o b u i l d r o b o t s c a p a b l e o f p e r c e i v i n g a n di n t e r a c t i n g w i t h t h e w o r l d a r o u n d t h e m i n v o l v e de x p l i c i t k n o w l e d g e r e p r e s e n t a t i o n s c h e m e s a n df o r m a l t e c h n i q u e s f o r m a n i p u l a t i n g i n t e r n a lr e p r e s e n t a t i o n s . T r a c t a b i l i t y i s s u e s g a v e r i s e t oa n t i t h e t i c a l a p p r o a c h e s , i n w h i c h d e l i b e r a t i o n w a se s c h e w e d i n f a v o r o f d y n a m i c i n t e r a c t i o n s b e t w e e np r i m i t i v e r e a c t i v e p r o c e s s e s a n d t h e e n v i r o n m e n t [ 1 ] .Many s t u d i e s h a v e s h o w n t h e n e e d f o r b o t h ,m o t i v a t i n g w o r k t o w a r d s h y b r i d a r c h i t e c t u r e s [ 2 ] .W h i l e s u c h a n i n t e g r a t i o n o f r o b o t i c b o d y , s e n s o ra n d a r t i f i c i a l i n t e l l i g e n c e ( A I ) - b a s e d s o f t w a r e o f f e r st h e p r o m i s e o f r o b o t s w h i c h a r e f l u e n t i ns e n s o r i m o t o r o p e r a t i o n s a n d c a p a b l e o f a d j u s t i n gt h e i r b e h a v i o r i n d i f f e r e n t s i t u a t i o n s , t h e r e a l i t y i sq u i t e d i f f e r e n t f r o m w h a t r e s e a r c h e r s h a d h o p e d .

M o s t r o b o t s c u r r e n t l y c a n p e r f o r m o n l y t h o s e o rs i m i l a r t a s k s w h i c h t h e y w e r e p r o g r a m m e d f o r a n dv e r y l i t t l e e m e r g i n g b e h a v i o r s a r e e x h i b i t e d . W h a t i sn e e d e d i s a n a l t e r n a t i v e p a r a d i g m f o r b e h a v i o rl e a r n i n g a n d t a s k e x e c u t i o n . W e b e l i e v e t h a t r o b u s ta n d t i m e l y r e s p o n s e s t o t h e f u l l r a n g e o fc o n t i n g e n c i e s o f t e n p r e s e n t i n c o m p l e x t a s ke n v i r o n m e n t s w i l l r e q u i r e s o m e t h i n g m o r e t h a n t h ec o m b i n a t i o n o f t r a d i t i o n a l a p p r o a c h e s . S p e c i f i c a l l y ,w e s e e o u r b r a i n ' s c o g n i t i v e f l e x i b i l i t y a n da d a p t a b i l i t y a s d e s i r a b l e d e s i g n g o a l s f o r a n e x tg e n e r a t i o n o f i n t e l l i g e n t r o b o t s . S e v e r a l c o g n i t i v ea r c h i t e c t u r e s h a v e b e e n i m p l e m e n t e d f o r t h ep u r p o s e o f t e s t i n g h u m a n p s y c h o l o g i c a l m o d e l s[ 3 ] [ 4 ] , b u t s u c h m o d e l s h a v e n o t b e e n a p p l i e d t or o b o t i c s .

T h i s n e w g e n e r a t i o n o f r o b o t s s h o u l d b e a b l e t or e c o g n i z e a n d d e a l w i t h s i t u a t i o n s i n w h i c h i t st r a d i t i o n a l r e a c t i v e a n d r e a s o n i n g a b i l i t i e s f a l l s h o r to f m e e t i n g c o m p l e x t a s k d e m a n d s .

A t I C A R 2 0 0 3 i n C o i m b r a , P o r t u g a l , we p r o p o s e da c o n c e p t o f a c o g n i t i v e r o b o t [ 5 ] a s a r o b o t t h a tk n o w s w h a t i t i s d o i n g a n d r e f l e c t s o n p a s te x p e r i e n c e t o d e a l w i t h new s i t u a t i o n s . I n t h ec u r r e n t p a p e r , we d e s c r i b e f u r t h e r d e t a i l s o f s u c h ac o g n i t i v e r o b o t a r c h i t e c t u r e f o r o u r h u m a n o i d r o b o tI S A C [ 6 ] w i t h t h r e e d i s t i n c t i v e m e m o r y s t r u c t u r e s :s h o r t - t e r m a n d l o n g - t e r m m e m o r i e s a n d a w o r k i n gm e m o r y s y s t e m . S h o r t - t e r m m e m o r y i s a s p a r s e d a t as t r u c t u r e c a l l e d t h e S e n s o r y E g o S p h e r e ( S E S ) [ 7 ]c o n t a i n i n g s p a t i o - t e m p o r a l s e n s o r y d a t a a c q u i r e dw i t h i n a r e c e n t t i m e f r a m e . L o n g - t e r m m e m o r y i sc o m p o s e d o f b e h a v i o r s , s e m a n t i c k n o w l e d g e , a n dp a s t e x p e r i e n c e . A w o r k i n g m e m o r y s y s t e m a l l o w st h e r o b o t t o f o c u s a t t e n t i o n o n t h e m o s t r e l e v a n tf e a t u r e s o f t h e c u r r e n t t a s k a n d p r o v i d e r o b u s to p e r a t i o n i n t h e p r e s e n c e o f d i s t r a c t i n g i r r e l e v a n te v e n t s [ 8 ] [ 9 ] .

1 T h i s w o r k i s s u p p o r t e d i n p a r t u n d e r NSF g r a n t E I A 0 3 2 5 6 4 1 , " I T R : A B i o l o g i c a l l y I n s p i r e d A d a p t i v eW o r k i n g Memory S y s t e m f o r E f f i c i e n t R o b o t C o n t r o l a n d L e a r n i n g " .

0 - 7 8 0 3 - 9 3 5 5 - 4 / 0 5 / $ 2 0 . 0 0 2 0 0 5 I E E E . 2 1 1

8/6/2019 Robot With a Sense of Self

2/7

I I . MULTIAGENT-BASED COGNITIVEROBOT ARCHITECTUREA h u m a n o i d i s a n e x a m p l e o f a r o b o t t h a t r e q u i r e si n t e l l i g e n t b e h a v i o r t o a c t w i t h g e n e r a l i t y i n i t se n v i r o n m e n t . A s t h e c o m p l e x i t y o f a t a s k g r o w s , s o

d o s o f t w a r e c o m p l e x i t i e s n e c e s s a r y t o p r o c e s ss e n s o r y i n f o r m a t i o n a n d t o c o n t r o l a c t i o n sp u r p o s e f u l l y . T h e d e v e l o p m e n t a n d m a i n t e n a n c e o fc o m p l e x o r l a r g e - s c a l e s o f t w a r e s y s t e m s c a n b e n e f i tf r o m d o m a i n - s p e c i f i c g u i d e l i n e s t h a t p r o m o t e c o d er e u s e a n d i n t e g r a t i o n t h r o u g h s o f t w a r e a g e n t s .I n f o r m a t i o n p r o c e s s i n g i n I S A C , f r o m p e r c e p t i o nt h r o u g h a c t i o n e x e c u t i o n , i s i n t e g r a t e d i n t o am u l t i a g e n t - b a s e d s o f t w a r e a r c h i t e c t u r e b a s e d o n t h eI n t e l l i g e n t M a c h i n e A r c h i t e c t u r e ( I M A ) [ 1 0 ] . T h eIMA w a s d e s i g n e d t o p r o v i d e s u c h g u i d e l i n e s a n da l l o w s f o r t h e d e v e l o p m e n t o f s u b s y s t e m s c a p a b l eo f e n v i r o n m e n t a l m o d e l i n g a n d r o b o t c o n t r o lt h r o u g h t h e c o l l e c t i o n s o f IM A a g e n t s a n da s s o c i a t e d m e m o r i e s , a s s h o w n i n F i g u r e 1 [ I I ] .

- 1 :

-0i 4

c

L E G E N D : L: S E S = S e n s o r y E g o S p h e r ePM = : P r o c e d u r a l M e m o r yD M : - D e c l a r a t i v e M e m o r yEM = E p i s o d i c i M e m o r yC E A = C e n t r a l E x e c u t i v e A g e n t

h o w e v e r , " i t m a y b e a d v a n t a g e o u s t o b u i l d am a c h i n e w h i c h c a n d e m o n s t r a t e k e y f u n c t i o n s o f ac o n s c i o u s a g e n t s o t h a t m a n y q u e s t i o n s w i l l b ec l a r i f i e d " [ 1 5 ] . F o r e x a m p l e , w e a r e w o r k i n g o n as o f t w a r e a g e n t c a l l e d t h e S e ! ] A g e n t t h a t u s e se m o t i o n , a t t e n t i o n a n d c o g n i t i v e c o n t r o l t o m o d e l" c o n s c i o u s n e s s " f o r I S A C .B . S e l f A g e n t

O u r i n i t i a l a t t e m p t t o d e v e l o p m a c h i n ec o n s c i o u s n e s s i n I S A C i s t h r o u g h a s e t o ft i g h t l y - c o u p l e d a t o m i c a g e n t s t r y i n g t o a c h i e v e ac o m m o n g o a l . T h i s c o n c e p t w a s i n s p i r e d b yM i n s k y ' s w o r k i n t h e S o c i e t y o f M i n d [ 1 8 ] .

T h e S e l f A g e n t ( S A ) r e p r e s e n t s t h e s e n s e o f s e l f[ 1 9 ] t h r o u g h m o n i t o r i n g t h e r o b o t ' s o w n i n t e r n a ls t a t e a s w e l l a s t h e p r o g r e s s o f t a s k e x e c u t i o n v i as e n s o r s i g n a l s , a g e n t c o m m u n i c a t i o n s a n d w o r k i n gm e m o r y . T h e i n t e r n a l r e p r e s e n t a t i o n o f t h e r o b o t ' ss e l f s h o u l d c o n t i n u a l l y b e u p d a t e d a n d e n h a n c e d t oa l l o w t h e s y s t e m t o r e a s o n a n d a c t b a s e d o n i t s s t a t u sa n d t h e c o n t e x t o f a s s i g n e d t a s k s .

T h e SA a l s o r e s p o n d s t o c o m m a n d s g i v e n b yh u m a n s t h r o u g h t h e Human A g e n t a n d i sr e s p o n s i b l e f o r c o n t r o l l i n g t a s k e x e c u t i o n . F i g u r e 2i l l u s t r a t e s t h e c u r r e n t d e s i g n o f t h e S e l f A g e n t a n di t s i n t e r a c t i o n w i t h o t h e r c o m p o n e n t s . S o f a r , t h eI n t e n t i o n A g e n t , t h e P r o n o u n A g e n t , a n d t h eD e s c r i p t i o n A g e n t h a v e b e e n i m p l e m e n t e d [ 1 ] J . W ea r e c u r r e n t l y d e v e l o p i n g t h e C e n t r a l E x e c u t i v eA g e n t ( C E A ) a n d t h e E m o t i o n A g e n t ( S e e S e c t . V ) .

H u m a nA g e n tI A t c m A p r n t s

F i g . 1 . M u l t i a g e n t - b a s e d c o g n i t i v e r o b o ta r c h i t e c t u r e .I I I . MACHINE CONSCIOUNESS AND

THE S E L F AGENTA . M a c h i n e C o n s c i o u s n e s s

A c o n s i d e r a b l e a m o u n t o f r e s e a r c h i s b e i n gc o n d u c t e d i n t h e a r e a o f c o n s c i o u s n e s s i n h u m a n sa n d m a c h i n e s , e . g . , s e e [ 1 2 ] [ 1 3 ] [ 1 4 ] . Some a r g u et h a t m a c h i n e c o n s c i o u s n e s s i s n o t o n l y p o s s i b l e b u ta l s o i n e v i t a b l e f o r t h a t t o h a p p e n [ 1 5 ] [ 1 6 ] [ 1 7 ] .

B e f o r e e x p l a i n i n g w h a t h u m a n c o n s c i o u s n e s s i s ,

LEGENDSES= S e n s o r y E g o S p h e r ePM = P r o c e d u r a l M e m o r yD M = D e c f a r a t i v e M e m o r yE M = E p i s o d i c M e m o r y

F i g . 2 : C u r r e n t D e s i g n o f t h e S e l f A g e n t .

2 1 2

8/6/2019 Robot With a Sense of Self

3/7

I V . MEMORY STRUCTUREI S A C ' s m e m o r y s t r u c t u r e i s d i v i d e d i n t o t h r e e

c l a s s e s : S h o r t - T e r m M e m o r y ( S T M ) , L o n g - T e r mMemory ( L T M ) , a n d t h e W o r k i n g M e m o r y S y s t e m( W M S ) . T h e STM h o l d s s e n s o r y i n f o r m a t i o n a b o u tt h e c u r r e n t e n v i r o n m e n t , w h i l e t h e LTM h o l d sl e a r n e d a n d t a u g h t b e h a v i o r s , s e m a n t i c k n o w l e d g e ,a n d p a s t e x p e r i e n c e . T h e WMS h o l d s t a s k - s p e c i f i cSTM a n d LTM i n f o r m a t i o n a n d s t r e a m l i n e s t h ei n f o r m a t i o n f l o w t o t h e c o g n i t i v e p r o c e s s e s d u r i n gt h e t a s k a s d e s c r i b e d i n s e c t i o n C .A . S h o r t - T e r m M e m o r y : T h e S e n s o r y E g o S p h e r e

W e a r e u s i n g a s p a r s e s e n s o r y d a t a s t r u c t u r ec a l l e d t h e S e n s o r y E g o S p h e r e ( S E S ) t o h o l d STMd a t a . T h e S E S , i n s p i r e d b y t h e e g o s p h e r e c o n c e p td e f i n e d b y A l b u s [ 2 0 ] , s e r v e s a s a s p a t i o - t e m p o r a lSTM f o r a r o b o t [ 7 ] . T h e S E S i s s t r u c t u r e d a s ag e o d e s i c s p h e r e c e n t e r e d b e t w e e n t h e r o b o t ' sc a m e r a s a n d i n d e x e d b y a z i m u t h a n d e l e v a t i o n .E a c h v e r t e x o f t h e g e o d e s i c s p h e r e c o n t a i n s ad a t a b a s e r e p r e s e n t i n g a d e t e c t e d s t i m u l u s a t t h ec o r r e s p o n d i n g a n g l e ( F i g u r e 3 ) .

F i g . 3 . S t r u c t u r e o f t h e S e n s o r y E g o S p h e r e .M e m o r i e s i n t h e S E S c a n b e r e t r i e v e d b y a n g l e ,s t i m u l u s c o n t e n t s u c h a s k e y w o r d s o r c o l o r s , o rt i m e o f p o s t i n g . T h i s f l e x i b i l i t y i n s e a r c h i n g a l l o w sf o r e a s y m e m o r y m a n a g e m e n t , p o s t i n g , a n d

r e t r i e v a l .B . L o n g - T e r m M e m o r y : P r o c e d u r a l , E p i s o d i c , a n d

D e c l a r a t i v e M e m o r i e sL o n g - t e r m m e m o r y ( L T M ) i s d i v i d e d i n t o t h r e et y p e s : P r o c e d u r a l , E p i s o d i c , a n d D e c l a r a t i v e . LTMs t o r e s i n f o r m a t i o n s u c h a s s k i l l s l e a r n e d a n de x p e r i e n c e s g a i n e d f o r f u t u r e r e t r i e v a l . P r o c e d u r a lM e m o r y ( P M ) h o l d s m o t i o n p r i m i t i v e s a n db e h a v i o r s n e e d e d f o r m o v e m e n t , s u c h a s how t or e a c h t o a p o i n t . B e h a v i o r s a r e d e r i v e d u s i n g t h es p a t i o - t e m p o r a l I s o m a p m e t h o d p r o p o s e d b yJ e n k i n s a n d M a t a r i c [ 2 2 ] . A s h o r t d e s c r i p t i o n o f howi t o p e r a t e s f o l l o w s : M o t i o n d a t a a r e c o l l e c t e d f r o m

t e l e o p e r a t i o n t h e n s e g m e n t e d i n t o a s e t o f m o t i o np r i m i t i v e s . T h e n s p a t i o - t e m p o r a l I s o m a p d i m e n s i o nr e d u c t i o n , c l u s t e r i n g a n d i n t e r p o l a t i o n m e t h o d s a r ea p p l i e d t o t h e m o t i o n s e g m e n t s t o p r o d u c e m o t i o np r i m i t i v e s a n d b e h a v i o r s [ 2 3 ] ( F i g u r e 4 ) .M o t i o n s k i l l s f o r e a c h b e h a v i o r m u s t b ei n t e r p o l a t e d i n o r d e r t o b e u s e d i n s p e c i f i c s i t u a t i o n s .T h e i n t e r p o l a t i o n m e t h o d w e a r e u s i n g i s t h e V e r b sa n d A d v e r b s m e t h o d d e v e l o p e d i n [ 2 4 ] . T h i st e c h n i q u e d e s c r i b e s a m o t i o n ( v e r b ) i n t e r m s o f i t sp a r a m e t e r s ( a d v e r b s ) t h a t g e n e r a t e s a n ewm o v e m e n t b a s e d o n t h e s i m i l a r i t y o f s t o r e d m o t i o n s .

~ 4 o f t h o s a r e t a u g h tb y h u m a n

Moti.nt r e a m - ir ~ ~ ..rp o e s s d w t W- . . x ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~~ - - - - - - -- - - - - . . . - , X: T 4 I S O M A P _ - : - : ~ ~ ~ ~ ~ 7 7 . : 1 C 0:_ : : : : : : V e l p a r s ,

M e t i o nvesF i g . 4 . D e r i v a t i o n o f P r o c e d u r a l M e m o r y t h r o u g hh u m a n - g u i d e d m o t i o n s t r e a m .

D e c l a r a t i v e M e m o r y ( D M ) i s a d a t a s t r u c t u r ea b o u t o b j e c t s i n t h e e n v i r o n m e n t . G o a l s a n d t a s ks e q u e n c e s a r e s t o r e d a s DM u n i t s . A f t e r t h i s i sa c c o m p l i s h e d , a n e p i s o d i c m e m o r y w i l l b ed e v e l o p e d t o s t o r e p a s t e x p e n i e n c e .C . W o r k i n g M e m o r y S y s t e mT h e r e i s m u c h e v i d e n c e f o r t h e e x i s t e n c e o fw o r k i n g m e m o r y i n p r i m a t e s [ 2 5 ] [ 2 6 ] . S u c h am e m o r y s y s t e m i s s a i d t o b e c l o s e l y t i e d t o t a s kl e a r n i n g a n d e x e c u t i o n [ 2 7 ] [ 2 8 ] .

W o r k i n g m e m o r y " r e p r e s e n t s a l i m i t e d - c a p a c i t ys t o r e f o r r e t a i n i n g i n f o r m a t i o n o v e r t h e s h o r t t e r m na n d f o r p e r f o r m i n g m e n t a l o p e r a t i o n s on t h ec o n t e n t s o f t h i s s t o r e " [ 2 8 ] . I n s p i r e d b y t h i s , w e a r ei n v e s t i g a t i n g t h e u t i l i t y o f i n t e g r a t i n g t h e ( a d a p t i v e )w o r k i n g m e m o r y s t r u c t u r e i n t o a r o b o t i n o r d e r t op r o v i d e t h e e m b o d i m e n t n e c e s s a r y f o r e x p l o r i n g t h ec r i t i c a l i s s u e o f t a s k l e a r n i n g .O u r h y p o t h e s i s i s t h a t t h i s i n t e g r a t i o n w i l l l e a d t oa more c o m p l e x , b u t r e a l i s t i c r o b o t i c l e a r n i n gs y s t e m i n v o l v i n g p e r c e p t u a l s y s t e m s , a c t u a t o r s ,

2 1 3

8/6/2019 Robot With a Sense of Self

4/7

r e a s o n i n g , a t t e n t i o n , e m o t i o n , a n d s h o r t - a n dl o n g - t e r m m e m o r y s t r u c t u r e s [ 9 ] .I t i s i n t e r e s t i n g t o n o t e t h a t J u s t a n d C a r p e n t e r o fC a r n e g i e M e l l o n U n i v e r s i t y r e f e r r e d t o w o r k i n gm e m o r y a s " t h e b l a c k b o a r d o f t h e m i n d " [ 2 9 ] s i n c e

o u r e a r l i e r I S A C s o f t w a r e d e v e l o p m e n t w a s b a s e do n a ' b l a c k b o a r d " a r c h i t e c t u r e [ 3 0 ] .T h e W o r k i n g M e m o r y S y s t e m ( W M S ) we a r ed e v e l o p i n g i n c l u d e s t h e C e n t r a l E x e c u t i v e A g e n t( S e e S e c t i o n V ) a n d s h o r t - a n d l o n g - t e r m w o r k i n gm e m o r i e s .

V . COGNITIVE CONTROL AND THECENTRAL EXECUTIVE AGENTA . C o g n i t i v e C o n t r o lC o g n i t i v e c o n t r o l i n h u m a n s i s t h e a b i l i t y t o" ; c o n s c i o u s l y m a n i p u l a t e t h o u g h t s a n d b e h a v i o r su s i n g a t t e n t i o n t o d e a l w i t h c o n f l i c t i n g g o a l s a n dd e m a n d s " [ 3 1 ] . A s l e v e l s o f h u m a n b e h a v i o r a lp r o c e s s e s r a n g e f r o m r e a c t i v e t o f u l l d e l i b e r a t i o n ,c o g n i t i v e c o n t r o l m u s t b e a b l e t o s w i t c h b e t w e e nt h e s e l e v e l s t o c o p e w i t h t h e d e m a n d o f t a s k a n dp e r f o r m a n c e , p a r t i c u l a r l y i n n o v e l s i t u a t i o n s .A c c o r d i n g t o a n u m b e r o f c o g n i t i v e p s y c h o l o g i s t s ,c o g n i t i v e c o n t r o l i n h u m a n i s p e r f o r n e d t h r o u g h t h ew o r k i n g m e m o r y i n t h e p r e - f r o n t a l c o r t e x ( P F C )[ 8 ] [ 2 8 ] . F u r t h e r m o r e , a t t e n t i o n a n d e m o t i o n p l a y a ni m p o r t a n t r o l e i n h u m a n ' s d e c i s i o n a n d t a s ke x e c u t i o n [ 3 2 ] .I n s p i r e d b y t h e s e c o n c e p t s , we h a v e i m p l e m e n t e dc o g n i t i v e c o n t r o l i n I S A C u s i n g a m e c h a n i s m c a l l e dt h e C e n t r a l E x e c u t i v e A g e n t .B . C e n t r a l E x e c u t i v e A g e n t

I S A C ' s c o g n i t i v e c o n t r o l i s m o d e l e d a n di m p l e m e n t e d b a s e d o n B a d d e l e y a n d H i t c h ' sp s y c h o l o g i c a l h u m a n w o r k i n g m e m o r y m o d e l [ 2 7 ] .T h e i r m o d e l c o n s i s t s o f t h e " c e n t r a l e x e c u t i v e "w h i c h c o n t r o l s t w o w o r k i n g m e m o r y s y s t e m s , i . e . ,p h o n o l o g i c a l l o o p a n d v i s u o - s p a t i a l s k e t c h p a d .C o g n i t i v e c o n t r o l i n I S A C i s i m p l e m e n t e d u s i n g t h eC e n t r a l E x e c u t i v e A g e n t ( C E A ) t h a t i n t e r f a c e s w i t ht h e W M S .T h e C E A 5 s f u n c t i o n s i n c l u d e t a s k p l a n n i n g ,a c t i o n s e l e c t i o n a n d a c t i o n e x e c u t i o n . F i g u r e 5i l l u s t r a t e s t h e i n t e r a c t i o n b e t w e e n t h e CEA a n d t h eWMS d u r i n g a n a c t i o n s e l e c t i o n a n d e x e c u t i o np r o c e s s i m p l e m e n t e d f o r I S A C [ 3 3 ] .

G m u n a n d

- . A d i t m

[ |l-

L e e n dP M p w o c e i i m M a T K yD M D e c i a m t h t M e m o rE M E i p s o d i o c i c xyS E S = S e s y E S m eA X A t t e r t i o n N e t I wT D - T e m p o r D f f e r c e

F i g . 5 . I n t e r a c t i o n b e t w e e n t h e CEA a n d WMSd u r i n g a t a s k e x e c u t i o n .G o a l - o r i e n t e d b e h a v i o r s e l e c t i o n a n d e x e c u t i o n i sb e i n g d o n e i n a m o d u l a r f a s h i o n . U p o n r e c e i v i n g a

c o m m a n d , t h e CEA a s s o c i a t e s a s e t o f b e h a v i o r sb a s e d o n p a s t e x p e r i e n c e a n d p l a c e s t h e m i n t h eW M S . C u r r e n t l y , p a s t e x p e r i e n c e i s s t o r e d a n dm a i n t a i n e d i n t h e f o r m o f t e l e o p e r a t e d b e h a v i o r s .S t a t e e s t i m a t o r s p r o d u c e e s t i m a t e d s t a t e s t oc a l c u l a t e t a s k r e l e v a n c i e s o f e a c h b e h a v i o ra c c o r d i n g t o t h e g o a l . T h e b e h a v i o r s e l e c t o r

c o m p u t e s t i m e - v a r y i n g w e i g h t s w , i b a s e d o n t a s kr e l e v a n c i e s t o c o m b i n e b e h a v i o r s t o g e n e r a t e t h ef i n a l a c t i o n . R e s u l t s f r o m t h e t a s k e x e c u t i o n a r eu s e d t o c a l c u l a t e e x p e c t e d r e w a r d s f o r t h eT D - L e a r n i n g [ 3 4 ] .F i g u r e 6 s h o w s a n e x a m p l e o f t i m e - v a r y i n gw e i g h t d i s t r i b u t i o n a m o n g t h r e e b e h a v i o r s d u r i n g as i m u l a t i o n w h e r e t h r e e b e h a v i o r s w e r e s e l e c t e d a n dc o m b i n e d t o a c h i e v e t h e g o a l " p o i n t t o a p o s i t i o no n a t a b l e ( F i g u r e 7 ) [ 3 3 ] .

F i g . 6 . W e i g h t d i s t r i b u t i o n a m o n g s e l e c t e db e h a v i o r s d u r i n g a " p o i n t t o " a c t i o n .

2 1 4

0-"t S t X, .t t

I k * 4 4 "i . i t. A ' . I

8/6/2019 Robot With a Sense of Self

5/7

F i g . 7 . M o t i o n s o f s t o r e d b e h a v i o r s ( s o l i d l i n e s ) a n dc o m b i n e d b e h a v i o r m o t i o n ( d o t t e d l i n e ) .

C . E m o t i o n A g e n tI m p l e m e n t i n g e m o t i o n - b a s e d s e n s o r s i g n a lp r o c e s s i n g i n r o b o t i c s i s b e c o m i n g p o p u l a r [ 3 5 ] .

M e a n t i m e , t h e i n t e r a c t i o n o f a t t e n t i o n a n d e m o t i o ni n t h e h u m a n b r a i n i s i n c r e a s i n g l y w e l l u n d e r s t o o d[ 3 2 ] . E m o t i o n a l s t a t e o f t h e r o b o t d e s c r i b e s w h a t t h er o b o t f e e l s t o w a r d t h e t a s k a n d t h e e n v i r o n m e n tb a s e d o n p a s t e x p e r i e n c e .I n s p i r e d b y t h i s , we a r e a d d i n g a n E m o t i o n A g e n tt o t h e S e l f A g e n t t o c o n d u c t c o g n i t i v e c o n t r o le x p e r i m e n t s . S e c t i o n V I d e s c r i b e s t h e c u r r e n te m o t i o n - b a s e d c o g n i t i v e c o n t r o l e x p e r i m e n t u s i n gt h e e m o t i o n f e a r .

V I . CURRENT COGNITIVE CONTROLEXPERIMENT

W e h a v e d e s i g n e d a n i n t e g r a t e d c o g n i t i v e s y s t e me x p e r i m e n t b a s e d o n t h e C E A , a t t e n t i o n , e m o t i o na n d t h e a d a p t i v e w o r k i n g m e m o r y s y s t e m a sf o l l o w s :1 . I S A C i s t r a i n e d t o l e a r n s p e c i f i c o b j e c t u s i n gv o i c e , v i s i o n , a t t e n t i o n ( L e a r n b y a s s o c i a t i o n )2 . I S A C i s a s k e d t o p o i n t t o o n e o f t h e l e a r n e do b j e c t s ( U s e o f s h o r t - t e r m m e m o r y o f t h e o b j e c ta n d l o n g - t e r m p r o c e d u r a l m e m o r y ) ( F i g u r e 8 )3 . I S A C i s a s k e d t o v i s u a l l y t r a c k t h e o b j e c t h e l db y a h u m a n ( C o l o r t r a c k i n g )4 . A p e r s o n e n t e r s t h e r o o m a n d y e l l s " F i r e ! " I S A Cu s i n g a t t e n t i o n , e m o t i o n a n d c o g n i t i v e c o n t r o l ,s u s p e n d t h e c u r r e n t t r a c k i n g t a s k a n d w a r n

e v e r y o n e t o e x i t t h e r o o m ( C o g n i t i v e c o n t r o l ) .S t e p s 1 - 3 h a v e a l r e a d y b e e n i m p l e m e n t e d a n dp r e s e n t e d e l s e w h e r e [ 2 1 ] [ 3 6 ] . I n S t e p 4 , I S A C ' sc o g n i t i v e c o n t r o l m u s t* P a y a t t e n t i o n t o n ew s t i m u l u s* U s e e m o t i o n t o a c t i v a t e c o g n i t i v e c o n t r o l .

F i g . 8 . I S A C i s a s k e d t o p o i n t t o o n e o f t h e l e a r n e do b j e c t s .T h i s c o g n i t i v e c o n t r o l e x p e r i m e n t i s b e i n g d o n et h r o u g h i n t e g r a t i n g t h e w o r k i n g m e m o r y a n dc o g n i t i v e c o n t r o l w i t h t h e e x i s t i n g IM A a g e n t s a s

s h o w n i n F i g u r e 1 0 .T h i s e x p e r i m e n t t r i e s t o d e m o n s t r a t e t h a t " T h ea r t i f i c i a l c o g n i t i v e m a c h i n e i s n o t g o v e r n e d b y a n y

p r o g r a m s a n d t h e r e f o r e w i l l n o t e x e c u t e a n yp r e p r o g r a m m e d d e c i s i o n c o m m a n d s l i k e t h eI F - T H E N o n e s " [ p . 2 1 6 , 1 5 ] .

F i g . 9 . C o g n i t i v e C o n t r o l E x p e r i m e n t .V I I . CONCLUSIONS

R e a l i z a t i o n o f g e n e r a l - p u r p o s e r o b o t s w i t ha d u l t - l e v e l i n t e l l i g e n c e c o n t i n u e s t o b e t h e d r e a m o fm a n y r o b o t i c r e s e a r c h e r s . D u r i n g t h e p a s t d e c a d e ,w e h a v e s e e n m a j o r a d v a n c e s i n t h e i n t e g r a t i o n o fi n t e l l i g e n t r o b o t s a n d e x p e c t t h i s t r e n d t o c o n t i n u e .T h e n e x t g r a n d c h a l l e n g e w i l l b e i n t h ei n t e g r a t i o n o f b o d y a n d m i n d . T h i s p a p e r d e s c r i b e do u r e f f o r t s t o w a r d s t h i s c h a l l e n g e t h r o u g h t h er e a l i z a t i o n o f a c o g n i t i v e r o b o t u s i n g c o g n i t i v ec o n t r o l , a t t e n t i o n , e m o t i o n , a n d a n a d a p t i v e w o r k i n gm e m o r y s y s t e m . O u r m u l t i a g e n t - b a s e d c o g n i t i v ea p p r o a c h i s a n a t t e m p t t o c a p t u r e b r a i n - s t y l ec o m p u t a t i o n w i t h o u t n e c e s s a r i l y c o m m i t t i n g t o t h en e u r a l - l e v e l d e t a i l s .

2 1 5

8/6/2019 Robot With a Sense of Self

6/7

" F i r e "

F i g . 1 0 . I n t e r a c t i o n s a m o n g IM A a g e n t s a n d m e m o r i e s d u r i n g t h e c o g n i t i v e c o n t r o l e x p e r i m e n t .

REFERENCES[ 1 ] R . A . B r o o k s , " I n t e l l i g e n c e w i t h o u t r e p r e s e n -

t a t i o n , " A r t i f i c i a l I n t e l l i g e n c e v o l . 4 7 n o s . 1 - 3 ,p p . 1 3 9 - 1 6 0 , 1 9 9 1 .

[ 2 ] E . G a t , " T h r e e l e v e l a r c h i t e c t u r e s , " C h a p t e r 8 o fA r t i f i c i a l I n t e l l i g e n c e a n d M o b i l e R o b o t s : C a s eS t u d i e s o f S u c c e s s f u l R o b o t S y s t e m s ( E . K o r t e n k a m p ,R . P . B a r a s s o a n d R . M u r p h y , E d s . ) , AAAI P r e s s , p p .1 9 5 - 2 1 0 , 1 9 9 8 .

[ 3 ] J . R . A n d e r s o n , D . B o t h e l l , M . D . , B y r n e , S . D o u g l a s s .C . L e b i e r e , a n d Y . Q i n , " A n i n t e g r a t e d t h e o r y o f t h em i n d " , ( A C T - R ) , P s y c h o l o g i c a l R e v i e , v o l . 1 1 ,n o . 4 . p p . 1 0 3 6 - 1 0 6 0 , 2 0 0 4 .

[ 4 ] J . E . L a i r d , A . N e w e l l , a n d P . S . R o s e n b l o o m ," S O A R : An a r c h i t e c t u r e f o r g e n e r a l i n t e l l i g e n c e " ,A r t i f i c i a l I n t e l l i g e n c e , v o l . 3 3 , n o . 1 , p p . 1 6 4 , 1 9 8 7 .

[ 5 ] K . K a w a m u r a , D . C . N o e l l e , K . A . H a m b u c h e n , a n dT . E . R o g e r s , " A m u l t i - a g e n t a p p r o a c h t os e l f - r e f l e c t i o n f o r c o g n i t i v e r o b o t s " , P r o c . o f 1 1 t hI n t t ' C o n f o n A d v a n c e d R o b o t i c s , C o i m b r a ,P o r t u g a l , J u n e 3 0 - J u l y 3 , 2 0 0 3 , p p . 5 6 8 - 5 7 5 , 2 0 0 3 .

[ 6 ] K . K a w a m u r a , R . A . P e t e r s I I , D . M . W i l k e s , W . A .A l f o r d , a n d T . E . R o g e r s , " I S A C : f o u n d a t i o n s i nh u m a n - h u m a n o i d i n t e r a c t i o n , " I E E E I n t e l l i g e n tS > y s t e m s , J u l y / A u g u s t 2 0 0 0 , p p . 3 8 - 4 5 , 2 0 0 0 .

[ 7 ] R . A . P e t e r s 1 1 , K . A . H a m b u c h e n , K . K a w a m u r a , a n dD . M . W i l k e s , " T h e s e n s o r y e g o s p h e r e a s as h o r t - t e r m m e m o r y f o r h u m a n o i d s , " P r o c . o f t h e

I E E E - R A S I n t ' l C o n f o n H u i m c a n o i d R o b o t s , W a s e d aU n i v e r s i t y , T o k y o , N o v . 2 2 - 2 4 , p p . 4 5 1 - 4 5 9 , 2 0 0 1 .

[ 8 ] R . O ' R e i l l y , T . S . B r a v e r , a n d J . D . C o h e n , "Ab i o l o g i c a l l y b a s e d c o m p u t a t i o n a l m o d e l o f w o r k i n gm e m o r y " , M o d e l s o f W o r k i n g M e m o r y : V e c h a n i s m so f a c t i v e m a i n t e n a n c e a n d e x e c u t i v e c o n t r o l , ( A .M i y a k e a n d P . S h a h , E d s . ) C a m b r i d g e : C a m b r i d g eU n i v . P r . , 1 9 9 9 .

[ 9 ] M . S k u b i c , D . N o e l l e , M . W i l k e s , K . K a w a m u r a ,a n d J . M . K e l l e r , "A b i o l o g i c a l l y i n s p i r e d a d a p t i v ew o r k i n g m e m o r y f o r r o b o t s , " A A A I F a l l S y m p . .W o r k s h o p o n t h e I n t e r s e c t i o n o f C o g n i t i v e S c i e n c ea n d R o b o t i c s : F r o m I n t e r f a c e s t o I n t e l l i g e n c e ,W a s h i n g t o n D C , O c t o b e r 2 0 0 4 .

[ 1 0 ] R . T . P a c k , D . M . W i l k e s , a n d K . K a w a m u r a , "As o f t w a r e a r c h i t e c t u r e f o r i n t e g r a t e d s e r v i c e r o b o td e v e l o p m e n t , " P r o c . o f I E E E S y s t e m s , M a n a n dC y b e r n e t i c s , O c t o b e r 1 9 9 7 , p p . 3 7 7 4 - 3 7 7 9 , 1 9 9 7 .

[ 1 1 ] K . K a w a m u r a , R . A . P e t e r s I I , R . B o d e n h e i m e r . N .S a r k a r , J . P a r k , A . S p r a t l e y , a n d K . A . H a m b u c h e n ," M u l t i a g e n t - b a s e d c o g n i t i v e r o b o t a r c h i t e c t u r e a n di t s r e a l i z a t i o n , " I n t ' l J o . o f Humanoid R o b o t i c s , v o l .1 , n o . 1 , p p . 6 5 - 9 3 , 2 0 0 4 .

[ 1 2 ] J . G T a y l o r , " P a y i n g A t t e n t i o n t o C o n s c i o u s - n e s s " .T r e n d s i n C o g . S c i e n c e s , v o l . 6 , p p . 2 0 6 - 2 1 0 , 2 0 0 2 .

[ 1 3 1 B . J . B a a r s , I n t h e T h e a t e r o f C o n s c i o u s n e s s : T h eW o r k s p a c e o f t h e M i n d , P o r t l a n d , O R : B o o k N e w s ,I n c . , 2 0 0 4 .

2 1 6

8/6/2019 Robot With a Sense of Self

7/7

[ 1 4 ] S . F r a n k l i n , " I D A : A C o n s c i o u s A r t i f a c t ? " I n s t i t u t ef o r I n t e l l i g e n t S y s t e m s , T h e U n i v e r - s i t y o fM e m p h i s . J . o f C o n s c i o u s n e s s S t u d i e s , v o l . 1 0 ,p p . 4 7 - 6 6 , 2 0 0 3 .

[ 1 5 ] P 0 . H a i k o n e n , T h e C o g n i t i v e A p p r o a c h t oC o n s c i o u s M a c h i n e s , C h a r l o t t e s v i l l e , V A : I m p r i n tA c a d e m i c , M a r c h 2 0 0 3 .[ 1 6 ] 0 . H o l l a n d , e d . , M a c h i n e C o n s c i o u s n e s s ,C h a r l o t t e s v i l l e , V A : I m p r i n t A c a d e m i c , 2 0 0 3 .

[ 1 7 ] I . A l e k s a n d e r , Ho w t o B u i l d a M i n d . T o w a r dM a c h i n e s w i t h I m a g i n a t i o n , C o l u m b i a U n i v e r s i t yP r e s s , NY , 2 0 0 1 .

[ 1 8 ] M . M i n s k y , T h e S o c i e t y o f M i n d , N Y : S i m o n &S c h u s t e r , 1 9 8 5 .

[ 1 9 ] R . S a n z , " M o d e l i n g , s e l f a n d c o n s c i o u s n e s s : f u r t h e rp e r s p e c t i v e s o f A l r e s e a r c h , " P e r f o r m a n c e M e t r i c sf o r I n t e l l i g e n t S y s t e m s W o r k s h o p ( P e r M I S ) , A u g .1 3 - 1 5 , 2 0 0 2 , N I S T , W a s h i n g t o n , D C , 2 0 0 2 .[ 2 0 ] J . S . A l b u s , " O u t l i n e f o r a t h e o r y o f i n t e l l i g e n c e , "IEEE T r a n s S y s t e m s , M a n , a n d C y b e r n e t i c s , v o l . 2 1 ,n o . 3 , p p . 4 7 3 - 5 0 9 , 1 9 9 1 .

[ 2 1 ] K . A . H a m b u c h e n , M u l t i - M o d a l A t t e n t i o n a n dB i n d i n g u s i n g a S e n s o r y E g o S p h e r e , P h . D .D i s s e r t a t i o n , N a s h v i l l e , T N : V a n d e r b i l t U n i v e r s i t y ,M ay 2 0 0 4 .

[ 2 2 ] O . C . J e n k i n s a n d M . J . M a t a r i c , " A u t o m a t e dd e r i v a t i o n o f b e h a v i o r v o c a b u l a r i e s f o r a u t o n o m o u sh u m a n o i d m o t i o n , " 2 " d I n t e r n a t i o n a l J o i n tC o n f e r e n c e o n A u t o n o m o u s A g e n t s a n d M u l t i a g e n tS y s t e m s , 2 0 0 3 .

[ 2 3 ] D . E r o l , J . P a r k , E . T u r k a y , K . K a w a m u r a , O . C .J e n k i n s a n d M . J . M a t a r i c , " M o t i o n g e n e r a t i o n f o rh u m a n o i d r o b o t s w i t h a u t o m a t i c a l l y d e r i v e db e h a v i o r s , " P r o c . o f I E E E I n t ' l . C o n f : o n S y s t e m s ,M a n , a n d C y b e r n e t i c s , W a s h i n g t o n , D C , O c t . 6 - 8 ,2 0 0 3 , p p . 1 8 1 6 - 1 8 2 1 , 2 0 0 3 .

[ 2 4 ] C . R o s e , M . F . C o h e n , a n d B . B o d e n h e i m e r , " V e r bsa n d a d v e r b s : M u l t i d i m e n s i o n a l m o t i o n i n t e r p o -l a t i o n " , I E E E C o m p u t e r G r a p h i c s a n d A p p l . , v o l .1 8 , n o . 5 , S e p t - O c t 1 9 9 8 , p p . 3 2 - 4 0 , 1 9 9 8 .[ 2 5 ] S . F u n a h a s h i a n d K . K u b o t a , " W o r k i n g m e m o r y a n dp r e f r o n t a l c o r t e x " , N e u r o s c i e n c e R e s e a r c h , v o l . 2 1 ,p p . 1 - 1 1 , 1 9 9 4 .

[ 2 6 ] E . K . M i l l e r , C . A . E r i c k s o n , a n d R . D e s i m o n e ," N e u r a l m e c h a n i s m s o f v i s u a l w o r k i n g m e m o r y i np r e f r o n t a l c o r t e x o f t h e m a c a q u e " , J o . o fN e u r o s c i e n c e , v o l . 1 6 , p p . 5 1 5 4 - 6 , 1 9 9 6 .

[ 2 7 ] A . D . B a d d e l e y , W o r k i n g M e m o r y . O x f o r d :C l a r e n d o n P r e s s , 1 9 8 6 .

[ 2 8 ] M . S . G a z z a n i g a , R . B . I v r y , a n d G . R . M a n g u n ,C o g n i t i v e N e u r o s c i e n c e . T h e b i o l o g y o f t h e m i n d ,2 n d e d . , New Y o r k : W . W . N o r t o n & C o m p a n y , p . 3 1 1 ,2 0 0 2 .

[ 2 9 ] P . S . G o l d m a n - R a k i c , W o r k i n g Memory a n d t h eM i n d , S c i e n t i f c A m e r i c a n , p p . 1 1 - 1 1 7 , S e p t e m b e r1 9 9 2 .[ 3 0 ] K . K a w a m u r a , R . A . P e t e r s I I , S . B a g c h i , M .I s k a r o u s , a n d M . B i s h a y , " I n t e l l i g e n t R o b o t i cS y s t e m s i n S e r v i c e o f t h e D i s a b l e d " , IEEE T r a n s . o nR e h a b i l i t a t i o n E n g i n e e r i n g , V o l . 3 , N o . 1 , p p . 1 4 - 2 1 ,M a r c h 1 9 9 5 .

[ 3 1 ] T . S . B r a v e r a n d J . D . C o h e n , " O n t h e c o n t r o l o fc o n t r o l : T h e r o l e o f d o p a m i n e i n r e g u l a t i n gp r e f r o n t a l f u n c t i o n a n d w o r k i n g m e m o r y , " I n S .M o n s e l l & J . D r i v e r , e d s . , C o n t r o l o f C o g n i t i v eP r o c e s s e s : A t t e n t i o n a n d P e r f o r m a n c e X V I I I ,C a m b r i d g e , M A: M IT P r e s s , p p . 7 1 3 - 7 3 8 , 2 0 0 0 .[ 3 2 ] J . G . T a y l o r , " P a y i n g a t t e n t i o n t o c o n s c i o u s n e s s , "P r o g r e s s i n N e u r o b i o l o g y ( E l s e v i e r ) , v o l . 7 1 ,p p . 3 0 5 - 3 3 5 , 2 0 0 3 .

[ 3 3 ] P . R a t a n a s w a s d , W . D o d d , K . K a w a m u r a , a n d D .N o e l l e , " M o d u l a r b e h a v i o r c o n t r o l f o r a c o g n i t i v er o b o t , " 1 2 t h I n t ' l C o n f o n A d v a n c e d R o b o t i c s( I C A R ) , S e a t t l e W A , J u l y 1 8 - 2 0 , 2 0 0 5 , i n r e v i e w .

[ 3 4 ] R . S . S u t t o n , " L e a r n i n g t o p r e d i c t b y t h e m e t h o d o ft e m p o r a l d i f f e r e n c e s , " M a c h i n e L e a r n i n g , v o l . 3 ,p p . 9 - 4 4 , 1 9 8 8 .

[ 3 5 ] C . B r e a z e a l , D e s i g n i n g S o c i a l R o b o t s , M IT P r e s s ,2 0 0 2 .[ 3 6 ] J . R o j a s , S e n s o r y I n t e g r a t i o n w i t h A r t i c u l a t e d

M o t i o n o n a H u m a n o i d R o b o t , M a s t e r ' s T h e s i s ,N a s h v i l l e , T N : V a n d e r b i l t U n i v e r s i t y , M a y 2 0 0 4 .

2 1 7