kalman -- probability in the real world

8/6/2019 Kalman -- Probability in the Real World

1/24

V o l u m e 9 ( 3 ) 1 9 9 6 , p p . 1 8 1 { 2 0 4

P r o b a b i l i t y i n t h e R e a l W o r l d a s a S y s t e m A t t r i b u t e

R . E . K a l m a n

S w i s s F e d e r a l I n s t i t u t e o f T e c h n o l o g y , Z u r i c h , S w i t z e r l a n d

I s t i t u t o \ A s i n i u s P o l l i o "

1 . O v e r v i e w

R a n d o m n e s s , i n s o m e i n t u i t i v e s e n s e , i s a l l a r o u n d u s i n t h e r e a l w o r l d . H e n c e

i t i s t h e p r o p e r o b j e c t o f s c i e n t i c s t u d y .

I n t w o r e c e n t p u b l i c a t i o n s ( K a l m a n 8 , 9 ] ) w e h a v e a r g u e d t h a t a s c i e n t i c

s t u d y o f r a n d o m n e s s ( n e v e r r e a l l y u n d e r t a k e n b e f o r e ) s h o u l d b e g i n b y s e p a r a t -

i n g t h e i n t u i t i v e c o n c e p t o f \ r a n d o m " f r o m a n y i m m a n e n t o r i m p l i e d r e l a t i o n

w i t h \ p r o b a b i l i t y " , w h a t e v e r t h a t w o r d m a y m e a n . T h i s i s j u s t t h e o p p o s i t e

o f t h e u s u a l p r o c e d u r e f o r e x a m p l e , i n a x i o m a t i c p r o b a b i l i t y t h e o r y \ r a n d o m "

i s g i v e n a m e a n i n g o n l y a f t e r t h e p r o b a b i l i t i e s h a v e b e e n d e n e d .

I n t h i s p a p e r w e t a k e a p o s i t i o n , t h e s c i e n t i c o n e , o n t h e o p p o s i t e s i d e

f r o m t h a t o f D e n n i s L i n d l e y , a w e l l - k n o w n B a y e s i a n , w h o s e c o n v i c t i o n i s t h a t

P r o b a b i l i t y i s t h e o n l y s a t i s f a c t o r y d e s c r i p t i o n o f u n c e r t a i n t y .

L i n d l e y 1 0 , p . 1 7 ] .

L i n d l e y ' s p o s i t i o n m i g h t b e l a b e l e d { w i t h o u t i n a n y w a y q u e s t i o n i n g i t s

h o n e s t y { a s a r e l i g i o u s

1

o n e , o r a d o g m a t i c o n e , o r e v e n a f a n a t i c a l o n e .

I n d e e d , \ m a i n s t r e a m " p r o b a b i l i t y t h e o r y i n i t s v a r i o u s f o r m s ( a b s t r a c t a x -

i o m a t i c , n a v e , B a y e s i a n , e t c . ) h a s c o m e l a r g e l y u n d e r t h e i n u e n c e o f t h e

r e l i g i o u s p o i n t o f v i e w , b u t t h e r e i s s u r e l y n o c o n s e n s u s s e e , f o r e x a m p l e t h e

i n t r o d u c t o r y c o m m e n t s o f P i n c u s a n d S i n g e r 1 2 ] .

G r a n t e d t h a t t h e r e i s n o r i g i d c o n n e c t i o n ( i n t h e s c i e n t i c s e n s e ) b e t w e e n

r a n d o m n e s s a n d p r o b a b i l i t y a n d t h a t r a n d o m n e s s , a s a b a s i c p h e n o m e n o n i s

n o w s o m e w h a t b e t t e r u n d e r s t o o d i n t h e l i g h t o f K a l m a n 8 , 9 ] , w e m a y v e n t u r e

t o p r o c e e d , a s t h e n e x t s t e p , t o t h e s c i e n t i c s t u d y o f p r o b a b i l i t y . W e s h o u l d

a s k :

1 8 1


2/24

d o e s p r o b a b i l i t y e x i s t i n t h e r e a l w o r l d ?

i f s o h o w i s i t c r e a t e d ?

i s i t a p h y s i c a l c o n c e p t ?

T h e h i s t o r y o f p r o b a b i l i t y i s n o t a c h a p t e r i n t h e h i s t o r y o f s c i e n c e . P r o b -

a b i l i t y t h e o r y { o r m o r e p r o p e r l y , a b s t r a c t a x i o m a t i c p r o b a b i l i t y a s i t i s c o n -

c e i v e d t o d a y { i s t h e r e s u l t o f a l o n g e p i s t e m o l o g i c a l d e v e l o p m e n t , m a i n l y s i n c e

a b o u t 1 7 0 0 , a n d i t w a s i n u e n c e d i n t u r n b y p r o b l e m s m o t i v a t e d b y g a m e s

o f c h a n c e , l o t t e r i e s , i n s u r a n c e , o p i n i o n s u r v e y s , p r e d i c t i o n o f e c o n o m i c e v e n t s ,

e t c . , a l l o f w h i c h a r e m a n - m a d e p h e n o m e n a . I n t h i s e v o l u t i o n , t h e q u e s t i o n s

a s k e d w e r e : w h a t i s c h a n c e ? w h a t i s a r a n d o m c h o i c e ? w h a t i s p r o b a b i l -

i t y ? { a l w a y s q u e s t i o n s i n t h e a b s t r a c t a n d n o t p r i m a r i l y a i m e d a t a b e t t e r

u n d e r s t a n d i n g o f t h e r e a l w o r l d . R e s e a r c h i n p r o b a b i l i t y r e s u l t e d i n a n i c e

a x i o m a t i c f o r m a t t i n g o f a b s t r a c t a n s w e r s t o t h e a b s t r a c t q u e s t i o n s , b u t t h e r e

w a s n o c o n c e r n f o r c o n t a c t w i t h t h e p h y s i c a l w o r l d . Y e t t h e n e t r e s u l t , p e r h a p s

r e g r e t t a b l y , w a s t h a t \ p r o b a b i l i t y " a c q u i r e d a m e a n i n g t h a t m a d e i t s e e m , i n

t h e e y e s o f t h e m a n o f t h e s t r e e t a n d m a n y i n t e l l e c t u a l s a s w e l l , a t l e a s t a s r e a l

a n d a s p h y s i c a l a s , s a y , m a s s o r g r a v i t a t i o n o r a d v e r t i s i n g .

T h e m a i n o b j e c t o f t h i s p a p e r i s t o i n i t i a t e a s t u d y o f p r o b a b i l i t y f r o m t h e

s c i e n t i c p o i n t o f v i e w . W e a r e q u i c k l y l e d t o t w o m a j o r r e s u l t s :

( i ) T h e o l d - f a s h i o n e d , p r e - a b s t r a c t n o t i o n o f p r o b a b i l i t y , k n o w n a s r e l a t i v e

f r e q u e n c y ( t h e n u m b e r o f i n t e r e s t i n g e v e n t s d i v i d e d b y t h e n u m b e r o f a l l

e v e n t s ) , i s a p e r f e c t l y n a t u r a l m a t h e m a t i c a l s t a r t i n g p o i n t i t h a s n ' t b e e n

a d e q u a t e l y r e s e a r c h e d u n t i l n o w i t c o u l d l e a d t o a r i c h t h e o r y i n t h e n e a r

f u t u r e .

( i i ) F r e q u e n c y ( t h e o l d , r e v i v e d n o t i o n o f p r o b a b i l i t y ) i s n o t u n i v e r s a l i t d o e s

n o t e x i s t i n t h e a b s t r a c t i t c a n n o t b e m a d e t o e x i s t b y a x i o m i t m u s t b e

d e d u c e d f r o m \ i n t e r a c t i o n s " w i t h i n a s y s t e m i t i s a s y s t e m a t t r i b u t e .

2 . W h y i s p r o b a b i l i t y n o t a s a t i s f a c t o r y w a y o f l o o k i n g a t

r a n d o m n e s s ?

T h e r e a r e t w o a s p e c t s :

( a ) t e c h n i c a l : r i g o r o u s p r o b a b i l i t y t h e o r y l i v e s i n w o r l d A , a w o r l d , w h i c h ,

s e e m i n g l y , i s i n c o m m u n i c a d o w i t h c o n c r e t e m a t h e m a t i c s t h a t l i v e s i n w o r l d

R t h a t , f o r u s , i s t h e r e a l w o r l d

( b ) o p e r a t i o n a l : p r o b a b i l i t y t h e o r y s a y s a l m o s t n o t h i n g a b o u t d i e r e n t \ k i n d s "

o f r a n d o m n e s s .

S e e F i g u r e 1 .

B o t h d i c u l t i e s a r e o l d a n d v e r y w e l l k n o w n . A s a n i l l u s t r a t i o n , l e t u s

m e n t i o n t w o t y p i c a l u n s o l v e d p r o b l e m s :

( i ) T h e i n n i t e s e q u e n c e o f d e c i m a l d i g i t s o f a n i r r a t i o n a l n u m b e r .

1 8 2


3/24


4/24

T h i s s e q u e n c e c o u l d b e r e g a r d e d a s p a r t o f a c o i n - t o s s i n g ( o r B e r n o u l l i ) s e -

q u e n c e ( s e e F e l l e r 5 , p . 1 0 4 ] ) . B u t i s i t r e a l l y t h a t ? D o e s i t c o n t a i n , p e r h a p s ,

s o m e t y p i n g e r r o r s ?

2

L e t ' s l o o k a t t h e s e q u e n c e ( 2 . 2 ) f r o m t h e p o i n t o f v i e w o f d i g i t s t a t i s t i c s .

T h e r e s u l t i s h i g h l y s u g g e s t i v e :

d i g i t s e q u e n c e 0 1 0 0 0 1 1 0 1 1 0 0 0 0 0 1 0 1 0 0 1 1

n u m b e r o f o c c u r r e n c e s 3 0 3 0 1 5 1 5 1 5 1 5 7 8 8 8

E a c h c o n s e c u t i v e d i g i t s e q u e n c e o f l e n g t h r 3 s e e m s t o h a v e ( a l m o s t e x a c t l y )

t h e s a m e f r e q u e n c y { i s t h i s a c a s e a n a l o g o u s t o ( 2 . 1 ) ?

F o r b o t h e x a m p l e s , t h e b a s i c q u e s t i o n , r e l e v a n t t o t h e R - w o r l d , i s : a r e t h e

s e q u e n c e s ( 2 . 1 ) a n d ( 2 . 2 ) \ r a n d o m " ? I n w h a t s e n s e ?

T h e u s u a l a n s w e r o f e p i s t e m o l o g i s t s ( A t l a n 1 , p . 1 1 8 ] , C h a t f i e l d 3 ] ) ,

s l i g h t l y p a r a p h r a s e d , i s t h e f o l l o w i n g :

i f y o u k n o w t h a t t h e s e q u e n c e w a s g e n e r a t e d b y t o s s i n g a ( f a i r ) c o i n ( a n

e v e n t i n t h e A - w o r l d ) , t h e n t h e s e q u e n c e i s r a n d o m ( i . e . , i t i s a c l a s s i c a l

B e r n o u l l i s e q u e n c e , w i t h e q u a l p r o b a b i l i t i e s o f

1

2

f o r 0 a n d 1 )

b u t

i f y o u k n o w t h a t t h e s e q u e n c e w a s g e n e r a t e d b y a k n o w n r u l e ( a n e v e n t i n

t h e R - w o r l d ) , t h e n t h e s e q u e n c e i s n o t r a n d o m .

T h e d i l e m m a i s : i f w e a r e g i v e n t h e s e q u e n c e s ( 2 . 1 ) o r ( 2 . 2 ) , b u t n o o t h e r

i n f o r m a t i o n , w h a t d o w e k n o w a b o u t t h e m ? C a n w e d e t e r m i n e h o w t h e y w e r e

g e n e r a t e d ?

I t s e e m s t h a t a n e l e m e n t o f s u b j e c t i v i t y c a n n o t b e e x c l u d e d t h e r e f o r e t h e

c o n c e p t \ r a n d o m " c a n n o t b e w e l l d e n e d m a t h e m a t i c a l l y i n a c o n c r e t e c a s e

l i k e ( 2 . 1 ) o r ( 2 . 2 ) . T h e p h r a s e \ a n i t e s e q u e n c e i s r a n d o m " i n s u c h a c o n t e x t

h a s n o s c i e n t i c m e a n i n g , i t c a n n o t b e e i t h e r c o n r m e d o r c o n t r a d i c t e d .

P r o b a b i l i t y i s n o t m u c h h e l p i n d e a l i n g w i t h r a n d o m n e s s i n t h e R - w o r l d . I f

( 2 . 2 ) i s B e r n o u l l i

3

i t s p r o b a b i l i t y i s 2

; 6 0

, a s i s t h e p r o b a b i l i t y o f a n y B e r n o u l l i

s e q u e n c e o f s i x t y d i g i t s . P r o b a b i l i t y t h e o r y i n t h i s s i t u a t i o n m e r e l y d e s c r i b e s

t h e c o l l e c t i o n o f a l l 0 = 1 s e q u e n c e s o f s i x t y d i g i t s a n d s t a t e s w h a t t h e p r o b a b i l i t y

o f e a c h i n d i v i d u a l s e q u e n c e i s .

4

T h e d i c u l t y i n n o t b e i n g a b l e t o d e n e r a n d o m n e s s v i a c o n v e n t i o n a l p r o b -

a b i l i t y t h e o r y i n t h e R - w o r l d c a n o n l y b e a v o i d e d b y c h a n g i n g t h e v e r y d e n i -

t i o n o f r a n d o m n e s s ( o r n o n r a n d o m n e s s ) w h i c h m e a n s g o i n g b a c k t o t h e m o s t

p r i m i t i v e l e v e l o f t h e c o n c e p t u a l d i s c u s s i o n . S u c h c o n s i d e r a t i o n s l e d t o a n e w

( p r i m o r d i a l ) d e n i t i o n o f r a n d o m n e s s a d o p t e d i n K a l m a n 8 , 9 ] .

A c c o r d i n g l y , i n t h i s p a p e r , a n y s e q u e n c e i s c a l l e d r a n d o m

5

i f i t i s ( r a t h e r

v a g u e l y s p e a k i n g ) n o t \ u n i q u e " . M o r e p r e c i s e l y , f o r t h e d i g i t s e q u e n c e s o f t h e

t w o e x a m p l e s , n o n r a n d o m n e s s m e a n s \ c o n s i s t i n g o f a s i n g l e d i g i t " . T h u s o u r

1 8 4


5/24


6/24

M a t h e m a t i c i a n s e d u c a t e d i n t h e e a r l y 1 9 0 0 ' s t e n d e d t o v i e w t h e t h e o r e m

a s a n e w c h a r a c t e r i z a t i o n o f i r r a t i o n a l n u m b e r s .

I n K a l m a n 8 , 9 ] w e p o i n t e d o u t t h a t t h e t h e o r e m c a n b e v i e w e d , a l t e r n a -

t i v e l y , a s r e s p o n d i n g t o a f u n d a m e n t a l p r o b l e m o f s t a t i s t i c s : h o w t o t a k e a n i t e

r a n d o m s a m p l e o f ( t h e p o p u l a t i o n o f ) p o i n t s u n i f o r m l y d i s t r i b u t e d o n t h e u n i t

i n t e r v a l { b u t w i t h o u t r e q u i r i n g t h a t t h e s a m p l i n g p r o c e s s , : : : t ( m o d 1 ) ,

( t + 1 ) ( m o d 1 ) : : : i s i n d e p e n d e n t f r o m s a m p l e t o s a m p l e .

I n v i e w o f t h e s e w e l l - k n o w n a s p e c t s o f t h e G l e i c h v e r t e i l u n g s s a t z , i t i s p e r -

h a p s s u r p r i s i n g t h a t i t a l s o a n s w e r s , i m p l i c i t l y , q u e s t i o n s ( I ) a n d ( I I ) p o s e d a t

t h e b e g i n n i n g . T o m a k e t h i s c l e a r , w e r e f o r m u l a t e t h e t h e o r e m . T h e c o n d i -

t i o n \ = i r r a t i o n a l " i s d r o p p e d b e c a u s e i t t u r n s o u t t o b e i r r e l e v a n t f o r o u r

p u r p o s e s \ e x a c t e q u i d i s t r i b u t i o n " i s r e p l a c e d b y \ a s e q u i d i s t r i b u t e d a s p o s -

s i b l e " , i n o r d e r t o a v o i d t e c h n i c a l i t i e s s t e m m i n g f r o m t h e f o r m a t r a t h e r t h a n

t h e c o n t e n t o f f o r m u l a ( 3 . 1 ) n a l l y , a f t e r t h e s e c h a n g e s , i t i s p o s s i b l e t o r e -

l a x t h e \ u n p h y s i c a l " r e q u i r e m e n t T ! 1 . R o u g h l y s p e a k i n g w e a r r i v e a t t h e

c o n c l u s i o n : a l l r o t a t i o n s a r e e r g o d i c .

T h e n e w f o r m u l a t i o n i s :

E x t e n d e d e q u i d i s t r i b u t i o n t h e o r e m . C o n s i d e r t h e s e t X

T

=

f t ( m o d 1 ) : > 0 t = 1 2 : : : T g . F o r s u i t a b l y l a r g e T t h e s e p o i n t s

o n t h e o p e n u n i t i n t e r v a l a r e a s e q u i d i s t r i b u t e d a s p o s s i b l e .

S k e t c h o f P r o o f . F i r s t c o n s i d e r a r a t i o n a l = k = q k q c o p r i m e p o s i t i v e

i n t e g e r s , k < q . T h e d e n i t i o n o f t h e s e t X

q ; 1

s u g g e s t s e x a m i n i n g t h e m a p

( 3 : 2 ) : t 7! k t ( m o d q )

w h i c h s e n d s t h e p o s i t i v e i n t e g e r s Z

+

i n t o t h e n i t e s e t

( 3 : 3 ) Z

+

q ; 1

: = f 1 2 : : : q ; 1 g :

I t i s t r i v i a l b u t e s s e n t i a l t o n o t e t h a t

( 3 : 4 ) i s a n i s o m o r p h i s m o n Z

+

q ; 1

:

I n d e e d , k ( t

2

; t

1

) = 0 ( m o d q ) i m p l i e s q j ( t

2

; t

1

) w h i c h i s i m p o s s i b l e f o r t

1

t

2

i n Z

+

q ; 1

.

A s t i s e n u m e r a t e d 1 2 : : : q ; 1 t h e p o i n t s

u = k t ( m o d q ) t

2Z

+

q ; 1

e x h a u s t t h e s e t Z

+

q ; 1

, i n s o m e r a n d o m s e q u e n c e . A s t i s e n u m e r a t e d , t h e

c o r r e s p o n d i n g p o i n t s

( 3 : 5 )

k t ( m o d q )

q

t = 1 : : : q ; 1

a r e p l a c e d r a n d o m l y o n t h e u n i t i n t e r v a l b y ( 3 . 4 ) t h e p o i n t s ( 3 . 5 ) a r e j u s t

( 3 : 6 ) Z

+

q ; 1

= q =

l

q

l 2 Z

+

q ; 1

1 8 6


7/24

a n d s o t h e s e p o i n t s a r e u n i f o r m l y d i s t r i b u t e d o n t h e u n i t i n t e r v a l . ( T h e e n d

p o i n t s o f t h e i n t e r v a l a r e n o t c o u n t e d , i n a c c o r d a n c e w i t h t h e c o n d i t i o n > 0

s o t h e i n d i c e s t = l q = 0 ( m o d q ) a r e o m i t t e d i n t h e e n u m e r a t i o n o f p o i n t s

f o r T l a r g e , a n d t h e n u m b e r o f T o f a l l \ e v e n t s " i n t h e d e n o m i n a t o r o f ( 3 . 1 ) i s

c o r r e s p o n d i n g l y m o d i e d . )

T h i s d e s c r i p t i o n o f t h e s e t X

q ; 1

m a k e s i t c l e a r h o w \ a s e q u i d i s t r i b u t e d

a s p o s s i b l e " s h o u l d b e i n t e r p r e t e d . F o r e x a m p l e , f o r q = 2 , w e c o n s i d e r t h e

s e q u e n c e t = 1 3 5 : : : ( t h e o t h e r v a l u e s o f t y i e l d i n g 0 ( m o d 2 ) w h i c h i s

d i s r e g a r d e d ) , s o w e h a v e a s e t c o n s i s t i n g o f c o p i e s o f t h e m i d p o i n t

1

2

o f t h e

u n i t i n t e r v a l . G i v e n t h a t t h i s p o i n t i s t h e o n l y o n e a l l o w e d i n t h e i n t e r i o r o f

t h e u n i t i n t e r v a l , t h e s e t i s \ a s e q u i d i s t r i b u t e d a s p o s s i b l e " . T h e s a m e p i c t u r e

h o l d s f o r =

2

3

1

4

3

5

, e t c .

7

\ S u i t a b l y l a r g e T " m e a n s T = q 2 q : : : , a n d i t

i s u n d e r s t o o d t h a t t h e \ e v e n t s " t = q 2 q : : : a r e e x c l u d e d f r o m t h e c o u n t .

T h e c a s e o f = i r r a t i o n a l i s h a n d l e d i n t h e s a m e w a y a s i n t h e p r o o f o f

G l e i c h v e r t e i l u n g s s a t z g i v e n i n H u a 7 , T h e o r e m 1 0 . 1 1 . 1 , p . 2 6 9 ] i n t h i s c a s e

w e g e t \ e x a c t e q u i d i s t r i b u t i o n " a s i n t h e c l a s s i c a l v e r s i o n . 2

P r e c i s e l y , h o w d o e s a l l t h i s a n a l y s i s a n s w e r t h e t w o q u e s t i o n s p o s e d a t t h e

b e g i n n i n g ?

Q u e s t i o n ( I ) . R a n d o m n e s s a r i s e s f r o m t h e f a c t t h a t :

= i s o m o r p h i s m o f a n i t e s e t = p e r m u t a t i o n :

A p e r m u t a t i o n i s a n e x a m p l e o f r a n d o m n e s s a p e r m u t a t i o n i s a b a s i c r a n -

d o m i z i n g o p e r a t i o n , a s i n s h u i n g c a r d s . A s i n g l e p e r m u t a t i o n i s o f c o u r s e n o t

e x p e c t e d t o p r o d u c e \ p e r f e c t " r a n d o m n e s s , j u s t a s a s i n g l e s h u e o f c a r d s w i l l

n o t p r o d u c e a \ p e r f e c t l y " s h u e d d e c k , w h a t e v e r t h a t m e a n s . ( S e e t h e w o r k

o f D i a c o n i s 1 2 ] a n d o f h i s c o l l a b o r a t o r s . ) I n t h e R - w o r l d t h e r e s e e m s n o w a y

t o a v o i d v i e w i n g a n y p e r m u t a t i o n a s r a n d o m .

8

Q u e s t i o n ( I I ) . E q u i d i s t r i b u t i o n a r i s e s f r o m t h e f a c t t h a t t h e p e r m u t a t i o n

\ l i v e s " o n t h e l a r g e s t p o s s i b l e s e t i n t h e u n i t i n t e r v a l : Z

+

q ; 1

= q f o r r a t i o n a l

, t h e w h o l e o p e n i n t e r v a l f o r i r r a t i o n a l . T h i s s i t u a t i o n i s p e c u l i a r t o t h e

s p e c i a l d e n i t i o n o f t h e s e t X

T

i n t h e G l e i c h v e r t e i l u n g s s a t z a n d t o t h e s p e c i a l

m a p g i v e n b y ( 3 . 2 ) .

I t i s w o r t h w h i l e t o r e c a l l h e r e a r e m a r k o f T h o m 1 9 8 6 , p . 2 5 ] . C o n s i d e r

a n i r r a t i o n a l ( t r a n s c e n d e n t a l ) o f t h e L i o u v i l l e t y p e , f o r e x a m p l e ,

=

X

t > 0

1 0

; t !

:

I t i s w e l l k n o w n t h a t s u c h i r r a t i o n a l s a r e e x t r e m e l y w e l l a p p r o x i m a b l e b y r a -

t i o n a l s f o r a n y g i v e n r t h e r e i s a ( l a r g e ) q s o t h a t w e h a v e

;

k

q


8/24

b u t a s q

r

< T ! 1 , t h e n e w p o i n t s s l o w l y d r i f t a w a y a n d i n t h e l i m i t b e c o m e

e x a c t l y e q u i d i s t r i b u t e d . T h u s t h e r e i s a k i n d o f t r a n s i t i o n b e t w e e n d i e r e n t

k i n d s o f r a n d o m n e s s b u t n o t a v i o l a t i o n o f t h e c l a i m \ a s e q u i d i s t r i b u t e d a s

p o s s i b l e " . I n o t h e r w o r d s , c o n v e n t i o n a l s t a t i s t i c s ( h i s t o g r a m s ) w o u l d n o t r e v e a l

a n y u n u s u a l b e h a v i o r . A p p r o x i m a t e e q u i d i s t r i b u t i o n h o l d s f o r a l l l a r g e T b u t

t h e r e i s s o m e t h i n g h a p p e n i n g w h i c h i s n o t y e t w e l l u n d e r s t o o d .

4 . R a n d o m n e s s o f t h e d i g i t s r e p r e s e n t i n g r a t i o n a l n u m b e r s

T h e s e q u e n c e s f t ( m o d 1 ) g a n a l y z e d b y t h e G l e i c h v e r t e i l u n g s s a t z m a y b e

v i e w e d a s a \ m o d e l " o f c e r t a i n k i n d o f r a n d o m n e s s i n t h e R - w o r l d . U n -

f o r t u n a t e l y , t h e b e h a v i o r o f t h e s e s e q u e n c e s d o e s n o t s e e m t o b e r e l e v a n t t o

u n d e r s t a n d i n g t h e e x a m p l e s o f S e c t i o n 2 . P e r h a p s t h e W e y l m o d e l i s t o o s i m -

p l e .

I t i s s u r p r i s i n g t h a t a d e e p e r a n d p r o b a b l y m o r e \ n a t u r a l " s t u d y o f r a n -

d o m n e s s a n d p r o b a b i l i t y c a n b e i n i t i a t e d b y l o o k i n g a t t h e v e r y o l d , v e r y

e l e m e n t a r y , b u t n o t c o m p l e t e l y u n d e r s t o o d p r o b l e m o f t h e \ f r a c t i o n a l p a r t " o f

a r a t i o n a l n u m b e r a s d i s p l a y e d b y i t s e x p a n s i o n w i t h r e s p e c t t o a n a r b i t r a r y

b a s e b ( = i n t e g e r > 1 ) .

F o r k q p o s i t i v e i n t e g e r s w i t h ( k q ) = 1 c o n s i d e r

( 4 : 1 )

k

q

( m o d 1 ) =

X

t 1

t

b

; t

0

t

< b

= : c o n c a t e n a t e d s e q u e n c e o f b - a r y d i g i t s .

E l e m e n t a r y n u m b e r t h e o r y , o f t h e t y p e d i s c u s s e d i n s e c o n d a r y s c h o o l ( s e e

H a r d y a n d W r i g h t 6 , C h a p t e r I X ] ) , t e l l s u s t h a t , f o r e v e r y i n t e g e r b > 1 ,

T h e e x p a n s i o n d e n e s o f a u n i q u e i n n i t e s e q u e n c e o f i n t e g e r s

t

.

T h e e x p a n s i o n i s u l t i m a t e l y p e r i o d i c .

I f ( b q ) = 1 t h e e x p a n s i o n i s p e r i o d i c .

A l l t h i s i s w e l l k n o w n . W h a t i s s e l d o m o r n e v e r d i s c u s s e d i s t h e e x p l i c i t

d e t e r m i n a t i o n o f t h e p e r i o d o f t h e e x p a n s i o n a s a f u n c t i o n o f b q , a n d k .

T o d e t e r m i n e t h e p e r i o d , w e r s t n o t e t h a t

( 4 . 2 )

b

t ; 1

k ( m o d q )

q

=

X

s t

s

b

; s + ( t ; 1 )

t = 1 2 : : :

o r , a s a c o n c a t e n a t e d s e q u e n c e ,

= :

t

t + 1

: : :

i n o t h e r w o r d s m u l t i p l y i n g k = q b y b

t ; 1

( m o d 1 ) s h i f t s t h e \ b - a r y p o i n t " ( a n a l -

o g o u s t o t h e d e c i m a l p o i n t ) t o j u s t b e f o r e t h e d i g i t

t

, d i s c a r d i n g a l l d i g i t s

b e f o r e t h e b - a r y p o i n t . T h i s p i n p o i n t s t h e d i g i t

t

.

1 8 8


9/24

T h i s s u g g e s t s i n t r o d u c i n g a n e w m a p w h i c h i s t o p l a y a r o l e s i m i l a r t o

g i v e n b y ( 3 . 2 ) . D e n e b y

( 4 : 3 ) : t 7! b

t ; 1

k ( m o d q )

a m a p f r o m t h e p o s i t i v e i n t e g e r s Z

+

t o t h e s e t Z

+

q ; 1

. L e t t

2

= s b e t h e r s t

i n t e g e r t i n t h e s e q u e n c e 1 2 : : : s u c h t h a t s o m e p o i n t i n Z

+

q ; 1

i s r e a c h e d f o r

a s e c o n d t i m e , a n d l e t t

1

= r < s b e t h e r s t t i m e t h a t t h e s a m e p o i n t w a s

r e a c h e d . T h e n

b

s

; b

r

= b

r

( b

s ; r

; 1 ) = 0 ( m o d q ) :

A s s u m i n g t h a t b q a r e c o p r i m e ( d e n o t e d a s ( b q ) = 1 ) t h e r e e x i s t s a p o s i t i v e

i n t e g e r b

; 1

( m o d q ) m u l t i p l y i n g t h e p r e c e d i n g r e l a t i o n b y b

; r

g i v e s

( 4 : 4 ) b

s ; r

= 1 ( m o d q ) :

C o m p a r i n g t h i s r e s u l t w i t h t h e d e n i t i o n o f t h e \ s h i f t " m a p s h o w s t h a t t h e

l e a s t p e r i o d o f t h e e x p a n s i o n o f q i n b a s e b m a y b e d e n e d a s

( 4 : 5 )

b

( q ) = s ; r :

C l e a r l y t h i s d e n i t i o n o f

b

( q ) i s i n d e p e n d e n t o f k . T h e a b s t r a c t c o n s t r u c t i o n

u s e d i n ( 4 . 5 ) g i v e s n o i n f o r m a t i o n a b o u t

b

( q ) a s a f u n c t i o n o f q . H o w e v e r ,

e l e m e n t a r y n u m b e r t h e o r y , n a m e l y t h e \ l i t t l e F e r m a t t h e o r e m " a n d t h e E u l e r

f u n c t i o n ' ( s e e H a r d y a n d W r i g h t 6 , T h e o r e m s 7 1 , 7 2 , a n d 8 8 ] , H u a 7 ,

T h e o r e m 7 . 4 , p . 4 8 ] ) , t e l l s u s m u c h m o r e , n a m e l y

( 4 : 6 )

b

( q )

j' ( q )

f o r a l l b q w i t h ( b q ) = 1 . I f q = p r i m e = p w e h a v e i n p a r t i c u l a r , r e c a l l i n g

t h a t ' ( p ) = p ; 1 ,

( 4 : 7 )

b

( p ) j p ; 1 :

I f , a s a s p e c i a l c a s e ,

b

( p ) = p ; 1 , w e c a l l t h e p r i m e p e r g o d i c r e l a t i v e t o b

o r s i m p l y a b - e r g o d i c p r i m e .

T o s t r e s s t h e i m p o r t a n c e o f t h i s d e n i t i o n , w e r e c a l l t h a t i n e l e m e n t a r y

n u m b e r t h e o r y b i s k n o w n a s a p r i m i t i v e r o o t o f a p r i m e p i f a n d o n l y i f p ; 1

i s t h e l e a s t ( i n t e g e r ) e x p o n e n t l f o r w h i c h

( 4 : 8 ) b

l

= 1 ( m o d p ) :

B y t h e \ l i t t l e F e r m a t t h e o r e m " ( 4 . 8 ) i s t r u e w i t h e x p o n e n t l = p ; 1 f o r a l l

b < p c o n v e r s e l y , i f ( 4 . 7 ) i s t r u e f o r l < p ; 1 t h e n l = 0 ( m o d p ; 1 ) .

T h u s , a x e d p r i m e p

0

i s e r g o d i c r e l a t i v e t o a l l b w h i c h a r e p r i m i t i v e r o o t s

o f p

0

a n d , d u a l l y , f o r a x e d b

0

t h e b

0

- e r g o d i c p r i m e s a r e t h o s e p r i m e s f o r

w h i c h b

0

i s a p r i m i t i v e r o o t .

1 8 9


10/24

b

( 6 1 ) ' (

b

( 6 1 ) ) b

6 0 1 6 2 , 6 , 7 , 1 0 , 1 7 , 1 8 , 2 6 , 3 0 , 3 1 , 3 5 , 4 3 , 4 4 , 5 1 , 5 4 , 5 5 , 5 9

3 0 8 4 , 5 , 1 9 , 3 6 , 3 9 , 4 5 , 4 6 , 4 9

2 0 8 8 , 2 3 , 2 4 , 2 8 , 3 3 , 3 7 , 3 8 , 5 3

1 5 8 1 2 , 1 5 , 1 6 , 2 2 , 2 5 , 4 2 , 5 6 , 5 7

1 2 4 2 1 , 2 9 , 3 2 , 4 0

1 0 4 3 , 2 7 , 4 1 , 5 2

6 2 1 4 , 4 8

5 4 9 , 2 0 , 3 4 , 5 8

4 2 1 1 , 5 0

3 2 1 3 , 4 7

2 1 6 0

1 1 1

b

( 6 1 ) ' (

b

( 6 1 ) ) b

6 0 1 6 2 , 6 , 7 , 1 0 , 1 7 , 1 8 , 2 6 , 3 0 , 3 1 , 3 5 , 4 3 , 4 4 , 5 1 , 5 4 , 5 5 , 5 9

3 0 8 4 , 5 , 1 9 , 3 6 , 3 9 , 4 5 , 4 6 , 4 9

2 0 8 8 , 2 3 , 2 4 , 2 8 , 3 3 , 3 7 , 3 8 , 5 3

1 5 8 1 2 , 1 5 , 1 6 , 2 2 , 2 5 , 4 2 , 5 6 , 5 7

1 2 4 2 1 , 2 9 , 3 2 , 4 0

1 0 4 3 , 2 7 , 4 1 , 5 2

6 2 1 4 , 4 8

5 4 9 , 2 0 , 3 4 , 5 8

4 2 1 1 , 5 0

3 2 1 3 , 4 7

2 1 6 0

1 1 1

T a b l e 1 . P r i m i t i v e r o o t s o f p = 6 1 r e l a t i v e t o p e r i o d s

b

( 6 1 ) j 6 0 .

E v e r y o d d p r i m e h a s p r i m i t i v e r o o t s a s t a n d a r d t h e o r e m ( H u a 7 , T h e o r e m

7 . 5 , p . 4 8 ] a n d H a r d y a n d W r i g h t 6 , T h e o r e m 1 1 0 ] ) a s s u r e s t h a t p h a s

' ( p ; 1 ) p r i m i t i v e r o o t s l e s s t h a n p . M o r e o v e r , f o r a n y l j p ; 1 t h e r e w i l l b e

e x a c t l y ' ( l ) n u m b e r s i n Z

+

p ; 1

w h i c h s a t i s f y ( 4 . 7 ) w i t h m i n i m u m e x p o n e n t l .

T a b l e 1 s h o w s t h e p r i m i t i v e r o o t s o f p = 6 1 r e l a t i v e t o a l l d i v i s o r s o f p ; 1 =

6 0 . A s i d e f r o m t h e t r i v i a l f a c t t h a t

p ; 1

( p ) = 2 f o r a l l p r i m e s p , t h e e n t r i e s f o r

b i n T a b l e 1 a r e c l e a r l y r a n d o m ( t h e r e i s n o o b v i o u s p a t t e r n ) .

I t i s n o t k n o w n i f t h e r e a r e i n n i t e l y m a n y b - e r g o d i c p r i m e s f o r a n y g i v e n

i n t e g e r b > 1 .

O u r i n t e r e s t i n e r g o d i c p r i m e s i s s o l e l y d u e t o t h e f o l l o w i n g e a s y o b s e r v a t i o n :

( 4 : 9 )

I n d e p e n d e n t l y o f k < q t h e m a p g i v e n b y ( 4 . 3 ) i s a n

i s o m o r p h i s m o n Z

+

p ; 1

i f a n d o n l y i f q = p i s a p r i m e

w h i c h i s e r g o d i c r e l a t i v e t o t h e b a s e b .

1 9 0


11/24

F r o m t h i s w e g e t e q u a l l y e a s i l y :

E q u i d i s t r i b u t i o n o f d i g i t s e q u e n c e s . F o r a n y p r i m e p a n d a n y

0 < k < p t h e s e q u e n c e o f d i g i t s g i v e n b y t h e b - a r y e x p a n s i o n o f

k = p = :

1

2

: : : i n d u c e a n i t e p o i n t s e t X

T

( k p ) = f x

t

= :

t

t + 1

: : : : t =

1 2 : : : T g .

C l a i m : X

T

( k p ) i s a s e q u i d i s t r i b u t e d a s p o s s i b l e f o r l a r g e T i f a n d o n l y

i f p = b - e r g o d i c p r i m e a n d , i f s o , X

l ( p ; 1 )

( k p ) i s i n d e p e n d e n t o f k ( f o r a n y

p o s i t i v e i n t e g e r l ) a n d i s o m o r p h i c w i t h Z

+

p ; 1

= p .

T h e s t a t i s t i c s o f t h e p e r i o d i c s e q u e n c e k = p = :

1

2

: : : a r e a l s o i n d e p e n d e n t

o f k . T o s e e t h i s , d e n e t ( k ) b y ( t ) = b

t ; 1

k = 1 ( m o d p ) 0 < t < p . T h e n

1 = p = :

t

t + 1

: : : , t h a t i s , t h e d e c i m a l p o i n t f o r t h e s e q u e n c e k = p i s s h i f t e d

t ; 1 s t e p s t o t h e r i g h t . S i n c e t h e s e q u e n c e s a r e p e r i o d i c i n d e p e n d e n t l y o f k ,

t h e d i g i t s o f k = p a r e s i m p l y s h i f t e d d i g i t s o f 1 = p a n d c o n v e r s e l y . N o t e a l s o t h a t

t ( k ) i s a r a n d o m m a p k 7! t .

\ A s e q u i d i s t r i b u t e d a s p o s s i b l e " i m p l i e s t h a t e a c h o f t h e b p o s s i b l e v a l u e s

h = 0 : : : b ; 1 o f t h e d i g i t s

t

o c c u r a s e q u a l l y o f t e n a s p o s s i b l e . T o s e e t h i s ,

s i m p l y p a r t i t i o n t h e u n i t i n t e r v a l i n t o t h e s e g m e n t s J

h

= h b

; 1

( h + 1 ) b

; 1

) ,

h = 0 1 : : : b

;1 . T h e n

t

= h i x

t

2J

h

. B y e q u i d i s t r i b u t i o n , t h e n u m b e r

o f p o i n t s x

t

i n e a c h J

h

m u s t b e a s e q u a l a s i s p o s s i b l e , g i v e n t h e \ g r a n u l a r i t y " o f

t h e r a t i o s k = p . T o l o o k f o r a d j a c e n t p a i r s o f d i g i t s , l e t J

h

= h b

; 2

( h + 1 ) b

; 2

) ,

a n d s o f o r t h .

F o r e x a m p l e , p = 9 9 3 1 i s e r g o d i c w i t h r e s p e c t t o 1 0 . T h e r e f o r e t h e s e q u e n c e

o f d i g i t s w i l l h a v e a p e r i o d 9 9 3 0 f o r a l l k = p s i n c e 9 9 3 0 i s d i v i s i b l e b y 1 0 , t h e r e

w i l l b e e x a c t l y 9 9 3 d e c i m a l d i g i t s o f e a c h t y p e 0 : : : 9 w i t h i n a p e r i o d . O n t h e

o t h e r h a n d , f o r a d j a c e n t d i g i t - p a i r s t h e a v e r a g e n u m b e r 9 9 . 3 i s n o t a n i n t e g e r

a m o n g t h e 1 0 0 p o s s i b l e p a i r s 0 0 , 0 1 , : : : 9 9 s o m e w i l l o c c u r 9 9 t i m e s a n d o t h e r s

w i l l o c c u r 1 0 0 t i m e s . T h e f o r m e r c a s e c o v e r s 7 0 p a i r s , t h e o t h e r 3 0 p a i r s , s o

a s t o p r o d u c e t h e e x a c t a v e r a g e 9 9 : 3 . M o r e o v e r , i n t h e s e q u e n c e o f d i g i t - p a i r s

0 0 0 1 : : : 9 9 t h o s e t h i r t y p a i r s o c c u r r i n g 1 0 0 t i m e s w i l l b e d i s t r i b u t e d \ a s

u n i f o r m l y a s p o s s i b l e " a m o n g t h o s e s e v e n t y p a i r s o c c u r r i n g 9 9 t i m e s . ( T h e

r e a d e r s h o u l d c h e c k t h i s o u t f o r h i m s e l f . )

T o i l l u s t r a t e t h e p r a c t i c a l i m p l i c a t i o n s o f t h e e q u i d i s t r i b u t i o n t h e o r e m , w e

u s e t h e p r i m e p = 6 1 . W e h a v e a l r e a d y i n v e s t i g a t e d t h e e r g o d i c i t y o f t h i s p r i m e

w i t h r e s p e c t t o t h e b a s e b < p . ( S e e T a b l e 1 . ) T a b l e 2 s h o w s s i x t y d i g i t s o f

t h e e x p a n s i o n o f 1 = 6 1 t o v a r i o u s b a s e s . E a c h l i n e i s a p e r i o d , b u t i t i s n o t a

m i n i m a l p e r i o d e x c e p t i n t h e e r g o d i c c a s e s b = 2 6 7 1 0 a n d 3 0 .

I n t h e e r g o d i c c a s e s b = 2 6 1 0 3 0 w e s e e f r o m T a b l e 2 t h a t e a c h s i n g l e

d i g i t 0 1 : : : b ; 1 o c c u r s e x a c t l y t h e s a m e n u m b e r o f t i m e s , t h a t i s , w e h a v e

e x a c t e q u i d i s t r i b u t i o n o f s i n g l e d i g i t s . T h i s f o l l o w s f r o m t h e e q u i d i s t r i b u t i o n

t h e o r e m a n d t h e ( a c c i d e n t a l ) f a c t t h a t b j p ; 1 f o r t h e c a s e s c h o s e n . F o r b = 7 ,

a n o t h e r e r g o d i c c a s e , t h e d i g i t s 0 1 : : : 6 o c c u r e i t h e r 8 o r 9 t i m e s ( s e e T a b l e

2 ) n a m e l y 0 3 6 o c c u r e i g h t t i m e s , a n d 1 2 4 5 o c c u r n i n e t i m e s a l l t h i s

f o l l o w s r i g o r o u s l y f r o m \ a s e q u i d i s t r i b u t e d a s p o s s i b l e " .

I f 6 1 i s n o t e r g o d i c r e l a t i v e t o t h e g i v e n b a s e , t h e r e i s n o e q u i d i s t r i b u t i o n

1 9 1


12/24

E x p a n s i o n o f

1

6 1

t o d i e r e n t b a s e s b

b 1 1 1 2 1 3 1 4 1 5 1

2 6 0 0 0 0 0 0 1 0 0 0 0 1 1 0 0 1 0 0 1 0 1 1 1 0 0 0 1 0 1 0 0 1 1 1 1 1 0 1 1 1 1 0 0 1 1 0 1 1 0 1 0 0 0 1 1 1 0 1 0 1 1

3 1 0 0 0 0 1 0 2 2 2 1 2 0 0 0 1 0 2 2 2 1 2 0 0 0 1 0 2 2 2 1 2 0 0 0 1 0 2 2 2 1 2 0 0 0 1 0 2 2 2 1 2 0 0 0 1 0 2 2 2 1 2

5 3 0 0 0 2 0 1 1 0 3 3 2 1 0 1 3 0 4 4 2 4 3 3 4 1 1 2 3 4 3 1 4 0 0 2 0 1 1 0 3 3 2 1 0 1 3 0 4 4 2 4 3 3 4 1 1 2 3 4 3 1 4

6 6 0 0 0 3 3 1 2 5 0 4 0 4 4 1 5 4 4 5 3 0 1 4 3 4 2 3 2 0 2 2 0 5 5 2 2 4 3 0 5 1 5 1 1 4 0 1 1 0 2 5 4 1 2 1 3 2 3 5 3 3 5

7 6 0 0 0 5 4 2 3 4 4 6 3 5 3 3 6 2 1 1 5 5 6 5 2 5 1 6 4 4 0 6 2 6 6 1 2 4 3 2 2 0 3 1 3 3 0 4 5 5 1 1 0 1 4 1 5 0 2 2 6 0 4

8 2 0 0 1 0 3 1 1 3 4 2 4 7 6 7 4 6 6 4 3 5 3 0 1 0 3 1 1 3 4 2 4 7 6 7 4 6 6 4 3 5 3 0 1 0 3 1 1 3 4 2 4 7 6 7 4 6 6 4 3 5 3

9 5 0 1 2 8 5 0 1 2 8 5 0 1 2 8 5 0 1 2 8 5 0 1 2 8 5 0 1 2 8 5 0 1 2 8 5 0 1 2 8 5 0 1 2 8 5 0 1 2 8 5 0 1 2 8 5 0 1 2 8 5

1 0 6 0 0 1 6 3 9 3 4 4 2 6 2 2 9 5 0 8 1 9 6 7 2 1 3 1 1 4 7 5 4 0 9 8 3 6 0 6 5 5 7 3 7 7 0 4 9 1 8 0 3 2 7 8 6 8 8 5 2 4 5 9

1 1 4 0 1 a 9 0 1 a 9 0 1 a 9 0 1 a 9 0 1 a 9 0 1 a 9 0 1 a 9 0 1 a 9 0 1 a 9 0 1 a 9 0 1 a 9 0 1 a 9 0 1 a 9 0 1 a 9 0 1 a 9

1 3 3 0 2 a 0 2 a 0 2 a 0 2 a 0 2 a 0 2 a 0 2 a 0 2 a 0 2 a 0 2 a 0 2 a 0 2 a 0 2 a 0 2 a 0 2 a 0 2 a 0 2 a 0 2 a 0 2 a 0 2 a

1 4 6 0 3 2 d a b 0 3 2 d a b 0 3 2 d a b 0 3 2 d a b 0 3 2 d a b 0 3 2 d a b 0 3 2 d a b 0 3 2 d a b 0 3 2 d a b 0 3 2 d a b

1 5 1 5 0 3 a 4 d b 8 5 6 2 3 2 e 3 e 0 3 a 4 d b 8 5 6 2 3 2 e 3 e 0 3 a 4 d b 8 5 6 2 3 2 e 3 e 0 3 a 4 d b 8 5 6 2 3 2 e 3 e

1 6 1 5 0 4 3 2 5 c 5 3 e f 3 6 8 e b 0 4 3 2 5 c 5 3 e f 3 6 8 e b 0 4 3 2 5 c 5 3 e f 3 6 8 e b 0 4 3 2 5 c 5 3 e f 3 6 8 e b

2 1 1 2 0 7 4 h 4 9 k d g 3 g b 0 7 4 h 4 9 k d g 3 g b 0 7 4 h 4 9 k d g 3 g b 0 7 4 h 4 9 k d g 3 g b 0 7 4 h 4 9 k d g 3 g b

3 0 6 0 0 e m i k j k 4 r g 6 q g l j 5 c 8 p h 6 b o 2 s f m 3 s 0 t f 7 b 9 a 9 p 2 d n 3 d 8 a o h l 4 c n i 5 r 1 e 7 q 1 t

E x p a n s i o n o f

1

3 1

t o b a s e 3

b 1 1 1 2 1 3 1 4 1 5 1

3 3 0 0 0 0 2 1 2 1 1 1 2 2 1 0 2 0 2 2 2 0 1 0 1 1 1 0 0 1 2 0 2 0 0 0 2 1 2 1 1 1 2 2 1 0 2 0 2 2 2 0 1 0 1 1 1 0 0 1 2 0 2

T a b l e 2 . B e h a v i o r o f t h e e x p a n s i o n o f t h e p r i m e 6 1 r e l a t i v e t o d i e r e n t

b a s e s , c o m p a r e d w i t h p r i m e 3 1 e r g o d i c t o b a s e 3 .

a n d t h e d i s t r i b u t i o n d e p e n d s o n k . F o r e x a m p l e , f o r b = 1 5 t h e p e r i o d i s 1 5

a n d t h e r e f o r e i n c a s e o f e q u i d i s t r i b u t i o n e a c h d i g i t s h o u l d o c c u r j u s t o n c e , b u t

t h i s i s f a r f r o m t r u e . F o r b = 5 t h e p e r i o d i s 3 0 s o t h a t e a c h d i g i t s h o u l d o c c u r

e x a c t l y 6 t i m e s h o w e v e r , t h e d i g i t s t a t i s t i c s a r e

d i g i t 0 1 2 3 4

o c c u r r e n c e s 6 7 4 7 6

w h i c h i s c e r t a i n l y n o t e q u i d i s t r i b u t i o n . ( T h e \ d i p " i n t h e m i d d l e a t t h e d i g i t

2 i s o f t e n o b s e r v e d , s e e a l s o n e x t s e c t i o n . T h e s y m m e t r y o f t h e d i s t r i b u t i o n

f o l l o w s f r o m t h e t h e o r y o f k = p , p = e r g o d i c , b u t w i l l n o t b e d i s c u s s e d h e r e . )

1 9 2


13/24

T h e b i n a r y s e q u e n c e e x h i b i t e d i n S e c t i o n 2 i s t h e s h i f t e d b i n a r y e x p a n s i o n o f

1 = 6 1 i n T a b l e 2 , i n f a c t , i t i s t h e b i n a r y e x p a n s i o n o f 2

3 4

= 6 1 ( m o d 1 ) = 2 9 = 6 1 .

I r r e s p e c t i v e o f w h e t h e r 6 1 i s e r g o d i c o r n o t , a l l s e q u e n c e s i n T a b l e 2 e x -

h i b i t c e r t a i n i n t u i t i v e l y a c c e p t a b l e f e a t u r e s o f r a n d o m n e s s o f c o u r s e , t h e y a l s o

c o n f o r m w i t h o u r d e n i t i o n o f r a n d o m n e s s .

T h i s n e w c l a s s o f r a n d o m s e q u e n c e s o f d i g i t s h a s o n e i m m e d i a t e p r a c t i c a l

a p p l i c a t i o n : i t e n a b l e s p r e c i s e s t a t e m e n t s t o b e m a d e i n a d e b a t e w i t h t h e

\ f a n a t i c a l s c h o o l " o f p r o b a b i l i t y t h e o r y .

T h e s i m p l e s t p r o b l e m o f t h i s s o r t c o n c e r n s t h e e x i s t e n c e o f i . i . d . s e q u e n c e s

i n t h e R - w o r l d . A l t h o u g h p e r h a p s n o t a r a n d o m e x a m p l e ( I l e a r n e d p r o b a b i l i t y

f r o m h i s b o o k ) , t h e v i e w s e x p r e s s e d b y F e l l e r 5 , p . 1 0 5 ] s e e m t y p i c a l o f t h e

p r e j u d i c e s p r e v a i l i n g i n t h e 1 9 5 0 ' s :

\ T h e B e r n o u l l i s c h e m e o f t r i a l s i s a t h e o r e t i c a l m o d e l a n d o n l y e x p e r i e n c e

c a n s h o w w h e t h e r i t i s s u i t a b l e f o r t h e d e s c r i p t i o n o f s p e c i e d p h y s i c a l

e x p e r i m e n t s . O u r k n o w l e d g e t h a t s u c c e s s i v e t o s s i n g s o f a c o i n c o n f o r m t o

t h e B e r n o u l l i s c h e m e i s d e r i v e d f r o m e x p e r i m e n t a l e v i d e n c e

9

T h e m a n i n

t h e s t r e e t : : : b e l i e v e s t h a t a f t e r a r u n o f s e v e n t e e n h e a d s t a i l b e c o m e s m o r e

p r o b a b l e . T h i s a r g u m e n t h a s n o t h i n g t o d o w i t h i m p e r f e c t i o n s o f p h y s i c a l

c o i n s i t e n d o w s n a t u r e w i t h m e m o r y , o r , i n o u r t e r m i n o l o g y , i t d e n i e s t h e

s t a t i s t i c a l i n d e p e n d e n c e o f s u c c e s s i v e t r i a l s : : : t h i s ] c a n n o t b e r e f u t e d b y

l o g i c b u t h a s b e e n r e j e c t e d b e c a u s e o f l a c k o f e m p i r i c a l s u p p o r t . " M y

i t a l i c s . ]

I t i s a m a z i n g t h a t F e l l e r , a s u b t l e t h i n k e r ( a n d s u p e r b m a t h e m a t i c i a n ) , s h o u l d

a l l o w s u c h c o n f u s i o n t o a r i s e i n h i s o w n m i n d o v e r t h e r e l a t i o n s h i p b e t w e e n t h e

A- w o r l d a n d t h e

R- w o r l d . I n d e p e n d e n c e i s c e r t a i n l y w e l l d e n e d ( v i a p r o b a -

b i l i t i e s ) i n t h e A - w o r l d , b u t i t i s i n a c c e s s i b l e t o r i g o r o u s e x p e r i m e n t a l s t u d y i n

t h e

R- w o r l d . O u r e x a m p l e s g i v e , h o w e v e r , p l e n t y o f \ e m p i r i c a l s u p p o r t " t o t h e

c o n t e n t i o n t h a t s e v e n t e e n 1 ' s ( i . e . , h e a d s ) m a y n o t i n s o m e ( a n d m a y i n s o m e

o t h e r ) c i r c u m s t a n c e s b e f o l l o w e d b y a n o t h e r 1 w i t h t h e p r e s c r i b e d p r o b a b i l i t y

o f

1

2

.

T o b e s p e c i c : f o r a 2 - e r g o d i c p r i m e p t h e r e a r e f o u r p o s s i b i l i t i e s f o r t h e

b i n a r y e x p a n s i o n o f 1 = p ( h e n c e a n y k = p ) :

( 1 ) I f p

2

1 8

t h e r e w i l l b e n o s e q u e n c e o f n i n e t e e n 1 ' s , o n e s e q u e n c e o f e i g h t e e n

1 ' s a n d t w o s e q u e n c e s o f s e v e n t e e n 1 ' s ( w h i c h a r e , b o t h , s u b s e q u e n c e s o f

t h e s i n g l e s e q u e n c e w i t h e i g h t e e n 1 ' s ) b u t n o n e w i t h n i n e t e e n 1 ' s . F o r s h o r t

s e q u e n c e s o f 1 ' s t h e c o n d i t i o n a l f r e q u e n c y o f t h e n e x t d i g i t b e i n g e i t h e r 0 o r

1 w i l l b e v e r y n e a r l y

1

2

. F o r t h e s e q u e n c e ( 0 ) ( s e v e n t e e n 1 ' s ) t h e c o n d i t i o n a l

1 9 3


14/24

f r e q u e n c y o f t h e n e x t d i g i t b e i n g e i t h e r 0 o r 1 w i l l b e e x a c t l y 0 a n d 1

( t h e n e x t d i g i t m u s t b e 1 t o g i v e a s e q u e n c e o f e i g h t e e n 1 ' s ) a n d f o r t h e

s e q u e n c e ( 1 ) ( s e v e n t e e n 1 ' s ) t h e s a m e f r e q u e n c y w i l l b e e x a c t l y 1 a n d 0 ( t h e

n e x t d i g i t m u s t b e 0 s i n c e t h e r e i s n o s e q u e n c e o f n i n e t e e n o n e s ) . T h u s t h e

c o n d i t i o n a l f r e q u e n c y o f e i t h e r 0 o r 1 f o l l o w i n g s e v e n t e e n 1 ' s w i l l b e e x a c t l y

1

2

.

( 4 ) i f p 2

1 7

t h e n t h e r e w i l l b e m a n y s e q u e n c e s o f s e v e n t e e n 1 ' s , h a l f a s m a n y

s e q u e n c e s o f e i g h t e e n 1 ' s , o n e q u a r t e r a s m a n y s e q u e n c e s o f n i n e t e e n 1 ' s ,

a n d s o o n : : : h e n c e t h e c o n d i t i o n a l p r o b a b i l i t y o f e i t h e r 0 o r 1 f o l l o w i n g

s e v e n t e e n 1 ' s i s v e r y c l o s e t o

1

2

.

W h e n F e l l e r a r r o g a n t l y a c c u s e d t h e m a n i n t h e s t r e e t o f \ e n d o w i n g N a t u r e

w i t h m e m o r y "

1

0 , h e w a s p r o b a b l y n o t a w a r e o f h o w t h e s i z e o f a n e r g o d i c

p r i m e ( o r m o r e g e n e r a l l y , t h e s i z e o f

2

( q ) , s e e b e l o w ) a e c t s t h e \ d e g r e e o f

i n d e p e n d e n c e " , t h a t i s , w h y \ i n d e p e n d e n c e " m a y c o n t i n u e t o h o l d o r t o f a i l

a f t e r s e v e n t e e n s u c c e s s i v e 1 ' s .

T h i s d i s c u s s i o n s h o u l d n o t c r e a t e t h e i m p r e s s i o n t h a t t h e b e h a v i o r o f d i g i t s

o f k = q i s e r g o d i c ( w i t h c o n t r o l l e d p r o p e r t i e s ) o n l y f o r q = e r g o d i c p r i m e . I t

a p p e a r s , b u t i t i s n o t y e t a t h e o r e m , t h a t ( q = v e r y l a r g e ) a l m o s t a l w a y s i m p l i e s

(

b

( q ) = v e r y l a r g e ) a n d h e n c e t h e p r o p e r t y \ v e r y n e a r l y e r g o d i c " o f t h e d i g i t

s e q u e n c e .

T o m a k e t h e s e v a g u e r e m a r k s i n o e n s i v e , w e n o t e a n i n t e r e s t i n g s p e c i a l

c a s e

1

1

( 4 : 1 0 )

1 0

( 3

r

) = 3

r ; 2

r > 2 :

C h e c k i n g t h e d e c i m a l - d i g i t b e h a v i o r o f t h e f r a c t i o n k = 2 7 , k 6= 0 ( m o d 3 ) b y a

h a n d c a l c u l a t o r s h o w s r a t h e r e r r a t i c b e h a v i o r , c e r t a i n l y n o t e r g o d i c a n d v e r y

m u c h d e p e n d e n t o n k ( t h e r e a r e o n l y 3 d i g i t s ! ) . H o w e v e r , t h e s i t u a t i o n i s

e n t i r e l y d i e r e n t f o r l a r g e r :

( 4 : 1 1 )

T h e d e c i m a l d i g i t s e q u e n c e o f t h e e x p a n s i o n o f k = 3

r

k 6= 0

( m o d 3 ) , i s v e r y n e a r l y \ a s e q u i d i s t r i b u t e d a s p o s s i b l e "

f o r l a r g e r g i v e n b y ( 4 : 3 ) i s a n i s o m o r p h i s m

Z

+

3

r ; 2

7! f k ( m o d 9 ) + 9 Z

+

3

r ; 2

g a n d t h u s n o t i n d e p e n d e n t o f k .

A l r e a d y f o r r = 4 , t h i s t h e o r e m p r e d i c t s t h a t t h e p e r i o d o f n i n e w i l l c o n t a i n

e v e r y d i g i t e x c e p t o n e ( d e p e n d e n t o n k ) .

1

2 F o r r = 9 , 3

9

= 1 9 6 8 3 a n d

1 0

( 3

9

) =

2 1 8 7 . H e r e t h e s e t s Z

+

2 1 8 7

a n d f

k ( m o d 9 )

9

+ Z

+

2 1 8 7

g a r e \ a l m o s t " t h e s a m e f o r

a l l k . T h e d i g i t s a r e s h o w n i n T a b l e 3 . B y d i s p l a y i n g t h e d i g i t s i n g r o u p s o f

v e T a b l e 3 g i v e s t h e a p p e a r a n c e o f a p i e c e o f a t a b l e o f 1 0

5

r a n d o m n u m b e r s

( i . e . , a r a n d o m s a m p l e o f 4 3 7 f r o m t h e s e t 0 < n


15/24

D e c i m a l E x p a n s i o n o f

1

1 9 6 8 3

1 6 1 1 1 6 2 1 2 6 3 1 3 6 4 1 4 6

1 0 0 0 0 5 0 8 0 5 2 6 3 4 2 5 2 9 0 8 6 0 1 3 3 1 0 9 7 9 0 1 7 4 2 6 2 0 5 3 5 4 8 7 4 7 6 5 0 2 5

5 1 6 5 6 6 5 8 0 2 9 7 7 1 8 8 4 3 6 7 2 2 0 4 4 4 0 3 8 0 0 2 3 3 7 0 4 2 1 1 7 5 6 3 3 7 9 5 6 6 1 2

1 0 1 3 0 5 0 3 4 8 0 1 6 0 5 4 4 6 3 2 4 2 3 9 1 9 1 1 8 0 2 0 6 2 6 9 3 6 9 5 0 6 6 8 0 8 9 2 1 4 0 4 2

1 5 1 5 7 4 8 1 0 7 5 0 3 9 3 7 4 0 7 9 1 5 4 6 0 0 4 1 6 6 0 3 1 6 0 0 8 7 3 8 5 0 5 3 0 9 1 5 0 0 2 7 9

2 0 1 4 2 8 9 4 8 8 3 9 0 9 9 7 3 0 7 3 2 1 0 3 8 4 5 9 5 8 4 4 1 2 9 4 5 1 8 1 1 2 0 7 6 4 1 1 1 1 6 1 9

2 5 1 1 6 3 7 4 5 3 6 4 0 1 9 7 1 2 4 4 2 2 0 9 0 1 2 8 5 3 7 3 1 6 4 6 5 9 8 5 8 7 6 1 3 6 7 6 7 7 6 9 1

3 0 1 4 0 8 8 2 9 9 5 4 7 8 3 3 1 5 5 5 1 4 9 1 1 3 4 4 8 1 5 3 2 2 8 6 7 4 4 9 0 6 7 7 2 3 4 1 6 1 4 5 9

3 5 1 1 2 7 1 6 5 5 7 4 3 5 3 5 0 3 0 2 2 9 1 3 1 7 3 8 0 4 8 0 6 1 7 7 9 2 0 0 3 2 5 1 5 3 6 8 5 9 2 1 8

4 0 1 6 1 5 0 4 8 5 1 9 0 2 6 5 7 1 1 5 2 7 7 1 4 2 7 1 1 9 8 4 9 6 1 6 4 2 0 2 6 1 1 3 9 0 5 4 0 0 5 9 9

4 5 1 5 0 2 1 0 8 4 1 8 4 3 2 1 4 9 5 7 0 6 9 5 5 2 4 0 5 6 2 9 2 2 3 1 8 7 5 2 2 2 2 7 3 0 2 7 4 8 5 6 4

5 0 1 7 5 1 3 0 8 2 3 5 5 3 3 2 0 1 2 3 9 6 4 8 4 2 7 5 7 7 0 9 6 9 8 7 2 4 7 8 7 8 8 8 0 2 5 1 9 9 4 1 0

5 5 1 6 5 8 9 4 4 2 6 6 6 2 6 0 2 2 4 5 5 9 2 6 4 3 3 9 7 8 5 6 0 1 7 8 8 3 4 5 2 7 2 5 7 0 2 3 8 2 7 6 6

6 0 1 8 5 4 6 4 6 1 4 1 3 4 0 2 4 2 8 4 9 1 5 9 1 7 2 8 9 0 3 1 1 4 3 6 2 6 4 7 9 7 0 3 2 9 7 2 6 1 5 9 6

6 5 1 3 0 1 3 7 6 8 2 2 6 3 8 8 2 5 3 8 2 3 0 9 6 0 7 2 7 5 3 1 3 7 2 2 5 0 1 6 5 1 1 7 1 0 6 1 3 2 1 9 5

7 0 1 2 9 5 4 3 2 6 0 6 8 1 8 0 6 6 3 5 1 6 7 4 0 3 3 4 2 9 8 6 3 3 3 3 8 4 1 3 8 5 9 6 7 5 8 6 2 4 1 9 3

7 5 1 4 6 6 4 4 3 1 2 3 5 0 7 5 9 5 3 8 6 8 8 2 0 8 0 9 8 3 5 8 9 8 9 9 9 1 3 6 3 1 0 5 2 1 7 7 0 0 5 5 3

8 0 1 7 7 7 3 7 1 3 3 5 6 7 0 3 7 5 4 5 0 8 9 6 7 1 2 8 9 9 4 5 6 3 8 3 6 8 1 3 4 9 3 8 7 7 9 6 5 7 5 7 2

8 5 1 5 2 4 5 1 3 5 3 9 6 0 2 7 0 2 8 4 0 0 1 4 2 2 5 4 7 3 7 5 9 0 8 1 4 4 0 8 3 7 2 7 0 7 4 1 2 4 8 7 9

9 0 1 3 3 7 4 9 9 3 6 4 9 3 4 2 0 7 1 8 3 8 6 4 2 4 8 3 3 6 1 2 7 6 2 2 8 2 1 7 2 4 3 3 0 6 4 0 6 5 4 3 7

9 5 1 1 7 9 2 9 1 7 7 4 6 2 7 8 5 1 4 4 5 4 0 9 7 4 4 4 4 9 5 2 4 9 7 0 7 8 6 9 7 3 5 3 0 4 5 7 7 5 5 4 2

1 0 0 1 3 4 6 1 8 7 0 6 4 9 7 9 9 3 1 9 2 0 9 4 7 0 1 0 1 1 0 2 4 7 4 2 1 6 3 2 8 8 1 1 6 6 4 8 8 8 4 8 2 4

1 0 5 1 4 6 7 8 1 4 8 6 5 6 2 0 0 7 8 2 4 0 1 0 5 6 7 4 9 4 7 9 2 4 6 0 4 9 8 9 0 7 6 8 6 8 3 6 3 5 6 2 4 6

1 1 0 1 5 0 7 1 3 8 1 3 9 5 1 1 2 5 3 3 6 5 8 4 8 7 0 1 9 2 5 5 1 9 4 8 3 8 1 8 5 2 3 5 9 9 0 4 4 8 6 1 0 4

1 1 5 1 7 6 0 4 5 3 1 8 2 9 4 9 7 5 3 5 9 4 4 7 2 3 8 7 3 3 9 3 2 8 3 5 4 4 1 7 5 1 7 6 5 4 8 2 9 0 4 0 2 8

1 2 0 1 8 5 7 3 8 9 6 2 5 5 6 5 2 0 8 5 5 5 6 0 6 3 6 0 8 1 8 9 8 0 8 4 6 4 1 5 6 8 8 6 6 5 3 4 5 7 2 9 8 1

1 2 5 1 7 6 0 9 1 0 4 3 0 3 2 0 5 8 1 2 1 2 2 1 3 5 8 5 3 2 7 4 3 9 9 2 2 7 7 5 9 9 9 5 9 3 5 5 7 8 9 2 5 9

1 3 0 1 7 6 7 3 1 1 8 9 3 5 1 2 1 6 7 8 6 0 5 9 0 3 5 7 1 6 1 0 0 1 8 7 9 7 9 4 7 4 6 7 3 5 7 6 1 8 2 4 9 2

1 3 5 1 5 0 6 2 2 3 6 4 4 7 6 9 5 9 8 1 3 0 3 6 6 3 0 5 9 4 9 2 9 6 3 4 7 1 0 1 5 5 9 7 2 1 5 8 7 1 5 6 4 2

1 4 0 1 9 4 0 6 0 8 6 4 7 0 5 5 8 3 4 9 8 4 5 0 4 3 9 4 6 5 5 2 8 6 2 8 7 6 5 9 4 0 1 5 1 3 9 9 6 8 5 0 0 7

1 4 5 1 3 6 6 7 6 3 1 9 6 6 6 7 1 7 4 7 1 9 3 0 0 9 1 9 5 7 5 2 6 7 9 9 7 7 6 4 5 6 8 4 0 9 2 8 7 2 0 2 1 5

1 5 0 1 4 1 4 3 1 6 9 2 3 2 3 3 2 4 6 9 6 4 3 8 5 5 1 0 3 3 8 8 7 1 1 0 7 0 4 6 6 9 0 0 3 7 0 8 7 8 4 2 3 0

1 5 5 1 0 4 6 2 3 2 7 8 9 7 1 7 0 1 4 6 8 2 7 2 1 1 2 9 9 0 9 0 5 8 5 7 8 4 6 8 7 2 9 3 6 0 3 6 1 7 3 3 4 7

1 6 0 1 5 5 8 8 0 7 0 9 2 4 1 4 7 7 4 1 7 0 6 0 4 0 7 4 5 8 2 1 2 6 7 0 8 3 2 6 9 8 2 6 7 5 4 0 5 1 7 1 9 7

1 6 5 1 5 8 1 6 6 9 4 6 0 9 5 6 1 5 5 0 5 7 6 6 3 9 7 3 9 8 7 7 0 5 1 2 6 2 5 1 0 7 9 6 1 1 8 4 7 7 8 7 4 3

1 7 0 1 0 7 7 7 8 2 8 5 8 3 0 4 1 2 0 3 0 6 8 6 3 7 9 1 0 8 8 7 5 6 7 9 5 2 0 3 9 8 3 1 3 2 6 5 2 5 4 2 8 0

1 7 5 1 3 4 3 4 4 3 5 8 0 7 5 4 9 6 6 2 1 4 4 9 9 8 2 2 1 8 1 5 7 8 0 1 1 4 8 1 9 8 9 5 3 4 1 1 5 7 3 4 3 9

1 8 0 1 0 0 8 2 8 1 2 5 7 9 3 8 3 2 2 4 1 0 2 0 1 6 9 6 8 9 5 7 9 8 4 0 4 7 1 4 7 2 8 4 4 5 8 6 6 9 9 1 8 2

1 8 5 1 0 3 5 2 5 8 8 5 2 8 1 7 1 5 1 8 5 6 9 3 2 3 7 8 1 9 4 3 8 0 9 3 7 8 6 5 1 6 2 8 3 0 8 6 9 2 7 8 0 5

1 9 0 1 7 2 0 6 7 2 6 6 1 6 8 7 7 5 0 8 5 0 9 8 8 1 6 2 3 7 3 6 2 1 9 0 7 2 2 9 5 8 8 9 8 5 4 1 8 8 8 9 3 9

1 9 5 1 6 9 4 1 5 2 3 1 4 1 7 9 7 4 9 0 2 1 9 9 8 6 7 9 0 6 3 1 5 0 9 4 2 4 3 7 6 3 6 5 3 9 1 4 5 4 5 5 4 6

2 0 0 1 9 1 8 6 6 0 7 7 3 2 5 6 1 0 9 3 3 2 9 2 6 8 9 1 2 2 5 9 3 1 0 0 6 4 5 2 2 6 8 4 5 5 0 1 1 9 3 9 2 3

2 0 5 1 6 9 0 4 9 4 3 3 5 2 1 3 1 2 8 0 8 0 0 6 9 0 9 5 1 5 8 2 5 8 3 9 5 5 6 9 7 8 1 0 2 9 3 1 4 6 3 6 9 9

2 1 0 1 6 3 9 2 8 2 6 2 9 6 8 0 4 3 4 8 9 3 0 5 4 9 2 0 4 8 9 7 6 2 7 3 9 4 1 9 8 0 3 8 9 1 6 8 3 1 7 8 3 7

2 1 5 1 7 2 7 9 8 8 6 1 9 6 2 0 9 9 2 7 3 4 8 4 7 3 3 0 1 8 3 4 0 7 0 0 0 9 6 5 3 0 0 0 0 5 0 8 0 5 2 6 3 4

T a b l e 3 .

5 . T h e l a w o f l a r g e n u m b e r s i s n e i t h e r a c h i l d n o r t h e f a t h e r o f

p r o b a b i l i t y

M a n y p e o p l e h a v e t h o u g h t a b o u t i n f r e q u e n t ( o r n o n e x i s t e n t ) c o m m u n i c a t i o n

b e t w e e n t h e A - w o r l d o f p r o b a b i l i t y a n d t h e R - w o r l d w h e r e t h e a c t i o n i s . T h i s

i n c l u d e s e v e n t h o s e w h o , l i k e F e l l e r , h a v e t a k e n a f a n a t i c a l p o s i t i o n o n \ i n d e -

p e n d e n c e " ( s e e t h e q u o t e i n t h e p r e v i o u s s e c t i o n ) . F e l l e r w r i t e s 5 , p . 1 4 1 ] , a s

a p r e a m b l e t o m o t i v a t i n g t h e \ l a w o f l a r g e n u m b e r s " ,

\ O n s e v e r a l o c c a s i o n s w e h a v e m e n t i o n e d t h a t o u r i n t u i t i v e n o t i o n o f a b -

s t r a c t ] p r o b a b i l i t y i s b a s e d o n t h e f o l l o w i n g a s s u m p t i o n . I f i n n i d e n t i c a l

t r i a l s A o c c u r s t i m e s , a n d i f n i s v e r y l a r g e , t h e n = n s h o u l d b e n e a r t h e

1 9 5


16/24

p r o b a b i l i t y p o f A . C l e a r l y , a f o r m a l m a t h e m a t i c a l t h e o r y c a n n e v e r r e f e r

d i r e c t l y t o r e a l l i f e

1

3 b u t i t s h o u l d a t l e a s t p r o v i d e t h e o r e t i c a l c o u n t e r p a r t s

t h a t i s , t h e o r e m s i n t h e A - w o r l d ] t o t h e p h e n o m e n a i n t h e R - w o r l d ] w h i c h

i t t r i e s t o e x p l a i n . A c c o r d i n g l y , w e r e q u i r e t h a t t h e v a g u e i n t r o d u c t o r y r e -

m a r k a b o u t t h e i n t u i t i v e n o t i o n o f p r o b a b i l i t y ] b e m a d e p r e c i s e i n t h e f o r m

o f a t h e o r e m i n t h e A - w o r l d ] . " ( B r a c k e t s a d d e d b y t h e w r i t e r f o r c l a r i t y . )

F e l l e r t h e n g o e s o n t o f o r m u l a t e t h e \ l a w o f l a r g e n u m b e r s " w h i c h , f r o m

h i s p o i n t o f v i e w , m a k e s m o r e p r e c i s e t h e i n t u i t i v e n o t i o n o f p r o b a b i l i t y { a s

r e g a r d s e v e n t s i n t h e A - w o r l d .

T h e c r e d i b i l i t y o f r e l a t i n g t h e A - w o r l d t o t h e R - w o r l d i n t h i s w a y r e s t s

l a r g e l y o n a n u n s t a t e d a s s u m p t i o n :

t h e \ l a w o f l a r g e n u m b e r s " i s a n i n s e p a r a b l e c o n s e q u e n c e o f i n t u i t i v e ( o r

a b s t r a c t ) p r o b a b i l i t y i t s t r u t h i s d e r i v e d f r o m p r o b a b i l i t y (

A- w o r l d d e n i -

t i o n ) a n d o n l y f r o m p r o b a b i l i t y b e c a u s e i t i s t r u e i n t h e A - w o r l d , i t s h o u l d

b e , m o r e o r l e s s , t r u e i n t h e R - w o r l d a s w e l l .

F o l l o w i n g t h e l e a d o f R . A . F i s h e r , a l m o s t t h e w h o l e e l d o f s t a t i s t i c s ( a f t e r

a b o u t 1 9 2 0 b u t n o t b e f o r e ) h a s b e e n r e o r g a n i z e d o n t h e b a s i s o f t h i s b e l i e f ,

a s a r t i c u l a t e d b y L i n d l e y i n t h e r e m a r k q u o t e d i n t h e i n t r o d u c t i o n . A n d i t i s

t h i s u n b e n d i n g b e l i e f i n a b s t r a c t p r o b a b i l i t y w h i c h a m o n g o t h e r , s c i e n t i c a l l y

o b j e c t i o n a b l e f e a t u r e s , f o r c e s t h e u s e o f t h e s o - c a l l e d c o n d e n c e i n t e r v a l s ( s e e

d i s c u s s i o n b e l o w ) .

I n c o n t r a s t t o t h i s l i n e o f a r g u m e n t s ( w h i c h a s c i e n t i s t w o u l d q u a l i f y a s

p r e j u d i c e d ) , w e w i s h t o i n v e s t i g a t e o t h e r k i n d s o f q u e s t i o n s :

D o e s t h e \ l a w o f l a r g e n u m b e r s " { n o t e t h a t t h e t r a d i t i o n a l l a b e l d o e s n o t

i n c l u d e t h e w o r d \ p r o b a b i l i t y " { e x i s t ( a s a t h e o r e m ) o n l y i n t h e A - w o r l d

o f p r o b a b i l i t y ?

O r d o e s i t e x i s t ( a s a n e m p i r i c a l f a c t o r a s a t h e o r e m ) a l s o i n t h e R - w o r l d ?

I f s o , i s i t a t h e o r e m t h a t i s l o g i c a l l y i n d e p e n d e n t o f t h e a b s t r a c t ( f o r F e l l e r ,

i n t u i t i v e ) n o t i o n o f p r o b a b i l i t y ?

B y a s t a t i s t i c a l a n a l y s i s o f a g e n e r i c e x a m p l e l i k e t h o s e d i s c u s s e d i n t h e l a s t

s e c t i o n , w e s h a l l d e m o n s t r a t e :

T h e \ l a w o f l a r g e n u m b e r s " i s i n d e p e n d e n t o f ( a b s t r a c t ) p r o b a b i l i t y . T h e

s c i e n t i c c o n t e n t o f t h i s \ l a w " i s s i m p l y t h a t i t s a y s s o m e t h i n g i n t e r e s t i n g

a b o u t \ l a r g e n u m b e r s " .

A n d t h a t i s a l l t h e r e i s t o i t !

N o p r o b a b i l i t y , a s c o n t r a s t e d w i t h f r e q u e n c y . T o m e n t i o n a n o b v i o u s \ a p -

p l i c a t i o n " : f r o m o u r p o i n t o f v i e w t h e s u c c e s s o f c l a s s i c a l s t a t i s t i c a l m e c h a n i c s

c o u l d b e e x p l a i n e d s i m p l y b y t h e f a c t t h a t A v o g a d r o ' s n u m b e r ( A 6 1 0

2 3

)

i s a v e r y l a r g e n u m b e r i n d e e d m o r e o v e r , t h i s i s a n o b j e c t i v e f a c t a b o u t t h e

1 9 6


17/24

p h y s i c a l w o r l d , u n r e l a t e d t o a n y m e t a p h y s i c a l o r e p i s t e m o l o g i c a l s p e c u l a t i o n

a b o u t p r o b a b i l i t y .

T h e t e c h n i c a l d e t a i l s o f o u r a r g u m e n t a t i o n a r e q u i t e s i m p l e . L e t u s r s t

r e v i e w t h e s t a n d a r d ( F e l l e r 1 5 5 0 , p . 1 4 1 ] ) f o r m u l a t i o n o f t h e \ l a w o f l a r g e

n u m b e r s " .

C o n s i d e r t h e ( i . i . d . ) B e r n o u l l i p r o c e s s w i t h t w o s y m b o l s , x

t

= 0 ( t a i l ) o r

1 ( h e a d ) ( t = 1 2 : : : T ) , w i t h P r ( 1 ) = p a n d P r ( 0 ) = 1 ; p . B y t h e

i n d e p e n d e n c e a s s u m p t i o n , t h e p r o b a b i l i t y o f e x a c t l y S o c c u r r e n c e s o f 1 ' s i n a

s t r i n g o f T s y m b o l s i s e q u a l t o t h e f r e q u e n c y o f 1 ' s a m o n g t h e 2

T

p o s s i b l e s e -

q u e n c e s , w e i g h t e d b y t h e p r o b a b i l i t y o f e a c h s e q u e n c e w h i c h ( b y i n d e p e n d e n c e )

i s d e t e r m i n e d s o l e l y b y t h e t o t a l n u m b e r S o f 1 ' s a n d T ; S o f 0 ' s :

( 5 : 1 ) P r f S o c c u r r e n c e s o f 1 i n T c a s e s g =

T

S

p

S

( 1 ; p )

T ; S

:

T h e t h e o r e m c a l l e d \ l a w o f l a r g e n u m b e r s " i s c o n c e r n e d w i t h t h e b e h a v i o r o f

t h e p r o b a b i l i t y Q o f t h e e v e n t \ t h e m e a n o f a s e q u e n c e o f l e n g t h T i s f a r f r o m

p " t h i s p r o b a b i l i t y i s d e n o t e d a s

( 5 : 2 ) P r

(

1

T

T

X

1

x

t

; p

r

)

= Q ( r T ) :

T h e t h e o r e m a s s e r t s ( f o r a l l x e d 0 < r


18/24

T h e s e c o n d s t e p i s t h e e x p l i c i t c a l c u l a t i o n o f t h e p r o b a b i l i t y o f t h e \ b a d "

c a s e s a r i s i n g f r o m t h e t a i l s o f t h e d i s t r i b u t i o n s . T h e d i s c u s s i o n b e g a n b y v i e w -

i n g t h e B e r n o u l l i p r o c e s s a s a m o d e l f o r \ r a n d o m " 0 = 1 s e q u e n c e s i n t h e r e a l

w o r l d ( s e e F e l l e r ' s c o m m e n t s ) . B u t n o w s e q u e n c e s c o r r e s p o n d i n g t o t h e t a i l o f

t h e b i n o m i a l d i s t r i b u t i o n ( w h i c h a l w a y s i n c l u d e t h e s e q u e n c e c o n t a i n i n g o n l y

0 ' s a n d t h e s e q u e n c e c o n t a i n i n g o n l y 1 ' s ) a r e d e c l a r e d a s \ b a d " , t h a t i s , \ n o t

s u c i e n t l y r a n d o m " , b e c a u s e t h e y v i o l a t e t h e i n t u i t i v e t e s t f o r r a n d o m n e s s ,

t h a t S = T p .

T h e n u m b e r 0 < r


19/24

T h e a w k w a r d n e s s o f c o n d e n c e i n t e r v a l s d i s a p p e a r s t h e s e d i s t r i b u t i o n s

h a v e n o t a i l s ( b e c a u s e s e q u e n c e s o f l e n g t h T h a v i n g o n l y 0 ' s o r o n l y 1 ' s m u s t

s a t i s f y 2

T

< p ) .

6 . C o n c l u s i o n s

W h a t e v e r ( i n t u i t i v e , f o r m a l i z e d , a b s t r a c t ) p r o b a b i l i t y m i g h t b e , a n d h o w e v e r

t h e a x i o m s m i g h t b e p h r a s e d t o h i d e t h e u n d e r l y i n g a s s u m p t i o n s , p h y s i c a l p r o b -

a b i l i t y h a s m e a n i n g o n l y i n r e l a t i o n t o s p e c i c s y s t e m s . I t i s n o t a u n i v e r s a l

c o n c e p t .

T h i s d o e s n o t m e a n t h a t m a i n s t r e a m a p p l i c a t i o n s o f p r o b a b i l i t y { w h i c h

a r e b a s e d o n n d i n g c o n d i t i o n s u n d e r w h i c h h a p p e n i n g s i n t h e R - w o r l d a r e

b e l i e v e d t o m i m i c t h e s t a t e o f a a i r s i n t h e A - w o r l d { s h o u l d b e a b a n d o n e d . I t

d o e s m e a n t h a t w e s h o u l d t a k e a n e w l o o k a t a l l t h e p r o b a b i l i s t i c a n d s t a t i s t i c a l

a n a l y s i s t o s e e w h a t t h e y r e a l l y a m o u n t t o i n t h e

R- w o r l d .

1 9 9


20/24

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1percentage of 1s0

5

10

15

20

25

30

probability * T

F i g u r e 5 . 1

T h e ( d i s c r e t e ) b i n o m i a l d i s t r i b u t i o n f o r T = 1 0 5 0 2 0 0 1 0 0 0 .

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1S/T0

5

frequency * T

T = 10

F i g u r e 5 . 2

( D i s c r e t e ) f r e q u e n c y o f s e q u e n c e s o f l e n g t h T = 1 0 i n t h e b i n a r y e x p a n s i o n o f

1

4 0 9 3

( 2 - e r g o d i c p r i m e ) f o r a x e d n u m b e r S o f 1 ' s , a c c o r d i n g t o

S = T = p e r c e n t a g e o f 1 ' s

2 0 0


21/24

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1S/T0

5

10

frequency * T

T = 50

F i g u r e 5 . 3

( D i s c r e t e ) f r e q u e n c y o f s e q u e n c e s o f l e n g t h T = 5 0 i n t h e b i n a r y e x p a n s i o n o f

1

4 0 9 3



0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1S/T0

5

10

15

frequency * T

T = 200

F i g u r e 5 . 4

( D i s c r e t e ) f r e q u e n c y o f s e q u e n c e s o f l e n g t h T = 2 0 0 i n t h e b i n a r y e x p a n s i o n

o f

1

4 0 9 3



2 0 1


22/24

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1S/T0

5

10

15

20

25

frequency * T

T = 1000

F i g u r e 5 . 5

( D i s c r e t e ) f r e q u e n c y o f s e q u e n c e s o f l e n g t h T = 1 0 0 0 i n t h e b i n a r y e x p a n s i o n

o f

1

4 0 9 3



2 0 2


23/24

R e f e r e n c e s

1 . H . A t l a n ( 1 9 7 9 ) . P o s t u l a t s m e t a p h y s i q u e s e t m e t h o d e s d e r e c h e r c h e , i n

L a Q u e r e l l e d u D e t e r m i n i s m e ( b o o k ) , o r g a n i z e d b y K r y s z t o f P o m i a n ,

G a l l i m a r d , P a r i s 1 9 9 0 .

2 . E . B o r e l ( 1 9 0 9 ) . L e s p r o b a b i l i t e s d e n o m b r a b l e s e t l e u r s a p p l i c a t i o n s

a r i t h m e t i q u e s , R e n d i c o n t i d e l c i r c o l o m a t e m a t i c o d i P a l e r m o , 2 7 : 2 4 7 { 2 7 1 .

3 . C . C h a t f i e l d ( 1 9 9 5 ) . P e r s o n a l c o m m u n i c a t i o n t o t h e a u t h o r ( l e t t e r o f

J u n e 2 9 , 1 9 9 5 ) .

4 . P . D i a c o n i s ( 1 9 9 6 ) . T h e c u t o p h e n o m e n o n i n n i t e M a r k o v c h a i n s ,

P r o c e e d i n g s o f t h e N a t i o n a l A c a d e m y o f S c i e n c e s ( U S A ) , 9 3 : 1 6 5 9 { 1 6 6 4 .

5 . W . F e l l e r ( 1 9 5 0 ) . A n I n t r o d u c t i o n t o P r o b a b i l i t y T h e o r y a n d i t s A p p l i -

c a t i o n s , v o l u m e 1 ( r s t e d i t i o n ) , W i l e y , 4 1 9 p a g e s .

6 . G . H . H a r d y a n d E . M . W r i g h t ( 1 9 7 9 ) . A n I n t r o d u c t i o n t o t h e T h e o r y

o f N u m b e r s ( 5 t h e d i t i o n ) , C l a r e n d o n P r e s s , O x f o r d , 4 2 6 p a g e s .

7 . L . K . H u a ( 1 9 8 2 ) . I n t r o d u c t i o n t o N u m b e r T h e o r y , S p r i n g e r , 5 7 2 p a g e s .

8 . R . E . K a l m a n ( 1 9 9 4 ) . R a n d o m n e s s r e e x a m i n e d , M o d e l i n g , I d e n t i c a t i o n

a n d C o n t r o l 1 5 : 1 4 1 { 1 5 1 .

9 . R . E . K a l m a n ( 1 9 9 5 ) . R a n d o m n e s s a n d p r o b a b i l i t y , M a t h e m a t i c a J a p o n -

i c a 4 1 : 4 1 { 5 8 .

1 0 . D . V . L i n d l e y ( 1 9 8 7 ) . T h e p r o b a b i l i t y a p p r o a c h t o t h e t r e a t m e n t o f

u n c e r t a i n t y i n a r t i c i a l i n t e l l i g e n c e a n d e x p e r t s y s t e m s , S t a t i s t i c a l S c i e n c e

2 : 1 7 { 2 4 .

1 1 . S . P i n c u s ( 1 9 9 1 ) . A p p r o x i m a t e e n t r o p y a s a m e a s u r e o f s y s t e m c o m p l e x -

i t y , P r o c e e d i n g s o f t h e N a t i o n a l A c a d e m y o f S c i e n c e s ( U S A ) , 8 8 : 2 2 9 7 {

2 3 0 1 .

1 2 . S . P i n c u s a n d B . H . S i n g e r ( 1 9 9 6 ) . R a n d o m n e s s a n d d e g r e e s o f i r r e g u l a r -

i t y , P r o c e e d i n g s o f t h e N a t i o n a l A c a d e m y o f S c i e n c e s ( U S A ) 9 3 : 2 0 8 3 { 2 0 8 8 .

1 3 . R . T h o m ( 1 9 8 6 ) . P r e f a c e a P i e r r e - S i m o n ( d e ) L a p l a c e , E s s a i P h i l o s o p h i q u e

s u r l e s P r o b a b i l i t e s , r e e d i t i o n d e l a t e x t e d e l a 5

e

e d i t i o n ( 1 8 2 5 ) , C h r i s t i a n

B o u r g o i s , P a r i s , 1 9 8 6 .

1 4 . H . W e y l ( 1 9 1 6 ) .

U b e r d i e G l e i c h v e r t e i l u n g v o n Z a h l e n m o d . 1 , M a t h e -

m a t i s c h e A n n a l e n 7 7 : 3 1 3 { 3 5 2 .

R e m a r k s

1 . I n d e e d , L i n d l e y ' s a d v e r t i s e m e n t i n p r a i s e o f p r o b a b i l i t y h a s a f o r m a l s i m i -

l a r i t y w i t h \ t h e r e i s o n l y o n e G o d a n d X i s i t s p r o p h e t " . T h i s s e e m s t o b e

r e l e v a n t t o d i s t i n g u i s h i n g b e t w e e n \ r e l i g i o u s " a n d \ s c i e n t i c " i n t e l l e c t u a l

a t t i t u d e s b u t , o f c o u r s e , s h o u l d n o t b e c o n s i d e r e d a s d e r o g a t o r y i n r e g a r d

t o a n y r e l i g i o n o r p e r s o n .

2 . N o t y p i n g e r r o r t h e s e a r e t h e r s t 6 0 d i g i t s o f t h e b i n a r y e x p a n s i o n o f t h e

f r a c t i o n 2 9 = 6 1 . S e e T a b l e 2 .

3 . T h e p h r a s e \ B e r n o u l l i s e q u e n c e " a s u s e d h e r e h a s n o t h i n g t o d o w i t h a n

o b j e c t i v e p r o p e r t y o f a s e q u e n c e o f 0 ' s a n d 1 ' s ( b e c a u s e a n y s u c h s e q u e n c e

i s a l l o w e d ) b u t w i t h t h e h y p o t h e s i s t h a t t h e s e q u e n c e w a s g e n e r a t e d i n t h e

A - w o r l d , b y t o s s i n g a f a i r c o i n . ,

2 0 3


24/24

4 . P r o b a b i l i t y d o e s n o t h e l p m u c h w i t h u n c e r t a i n t y , e i t h e r . U n l e s s , l i k e , a p -

p a r e n t l y , L i n d l e y , w e w i s h t o l i v e , i n t h e

A- w o r l d , i n c o m m u n i c a d o w i t h t h e

R - w o r l d . B y B o r e l ' s t h e o r e m w e a r e q u i t e \ s u r e " ( i f w e a r e i n t h e A - w o r l d ,

t h e n s u r e w i t h p r o b a b i l i t y 1 ) t h a t t h e o n e m i l l i o n t h d i g i t o f

p

2

;1 i s a 5

w i t h p r o b a b i l i t y

1

1 0

o r a 0 a l s o w i t h a p r o b a b i l i t y

1

1 0

. B u t t h i s d o e s n o t

p r o v i d e m u c h \ i n f o r m a t i o n " , s i m p l y b e c a u s e B o r e l ' s t h e o r e m h a s n o t h i n g

t o d o w i t h t h e g i v e n n u m b e r w h o s e o n e m i l l i o n t h d i g i t w e w i s h t o k n o w . O n

t h e o t h e r h a n d , i t i s p o s s i b l e t o c o m p u t e t h e o n e m i l l i o n t h d i g i t o f

p

2 ; 1

( t h i s i s a n i m p o r t a n t s u b s p e c i a l t y o f c o m p u t a t i o n a l s c i e n c e ) , s o t h e r e i s n o

u n c e r t a i n t y a b o u t t h e v a l u e o f t h i s d i g i t i n t h e R - w o r l d .

5 . W h e n \ r a n d o m " i s u s e d i n t h e t e c h n i c a l s e n s e , c o r r e s p o n d i n g t o o u r d e -

n i t i o n , w e w r i t e r a n d o m f o r s p e c i a l e m p h a s i s .

6 . T o s e e w h a t c a n b e d o n e a b o u t r a n d o m n e s s w i t h o u t a n y d i r e c t a p p e a l t o

p r o b a b i l i t y , p l e a s e c o n s u l t P i n c u s 1 1 ] .

7 . I t i s q u i t e p o s s i b l e t h a t s o m e n u m b e r k t ( m o d 1 ) h a s a c o m m o n f a c t o r w i t h

q b u t t h i s i s i r r e l e v a n t t o t h e p r o b l e m f o r m u l a t i o n w h i c h w o r k s f o r a l l =

r a t i o n a l . S o , t h e r e q u i r e m e n t q = p r i m e i s i r r e l e v a n t \ e q u i d i s t r i b u t i o n " ,

i s a s s u r e d b y t h e e r g o d i c p r o p e r t y v a l i d f o r r a t i o n a l a s w e l l a s i r r a t i o n a l

. I n t h e r a t i o n a l c a s e \ e r g o d i c " m e a n s t h a t a c t s o n t h e w h o l e s e t Z

+

q ; 1

a n d i s n o t i n v a r i a n t o n s o m e p r o p e r s u b s e t i n t h e i r r a t i o n a l c a s e \ e r g o d i c "

m e a n s t h a t t h e r e i s n o i n v a r i a n t i n t e r v a l J u n d e r t h e a c t i o n o f t o t h e r t h a n

t h e w h o l e i n t e r v a l ( 0 1 ) .

8 . P l e a s e n o t e a l s o t h a t w h e n = i d e n t i t y p e r m u t a t i o n , t h a t i s , k = 1 a n d

= 1 = q , t h e s e q u e n c e o f p o i n t s 1 = q 2 = q : : : ( q ; 1 ) = q i n t h e u n i t i n t e r v a l

c o r r e s p o n d i n g t o t = 1 2 : : : q ; 1 v e r y m u c h s a t i s e s t h e c l a i m \ a s

e q u i d i s t r i b u t e d a s p o s s i b l e " , e v e n t h o u g h t h e s e p o i n t s \ a r r i v e r e g u l a r l y " i n

X

q ; 1

.

9 . W e m a y b e p e r m i t t e d t o w o n d e r i f F e l l e r h a d e x p e r i m e n t e d i n b i n a r y a r i t h -

m e t i c , f o r e x a m p l e , d i v i d i n g 1 b y a l a r g e 2 - e r g o d i c p r i m e . .

1 0 . A n d w e m a y s u r m i s e t h a t t h e m a n i n t h e s t r e e t w i l l h a v e r e c i p r o c a t e d b y

a c c u s i n g ( a n a b s t r a c t m a t h e m a t i c i a n l i k e ) F e l l e r o f n o t n o t i c i n g a l o a d e d

c o i n w h e n h e s e e s i t .

1 1 . T h i s t h e o r e m s h a l l n o t b e p r o v e d h e r e t h e p r o o f i s s i m i l a r t o t h e p r o o f o f

5

( 2

l

) = 2

l ; 2

l 2 , g i v e n i n H u a 7 , T h e o r e m 3 . 9 . 2 , p . 5 0 ] . N o t e t h a t

5

( 2 ) =

5

( 4 ) = 1 t h i s f a c t i s a n a l o g o u s t o

1 0

( 3 ) =

1 0

( 9 ) = 1 . )

1 2 . I f 0 m

k = 8 1

kalman -- probability in the real world

Documents