ledoux concentration of measure
TRANSCRIPT
-
7/27/2019 Ledoux Concentration of Measure
1/250
T H E C O N C E N T R A T I O N
O F M E A S U R E P H E N O M E N O N
M i c h e l L e d o u x
D e p a r t e m e n t d e M a t h e m a t i q u e s
U n i v e r s i t e P a u l - S a b a t i e r
3 1 0 6 2 , T o u l o u s e ( F r a n c e )
l e d o u x @ c i c t . f r
h t t p : / / w w w . l s p . u p s - t l s e . f r / L e d o u x /
P r e l i m i n a r y v e r s i o n ( S e p t e m b e r 2 0 0 0 )
F i r s t r e v i s i o n ( D e c e m b e r 2 0 0 0 )
1
-
7/27/2019 Ledoux Concentration of Measure
2/250
2
-
7/27/2019 Ledoux Concentration of Measure
3/250
T A B L E O F C O N T E N T S
I N T R O D U C T I O N p . 5
1 . C O N C E N T R A T I O N F U N C T I O N S
A N D D E V I A T I O N I N E Q U A L I T I E S p . 1 1
1 . 1 F i r s t e x a m p l e s p . 1 1
1 . 2 C o n c e n t r a t i o n f u n c t i o n s p . 1 4
1 . 3 D e v i a t i o n i n e q u a l i t i e s p . 1 7
1 . 4 O b s e r v a b l e d i a m e t e r s p . 2 8
1 . 5 E x p a n s i o n c o e c i e n t s p . 3 0
1 . 6 L a p l a c e b o u n d s a n d i n m u m - c o n v o l u t i o n s p . 3 1
N o t e s a n d r e m a r k s p . 3 8
2 . I S O P E R I M E T R I C A N D F U N C T I O N A L E X A M P L E S p . 3 9
2 . 1 I s o p e r i m e t r i c e x a m p l e s p . 3 9
2 . 2 B r u n n - M i n k o w s k i i n e q u a l i t i e s p . 5 1
2 . 3 S e m i g r o u p t o o l s p . 5 8
N o t e s a n d r e m a r k s p . 6 6
3 . C O N C E N T R A T I O N A N D G E O M E T R Y p . 6 9
3 . 1 S p e c t r u m a n d c o n c e n t r a t i o n p . 6 9
3 . 2 S p e c t r a l a n d d i a m e t e r b o u n d s p . 7 7
3 . 3 L e v y f a m i l i e s p . 8 0
3 . 4 T o p o l o g i c a l a p p l i c a t i o n s p . 8 2
3 . 5 E u c l i d e a n s e c t i o n s o f c o n v e x b o d i e s p . 8 7
N o t e s a n d r e m a r k s p . 9 4
4 . C O N C E N T R A T I O N I N P R O D U C T S P A C E S p . 9 6
4 . 1 M a r t i n g a l e m e t h o d s p . 9 7
3
-
7/27/2019 Ledoux Concentration of Measure
4/250
4 . 2 C o n v e x h u l l a p p r o x i m a t i o n p . 1 0 3
4 . 3 C o n t r o l b y s e v e r a l p o i n t s p . 1 1 2
4 . 4 C o n v e x i n m u m - c o n v o l u t i o n p . 1 1 6
4 . 5 T h e e x p o n e n t i a l m e a s u r e p . 1 1 9
N o t e s a n d r e m a r k s p . 1 2 7
5 . E N T R O P Y A N D C O N C E N T R A T I O N p . 1 2 9
5 . 1 C o n c e n t r a t i o n a n d l o g a r i t h m i c S o b o l e v i n e q u a l i t i e s p . 1 2 9
5 . 2 P r o d u c t m e a s u r e s p . 1 3 7
5 . 3 M o d i e d l o g a r i t h m i c S o b o l e v i n e q u a l i t i e s p . 1 4 3
5 . 4 D i s c r e t e s e t t i n g s p . 1 5 3
5 . 5 C o v a r i a n c e i d e n t i t i e s p . 1 6 0
N o t e s a n d r e m a r k s p . 1 6 2
6 . T R A N S P O R T A T I O N C O S T I N E Q U A L I T I E S p . 1 6 5
6 . 1 I n f o r m a t i o n i n e q u a l i t i e s a n d c o n c e n t r a t i o n p . 1 6 5
6 . 2 Q u a d r a t i c t r a n s p o r t a t i o n c o s t i n e q u a l i t i e s p . 1 6 9
6 . 3 T r a n s p o r t a t i o n f o r p r o d u c t a n d n o n - p r o d u c t m e a s u r e s p . 1 7 7
N o t e s a n d r e m a r k s p . 1 8 4
7 . S H A R P B O U N D S O N G A U S S I A N
A N D E M P I R I C A L P R O C E S S E S p . 1 8 6
7 . 1 G a u s s i a n p r o c e s s e s p . 1 8 6
7 . 2 B o u n d s o n e m p i r i c a l p r o c e s s e s p . 1 9 4
7 . 3 S h a r p e r b o u n d s v i a t h e e n t r o p i c m e t h o d p . 1 9 9
N o t e s a n d r e m a r k s p . 2 0 9
8 . F U R T H E R I L L U S T R A T I O N S p . 2 1 1
8 . 1 C o n c e n t r a t i o n o f h a r m o n i c m e a s u r e s p . 2 1 1
8 . 2 C o n c e n t r a t i o n f o r i n d e p e n d e n t p e r m u t a t i o n s p . 2 1 7
8 . 3 S u b s e q u e n c e s , p e r c o l a t i o n , a s s i g n m e n t p . 2 2 2
8 . 4 T h e s p i n g l a s s f r e e e n e r g y p . 2 2 6
8 . 5 C o n c e n t r a t i o n o f r a n d o m m a t r i c e s p . 2 3 3
N o t e s a n d r e m a r k s p . 2 3 5
R E F E R E N C E S p . 2 3 7
I N D E X p . 2 4 9
4
-
7/27/2019 Ledoux Concentration of Measure
5/250
I N T R O D U C T I O N
T h e a i m o f t h i s b o o k i s t o p r e s e n t t h e b a s i c a s p e c t s o f t h e c o n -
c e n t r a t i o n o f m e a s u r e p h e n o m e n o n . T h e c o n c e n t r a t i o n o f m e a s u r e
p h e n o m e n o n w a s p u t f o r w a r d i n t h e e a r l y s e v e n t i e s b y V . M i l m a n
i n t h e a s y m p t o t i c g e o m e t r y o f B a n a c h s p a c e s . O f i s o p e r i m e t r i c
i n s p i r a t i o n , i t i s o f p o w e r f u l i n t e r e s t i n a p p l i c a t i o n s , i n v a r i o u s a r -
e a s s u c h a s g e o m e t r y , f u n c t i o n a l a n a l y s i s a n d i n n i t e d i m e n s i o n a l
i n t e g r a t i o n , d i s c r e t e m a t h e m a t i c s a n d c o m p l e x i t y t h e o r y , a n d e s -
p e c i a l l y p r o b a b i l i t y t h e o r y . T h i s b o o k i s c o n c e r n e d w i t h t h e b a s i c
t e c h n i q u e s a n d e x a m p l e s o f t h e c o n c e n t r a t i o n p h e n o m e n o n w i t h
n o c l a i m t o b e e x h a u s t i v e . A p a r t i c u l a r e m p h a s i s h a s b e e n p u t o n
g e o m e t r i c , f u n c t i o n a l a n d p r o b a b i l i s t i c t o o l s t o r e a c h a n d d e s c r i b e
m e a s u r e c o n c e n t r a t i o n i n a n u m b e r o f s e t t i n g s .
A s m e n t i o n e d b y M . G r o m o v , t h e c o n c e n t r a t i o n o f m e a s u r e
p h e n o m e n o n i s a n e l e m e n t a r y , y e t n o n - t r i v i a l , o b s e r v a t i o n . A r s t
i l l u s t r a t i o n o f t h i s p r o p e r t y i s s u g g e s t e d b y t h e e x a m p l e o f t h e
s t a n d a r d n - s p h e r e S
n
i n R
n + 1
w h e n d i m e n s i o n n i s l a r g e . B y a
s t a n d a r d c o m p u t a t i o n , u n i f o r m m e a s u r e
n
o n S
n
i s a l m o s t c o n -
c e n t r a t e d w h e n t h e d i m e n s i o n n i s l a r g e a r o u n d t h e d i a m e t e r .
M o r e g e n e r a l l y , a s a c o n s e q u e n c e o f s p h e r i c a l i s o p e r i m e t r y , g i v e n
a n y m e a s u r a b l e s e t A w i t h , s a y ,
n
( A )
1
2
, a l m o s t a l l p o i n t s ( i n
t h e s e n s e o f t h e m e a s u r e
n
) o n S
n
a r e w i t h i n ( g e o d e s i c ) d i s t a n c e
1
p
n
f r o m A , w h i c h b e c o m e s i n n i t e s i m a l a s n ! 1 . P r e c i s e l y , f o r
e v e r y r > 0 ,
n
( A
r
) 1 ; e
; ( n ; 1 ) r
2
= 2
w h e r e A
r
= f x 2 S
n
d ( x A ) < r g
5
-
7/27/2019 Ledoux Concentration of Measure
6/250
T h i s c o n c e n t r a t i o n p r o p e r t y o n t h e s p h e r e m a y b e d e s c r i b e d
e q u i v a l e n t l y o n f u n c t i o n s , a n i d e a g o i n g b a c k t o P . L e v y . N a m e l y ,
i f F i s a c o n t i n u o u s f u n c t i o n o n S
n
w i t h m o d u l u s o f c o n t i n u i t y
s u p f F ( x ) ; F ( y ) d ( x y ) < " g l e s s t h a n r > 0 , t h e n
n
;
F ; m "
2 e
; ( n ; 1 ) r
2
w h e r e m i s a m e d i a n o f F f o r
n
. T h e r e f o r e , f u n c t i o n s o n h i g h
d i m e n s i o n a l s p h e r e s w i t h s m a l l l o c a l o s c i l l a t i o n s a r e s t r o n g l y c o n -
c e n t r a t e d a r o u n d a m e a n v a l u e , a n d a r e t h u s a l m o s t c o n s t a n t o n
a l m o s t a l l t h e s p a c e ! T h i s h i g h d i m e n s i o n a l c o n c e n t r a t i o n p h e -
n o m e n o n w a s e x t e n s i v e l y u s e d a n d e m p h a s i z e d b y V . M i l m a n i n
h i s i n v e s t i g a t i o n o f a s y m p t o t i c g e o m e t r i c a n a l y s i s .
A s y e t a n o t h e r i n t e r p r e t a t i o n , t h e c o n c e p t o f o b s e r v a b l e d i -
a m e t e r a s c o n s i d e r e d b y M . G r o m o v i s a \ v i s u a l " d e s c r i p t i o n o f
t h e c o n c e n t r a t i o n o f m e a s u r e p h e n o m e n o n . W e v i e w t h e s p h e r e
w i t h a n a k e d e y e w h i c h c a n n o t d i s t i n g u i s h a p a r t o f S
n
o f m e a -
s u r e ( l u m i n i c i t y ) l e s s t h a n > 0 ( s m a l l b u t x e d ) . A L i p s c h i t z
f u n c t i o n F m a y b e i n t e r p r e t e d a s a n o b s e r v a b l e , t h a t i s a n o b s e r -
v a t i o n d e v i c e g i v i n g u s t h e v i s u a l i m a g e m e a s u r e o f
n
b y F I n
t h i s l a n g u a g e , L e v y ' s i n e q u a l i t y o n L i p s c h i t z f u n c t i o n s e x p r e s s e s
t h a t t h e \ o b s e r v a b l e d i a m e t e r o f S
n
" i s o f t h e o r d e r o f
1
p
n
a s n
i s l a r g e , i n s t r o n g c o n t r a s t w i t h t h e d i a m e t e r o f S
n
a s a m e t r i c
s p a c e .
T h e c o n c e n t r a t i o n o f m e a s u r e p h e n o m e n o n i s o f t e n a n h i g h
d i m e n s i o n a l e e c t , o r a s i n l a w s o f l a r g e n u m b e r s i n p r o b a b i l i t y
t h e o r y , a p r o p e r t y o f a l a r g e n u m b e r o f v a r i a b l e s . A p r o b a b i l i s -
t i c i n t e r p r e t a t i o n o f t h e c o n c e n t r a t i o n p h e n o m e n o n n a m e l y g o e s
b a c k t o E . B o r e l w h o s u g g e s t e d t h e f o l l o w i n g g e o m e t r i c i n t e r p r e -
t a t i o n o f t h e l a w o f l a r g e n u m b e r s f o r s u m s o f i n d e p e n d e n t r a n d o m
v a r i a b l e s u n i f o r m l y d i s t r i b u t e d o n t h e i n t e r v a l ; 1 + 1 ] . L e t
n
b e
u n i f o r m m e a s u r e o n t h e n - d i m e n s i o n a l c u b e ; 1 + 1
n
. L e t H b e a
h y p e r p l a n e t h a t i s o r t h o g o n a l t o a p r i n c i p a l d i a g o n a l o f ; 1 + 1
n
a t t h e o r i g i n . T h e n , i f H
r
i s t h e n e i g h b o r h o o d o f o r d e r r 0 o f
H , f o r e v e r y " > 0 ,
n
( H
"
p
n
) ! 1 a s n ! 0
A r e l a t e d d e s c r i p t i o n i s t h e f o l l o w i n g . L e t X
1
X
2
: : : b e a s e -
q u e n c e o f i n d e p e n d e n t r a n d o m v a r i a b l e s t a k i n g t h e v a l u e s 1 w i t h
e q u a l p r o b a b i l i t y , a n d s e t , f o r e v e r y n 1 , S
n
= X
1
+ + X
n
6
-
7/27/2019 Ledoux Concentration of Measure
7/250
W e t h i n k o f S
n
a s a f u n c t i o n o f t h e i n d i v i d u a l v a r i a b l e s X
i
a n d
w e s t a t e t h e c l a s s i c a l l a w o f l a r g e n u m b e r s b y s a y i n g t h a t S
n
i s
e s s e n t i a l l y c o n s t a n t ( e q u a l t o 0 ) . O f c o u r s e , b y t h e c e n t r a l l i m i t
t h e o r e m , t h e u c t u a t i o n s o f S
n
a r e o f o r d e r
p
n w h i c h i s h a r d l y
z e r o . B u t a s S
n
c a n t a k e v a l u e s a s l a r g e a s n , t h i s i s t h e s c a l e
a t w h i c h o n e s h o u l d m e a s u r e S
n
i n w h i c h c a s e S
n
= n i s i n d e e d
e s s e n t i a l l y z e r o . I n t h i s c o n t e x t , a c c o r d i n g t o M . T a l a g r a n d , o n e
p r o b a b i l i s t i c a s p e c t o f m e a s u r e c o n c e n t r a t i o n i s t h a t a r a n d o m
v a r i a b l e t h a t d e p e n d s ( i n a s m o o t h w a y ) o n t h e i n u e n c e o f m a n y
i n d e p e n d e n t v a r i a b l e s ( b u t n o t t o o m u c h o n a n y o f t h e m ) i s e s -
s e n t i a l l y c o n s t a n t .
M e a s u r e c o n c e n t r a t i o n i s s u r p r i s i n g l y s h a r e d b y a n u m b e r o f
c a s e s t h a t g e n e r a l i z e t h e p r e v i o u s e x a m p l e s , b o t h b y r e p l a c i n g l i n -
e a r f u n c t i o n a l s ( s u c h a s s u m s o f i n d e p e n d e n t r a n d o m v a r i a b l e s )
b y a r b i t r a r y L i p s c h i t z f u n c t i o n s o f t h e s a m p l e s a n d b y c o n s i d e r i n g
m e a s u r e s t h a t a r e n o t p r o d u c t . I t w a s i n d e e d a g a i n t h e m e r i t o f
V . M i l m a n o f e m p h a s i z i n g t h e d i e r e n c e b e t w e e n t h e c o n c e n t r a -
t i o n p h e n o m e n o n a n d s t a n d a r d p r o b a b i l i s t i c v i e w o n p r o b a b i l i t y
i n e q u a l i t i e s a n d l a w o f l a r g e n u m b e r t h e o r e m s b y t h e e x t e n s i o n
t o L i p s c h i t z ( a n d e v e n H o l d e r t y p e ) f u n c t i o n s a n d m o r e g e n e r a l
m e a s u r e s . H i s e n t h u s i a s m a n d p e r s u a s i o n e v e n t u a l l y c o n v i n c e d M .
T a l a g r a n d o f t h e i m p o r t a n c e o f t h i s s i m p l e , y e t f u n d a m e n t a l , c o n -
c e p t .
I t w i l l b e o n e o f t h e p u r p o s e s o f t h i s b o o k t o d e s c r i b e s o m e
o f t h e b a s i c e x a m p l e s a n d a p p l i c a t i o n s o f t h e c o n c e n t r a t i o n o f
m e a s u r e p h e n o m e n o n . W h i l e t h e r s t a p p l i c a t i o n s w e r e m a i n l y
d e v e l o p e d i n t h e c o n t e x t o f a s y m p t o t i c g e o m e t r i c a n a l y s i s , t h e y
h a v e n o w s p r e a d t o a w i d e r a n g e o f f r a m e w o r k s , c o v e r i n g a r e a s
i n g e o m e t r y , d i s c r e t e a n d c o m b i n a t o r i a l m a t h e m a t i c s , a n d i n p a r -
t i c u l a r p r o b a b i l i t y t h e o r y . C l a s s i c a l p r o b a b i l i s t i c i n e q u a l i t i e s o n
s u m s o f i n d e p e n d e n t r a n d o m v a r i a b l e s h a v e b e e n u s e d n a m e l y
o v e r t h e y e a r s i n l i m i t t h e o r e m s a n d d i s c r e t e a l g o r i t h m i c m a t h e -
m a t i c s . T h e y p r o v i d e q u a n t i t a t i v e i l l u s t r a t i o n s o f m e a s u r e c o n c e n -
t r a t i o n b y s o - c a l l e d e x p o n e n t i a l i n e q u a l i t i e s ( m o s t l y o f G a u s s i a n
t y p e a s o n t h e s p h e r e a b o v e ) . R e c e n t d e v e l o p m e n t s o n t h e c o n c e n -
t r a t i o n o f m e a s u r e p h e n o m e n o n d e s c r i b e f a r r e a c h i n g e x t e n s i o n s
t h a t p r o v i d e d i m e n s i o n f r e e c o n c e n t r a t i o n p r o p e r t i e s i n p r o d u c t
s p a c e s w h i c h , d u e t o t h e w o r k o f M . T a l a g r a n d d u r i n g t h e l a s t
7
-
7/27/2019 Ledoux Concentration of Measure
8/250
d e c a d e , w i l l f o r m a m a i n p a r t o f t h e s e n o t e s .
T h e b o o k i s d i v i d e d i n t o 8 c h a p t e r s . T h e r s t o n e i n t r o d u c e s
t h e n o t i o n s a n d e l e m e n t a r y p r o p e r t i e s o f c o n c e n t r a t i o n f u n c t i o n s ,
d e v i a t i o n i n e q u a l i t i e s a n d t h e i r m o r e g e o m e t r i c c o u n t e r p a r t s a s
o b s e r v a b l e d i a m e t e r s . W e a l s o b r i e y i n d i c a t e a f e w u s e f u l t o o l s
t o i n v e s t i g a t e c o n c e n t r a t i o n p r o p e r t i e s . T h e s e c o n d c h a p t e r d e -
s c r i b e s s o m e o f t h e b a s i c a n d c l a s s i c a l i s o p e r i m e t r i c i n e q u a l i t i e s
a t t h e o r i g i n o f t h e c o n c e n t r a t i o n o f m e a s u r e p h e n o m e n o n . H o w -
e v e r w e d o n o t c o n c e n t r a t e o n t h e u s u a l l y r a t h e r d e l i c a t e e x t r e m a l
s t a t e m e n t s , b u t r a t h e r d e v e l o p s o m e s e l f - c o n t a i n e d c o n v e x i t y a n d
s e m i g r o u p a r g u m e n t s t o r e a c h t h e c o n c e n t r a t i o n p r o p e r t i e s o r i g i -
n a l l y d e d u c e d f r o m i s o p e r i m e t r y . C h a p t e r 3 i s a r s t v i e w t o w a r d s
g e o m e t r i c a n d t o p o l o g i c a l a p p l i c a t i o n s o f m e a s u r e c o n c e n t r a t i o n .
I n p a r t i c u l a r , w e d e s c r i b e t h e r e M i l m a n ' s p r o o f o f D v o r e t s k y ' s t h e -
o r e m o n a l m o s t s p h e r i c a l s e c t i o n s o f c o n v e x b o d i e s u p o n w h i c h V .
M i l m a n m o s t v i g o r o u s l y e m p h a s i z e d t h e u s e f u l n e s s o f c o n c e n t r a -
t i o n i d e a s . C h a p t e r 4 i n v e s t i g a t e s m e a s u r e c o n c e n t r a t i o n i n p r o d -
u c t s p a c e s , m o s t l y b a s e d o n t h e r e c e n t d e v e l o p m e n t s b y M . T a l a -
g r a n d . A f t e r a b r i e f v i e w o f t h e m o r e c l a s s i c a l m a r t i n g a l e b o u n d e d
d i e r e n c e m e t h o d , w e c o v e r t h e r e c o n v e x h u l l a n d n i t e p o i n t a p -
p r o x i m a t i o n s o f p o w e r f u l u s e i n a p p l i c a t i o n s t o b o t h e m p i r i c a l
p r o c e s s e s a n d d i s c r e t e m a t h e m a t i c s . W e a l s o d i s c u s s t h e s p e c i a l
c o n c e n t r a t i o n p r o p e r t y o f t h e e x p o n e n t i a l m e a s u r e . T h e n e x t t w o
c h a p t e r s e m p h a s i z e f u n c t i o n a l i n e q u a l i t i e s s t a b l e b y p r o d u c t s t o -
w a r d s a n e w a p p r o a c h t o t h e r e s u l t s o f C h a p t e r 4 . C h a p t e r 5
i s d e v o t e d t o t h e e n t r o p i c a n d l o g a r i t h m i c S o b o l e v i n e q u a l i t y a p -
p r o a c h . W e p r e s e n t t h e r e t h e H e r b s t m e t h o d t o d e d u c e c o n c e n t r a -
t i o n f r o m a l o g a r i t h m i c S o b o l e v i n e q u a l i t y a n d d e s c r i b e t h e v a r i -
o u s a p p l i c a t i o n s t o p r o d u c t m e a s u r e s a n d r e l a t e d t o p i c s . C h a p t e r
6 i s y e t a n o t h e r f o r m o f c o n c e n t r a t i o n r e l y i n g o n i n f o r m a t i o n a n d
t r a n s p o r t a t i o n c o s t i n e q u a l i t i e s w i t h w h i c h o n e m a y r e a c h s e v e r a l
o f t h e c o n c l u s i o n s o f t h e p r e c e d i n g c h a p t e r s . C h a p t e r 7 i s d e v o t e d
t o t h e p r o b a b i l i s t i c a p p l i c a t i o n s o f c o n c e n t r a t i o n i n p r o d u c t s p a c e s
t o s h a r p b o u n d s o n s u m s o f i n d e p e n d e n t r a n d o m v e c t o r s o r e m p i r -
i c a l p r o c e s s e s , a t t h e o r i g i n o f M . T a l a g r a n d ' s i n v e s t i g a t i o n . T h e
l a s t c h a p t e r i s a s e l e c t i o n o f ( r e c e n t ) a p p l i c a t i o n s o f t h e c o n c e n -
t r a t i o n o f m e a s u r e p h e n o m e n o n t o v a r i o u s a r e a s s u c h a s s t a t i s -
t i c a l m e c h a n i c s , g e o m e t r i c p r o b a b i l i t i e s , d i s c r e t e a n d a l g o r i t h m i c
8
-
7/27/2019 Ledoux Concentration of Measure
9/250
m a t h e m a t i c s .
W h i l e w e d e s c r i b e i n t h i s w o r k a n u m b e r o f c o n c e n t r a t i o n
p r o p e r t i e s p u t f o r w a r d i n s e v e r a l c o n t e x t s , f r o m m o r e g e o m e t r i c
t o f u n c t i o n a l a n d p r o b a b i l i s t i c s e t t i n g s , w e a l m o s t n e v e r d i s c u s s
s h a r p c o n s t a n t s , a l t h o u g h t h e r i g h t o r d e r s w i l l u s u a l l y b e t h e c o r -
r e c t o n e s .
T h i s b o o k i s s t r o n g l y i n s p i r e d b y e a r l y r e f e r e n c e s o n t h e s u b -
j e c t I n p a r t i c u l a r , t h e l e c t u r e n o t e s b y V M i l m a n a n d G S c h e c h t -
m a n t h a t d e s c r i b e t h e c o n c e n t r a t i o n o f m e a s u r e p h e n o m e n o n a n d
i t s a p p l i c a t i o n s t o a s y m p t o t i c t h e o r y o f n i t e d i m e n s i o n a l n o r m e d
s p a c e s w e r e a b a s i c s o u r c e o f i n s p i r a t i o n d u r i n g t h e p r e p a r a t i o n
o f t h i s b o o k . W e a l s o u s e d t h e r e c e n t s u r v e y b y G . S c h e c h t m a n
i n t h e H a n d b o o k i n t h e G e o m e t r y o f B a n a c h S p a c e s . ( T h e l a t -
t e r h a n d b o o k c o n t a i n s f u r t h e r c o n t r i b u t i o n s t h a t i l l u s t r a t e t h e
u s e o f c o n c e n t r a t i o n i n v a r i o u s f u n c t i o n a l a n a l y t i c p r o b l e m s . ) T h e
m e m o i r b y M . T a l a g r a n d o n i s o p e r i m e t r i c a n d c o n c e n t r a t i o n i n -
e q u a l i t i e s i n p r o d u c t s p a c e s i s a t t h e b a s i s o f m o s t o f t h e m a t e r i a l
p r e s e n t e d s t a r t i n g w i t h C h a p t e r 4 , a n d t h e i d e a s d e v e l o p e d t h e r e
g a v e a s t r o n g i m p e t u o u s t o r e c e n t d e v e l o p m e n t s i n v a r i o u s a r e a s
o f p r o b a b i l i t y t h e o r y a n d i t s a p p l i c a t i o n s . S e v e r a l o f t h e n e a t a r -
g u m e n t s p r e s e n t e d i n t h e s e r e f e r e n c e s h a v e b e e n r e p r o d u c e d h e r e .
T h e a l r e a d y f a m o u s 3
1
2
C h a p t e r o f t h e r e c e n t b o o k b y M . G r o -
m o v s e r v e d a s a u s e f u l s o u r c e o f g e o m e t r i c e x a m p l e s . W h i l e m a n y
g e o m e t r i c i n v a r i a n t s a r e i n t r o d u c e d a n d a n a l y z e d t h e r e , o u r p o i n t
o f v i e w i s p e r h a p s a b i t m o r e q u a n t i t a t i v e a n d m o t i v a t e d b y a
n u m b e r o f r e c e n t p r o b a b i l i s t i c q u e s t i o n s .
E a c h c h a p t e r i s f o l l o w e d b y s o m e N o t e s a n d R e m a r k s w h e r e
c r e d i t h a s t o b e f o u n d . W e a p o l o g i z e f o r i n a c c u r a c i e s a n d o m i s -
s i o n s .
T h e n o t a t i o n s u s e d t h r o u g h o u t t h i s b o o k a r e s t a n d a r d . A l -
t h o u g h w e k e e p s o m e c o n s i s t e n c y , w e d i d n o t t r y t o u n i f y a l l t h e
n o t a t i o n s a n d o f t e n u s e d t h e c l a s s i c a l n o t a t i o n i n a g i v e n c o n t e x t
e v e n t h o u g h i t m i g h t h a v e b e e n u s e d b e f o r e i n a n o t h e r .
I a m g r a t e f u l t o M i c h e l T a l a g r a n d f o r n u m e r o u s d i s c u s s i o n s
o v e r t h e y e a r s o n t h e t o p i c o f c o n c e n t r a t i o n a n d f o r e x p l a i n i n g
t o m e h i s w o r k o n c o n c e n t r a t i o n i n p r o d u c t s p a c e s . P a r t s o f s e v -
e r a l j o i n t w o r k s w i t h S e r g e y B o b k o v o n c o n c e n t r a t i o n a n d r e l a t e d
m a t t e r s a r e r e p r o d u c e d h e r e . I s i n c e r e l y t h a n k h i m f o r n u m e r o u s
9
-
7/27/2019 Ledoux Concentration of Measure
10/250
c o r r e c t i o n s a n d c o m m e n t s o n t h e r s t d r a f t o f t h e m a n u s c r i p t .
T o u l o u s e , D e c e m b e r 2 0 0 0 M i c h e l L e d o u x
1 0
-
7/27/2019 Ledoux Concentration of Measure
11/250
1 . C O N C E N T R A T I O N F U N C T I O N S
A N D D E V I A T I O N I N E Q U A L I T I E S
I n t h i s c h a p t e r , w e i n t r o d u c e , w i t h t h e r s t e x a m p l e s o f s p h e r i c a l
a n d G a u s s i a n i s o p e r i m e t r y , t h e c o n c e p t o f m e a s u r e c o n c e n t r a t i o n
a s p u t f o r w a r d b y V . M i l m a n M - S ] a n d d i s c u s s i t s r s t p r o p -
e r t i e s . W e d e n e t h e n o t i o n o f c o n c e n t r a t i o n f u n c t i o n a n d c o n -
n e c t i t w i t h L e v y ' s d e v i a t i o n a n d c o n c e n t r a t i o n i n e q u a l i t i e s f o r
L i p s c h i t z f u n c t i o n s t h a t p r o v i d e a m a i n t o o l i n a p p l i c a t i o n s . T h e
n o t i o n o f o b s e r v a b l e d i a m e t e r i s a n o t h e r m o r e g e o m e t r i c v i e w t o
c o n c e n t r a t i o n . T h e l a s t t w o s e c t i o n s o f t h i s c h a p t e r a r e d e v o t e d
t o t h e u s e f u l t o o l s o f e x p a n s i o n c o e c i e n t s , L a p l a c e b o u n d s a n d
i n m u m - c o n v o l u t i o n i n e q u a l i t i e s t o e x p l o r e c o n c e n t r a t i o n p r o p e r -
t i e s .
1 . 1 F i r s t e x a m p l e s
T o i n t r o d u c e t o t h e c o n c e p t o f m e a s u r e c o n c e n t r a t i o n , w e r s t
b r i e y d i s c u s s a f e w e x a m p l e s t h a t w i l l b e f u r t h e r a n a l y z e d l a t e r
o n
A r s t i l l u s t r a t i o n i s s u g g e s t e d b y t h e e x a m p l e o f t h e s t a n d a r d
n - s p h e r e S
n
i n R
n + 1
w h e n d i m e n s i o n n i s l a r g e . B y a s t a n d a r d
c o m p u t a t i o n , u n i f o r m m e a s u r e
n
o n S
n
i s a l m o s t c o n c e n t r a t e d
w h e n t h e d i m e n s i o n n i s l a r g e a r o u n d t h e ( e v e r y ! ) d i a m e t e r . A c -
t u a l l y , t h e i s o p e r i m e t r i c i n e q u a l i t y o n S
n
e x p r e s s e s t h a t s p h e r i c a l
c a p s ( g e o d e s i c b a l l s ) m i n i m i z e t h e b o u n d a r y m e a s u r e a t x e d v o l -
u m e . I n i t s i n t e g r a t e d f o r m ( s e e S e c t i o n 2 . 1 ) , g i v e n a B o r e l s e t A
1 1
-
7/27/2019 Ledoux Concentration of Measure
12/250
o n S
n
w i t h t h e s a m e m e a s u r e a s a s p h e r i c a l c a p B , t h e n f o r e v e r y
r > 0 ,
n
( A
r
)
n
( B
r
)
w h e r e A
r
= f x 2 S
n
d ( x A ) < r g i s t h e ( o p e n ) n e i g h b o r h o o d
o f o r d e r r f o r t h e g e o d e s i c d i s t a n c e o n S
n
. O n e m a i n f e a t u r e o f
c o n c e n t r a t i o n w i t h r e s p e c t t o i s o p e r i m e t r y i s t o a n a l y z e t h i s i n -
e q u a l i t y f o r t h e l a r g e v a l u e s o f r r a t h e r t h a n t h e s m a l l o n e s . T h e
e x p l i c i t e v a l u a t i o n o f t h e m e a s u r e o f s p h e r i c a l c a p s ( p e r f o r m e d
b e l o w i n S e c t i o n 2 . 1 ) t h e n i m p l i e s t h a t g i v e n a n y m e a s u r a b l e s e t
A w i t h , s a y ,
n
( A )
1
2
, f o r e v e r y r > 0 ,
n
( A
r
) 1 ; e
; ( n ; 1 ) r
2
= 2
( 1 1 )
T h e r e f o r e , a l m o s t a l l p o i n t s o n S
n
a r e w i t h i n ( g e o d e s i c ) d i s t a n c e
1
p
n
f r o m A w h i c h i s o f p a r t i c u l a r i n t e r e s t w h e n d i m e n s i o n n i s
l a r g e . F r o m a \ t o m o g r a p h i c " p o i n t o f v i e w ( d e v e l o p e d f u r t h e r i n
S e c t i o n 1 . 4 b e l o w ) , t h e v i s u a l d i a m e t e r o f S
n
( f o r
n
) i s o f t h e
o r d e r o f
1
p
n
a s n ! 1 w h i c h i s i n c o n t r a s t w i t h t h e d i a m e t e r o f
S
n
a s m e t r i c s p a c e .
T h i s e x a m p l e i s a r s t , a n d m a i n , i n s t a n c e o f t h e c o n c e n -
t r a t i o n o f m e a s u r e p h e n o m e n o n f o r w h i c h n i c e p a t t e r n s d e v e l o p
a s d i m e n s i o n i s l a r g e . I t f u r t h e r m o r e s u g g e s t s t h e i n t r o d u c t i o n o f
a c o n c e n t r a t i o n f u n c t i o n i n o r d e r t o e v a l u a t e t h e d e c a y i n ( 1 . 1 ) .
S e t t i n g n a m e l y
n
( r ) = s u p
1 ;
n
( A
r
) A S
n
n
( A )
1
2
r > 0
t h e b o u n d ( 1 . 1 ) a m o u n t s t o s a y t h a t
n
( r ) e
; ( n ; 1 ) r
2
= 2
r > 0 ( 1 2 )
N o t e t h a t r > 0 i n ( 1 . 2 ) a c t u a l l y r a n g e s u p t o t h e d i a m e t e r o f
S
n
a n d t h a t ( 1 . 2 ) i s t h u s m a i n l y o f i n t e r e s t w h e n n i s l a r g e .
B y r e s c a l i n g o f t h e m e t r i c , t h e p r e c e d i n g r e s u l t s a p p l y s i m i -
l a r l y t o u n i f o r m m e a s u r e
n
R
o n t h e n - s p h e r e S
n
R
o f r a d i u s R > 0
I n p a r t i c u l a r ,
n
R
( r ) e
; ( n ; 1 ) r
2
= 2 R
2
r > 0 ( 1 3 )
1 2
-
7/27/2019 Ledoux Concentration of Measure
13/250
N o w , i t i s w e l l - k n o w n t h a t w h e n n t e n d s t o i n n i t y t h e m e a -
s u r e s
n
p
n
c o n v e r g e t o t h e c a n o n i c a l G a u s s i a n m e a s u r e o n R
N
T h e i s o p e r i m e t r i c i n e q u a l i t y o n s p h e r e s m a y t h e n b e t r a n s f e r r e d
t o a n i s o p e r i m e t r i c i n e q u a l i t y f o r G a u s s i a n m e a s u r e s . P r e c i s e l y ,
i f =
k
i s t h e c a n o n i c a l G a u s s i a n m e a s u r e o n R
k
w i t h d e n s i t y
( 2 )
; k = 2
e
; x
2
= 2
w i t h r e s p e c t t o L e b e s g u e m e a s u r e a n d i f A i s a
B o r e l s e t i n R
k
w i t h ( A ) = ( a ) f o r s o m e a 2 ; 1 + 1 ] w h e r e
( t ) = ( 2 )
; 1 = 2
R
t
; 1
e
; x
2
= 2
d x i s t h e d i s t r i b u t i o n f u n c t i o n o f t h e
s t a n d a r d n o r m a l d i s t r i b u t i o n o n t h e l i n e , t h e n f o r e v e r y r > 0 ,
( A
r
) ( a + r )
H e r e A
r
d e n o t e s t h e r - n e i g b o r h o o d w i t h r e s p e c t t o t h e s t a n d a r d
E u c l i d e a n m e t r i c o n R
k
. U n l e s s o t h e r w i s e s p e c i e d , R
k
( o r s u b s e t s
o f R
k
) w i l l b e e q u i p p e d w i t h t h e s t a n d a r d E u c l i d e a n s t r u c t u r e
i n d u c e d b y t h e n o r m x =
;
P
k
i = 1
x
2
i
1 = 2
, x = ( x
1
: : : x
k
) 2 R
k
D e n i n g s i m i l a r l y t h e c o n c e n t r a t i o n f u n c t i o n f o r a s
( r ) = s u p
1 ; ( A
r
) A R
k
( A )
1
2
w e g e t i n p a r t i c u l a r s i n c e ( 0 ) =
1
2
a n d 1 ; ( r ) e
; r
2
= 2
, r > 0 ,
t h a t
( r ) e
; r
2
= 2
r > 0 ( 1 4 )
O n e m a y a l s o t h i n k o f ( 1 . 3 ) i n t h e l i m i t a s n ! 1 w i t h R =
p
n
O n e m a y a g a i n i n t e r p r e t ( 1 . 4 ) b y s a y i n g t h a t g i v e n a s e t A w i t h
( A )
1
2
, a l m o s t a l l p o i n t s i n R
k
a r e w i t h i n d i s t a n c e 5 o r 1 0
s a y f r o m t h e s e t A w h e r e a s o f c o u r s e R
k
i s u n b o u n d e d . W e h a v e
t h u s h e r e a s e c o n d i n s t a n c e o f m e a s u r e c o n c e n t r a t i o n w i t h t h e
p a r t i c u l a r f e a t u r e t h a t t h e c o n c e n t r a t i o n f u n c t i o n o f ( 1 . 4 ) d o e s
n o t d e p e n d o n t h e d i m e n s i o n o f t h e u n d e r l y i n g s t a t e s p a c e R
k
f o r
t h e p r o d u c t m e a s u r e =
k
O u r t h i r d e x a m p l e w i l l b e d i s c r e t e . C o n s i d e r t h e n - d i m e n s i o n a l
d i s c r e t e c u b e X = f 0 1 g
n
a n d e q u i p X w i t h t h e H a m m i n g m e t r i c
d ( x y ) = C a r d
;
f x
i
6= y
i
i = 1 : : : n g
x = ( x
1
: : : x
n
) y = ( y
1
: : : y
n
) 2 f 0 1 g
n
. L e t b e u n i f o r m
( p r o d u c t ) m e a s u r e o n f 0 1 g
n
d e n e d b y ( A ) = 2
; n
C a r d ( A ) ,
1 3
-
7/27/2019 Ledoux Concentration of Measure
14/250
A X . I d e n t i f y i n g t h e e x t r e m a l s e t s A i n X f o r w h i c h t h e i n m u m
i n f f ( A
r
) ( A )
1
2
g i s a t t a i n e d m a y b e u s e d t o s h o w h e r e t h a t
( r ) e
; 2 r
2
= n
r > 0 ( 1 5 )
w h e r e t h e c o n c e n t r a t i o n f u n c t i o n
f o r o n f 0 1 g
n
e q u i p p e d
w i t h t h e H a m m i n g m e t r i c i s d e n e d a s a b o v e . I n t h i s c a s e t h e r e -
f o r e , n e i g b o r h o o d s o f o r d e r
p
n o f s e t s w i t h h a l f o f t h e m e a s u r e
w i l l a l m o s t c o v e r f 0 1 g
n
( w h i c h i s o f m e t r i c d i a m e t e r n )
T h e s e r s t e x a m p l e s o f c o n c e n t r a t i o n p r o p e r t i e s a l l f o l l o w
f r o m m o r e r e n e d i s o p e r i m e t r i c i n e q u a l i t i e s . T h e y w i l l b e d e -
t a i l l e d i n t h e n e x t c h a p t e r i n w h i c h f u l l p r o o f s o f t h e c o n c e n t r a t i o n
( r a t h e r t h a n i s o p e r i m e t r i c ) r e s u l t s w i l l b e p r e s e n t e d . T h e s e e x a m -
p l e s w i l l s e r v e a s g u i d e l i n e s f o r t h e f u r t h e r d e v e l o p m e n t s . T h e y
m o t i v a t e a n d j u s t i f y i n p a r t i c u l a r t h e a n a l y s i s o f t h e c o n c e p t o f
c o n c e n t r a t i o n f u n c t i o n p e r f o r m e d i n t h e n e x t s e c t i o n .
1 . 2 C o n c e n t r a t i o n f u n c t i o n s
M o t i v a t e d b y t h e e a r l y e x a m p l e s o f t h e p r e c e d i n g s e c t i o n , w e i n -
t r o d u c e a n d f o r m a l i z e t h e c o n c e p t o f c o n c e n t r a t i o n f u n c t i o n o f a
p r o b a b i l i t y m e a s u r e o n , s a y , a m e t r i c s p a c e . T h e c o n c e n t r a t i o n
e x a m p l e s o f S e c t i o n 1 . 1 r e l y n a m e l y o n t w o m a i n i n g r e d i e n t s , a
( p r o b a b i l i t y ) m e a s u r e a n d a n o t i o n o f ( i s o p e r i m e t r i c ) e n l a r g e m e n t
w i t h r e s p e c t t o w h i c h c o n c e n t r a t i o n i s e v a l u a t e d .
L e t t h u s ( X d ) b e a m e t r i c s p a c e e q u i p p e d w i t h a p r o b a b i l -
i t y m e a s u r e o n t h e B o r e l s e t s B o f ( X d ) . T h e c o n c e n t r a t i o n
f u n c t i o n
( X d )
( d e n o t e d m o r e s i m p l y
( X )
, o r e v e n
, w h e n
t h e m e t r i c d , o r t h e u n d e r l y i n g m e t r i c s p a c e ( X d ) , i s i m p l i c i t ) i s
d e n e d a s
( X d )
( r ) = s u p
1 ; ( A
r
) A X ( A )
1
2
r > 0 ( 1 6 )
H e r e A
r
= f x 2 X d ( x A ) < r g i s t h e ( o p e n ) r - n e i g h b o r h o o d
o f A ( w i t h r e s p e c t t o d ) . A c o n c e n t r a t i o n f u n c t i o n i s l e s s t h a n o r
e q u a l t o
1
2
. W h e n ( X d ) i s b o u n d e d , t h e e n l a r g e m e n t s r > 0 i n
( 1 . 6 ) a c t u a l l y r a n g e u p t o t h e d i a m e t e r
D i a m ( X d ) = s u p
d ( x y ) x y 2 X
1 4
-
7/27/2019 Ledoux Concentration of Measure
15/250
o f ( X d ) , t h e c o n c e n t r a t i o n f u n c t i o n b e i n g 0 w h e n r i s l a r g e r t h a n
t h e d i a m e t e r . T h i s w i l l h o w e v e r u s u a l l y n o t b e s p e c i e d . I n a n y
c a s e , t h e c o n c e n t r a t i o n f u n c t i o n d e c r e a s e s t o 0 a s r ! 1 . I n d e e d ,
x a p o i n t x i n X . G i v e n 0 < " 0 f r o m a p o i n t i n A h a s m e a s u r e l a r g e r t h a n
o r e q u a l t o 1 ; ( r ) . C o n c e n t r a t i o n i s c o n c e r n e d w i t h t h e b e h a v i o r
o f
( r ) a s r i s l a r g e . I f n e c e s s a r y , w e a g r e e i n t h e f o l l o w i n g t h a t
( 0 ) =
1
2
T h e i d e a o f t h e c o n c e n t r a t i o n o f m e a s u r e p h e n o m e n o n i s t h a t ,
i n a n u m b e r o f b a s i c e x a m p l e s ,
( X d )
( r ) d e c r e a s e s r a p i d l y a s r
i s l a r g e . I n p a r t i c u l a r , w e s a y t h a t h a s n o r m a l c o n c e n t r a t i o n o n
( X d ) i f t h e r e a r e c o n s t a n t s C c > 0 s u c h t h a t , f o r e v e r y r > 0 ,
( X d )
( r ) C e
; c r
2
( 1 7 )
A s e m p h a s i z e d i n S e c t i o n 1 . 1 , i m p o r t a n t e x a m p l e s s h a r e t h i s n o r -
m a l c o n c e n t r a t i o n a n d w e w i l l o f t e n b e c o n c e r n e d w i t h t h i s p r o p -
e r t y t h r o u g h o u t t h e s e n o t e s . I n p a r t i c u l a r , a s w e h a v e s e e n w i t h
( 1 . 2 ) , t h e n o r m a l i z e d i n v a r i a n t m e a s u r e
n
o n t h e s t a n d a r d n -
s p h e r e S
n
, n 2 , s a t i s e s a n o r m a l c o n c e n t r a t i o n w i t h C = 1
a n d c = ( n ; 1 ) = 2 t h a t t h u s y i e l d s s t r o n g c o n c e n t r a t i o n w h e n
d i m e n s i o n n i s l a r g e . B y ( 1 . 4 ) , t h e c a n o n i c a l G a u s s i a n m e a s u r e
o n E u c l i d e a n s p a c e s a t i s e s t h i s c o n c e n t r a t i o n ( w i t h C = 1 a n d
c =
1
2
) . C o n c e n t r a t i o n ( 1 . 5 ) o n t h e c u b e f 0 1 g
n
a l s o b e l o n g s t o
t h i s f a m i l y ( a l t h o u g h t h e e e c t o f d i m e n s i o n h a s t o b e a n a l y z e d
d i e r e n t l y i n t h i s e x a m p l e ) .
T h r o u g h o u t t h e s e n o t e s , w e d o n o t p a y m u c h a t t e n t i o n o n
s h a r p c o n s t a n t s i n n o r m a l c o n c e n t r a t i o n , a l t h o u g h w h e n p o s s i b l e
w e t r y t o r e a c h t h e c o r r e c t e x p o n e n t c > 0
W h i l e t h e c o n c e n t r a t i o n f u n c t i o n b o u n d s 1 ; ( A
r
) f o r a n y
s e t w i t h ( A )
1
2
, i t a l s o d o e s w h e n ( A ) " > 0 . T h i s i s
t h e c o n t e n t o f t h e f o l l o w i n g e a s y a n d u s e f u l c o n s e q u e n c e o f t h e
d e n i t i o n o f a c o n c e n t r a t i o n f u n c t i o n .
1 5
-
7/27/2019 Ledoux Concentration of Measure
16/250
L e m m a 1 . 1 . I f ( A ) " > 0 , t h e n
1 ; ( A
r
0
+ r
)
( r )
f o r a n y r > 0 a n d r
0
s u c h t h a t
( r
0
) < "
P r o o f . L e t r
0
> 0 b e s u c h t h a t ( r
0
) < " . D e n o t e b y B t h e
c o m p l e m e n t o f A
r
0
s o t h a t A i s i n c l u d e d i n t o t h e c o m p l e m e n t o f
B
r
0
I f ( B )
1
2
,
( A ) 1 ; ( B
r
0
)
( r
0
) < "
w h i c h i s i m p o s s i b l e . T h u s ( A
r
0
)
1
2
s o t h a t f o r e v e r y r > 0 ,
1 ; ( A
r
0
+ r
)
( r )
T h e l e m m a i s p r o v e d .
T h e f o l l o w i n g s i m p l e c o n t r a c t i o n p r o p e r t y s h o w s t h a t c o n -
c e n t r a t i o n f u n c t i o n s a r e d e c r e a s i n g u n d e r 1 - L i p s c h i t z m a p p i n g s .
P r o p o s i t i o n 1 . 2 . L e t ' b e a L i p s c h i t z m a p b e t w e e n t w o m e t r i c
s p a c e s ( X d ) a n d ( Y ) s u c h t h a t
;
' ( x ) ' ( x
0
)
c
'
d ( x x
0
) f o r a l l x x
0
2 X
L e t b e a p r o b a b i l i t y m e a s u r e o n t h e B o r e l s e t s o f X a n d d e n o t e
b y
'
t h e m e a s u r e p u s h e d f o r w a r d b y ' . T h e n , f o r e v e r y r > 0 ,
( Y
'
)
( r )
( X d )
;
r = c
'
F o r t h e p r o o f , s i m p l y n o t e t h a t i f A i s a B o r e l s e t i n Y , f o r
e v e r y r > 0 ,
'
; 1
( A
r
)
;
'
; 1
( A )
r = c
'
w h e r e t h e e n l a r g e m e n t s a r e u n d e r s t o o d w i t h r e s p e c t t o d a n d
r e s p e c t i v e l y .
A t y p i c a l e x a m p l e o f a p p l i c a t i o n o f P r o p o s i t i o n 1 . 2 a r i s e s
w h e n X i s a g r o u p a n d Y i s a q u o t i e n t X = G e q u i p p e d w i t h t h e
q u o t i e n t m e t r i c
( y y
0
) = i n f
d ( x x
0
) ' ( x ) = y ' ( x
0
) = y
0
w h e r e ' : X ! X = G i s t h e q u o t i e n t m a p f o r w h i c h c l e a r l y c
'
= 1
1 6
-
7/27/2019 Ledoux Concentration of Measure
17/250
1 . 3 D e v i a t i o n i n e q u a l i t i e s
I n t h i s p a r a g r a p h , w e d i s c u s s e q u i v a l e n t d e s c r i p t i o n s o f c o n c e n t r a -
t i o n p r o p e r t i e s i n t e r m s o f d e v i a t i o n a n d c o n c e n t r a t i o n i n e q u a l i t i e s
f o r L i p s c h i t z f u n c t i o n s .
L e t a s b e f o r e ( X d ) b e a m e t r i c s p a c e w i t h a B o r e l p r o b a b i l i t y
m e a s u r e . W e d e n e d i n t h e p r e c e d i n g s e c t i o n t h e c o n c e n t r a t i o n
f u n c t i o n
( X d )
( r ) , r > 0 , a s t h e i n m u m o v e r a l l B o r e l s e t s
A w i t h ( A )
1
2
o f 1 ; ( A
r
) w h e r e w e r e c a l l t h a t A
r
i s t h e
e n l a r g e m e n t o f o r d e r r o f A i n t h e m e t r i c d . O n e c o u l d a l s o d e n e ,
f o r e v e r y " > 0 ,
"
( X d )
( r ) = s u p
1 ; ( A
r
) A X ( A ) "
r > 0
l e a d i n g e s s e n t i a l l y t o t h e s a m e c o n c e p t b y L e m m a 1 . 1 . T h e v a l u e
" =
1
2
i s h o w e v e r o f p a r t i c u l a r i n t e r e s t t h r o u g h i t s c o n n e c t i o n w i t h
m e d i a n s .
I f i s a p r o b a b i l i t y m e a s u r e o n t h e B o r e l s e t s o f ( X d ) , a n d
i f F i s a m e a s u r a b l e r e a l - v a l u e d f u n c t i o n o n ( X d ) , w e s a y m
F
i s
a m e d i a n o f F f o r i f
;
f F m
F
g
1
2
a n d
;
f F m
F
g
1
2
A m e d i a n m
F
m a y n o t b e u n i q u e .
F o r a c o n t i n u o u s f u n c t i o n F o n ( X d ) , w e d e n o t e b y
!
F
( ) = s u p
F ( x ) ; F ( y )
d ( x y ) <
> 0
i t s m o d u l u s o f c o n t i n u i t y I f m
F
i s a m e d i a n o f F f o r , a n d i f
A = f F m
F
g , n o t e t h a t w h e n e v e r x i s s u c h t h a t f o r s o m e
y 2 A , d ( x y ) < , t h e n
F ( x ) F ( y ) + !
F
( ) m
F
+ !
F
( )
H e n c e , s i n c e ( A )
1
2
, b y d e n i t i o n o f t h e c o n c e n t r a t i o n f u n c t i o n
=
( X d )
,
;
F > m
F
+ !
F
( )
( ) ( 1 8 )
1 7
-
7/27/2019 Ledoux Concentration of Measure
18/250
S i m i l a r l y w i t h A = f F m
F
g ,
;
F < m
F
; !
F
( )
( )
I n p a r t i c u l a r ,
;
F ; m
F
> !
F
( )
2
( ) ( 1 9 )
O n t h e n - d i m e n s i o n a l s p h e r e S
n
f o r w h i c h
n
( ) i s s m a l l w h e n
n i s l a r g e , i t f o l l o w s t h a t f u n c t i o n s w i t h s m a l l l o c a l o s c i l l a t i o n a r e
n e a r l y c o n s t a n t w i t h o n a l m o s t a l l t h e s p a c e ( w i t h r e s p e c t t o
n
)
I n e q u a l i t i e s ( 1 . 8 ) a n d ( 1 . 9 ) o n t h e s p h e r e a r e s o m e t i m e s c a l l e d
L e v y ' s i n e q u a l i t i e s
I t w i l l b e m o r e c o n v e n i e n t i n t h e s e q u e l t o w o r k w i t h L i p s -
c h i t z f u n c t i o n s a n d L i p s c h i t z c o e c i e n t r a t h e r t h a n w i t h m o d u l i
o f c o n t i n u i t y . L e t u s d e t a i l a g a i n ( 1 . 8 ) a n d ( 1 . 9 ) o n L i p s c h i t z f u n c -
t i o n s . A r e a l - v a l u e d f u n c t i o n F o n ( X d ) i s s a i d t o b e L i p s c h i t z
i f
k F k
L p
= s u p
x 6= y
F ( x ) ; F ( y )
d ( x y )
0 . W e s a y t h a t F i s 1 -
L i p s c h i t z i f k F k
L p
1 . T h e c l a s s o f L i p s c h i t z f u n c t i o n s i s s t a b l e
b y t h e o p e r a t i o n s m i n a n d m a x .
I f F i s L i p s c h i t z o n ( X d ) a n d i f A = f F m g , f o r e v e r y
r > 0 , A
r
f F m + r = k F k
L p
g . T h e r e f o r e , i f m = m
F
i s a
m e d i a n o f F f o r , w e g e t a s f o r ( 1 . 8 ) t h a t f o r e v e r y r > 0 ,
;
f F m
F
+ r g
;
r = k F k
L p
( 1 1 0 )
W e s p e a k o f ( 1 . 1 0 ) ( a n d ( 1 . 8 ) ) a s a d e v i a t i o n i n e q u a l i t y
B y L e m m a 1 . 1 , i f ( f F m g ) " > 0 , t h e n f o r e v e r y r > 0 ,
;
f F m + r
0
+ r g
;
r = k F k
L p
( 1 1 1 )
w h e r e
( r
0
) < " . S i m i l a r l y , i n e q u a l i t y ( 1 . 1 0 ) w o u l d h o l d w i t h
"
( X d )
a s s o o n a s m
F
i s s u c h t h a t ( f F m
F
g ) " > 0 . B u t ,
a s b e f o r e , t h e p a r t i c u l a r c h o i c e o f " =
1
2
a l l o w s u s t o r e p e a t t h e
s a m e a r g u m e n t w i t h ; F t o g e t t h a t
;
f F m
F
; r g
;
r = k F k
L p
( 1 1 2 )
1 8
-
7/27/2019 Ledoux Concentration of Measure
19/250
T h e r e f o r e , t o g e t h e r w i t h ( 1 . 1 0 ) , w e d e d u c e t h a t f o r e v e r y r > 0 ,
;
F ; m
F
r
2
;
r = k F k
L p
( 1 1 3 )
T h i s i n e q u a l i t y ( a s w e l l a s ( 1 . 9 ) ) d e s c r i b e s a c o n c e n t r a t i o n i n e q u a l -
i t y o f F a r o u n d ( o n e o f ) i t s m e d i a n w i t h r a t e
. A c c o r d i n g t o
t h e r e l a t i v e s i z e o f
a n d k F k
L p
, t h e L i p s c h i t z f u n c t i o n F \ c o n -
c e n t r a t e s " a r o u n d o n e c o n s t a n t v a l u e o n a p o r t i o n o f t h e s p a c e o f
b i g m e a s u r e . M o r e o v e r , i t s h o u l d a l r e a d y b e e m p h a s i z e d t h a t m
F
a n d k F k
L p
m i g h t b e o f r a t h e r d i e r e n t s c a l e s , a n o b s e r v a t i o n o f
f u n d a m e n t a l i m p o r t a n c e i n a p p l i c a t i o n s .
B y h o m o g e n e i t y , i t i s e n o u g h t o c o n s i d e r ( 1 . 1 0 ) a n d ( 1 . 1 3 ) f o r
1 - L i p s c h i t z f u n c t i o n s .
T h e d e v i a t i o n o r c o n c e n t r a t i o n i n e q u a l i t i e s o n L i p s c h i t z f u n c -
t i o n s ( 1 . 1 0 ) a n d ( 1 . 1 3 ) a r e a c t u a l l y e q u i v a l e n t t o t h e c o r r e s p o n d i n g
s t a t e m e n t o n s e t s . L e t A b e a B o r e l s e t i n ( X d ) w i t h ( A )
1
2
S e t F ( x ) = d ( x A ) , x 2 X . C l e a r l y k F k
L p
1 w h i l e
;
f F = 0 g
( A )
1
2
H e n c e , s i n c e F 0 , 0 i s a m e d i a n o f F f o r , a n d t h u s , b y ( 1 . 1 0 ) ,
f o r e v e r y r > 0 ,
1 ; ( A
r
) =
;
f F r g
( r )
W e m a y s u m m a r i z e t h e s e c o n c l u s i o n s i n a s t a t e m e n t .
P r o p o s i t i o n 1 . 3 . L e t b e a B o r e l p r o b a b i l i t y m e a s u r e o n a
m e t r i c s p a c e ( X d ) . L e t F b e a r e a l c o n t i n u o u s f u n c t i o n o n ( X d )
a n d l e t m
F
b e a m e d i a n o f F f o r . T h e n , f o r e v e r y > 0 ,
;
F > m
F
+ !
F
( )
( )
I n p a r t i c u l a r , i f F i s L i p s c h i t z , f o r a n y r > 0 ,
;
f F m
F
+ r g
;
r = k F k
L p
a n d
;
f F ; m
F
+ r g
2
;
r = k F k
L p
1 9
-
7/27/2019 Ledoux Concentration of Measure
20/250
C o n v e r s e l y , i f f o r s o m e n o n - n e g a t i v e f u n c t i o n o n R
+
,
;
f F m
F
+ r g
( r )
f o r a n y 1 - L i p s c h i t z f u n c t i o n F w i t h m e d i a n m
F
a n d a n y r > 0 ,
t h e n
T h e p r e v i o u s p r o p o s i t i o n h a s t h e f o l l o w i n g i n t e r e s t i n g c o n s e -
q u e n c e s .
C o r o l l a r y 1 . 4 . I f o n ( X d ) h a s c o n c e n t r a t i o n f u n c t i o n
=
( X d )
, f o r a n y t w o n o n - e m p t y B o r e l s e t s A a n d B i n X ,
( A ) ( B ) 4
;
d ( A B ) = 2
w h e r e d ( A B ) = i n f f d ( x y ) x 2 A y 2 B g
P r o o f . L e t 2 r = d ( A B ) > 0 . C o n s i d e r t h e 1 - L i p s c h i t z f u n c t i o n
F ( y ) = d ( y B ) a n d d e n o t e b y m
F
a m e d i a n o f F f o r . S i n c e
F = 0 o n B a n d F 2 r o n A ,
( A ) ( B )
( x y )
F ( x ) ; F ( y )
2 r
2
;
F ; m
F
r
4
( r )
w h i c h i s t h e d e s i r e d r e s u l t .
C o r o l l a r y 1 . 5 . I f o n ( X d ) h a s c o n c e n t r a t i o n f u n c t i o n
=
( X d )
, f o r a n y 1 - L i p s c h i t z f u n c t i o n F o n ( X d ) a n d a n y r > 0 ,
( x y ) 2 X X
F ( x ) ; F ( y )
r ) 2
r
2
C o n v e r s e l y , i f f o r s o m e n o n - n e g a t i v e f u n c t i o n o n R
+
, a l l 1 -
L i p s c h i t z f u n c t i o n s F a n d a l l r > 0 ,
( x y ) 2 X X
F ( x ) ; F ( y )
r ) ( r )
t h e n
2
2 0
-
7/27/2019 Ledoux Concentration of Measure
21/250
P r o o f . T h e r s t a s s e r t i o n f o l l o w s f r o m t h e f a c t , a s a l r e a d y u s e d i n
C o r o l l a r y 1 . 4 , t h a t
( x y )
F ( x ) ; F ( y )
2 r
2
;
F ; m
F
r
C o n v e r s e l y , l e t A w i t h ( A )
1
2
. A p p l y i n g t h e h y p o t h e s i s t o
F ( x ) = d ( x A ) , x 2 A , w e g e t a s i n C o r o l l a r y 1 . 4 t h a t f o r e v e r y
r > 0 ,
( A )
;
1 ; ( A
r
)
( x y )
F ( x ) ; F ( y )
r
( r )
f r o m w h i c h t h e d e s i r e d c l a i m f o l l o w s .
A p a r t i c u l a r s i t u a t i o n f o r d e v i a t i o n i n e q u a l i t i e s u n d e r s o m e
l e v e l o c c u r s f o r c o n v e x f u n c t i o n s a n d t h e n e x t s t a t e m e n t i s a s h o r t
d i g r e s s i o n o n t h i s t h e m e . A s s u m e f o r s i m p l i c i t y t h a t X = R
n
e q u i p p e d w i t h i t s s t a n d a r d E u c l i d e a n m e t r i c a n d d e n o t e b y
r F t h e g r a d i e n t o f a s m o o t h f u n c t i o n F o n R
n
P r o p o s i t i o n 1 . 6 . L e t b e a p r o b a b i l i t y m e a s u r e o n t h e B o r e l
s e t s o f R
n
, a n d l e t F b e s m o o t h a n d c o n v e x o n R
n
s u c h t h a t f o r
s o m e m 2 R a n d c > 0 ,
;
F m r F c
" > 0
T h e n , f o r e v e r y r > 0 ,
;
F m ; c ( r
0
+ r )
( r )
w h e r e
( r
0
) < "
P r o o f . A p p l y i n g L e m m a 1 . 1 t o r
1
= r
0
+ r , i t i s e n o u g h t o s h o w
t h a t w h e n e v e r A = f F m r F c g , t h e n
A
r
1
f F > m ; c r
1
g
B u t s i n c e F i s ( s m o o t h a n d ) c o n v e x , f o r a n y x y 2 R
n
,
F ( y ) F ( x ) + h r F ( y ) y ; x i
2 1
-
7/27/2019 Ledoux Concentration of Measure
22/250
H e n c e , i f y 2 A a n d x ; y < r
1
,
F ( x ) F ( y ) ;
r F ( y )
x ; y > m ; c r
1
T h e p r o p o s i t i o n i s p r o v e d .
W h e n m i s a m e d i a n o f F i n P r o p o s i t i o n 1 . 6 , i t i s u s u a l l y
i m p o s s i b l e t o e x p e c t t h a t ( A )
1
2
w h e r e
A = f F m r F c g
T o e s t i m a t e f r o m b e l o w ( A ) w e m a y h o w e v e r w r i t e
( A )
;
f F m g
;
;
r F > c
( 1 1 4 )
I f F i s L i p s c h i t z o n R
n
, b y R a d e m a c h e r ' s t h e o r e m , F i s a l m o s t
e v e r y w h e r e d i e r e n t i a b l e a n d k r F k
1
= k F k
L p
. P r o p o s i t i o n 1 . 6
t h u s s h o w s t h a t f o r L i p s c h i t z c o n v e x f u n c t i o n s , t h e d e v i a t i o n i n -
e q u a l i t i e s u n d e r s o m e l e v e l m a r e g o v e r n e d u s i n g ( 1 . 1 4 ) b y t h e
L
0
- n o r m o f t h e g r a d i e n t o f F r a t h e r t h a n b y i t s L
1
- n o r m a s i n
( 1 . 1 2 ) . T h i s i s a u s e f u l o b s e r v a t i o n i n a p p l i c a t i o n s .
I n e q u a l i t y ( 1 . 1 3 ) d e s c r i b e s a c o n c e n t r a t i o n p r o p e r t y o f t h e
L i p s c h i t z f u n c t i o n F a r o u n d s o m e m e d i a n v a l u e m
F
. T h e m e d i a n
m
F
m a y a c t u a l l y b e r e p l a c e d b y t h e m e a n o f F . W e r s t s h o w a
c o n v e r s e r e s u l t i n t h i s d i r e c t i o n .
P r o p o s i t i o n 1 . 7 . L e t b e a B o r e l p r o b a b i l i t y m e a s u r e o n a
m e t r i c s p a c e ( X d ) . A s s u m e t h a t f o r s o m e n o n - n e g a t i v e f u n c t i o n
o n R
+
a n d a n y b o u n d e d 1 - L i p s c h i t z f u n c t i o n F o n ( X d ) ,
;
f F
R
F d + r g
( r ) ( 1 1 5 )
f o r e v e r y r > 0 . T h e n
1 ; ( A
r
)
;
( A ) r
f o r e v e r y B o r e l s e t A w i t h ( A ) > 0 a n d e v e r y r > 0 . I n p a r t i c u l a r ,
( X d )
( r )
;
1
2
r > 0
2 2
-
7/27/2019 Ledoux Concentration of Measure
23/250
M o r e o v e r , i f i s s u c h t h a t l i m
r ! 1
( r ) = 0 , a n y 1 - L i p s c h i t z
f u n c t i o n F i s i n t e g r a b l e w i t h r e s p e c t t o a n d , p r o v i d e d i s c o n -
t i n u o u s , s a t i s e s ( 1 . 1 5 ) .
P r o o f . L e t A w i t h ( A ) > 0 a n d x r > 0 . C o n s i d e r F ( x ) =
m i n ( d ( x A ) r ) . C l e a r l y k F k
L p
1 w h i l e
Z
F d
;
1 ; ( A )
r
B y t h e h y p o t h e s i s ,
1 ; ( A
r
) =
;
f F r g
;
F
R
F d + ( A ) r
;
( A ) r
I n p a r t i c u l a r , i f ( A )
1
2
, 1 ; ( A
r
) (
r
2
) s o t h a t t h e r s t c l a i m
f o l l o w s .
L e t n o w F b e a 1 - L i p s c h i t z f u n c t i o n o n ( X d ) . F o r e v e r y n
0 , F
n
= m i n ( F n ) i s a g a i n 1 - L i p s c h i t z a n d b o u n d e d . A p p l y i n g
( 1 . 1 5 ) t o ; F
n
, f o r e v e r y r > 0 ,
;
f F
n
R
F
n
d ; r g
( r ) ( 1 1 6 )
C h o o s e m s u c h t h a t ( f F m g )
1
2
a n d r
0
s u c h t h a t ( r
0
)
-
7/27/2019 Ledoux Concentration of Measure
24/250
I n t h e s a m e s p i r i t , o b s e r v e t h a t ( 1 . 1 5 ) a p p l i e d t o ; F c o n t a i n s a
c o n c e n t r a t i o n i n e q u a l i t y a r o u n d t h e m e a n
;
F ;
R
F d r
2 ( r ) ( 1 1 7 )
N o w , i f r
0
i s c h o s e n s o t h a t 2 ( r
0
) 0 ( 1 1 8 )
I n c a s e o f n o r m a l c o n c e n t r a t i o n ( r ) = C e
; c r
2
f o r e x a m p l e , w e
t h e n g e t v i a P r o p o s i t i o n 1 . 3 a c o n c e n t r a t i o n f u n c t i o n
a s y m p -
t o t i c a l l y o f t h e s a m e o r d e r a s r ! 1 , n a m e l y
( r ) C
0
e
; c r
2
+ c r
r > 0
W e w i l l n o t b e c o n c e r n e d i n t h i s w o r k w i t h s h a r p c o n s t a n t s
i n c o n c e n t r a t i o n f u n c t i o n s , a n d u s u a l l y p r e s e n t b o u n d s o n c o n c e n -
t r a t i o n f u n c t i o n s u s i n g t h e s i m p l e P r o p o s i t i o n 1 . 7 w i t h a f a c t o r
1
2
M o r e o v e r , i n n o r m a l c o n c e n t r a t i o n f u n c t i o n s ( r ) = C e
; c r
2
, w e
w i l l n e v e r d e s c r i b e s h a r p v a l u e s o f C . H o w e v e r , w h e n t h e s h a r p
c o n c e n t r a t i o n i n e q u a l i t i e s f o r L i p s c h i t z f u n c t i o n s a r o u n d t h e m e -
d i a n o r t h e m e a n a r e a v a i l a b l e , w e p r e s e n t t h e m s i m u l t a n e o u s l y .
A s w e w i l l s e e i n t h e n e x t c h a p t e r , i s o p e r i m e t r i c i n e q u a l i t i e s d o
u s u a l l y p r o v i d e o p t i m a l c o n c e n t r a t i o n f u n c t i o n s .
T h e n e x t p r o p o s i t i o n f o r m a l i z e s t h e a r g u m e n t l e a d i n g t o ( 1 . 1 8 )
w i t h t h e m e a n r e p l a c e d b y a n y c o n s t a n t v a l u e . W e m a y a c t u a l l y
w o r k a t t h e l e v e l o f o n e s i n g l e f u n c t i o n F
P r o p o s i t i o n 1 . 8 . L e t F b e a m e a s u r a b l e f u n c t i o n o n s o m e p r o b -
a b i l i t y s p a c e ( X B ) . A s s u m e t h a t f o r s o m e a
F
2 R a n d f o r
s o m e n o n - n e g a t i v e f u n c t i o n o n R
+
s u c h t h a t ( 0 )
1
2
a n d
l i m
r ! 1
( r ) = 0 ,
;
F ; a
F
r
( r )
2 4
-
7/27/2019 Ledoux Concentration of Measure
25/250
f o r a l l r > 0 . T h e n
;
F ; m
F
r + r
0
( r )
w h e r e m
F
i s a m e d i a n o f F f o r a n d w h e r e r
0
> 0 i s s u c h t h a t
( r
0
) 0
w h e r e M i s e i t h e r t h e m e a n o r a m e d i a n o f F f o r a n d w h e r e
C
0
c
0
> 0 a n l y d e p e n d o n C c a n d p
P r o o f . T h e r s t p a r t f o l l o w s f r o m t h e a r g u m e n t l e a d i n g t o ( 1 . 1 8 ) .
F o r t h e s e c o n d , n o t e t h a t
Z
F ; a
F
d =
Z
1
0
;
F ; a
F
r
d r
T h e r e f o r e
R
F d 0
P r o p o s i t i o n 1 . 9 . L e t F b e a m e a s u r a b l e f u n c t i o n o n s o m e p r o b -
a b i l i t y s p a c e ( X B ) s u c h t h a t f o r s o m e a
F
2 R a n d s o m e c o n -
s t a n t s C c > 0 ,
;
F ; a
F
r
C e
; c r
2
f o r e v e r y r 0 . T h e n
Z
e
F
2
d
-
7/27/2019 Ledoux Concentration of Measure
26/250
f o r e v e r y < c
P r o o f . F r o m t h e h y p o t h e s i s , f o r e v e r y r a
F
,
;
F r
;
F ; a
F
r ; a
F
C e
; c ( r ; a
F
)
2
N o w , b y F u b i n i ' s t h e o r e m ,
Z
e
F
2
d = 1 +
Z
1
0
2 r
;
F r
e
r
2
d r
e
a
2
F
+
Z
1
a
F
2 r
;
F r
e
r
2
d r
e
a
2
F
+
Z
1
a
F
2 C r e
; c ( r ; a
F
)
2
e
r
2
d r
f r o m w h i c h t h e c o n c l u s i o n f o l l o w s .
T h e f o l l o w i n g p r o p o s i t i o n i s a f u r t h e r d e s c r i p t i o n o f n o r m a l
c o n c e n t r a t i o n .
P r o p o s i t i o n 1 . 1 0 . L e t b e a B o r e l p r o b a b i l i t y m e a s u r e o n a
m e t r i c s p a c e ( X d ) . T h e n ( X d ) h a s n o r m a l c o n c e n t r a t i o n i f
a n d o n l y i f t h e r e i s a c o n s t a n t C > 0 s u c h t h a t f o r e v e r y q 1
a n d e v e r y 1 - L i p s c h i t z f u n c t i o n F o n ( X d ) ,
F ;
R
F d
q
C
p
q
w h e r e k k
q
i s t h e L
q
- n o r m w i t h r e s p e c t t o
P r o o f . I f
( r ) C e
; c r
2
, r 0 , w e k n o w f r o m P r o p o s i t i o n 1 . 7
t h a t f o r e v e r y 1 - L i p s c h i t z f u n c t i o n F , a n d e v e r y r 0 ,
;
f F ;
R
F d r g
2 C e
; c r
2
T h e n , f o r q 1 ,
F ;
R
F d
q
q
=
Z
1
0
q r
q ; 1
;
f F ;
R
F d r g
d r
Z
1
0
2 C q r
q ; 1
e
; c r
2
d r
2 6
-
7/27/2019 Ledoux Concentration of Measure
27/250
f r o m w h i c h t h e i m p l i c a t i o n f o l l o w s s i n c e
Z
1
0
r
q ; 1
e
; c r
2
d r q
q = 2
a s q ! 1 . C o n v e r s e l y , B y C h e b y s h e v ' s i n e q u a l i t y , f o r e v e r y r > 0
a n d q 1 ,
;
f F ;
R
F d r g
C
p
q r
; q
f r o m w h i c h n o r m a l c o n c e n t r a t i o n f o l l o w s b y o p t i m i z a t i o n i n q 1
A s a c o n s e q u e n c e o f P r o p o s i t i o n 1 . 1 0 , i f ( X d ) h a s n o r m a l
c o n c e n t r a t i o n , t h e r e e x i s t s C > 0 s u c h t h a t f o r e v e r y q 1 a n d
e v e r y L i p s c h i t z f u n c t i o n F o n ( X d ) ,
k F k
q
k F k
1
+ C
p
q k F k
L p
( 1 1 9 )
P r o p o s i t i o n s 1 . 9 a n d 1 . 1 0 c l e a r l y e x t e n d t o c o n c e n t r a t i o n
f u n c t i o n s o f t h e t y p e C e
; c r
p
, p > 0 ( o r m o r e g e n e r a l s u c i e n t l y
s m a l l c o n c e n t r a t i o n f u n c t i o n s ) . T h e g r o w t h r a t e i n q 1 i s t h e n
q
1 = p
i n P r o p o s i t i o n 1 . 1 0 .
P r o p o s i t i o n 1 . 7 i s a c o n v e n i e n t t o o l t o h a n d l e c o n c e n t r a t i o n
i n p r o d u c t s p a c e s w i t h w h i c h w e c o n c l u d e t h i s s e c t i o n . I f ( X d )
a n d ( Y ) a r e m e t r i c s p a c e s , w e e q u i p t h e c a r t e s i a n p r o d u c t s p a c e
X Y w i t h t h e
1
- m e t r i c
d ( x x
0
) + ( y y
0
) x x
0
2 X y y
0
2 Y ( 1 2 0 )
P r o p o s i t i o n 1 . 1 1 . L e t a n d b e B o r e l p r o b a b i l i t y m e a s u r e s
o n m e t r i c s p a c e s ( X d ) a n d ( Y ) r e s p e c t i v e l y . A s s u m e t h a t t h e r e
a r e n o n - n e g a t i v e f u n c t i o n s a n d o n R
+
s u c h t h a t w h e n e v e r
F : X ! R a n d G : Y ! R a r e b o u n d e d a n d 1 - L i p s c h i t z o n t h e i r
r e s p e c t i v e s p a c e s , t h e n f o r e v e r y r > 0 ,
;
f F
R
F d + r g
( r )
a n d
;
f G
R
G d + r g
( r )
2 7
-
7/27/2019 Ledoux Concentration of Measure
28/250
T h e n , i f i s t h e p r o d u c t m e a s u r e o f a n d o n X Y e q u i p p e d
w i t h t h e
1
- m e t r i c ( 1 . 2 0 ) , f o r a n y b o u n d e d 1 - L i p s c h i t z f u n c t i o n F
o n t h e p r o d u c t s p a c e X Y a n d a n y r > 0 ,
;
f F
R
F d + 2 r g
( r ) + ( r )
P r o o f . S e t , f o r e v e r y x 2 X , y 2 Y , F
y
( x ) = F ( x y ) a n d G ( y ) =
R
F
y
d , a n d o b s e r v e t h a t F
y
a n d G a r e 1 - L i p s c h i t z o n t h e i r r e -
s p e c t i v e s p a c e s . T h e r e f o r e , f o r e v e r y r > 0 ,
;
f F
R
F d + 2 r g
;
( x y ) 2 X Y F
y
( x )
R
F
y
d + r
+
;
G
R
G d + r
( r ) + ( r )
T h e p r o p o s i t i o n i s e s t a b l i s h e d .
W h i l e P r o p o s i t i o n 1 . 1 1 d e s c r i b e s c o n c e n t r a t i o n r e s u l t s i n p r o d -
u c t s p a c e s , t h e s e a r e n o t w e l l s u i t e d t o c o n c e n t r a t i o n b o u n d s w h i c h
a r e i n d e p e n d e n t o n t h e n u m b e r o f s p a c e s i n t h e p r o d u c t ( d i m e n -
s i o n f r e e c o n c e n t r a t i o n ) . I t w i l l b e o n e m a i n q u e s t i o n a d r e s s e d i n
C h a p t e r s 4 , 5 a n d 6 t o d e v e l o p t o o l s t o r e a c h s u c h d i m e n s i o n f r e e
b o u n d s o f f u n d a m e n t a l i m p o r t a n c e i n a p p l i c a t i o n s .
1 . 4 O b s e r v a b l e d i a m e t e r s
T h e n o t i o n o f o b s e r v a b l e d i a m e t e r i s s o m e w h a t d u a l t o c o n c e n t r a -
t i o n f u n c t i o n . I t d e s c r i b e s t h e d i a m e t e r o f a m e t r i c s p a c e ( X d )
v i e w e d t h r o u g h a g i v e n p r o b a b i l i t y m e a s u r e o n t h e B o r e l s e t s
o f ( X d )
W e x > 0 t o b e t h o u g h t o f a s s m a l l . A c c o r d i n g t o M . G r o -
m o v G r o m 2 ] , d e n e r s t t h e p a r t i a l d i a m e t e r P a r t D i a m
( X d )
o f ( X d ) w i t h r e s p e c t t o a s t h e i n m a l D s u c h t h a t t h e r e e x -
i s t s a s u b s e t A o f X w i t h d i a m e t e r l e s s t h a n o r e q u a l t o D a n d
m e a s u r e ( A ) 1 ; . T h i s d i a m e t e r i s c l e a r l y m o n o t o n e f o r t h e
L i p s c h i t z o r d e r i n g : i f ' : ( X d ) ! ( Y ) i s 1 - L i p s c h i t z , a n d i f
'
i s t h e p u s h e d f o r w a r d m e a s u r e b y ' , t h e n P a r t D i a m
'
( Y )
2 8
-
7/27/2019 Ledoux Concentration of Measure
29/250
P a r t D i a m
( X d ) ( f o r a l l > 0 ) . W h a t i s n o t o b v i o u s i s t h a t t h e
p a r t i a l d i a m e t e r m a y d r a m a t i c a l l y d e c r e a s e u n d e r a l l 1 - L i p s c h i t z
m a p s f r o m X t o a c e r t a i n Y , t h a t w e a l w a y s t a k e t o b e R b e l o w .
W e t h e n d e n e t h e o b s e r v a b l e d i a m e t e r O b s D i a m
( X d ) o f ( X d )
w i t h r e s p e c t t o a s t h e i n m u m o f P a r t D i a m
F
( R ) o v e r a l l i m a g e
m e a s u r e s
F
o f b y a 1 - L i p s c h i z m a p F : X ! R
F o l l o w i n g G r o m 2 ] , w e t h i n k o f a s a s t a t e o n t h e c o n g u r a -
t i o n ( X d ) a n d a L i p s c h i t z m a p F : X ! R i s i n t e r p r e t e d a s a n
o b s e r v a b l e g i v i n g t h e t o m o g r a p h i c i m a g e
F
o n R . W e w a t c h
F
a n d c a n o n l y d i s t i n g u i s h a p a r t o f i t s s u p p o r t o f m e a s u r e 1 ;
T h e n e x t s i m p l e s t a t e m e n t c o n n e c t s t h e o b s e r v a b l e d i a m e t e r
O b s D i a m
( X d ) w i t h t h e c o n c e n t r a t i o n f u n c t i o n
=
( X d )
L e t
; 1
b e t h e g e n e r a l i z e d i n v e r s e f u n c t i o n o f t h e n o n - i n c r e a s i n g
f u n c t i o n
, t h a t i s
; 1
( " ) = i n f
r > 0
( r ) "
" > 0
P r o p o s i t i o n 1 . 1 2 . L e t b e a p r o b a b i l i t y m e a s u r e o n t h e B o r e l
s e t s o f a m e t r i c s p a c e ( X d ) . T h e n
O b s D i a m
( X d ) 2
; 1
2
P r o o f . I t i s a n e a s y c o n s e q u e n c e o f t h e c o n c e n t r a t i o n i n e q u a l i t i e s
f o r L i p s c h i t z f u n c t i o n s o f t h e p r e c e d i n g s e c t i o n s . N a m e l y , i f F :
X ! R i s 1 - L i p s c h i t z , w e k n o w f r o m ( 1 . 1 3 ) t h a t f o r e v e r y r > 0 ,
;
F ; m
F
r
2
( r )
w h e r e m
F
i s a m e d i a n o f F f o r . H e n c e , i f
F
d e n o t e s t h e i m a g e
m e a s u r e o f b y F , t h e i n t e r v a l ] m
F
; r m
F
+ r h a s l e n g t h 2 r a n d
F
- m e a s u r e l a r g e r t h a n o r e q u a l t o 1 ; 2
( r ) . T h e p r o p o s i t i o n
t h e n f o l l o w s f r o m t h e d e n i t i o n o f t h e i n v e r s e f u n c t i o n
; 1
o f
A s a n e x a m p l e , i f h a s n o r m a l c o n c e n t r a t i o n
( r ) C e
; c r
2
,
r > 0 , o n ( X d ) , t h e n
O b s D i a m
( X d ) 2
r
1
c
l o g
2 C
( 1 2 1 )
2 9
-
7/27/2019 Ledoux Concentration of Measure
30/250
T h e i m p o r t a n t p a r a m e t e r i n ( 1 . 2 1 ) i s t h e r a t e c i n t h e e x p o n e n t i a l
d e c a y o f t h e c o n c e n t r a t i o n f u n c t i o n , t h e v a l u e o f C > 0 b e i n g
u s u a l l y a n u m e r i c a l c o n s t a n t C = 1 o r 2 t h a t s i m p l y m o d i e s t h e
n u m e r i c a l v a l u e o f b y a f a c t o r . F o r e x a m p l e , b y ( 1 . 2 ) , ( 1 . 2 1 ) f o r
t h e s t a n d a r d n - s p h e r e S
n
m a y l o o s e l y b e d e s c r i b e d b y s a y i n g t h a t
O b s D i a m
n
( S
n
) = O
1
p
n
a s n i s l a r g e , w h i c h i s o f c o u r s e i n s t r o n g c o n t r a s t w i t h t h e d i -
a m e t e r i t s e l f o f S
n
a s a m e t r i c s p a c e . S i m i l a r l y , t h e o b s e r v a b l e
d i a m e t e r o f E u c l i d e a n s p a c e w i t h r e s p e c t t o G a u s s i a n m e a s u r e s i s
b o u n d e d .
1 . 5 E x p a n s i o n c o e c i e n t s
E x p a n s i o n c o e c i e n t s a r e a n a t u r a l m u l t i p l i c a t i v e d e s c r i p t i o n o f
e x p o n e n t i a l c o n c e n t r a t i o n .
A s b e f o r e , l e t b e a p r o b a b i l i t y m e a s u r e o n t h e B o r e l s e t s
o f a m e t r i c s p a c e ( X d ) . D e n e t h e e x p a n s i o n c o e c i e n t o f o n
( X d ) o f o r d e r " > 0 a s
E x p
( " ) = i n f
e 1 ( B
"
) e ( B ) B X ( B
"
)
1
2
w h e r e w e r e c a l l t h a t B
"
i s t h e ( o p e n ) " - n e i g h b o r h o o d o f B w i t h
r e s p e c t t o d
T h e d e n i t i o n o f E x p
( " ) s h o w s t h a t w h e n e v e r B i s s u c h t h a t
( B
k "
)
1
2
f o r s o m e i n t e g e r k 1 , t h e n
( B ) E x p
( " )
; k
( B
k "
)
1
2
E x p
( " )
; k
( 1 2 2 )
I n p a r t i c u l a r , i f E x p
( " ) > 1 , B h a s v e r y s m a l l m e a s u r e . T h i n k i n g
o f B a s t h e c o m p l e m e n t o f s o m e l a r g e r - n e i g h b o r h o o d o f a s e t
A w i t h m e a s u r e ( A )
1
2
i m m e d i a t e l y l e a d s t o t h e e x p o n e n t i a l
d e c a y o f t h e c o n c e n t r a t i o n f u n c t i o n
o f o n ( X d )
P r o p o s i t i o n 1 . 1 3 . I f f o r s o m e " > 0 , E x p
( " ) e > 1 , t h e n
( r )
e
2
e
; r ( l o g e ) = "
r > 0
3 0
-
7/27/2019 Ledoux Concentration of Measure
31/250
P r o o f . L e t A b e a B o r e l s e t i n ( X d ) w i t h ( A )
1
2
I f B i s t h e
c o m p l e m e n t o f A
k "
, t h e n B
k "
i s c o n t a i n d e i n t h e c o m p l e m e n t o f
A a n d t h u s ( B
k "
)
1
2
. T h e r e f o r e , b y ( 1 . 2 2 ) ,
1 ; ( A
k "
)
1
2 e
k
W e t h e n s i m p l y i n t e r p o l a t e b e t w e e n k " a n d ( k + 1 ) " t o g e t t h e
d e s i r e d r e s u l t .
1 . 6 L a p l a c e b o u n d s a n d i n m u m - c o n v o l u t i o n s
I n t h i s s e c t i o n , w e p r o v i d e s o m e s i m p l e a n d u s e f u l t o o l s t o e s t a b -
l i s h c o n c e n t r a t i o n p r o p e r t i e s , e i t h e r t h r o u g h e x p o n e n t i a l d e v i a t i o n
i n e q u a l i t i e s f o r L i p s c h i t z f u n c t i o n s o r b y i n m u m - c o n v o l u t i o n a r -
g u m e n t s .
L e t ( X d ) b e a m e t r i c s p a c e a n d l e t b e a p r o b a b i l i t y m e a -
s u r e o n t h e B o r e l s e t s o f ( X d ) . D e n e , f o r 2 R , t h e L a p l a c e
f u n c t i o n a l o f o n ( X d ) a s
E
( X d )
( ) = s u p
Z
e
F
d
w h e r e t h e s u p r e m u m r u n s o v e r a l l ( b o u n d e d ) m e a n z e r o 1 - L i p s c h i t z
f u n c t i o n s F o n ( X d ) . W e o f t e n w r i t e m o r e s i m p l y E
= E
( X d )
R e p l a c i n g F b y ; F , i t i s e n o u g h t o c o n s i d e r E
( ) f o r 0
T h e f o l l o w i n g e l e m e n t a r y p r o p o s i t i o n b o u n d s t h e c o n c e n t r a -
t i o n f u n c t i o n
( X d )
o f o n ( X d ) b y E
( X d )
P r o p o s i t i o n 1 . 1 4 . U n d e r t h e p r e c e d i n g n o t a t i o n ,
( X d )
( r ) i n f
0
e
; r = 2
E
( X d )
( ) r > 0
I n p a r t i c u l a r , i f
E
( X d )
( ) e
2
= 2 c
0
t h e n , f o r e v e r y 1 - L i p s c h i t z f u n c t i o n F : X ! R a n d e v e r y r 0 ,
;
f F
R
F d + r g
e
; c r
2
= 2
3 1
-
7/27/2019 Ledoux Concentration of Measure
32/250
a n d ( X d ) h a s n o r m a l c o n c e n t r a t i o n
( X d )
( r ) e
; c r
2
= 8
r > 0
F o r t h e p r o o f , s i m p l y n o t e t h a t b y C h e b y s h e v ' s e x p o n e n t i a l
i n e q u a l i t y , f o r a n y m e a n z e r o 1 - L i p s c h i t z f u n c t i o n F : X ! R ,
a n d a n y r a n d > 0 ,
;
f F r g
e
; r
E
( X d )
( )
O p t i m i z i n g i n , t h e v a r i o u s c o n c l u s i o n s i m m e d i a t e l y f o l l o w f r o m
P r o p o s i t i o n 1 . 7 .
A s i n P r o p o s i t i o n 1 . 2 , t h e L a p l a c e f u n c t i o n a l i s d e c r e a s i n g
u n d e r 1 - L i p s c h i t z m a p s . M o r e o v e r , t h e L a p l a c e f u n c t i o n a l E
( X d )
i s a c o n v e n i e n t t o o l t o h a n d l e c o n c e n t r a t i o n i n p r o d u c t s p a c e s w i t h
r e s p e c t t o t h e
1
- m e t r i c . I f ( X d ) a n d ( Y ) a r e t w o m e t r i c s p a c e s ,
w e e q u i p t h e p r o d u c t s p a c e X Y w i t h t h e m e t r i c ( 1 . 2 0 )
d ( x x
0
) + ( y y
0
) x x
0
2 X y y
0
2 Y
P r o p o s i t i o n 1 . 1 5 . U n d e r t h e p r e c e d i n g n o t a t i o n ,
E
( X Y d + )
E
( X d )
E
( Y )
P r o o f . I t i s s i m i l a r t o t h e p r o o f o f P r o p o s i t i o n 1 . 1 1 . L e t F b e
a m e a n z e r o 1 - L i p s c h i t z f u n c t i o n o n t h e p r o d u c t s p a c e . S e t , f o r
e v e r y x 2 X , y 2 Y , F
y
( x ) = F ( x y ) a n d G ( y ) =
R
F
y
d , a n d
o b s e r v e t h a t F
y
a n d G a r e 1 - L i p s c h i t z o n t h e i r r e s p e c t i v e s p a c e s .
W e t h e n w r i t e , f o r e v e r y 0 ,
Z
e
F
d =
Z
e
G
Z
e
F
y
( x ) ;
R
F
y
d
d ( x )
d ( y )
E
( X d )
( )
Z
e
G
d
f r o m w h i c h t h e c l a i m f o l l o w s s i n c e
R
G d = 0
3 2
-
7/27/2019 Ledoux Concentration of Measure
33/250
T h e n e x t s t a t e m e n t i s a s i m p l e i l l u s t r a t i o n o f t h e u s e o f t h e
L a p l a c e f u n c t i o n a l . I t w i l l d e s c r i b e a b a s i c c o n c e n t r a t i o n p r o p e r t y
i n p r o d u c t s p a c e s w i t h r e s p e c t t o t h e
1
- m e t r i c .
P r o p o s i t i o n 1 . 1 6 . I f D i a m ( X d ) = D , t h e n , f o r a n y p r o b a b i l i t y
m e a s u r e o n t h e B o r e l s e t s o f ( X d ) ,
E
( X d )
( ) e
D
2
2
= 2
0
P r o o f . L e t F b e a m e a n z e r o 1 - L i p s c h i t z f u n c t i o n o n ( X d ) . B y
J e n s e n ' s i n e q u a l i t y , f o r e v e r y 0 ,
Z
e
F
d
Z Z
e
F ( x ) ; F ( y )
d ( x ) d ( y )
1
X
i = 0
( D )
2 i
( 2 i ) !
e
D
2
2
= 2
A s a c o n s e q u e n c e o f P r o p o s i t i o n s 1 . 1 4 , 1 . 1 5 a n d 1 . 1 6 , w e g e t
t h e f o l l o w i n g i m p o r t a n t c o r o l l a r y .
C o r o l l a r y 1 . 1 7 . L e t P =
1
n
b e a p r o d u c t p r o b a b i l i t y
m e a s u r e o n t h e c a r t e s i a n p r o d u c t X = X
1
X
n
o f m e t r i c
s p a c e s ( X
i
d
i
) w i t h n i t e d i a m e t e r s D
i
, i = 1 : : : n , e q u i p p e d
w i t h t h e
1
- m e t r i c d =
P
n
i = 1
d
i
. T h e n , i f F i s a 1 - L i p s c h i t z f u n c -
t i o n o n ( X d ) , f o r e v e r y r 0 ,
P
;
f F
R
F d P + r g
e
; r
2
= 2 D
2
w h e r e D
2
=
P
n
i = 1
D
2
i
. I n p a r t i c u l a r ,
P
( r ) e
; r
2
= 8 D
2
r > 0
A p p l i e d t o s u m s S = Y
1
+ + Y
n
o f r e a l - v a l u e d i n d e p e n d e n t
b o u n d e d r a n d o m v a r i a b l e s o n s o m e p r o b a b i l i t y s p a c e ( A P ) ,
3 3
-
7/27/2019 Ledoux Concentration of Measure
34/250
C o r o l l a r y 1 . 1 7 y i e l d s a H o e d i n g t y p e i n e q u a l i t y H o e ] ( s e e S t o ] ,
M D 2 ] )
P
;
S E ( S ) + r
e
; r
2
= 2 D
2
( 1 2 3 )
f o r e v e r y r 0 w h e r e D
2
P
n
i = 1
k Y
i
k
2
1
. I n e q u a l i t i e s s u c h a s
( 1 . 2 3 ) h a v e a c t u a l l y a l o n g r u n i n t h e s t u d y o f l i m i t t h e o r e m s
i n c l a s s i c a l p r o b a b i l i t y t h e o r y g o i n g b a c k t o S . B e r n s t e i n , A . N .
K o l m o g o r o v , Y . P r o k h o r o v e t c ( c f . e . g . S t o ] ) .
I n C o r o l l a r y 1 . 1 7 , w e m a y c o n s i d e r i n p a r t i c u l a r t h e t r i v i a l
m e t r i c o n e a c h f a c t o r s o t h a t a n y p r o d u c t p r o b a b i l i t y m e a s u r e P
o n a p r o d u c t X = X
1
X
n
e q u i p p e d w i t h t h e H a m m i n g
m e t r i c
d ( x y ) =
n
X
i = 1
1
f x
i
6= y
i
g
= C a r d f 1 i n x
i
6= y
i
g
( w h e r e w e d e n o t e b y x = ( x
1
: : : x
n
) a n d y = ( y
1
: : : y
n
) t h e
c o o r d i n a t e s o f t h e p o i n t s x y i n t h e p r o d u c t s p a c e X ) , h a s c o n -
c e n t r a t i o n
P
( r ) e
; r
2
= 8 n
r > 0 ( 1 2 4 )
i n a c c o r d a n c e w i t h ( 1 . 5 ) . A s a l r e a d y m e n t i o n e d n e x t t o P r o p o -
s i t i o n 1 . 1 1 , t h i s a p p r o a c h i s h o w e v e r n o t w e l l s u i t e d t o c o n c e n -
t r a t i o n b o u n d s w i t h r e s p e c t t o
2
- m e t r i c s ( s u c h a s t h e E u c l i d e a n
m e t r i c ) a n d w h i c h a r e i n d e p e n d e n t o n t h e n u m b e r o f s p a c e s i n
t h e p r o d u c t ( d i m e n s i o n f r e e c o n c e n t r a t i o n ) s u c h a s G a u s s i a n m e a -
s u r e s . I n t e r m s o f t h e o b s e r v a b l e d i a m e t e r o f t h e p r o d u c t s p a c e
X = X
1
X
n
w i t h r e s p e c t t o t h e H a m m i n g m e t r i c a n d a n y
p r o d u c t p r o b a b i l i t y m e a s u r e P ,
O b s D i a m
P
( X ) = O
;
p
n
( 1 2 5 )
I n C h a p t e r 4 , w e e s t a b l i s h n o r m a l c o n c e n t r a t i o n b y s h o w i n g
t h a t f o r e v e r y B o r e l s e t A i n X ,
Z
e
c d ( A )
2
d
1
( A )
( 1 2 6 )
3 4
-
7/27/2019 Ledoux Concentration of Measure
35/250
w h e r e d ( x A ) i s t h e d i s t a n c e f r o m t h e p o i n t x t o t h e s e t A . I n d e e d ,
u n d e r ( 1 . 2 6 ) , f o r e v e r y r > 0 ,
1 ; ( A
r
) =
;
d ( A ) r
1
( A )
e
; c r
2
s o t h a t
( r ) 2 e
; c r
2
, r > 0
I n t h e s a m e s p i r i t , o n e m a y i n v e s t i g a t e i n m u m - c o n v o l u t i o n
i n e q u a l i t i e s . G i v e n a s p a c e X , c o n s i d e r a n o n - n e g a t i v e c o s t f u n c -
t i o n c : X X ! R
+
. A t y p i c a l e x a m p l e i s t h e q u a d r a t i c c o s t
c ( x y ) = c ( x ; y ) =
1
2
x ; y
2
o n R
n
R
n
. G i v e n a r e a l - v a l u e d m e a -
s u r a b l e f u n c t i o n f o n X , d e n o t e b y Q
c
f t h e i n m u m - c o n v o l u t i o n
o f f w i t h r e s p e c t t o t h e c o s t c d e n e d b y
Q
c
f ( x ) = i n f
y 2 X
f ( y ) + c ( x y )
x 2 X
I f i s a p r o b a b i l i t y m e a s u r e o n t h e B o r e l s e t s o f X , a n d
c a n o n - n e g a t i v e m e a s u r a b l e c o s t f u n c t i o n o n X , w e s a y t h a t
s a t i s e s a n i n m u m - c o n v o l u t i o n i n e q u a l i t y w i t h r e s p e c t t o t h e
c o s t c i f f o r a l l b o u n d e d m e a s u r a b l e f u n c t i o n s f o n X ,
Z
e
Q
c
f
d
Z
e
; f
d 1 ( 1 2 7 )
I f w e a d o p t t h e c o n v e n t i o n t h a t + 1 0 1 , t h e a b o v e i n e q u a l i t y
e x t e n d s t o a l l R - v a l u e d f u n c t i o n s f
T h e p r e c e d i n g d e n i t i o n i s m o t i v a t e d b y i t s c o n n e c t i o n t o
c o n c e n t r a t i o n .
P r o p o s i t i o n 1 . 1 8 . I f s a t i s e s a n i n m u m - c o n v o l u t i o n i n e q u a l -
i t y w i t h r e s p e c t t o t h e c o s t c , t h e n , f o r e v e r y B o r e l s e t A a n d e v e r y
r > 0 ,
1 ;
;
i n f
y 2 A
c ( y ) < r
1
( A )
e
; r
T h e p r o o f s i m p l y f o l l o w s b y a p p l y i n g ( 1 . 2 7 ) t o t h e f u n c t i o n f
t h a t i s e q u a l t o 0 o n A a n d + 1 o u t s i d e . T h e n Q
c
f ( x ) r i f a n d
o n l y i f i n f
y