article pspi
TRANSCRIPT
8/6/2019 Article PSPI
http://slidepdf.com/reader/full/article-pspi 1/8
P S P I : S T R E A M L I N I N G 3 D E C H O - R E C O N S T R U C T I V E I M A G I N G
E . B O N O M I , L . B R I E G E R , E . P I E R O N I
A N D M . T . A R I E N T I , L . C A Z Z O L A , P . M A R C H E T T I
y
1 . I n t r o d u c t i o n . E c h o - r e c o n s t r u c t i o n t e c h n i q u e s f o r s u b s u r f a c e i m a g i n g , w i d e l y
u s e d i n o i l e x p l o r a t i o n , a r e b a s e d o n e x p e r i m e n t s i n w h i c h s h o r t a c o u s t i c i m p u l s e s ,
e m i t t e d a t t h e s u r f a c e , i l l u m i n a t e a c e r t a i n v o l u m e a n d a r e b a c k s c a t t e r e d b y i n h o m o -
g e n e i t i e s o f t h e m e d i u m . T h e i n h o m o g e n e i t i e s a c t a s r e e c t i n g s u r f a c e s w h i c h c a u s e
s i g n a l e c h o i n g ; t h e e c h o e s a r e t h e n r e c o r d e d a t t h e s u r f a c e a n d p r o c e s s e d t h r o u g h a
p r o p a g a t i o n m o d e l ( w h i c h a c t s a s a " c o m p u t a t i o n a l l e n s " ) t o y i e l d a n i m a g e o f t h o s e
v e r y i n h o m o g e n e i t i e s .
M i g r a t i o n , b a s e d o n t h e s c a l a r w a v e e q u a t i o n , i s t h e s t a n d a r d i m a g i n g t e c h n i q u e
f o r s e i s m i c a p p l i c a t i o n s 1 ] . I n t h e m i g r a t i o n p r o c e s s , t h e r e c o r d e d p r e s s u r e w a v e s
( c a l l e d t h e s e i s m i c t r a c e s o r t h e s e i s m i c s e c t i o n ) a r e u s e d a s i n i t i a l c o n d i t i o n s f o r a
w a v e e l d g o v e r n e d b y t h e s c a l a r w a v e e q u a t i o n i n a n i n h o m o g e n e o u s m e d i u m . A n y
m i g r a t i o n t e c h n i q u e b e g i n s w i t h a n a p r i o r i e s t i m a t e o f t h e v e l o c i t y e l d , o b t a i n e d
f r o m w e l l l o g s a n d a n e m p i r i c a l a n a l y s i s o f t h e s e i s m i c t r a c e s , t o y i e l d a s u b s u r f a c e
i m a g e . B y c o m p a r i n g i m a g e d i n t e r f a c e s w i t h t h e d i s c o n t i n u i t i e s o f t h e e s t i m a t e d
v e l o c i t y m o d e l , i n s u c i e n c i e s o f t h e v e l o c i t y e l d c a n b e d e t e c t e d a n d v e l o c i t y e s t i -
m a t e s i m p r o v e d 2 ] , a l l o w i n g t h e n e x t m i g r a t i o n s t e p t o i m a g e m o r e a c c u r a t e l y . T h e
t u r n a r o u n d p r o c e s s , t h e i t e r a t i v e p r o c e s s o f c o r r e c t i n g t o a v e l o c i t y m o d e l c o n s i s t e n t
w i t h t h e m i g r a t e d d a t a , c a n l a s t s e v e r a l c o m p u t i n g w e e k s a n d i s p a r t i c u l a r l y c r u c i a l
f o r i m a g i n g c o m p l e x g e o l o g i c a l s t r u c t u r e s , i n c l u d i n g t h o s e w h i c h a r e i n t e r e s t i n g f o r
h y d r o c a r b o n p r o s p e c t i n g .
S u b s u r f a c e d e p t h i m a g i n g , b e i n g a s i t i s t h e o u t c o m e o f r e p e a t e d s t e p s o f 3 D
s e i s m i c d a t a m i g r a t i o n , r e q u i r e s G b y t e s o f d a t a w h i c h m u s t b e r e d u c e d , t r a n s f o r m e d ,
v i s u a l i z e d a n d i n t e r p r e t e d t o o b t a i n m e a n i n g f u l i n f o r m a t i o n . S e v e r e p e r f o r m a n c e r e -
q u i r e m e n t s o b l i g e h i g h p e r f o r m a n c e c o m p u t i n g h a r d w a r e a n d t e c h n i q u e s ; e n o r m o u s
e o r t h a s a l s o h i s t o r i c a l l y g o n e i n t o s i m p l i f y i n g t h e m i g r a t i o n m o d e l s o a s t o r e d u c e
t h e c o s t o f t h e o p e r a t i o n w h i l e r e t a i n i n g t h e e s s e n t i a l f e a t u r e s o f t h e s i g n a l p r o p a g a -
t i o n . O n e s u c h m o d e l l e a d s t o t h e p h a s e - s h i f t - p l u s - i n t e r p o l a t i o n ( P S P I ) a l g o r i t h m ,
a h i g h - q u a l i t y m e t h o d f o r s e i s m i c m i g r a t i o n . B y o p t i m i z i n g t h e a l g o r i t h m t o r e d u c e
c a l c u l a t i o n r e q u i r e m e n t s a n d e x p l o i t i n g i t s d e c o u p l i n g i n t h e f r e q u e n c y d o m a i n f o r
c o n c u r r e n c y i n p a r a l l e l i m p l e m e n t a t i o n s , w e h a v e c r e a t e d i n P S P I a c o s t - e e c t i v e
m e t h o d .
T h e P S P I c o d e d e v e l o p e d i n o u r c o l l a b o r a t i o n w a s r s t i m p l e m e n t e d i n P o r t l a n d
G r o u p ' s H P F ( P G H P F ) , f o r u s e o n a n I B M S P 2 a n d a n S G I P o w e r C h a l l e n g e . P o r t i n g
t o a n S G I O r i g i n 2 0 0 0 r e s u l t e d i n s u b s t a n t i a l l o s s o f p e r f o r m a n c e o f t h e H P F c o d e a n d
m o t i v a t e d t h e d e c i s i o n t o r e - i m p l e m e n t i t i n O p e n M P f o r u s e o n t h e s h a r e d - m e m o r y
O r i g i n 2 0 0 0 . T h i s s h o u l d n o t h a v e p o s e d p a r t i c u l a r p r o b l e m s , e v e n t h o u g h H P F i s c e n -
t e r e d a r o u n d d a t a d i s t r i b u t i o n , w h i l e t h e p h i l o s o p h y b e h i n d O p e n M P i s d i s t r i b u t i o n
o f w o r k ; f o r P S P I , t a s k d i s t r i b u t i o n a n d d a t a d i s t r i b u t i o n a r e p r a c t i c a l l y s y n o n y m o u s ,
s i n c e t h e c o n c u r r e n t t a s k s c o r r e s p o n d t o d i e r e n t d a t a ( f r e q u e n c i e s ) . I t i s n a t u r a l a n d
s h o u l d b e e q u a l l y e c i e n t t o d i s t r i b u t e f r e q u e n c y i n f o r m a t i o n a m o n g t h e p r o c e s s o r s
o n a d i s t r i b u t e d - m e m o r y m a c h i n e ( H P F - s t y l e ) o r t o d i s t r i b u t e f r e q u e n c y - r e l a t e d t a s k s
a m o n g t h e p r o c e s s o r s o n a s h a r e d - m e m o r y m a c h i n e ( O p e n M P - s t y l e ) .
G e o p h y s i c s G r o u p , C R S 4 , I t a l y
y
G e o p h y s i c a l R e s e a r c h , A G I P D i v i s i o n , E N I , I t a l y
1
8/6/2019 Article PSPI
http://slidepdf.com/reader/full/article-pspi 2/8
S o f a r , o u r e x p e r i e n c e w i t h O p e n M P o n t h e O r i g i n 2 0 0 0 h a s b e e n d i s a p p o i n t i n g .
T h e O p e n M P c o d e s u e r s s o m e w h a t f r o m t h e i m m a t u r i t y o f t h e s t a n d a r d . T h e r e
a r e c u r r e n t l y n o e c i e n t a r r a y - l e v e l r e d u c t i o n o p e r a t i o n s . D a t a p l a c e m e n t i s n o t p a r t
o f t h e O p e n M P s t a n d a r d , e v e n t h o u g h d a t a p o s i t i o n c a n i n u e n c e p e r f o r m a n c e o n
s h a r e d - m e m o r y m a c h i n e s , s u c h a s t h e O r i g i n 2 0 0 0 , w h i c h h a v e n o n - u n i f o r m m e m o r y
a c c e s s t i m e s . T h i s o b l i g e s t h e u s e o f n o n - p o r t a b l e , m a c h i n e - d e p e n d e n t d i r e c t i v e s o r
c o n v e n t i o n s f o r d a t a p l a c e m e n t . E v e n u s i n g t h e s e , o n t h e O r i g i n , s u c h d i r e c t i v e s
c a n n o t o v e r r i d e o p e r a t i n g s y s t e m ( O S ) c o n t r o l o f t h r e a d a n d p a g e h a n d l i n g ; a s a
r e s u l t , t h e u s e r e x e r t s m u c h l e s s d i r e c t c o n t r o l o v e r d a t a p l a c e m e n t t h a n m i g h t b e
d e s i r a b l e . P e r f o r m a n c e s e e m s m o r e d e p e n d e n t o n t h e O S a n d s t a t e o f t h e m a c h i n e
t h a n o n p r o g r a m m i n g t e c h n i q u e .
O n t h e o t h e r h a n d , i m p r o v e m e n t s i n O S a n d c o m p i l e r s h a v e r e s t o r e d p e r f o r m a n c e
o f t h e H P F c o d e o n t h e O r i g i n 2 0 0 0 b a c k t o a c c e p t a b l e l e v e l s . H P F d o e s n o t s u e r
e x c e s s i v e l y f r o m O S i n t e r f e r e n c e n o r f r o m c o m p e t i t i o n w i t h o t h e r a p p l i c a t i o n s r u n n i n g
o n t h e m a c h i n e . R u n n i n g t h e H P F i m p l e m e n t a t i o n o n t h e O r i g i n , w e h a v e a f a s t ,
s c a l a b l e , a n d s t a b l e c o d e .
2 . T h e P h a s e S h i f t F o r m u l a . I n a z e r o - o s e t m o d e l , t h e s e i s m i c s e c t i o n
P ( x ; y ; 0 t ) i s u s e d a s a s u r f a c e b o u n d a r y c o n d i t i o n f o r s o l v i n g t h e s c a l a r w a v e e q u a -
t i o n
@
2
P
@ x
2
+
@
2
P
@ y
2
+
@
2
P
@ z
2
?
1
v ( x ; y ; z )
2
@
2
P
@ t
2
= 0 ( 2 . 1 )
i n r e v e r s e t i m e w i t h z e r o i n i t i a l c o n d i t i o n s . T h e e x p l o d i n g r e e c t o r m o d e l o n w h i c h
z e r o - o s e t i s b a s e d a l l o w s u s t o a p p l y t h e C l a e r b o u t p r i n c i p l e 3 ] , 4 ] a n d i n t e r p r e t t h e
m i g r a t e d s e c t i o n P ( x ; y ; z ; t = 0 ) a s a m a p o f t h e l o c a l r e e c t i v i t y , R ( x ; y ; z ) , y i e l d i n g
a n a c o u s t i c \ p i c t u r e " o f t h e r e e c t o r s i n w h a t i s o f t e n c a l l e d t h e i m a g i n g c o n d i t i o n :
R ( x ; y ; z ) = P ( x ; y ; z ; t = 0 ) ( 2 . 2 )
T h e o r i g i n a l p h a s e s h i f t m i g r a t i o n m e t h o d w a s f o r m u l a t e d b y J . G a z d a g 5 ] a s a
f a s t a n d s i m p l e i m p l e m e n t a t i o n o f z e r o - o s e t d a t a m i g r a t i o n . I t i s b a s e d o n t h e f a c t
t h a t , a s l o n g a s v e l o c i t y v i s c o n s t a n t , E q . ( 2 . 1 ) c a n b e s o l v e d , a n d t h u s t h e a c o u s t i c
i m a g e p r o d u c e d , u s i n g d e p t h z a s t h e a d v a n c i n g v a r i a b l e a l o n g w h i c h t o p r o p a g a t e t h e
s e i s m i c s e c t i o n P ( x ; y ; 0 t ) ; t h i s i s k n o w n a s d e p t h e x t r a p o l a t i o n o r d e p t h c o n t i n u a t i o n
a n d i s o u t l i n e d i n t h e f o l l o w i n g .
E q . ( 2 . 1 ) w r i t t e n i n t h e w a v e n u m b e r - f r e q u e n c y d o m a i n ( k
x
k
y
! ) i s t h e s e c o n d -
o r d e r o r d i n a r y d i e r e n t i a l e q u a t i o n
d
2
̂
P ( k
x
k
y
; z ; ! )
d z
2
= ? k
2
z
̂
P ( k
x
k
y
; z ; ! ) ( 2 . 3 )
i n w h i c h
k
z
=
!
v
r
1 ?
v
!
2
?
k
2
x
+ k
2
y
( 2 . 4 )
E q . ( 2 . 3 ) h a s t w o c h a r a c t e r i s i c s o l u t i o n s r e l a t i n g t h e e l d a t l e v e l z w i t h t h a t a t l e v e l
z + z b y a p h a s e s h i f t , b u t s i n c e w e w a n t t o f o l l o w d o w n w a r d d i s p l a c e m e n t o f
t h e s i g n a l s i n r e v e r s e t i m e , f o r d e p t h e x t r a p o l a t i o n w e a r e i n t e r e s t e d o n l y i n t h e
c h a r a c t e r i s t i c s o l u t i o n
̂
P ( k
x
k
y
z + z ! ) =
̂
P ( k
x
k
y
; z ; ! ) e
i k
z
z
( 2 . 5 )
2
8/6/2019 Article PSPI
http://slidepdf.com/reader/full/article-pspi 3/8
T h i s i s a l s o a s o l u t i o n o f t h e p a r a x i a l o r o n e - w a y w a v e e q u a t i o n
d
̂
P
d z
( k
x
k
y
; z ; ! ) = i k
z
̂
P ( k
x
k
y
; z ; ! ) ( 2 . 6 )
w h i c h p r o v i d e s a h i e r a r c h y o f o t h e r m i g r a t i o n m e t h o d s b a s e d o n a p p r o x i m a t i o n s o f
o n e - w a y p r o p a g a t i o n i n t h e s p a c e - f r e q u e n c y d o m a i n ( x ; y ; ! )
I f w e u s e t h e i n v e r s e F o u r i e r t r a n s f o r m t o m a p t h e s o l u t i o n
̂
P ( k
x
k
y
z + z ! )
b a c k t o t h e s p a c e - f r e q u e n c y d o m a i n , w e c a n t h e n a p p l y i m a g i n g c o n d i t i o n ( 2 . 2 ) a n d
g e n e r a t e t h e i m a g e R ( x ; y ; z + z ) o f m i g r a t e d d a t a a t l e v e l z + z b y n o t i n g t h a t
P ( x ; y ; z + z t = 0 ) =
X
!
̂
P ( x ; y ; z + z ! ) ( 2 . 7 )
E q s . ( 2 . 4 ) , ( 2 . 5 ) a n d ( 2 . 7 ) , a l o n g w i t h i m a g i n g c o n d i t i o n ( 2 . 2 ) , f o r m t h e b a s i s f o r t h e
p h a s e s h i f t m i g r a t i o n a l g o r i t h m . T h e y a l l o w t h e e x a c t i n v e r s e e x t r a p o l a t i o n o f s e i s m i c
d a t a i n s i d e a h o m o g e n e o u s l a y e r ] z z + z ] w i t h c o n s t a n t v e l o c i t y .
S i n c e t h e p o w e r s p e c t r u m o f t h e s e i s m i c s o u r c e i s b a n d - l i m i t e d w i t h a c u t o
f r e q u e n c y f a r b e l o w t h e t e m p o r a l N y q u i s t , m a p p i n g d a t a i n t o t h e s p a c e - f r e q u e n c y
d o m a i n a l l o w s s i g n i c a n t d a t a c o m p r e s s i o n . I n a d d i t i o n , t h e p h a s e s h i f t f o r m u l a t i o n
o f m i g r a t i o n l e a d s t o a n e l e g a n t p a r a l l e l i m p l e m e n t a t i o n : t h e d e p t h e x t r a p o l a t i o n
i s c o m p o s e d o f e n t i r e l y c o n c u r r e n t o p e r a t i o n s , a n d o n l y t h e i m a g i n g c o n d i t i o n s u m
r e q u i r e s a n y i n t e r - p r o c e s s o r c o m m u n i c a t i o n o r r e m o t e m e m o r y a c c e s s .
3 . P h a s e S h i f t P l u s I n t e r p o l a t i o n . W h e r e a s s e i s m i c i m a g i n g i n a s t r a t i e d
m e d i u m c a n b e h a n d l e d p i e c e w i s e w i t h t h e s i m p l e p h a s e s h i f t f o r m u l a , t h e c a s e w i t h
l a t e r a l v e l o c i t y v a r i a t i o n s r e q u i r e s m o r e a t t e n t i o n . I n t h i s c o n t e x t t h e F o u r i e r r e p -
r e s e n t a t i o n ( 2 . 3 ) o f t h e s c a l a r w a v e e q u a t i o n i s m e a n i n g l e s s a n d n o s t r a i g h t f o r w a r d
r e p r e s e n t a t i o n o f t h e s o l u t i o n a s w i t h t h e p h a s e s h i f t f o r m u l a i s p o s s i b l e . T o o v e r c o m e
t h i s d i c u l t y a n d y e t k e e p t h e c o m p u t a t i o n a l c o m p l e x i t y o f t h e m i g r a t i o n t o a m i n -
i m u m , t h e w a v e p r o p a g a t i o n m o d e l i s m o d i e d i n o r d e r t o c o n s t r u c t a p u r e s p e c t r a l
m e t h o d f o r d o w n w a r d e x t r a p o l a t i o n i n a n i n h o m o g e n e o u s m e d i u m .
T h e s t a r t i n g p o i n t i s t h e p h a s e s h i f t f o r m u l a ( 2 . 5 ) , s p l i t i n t o v e r t i c a l a n d h o r i z o n t a l
c o m p o n e n t s a n d t h e n m o d i e d t o h a n d l e w a v e p r o p a g a t i o n i n s i d e t h e l a y e r ] z z + z
w h i c h h a s a l a t e r a l l y v a r i a b l e v e l o c i t y e l d . T h e r e s u l t i n g r s t t e r m g o v e r n s v e r t i c a l l y -
t r a v e l l i n g w a v e s t h r o u g h t h e l a y e r :
̂
P
0
( x ; y ; z ; ! ) =
̂
P ( x ; y ; z ; ! ) e
i
!
v
z
v = v
z
( x y ) ( 3 . 1 )
T h e s e c o n d t e r m g o v e r n s t h e h o r i z o n t a l c o r r e c t i o n f o r a r e f e r e n c e v e l o c i t y v
( j )
z
, o n e o f
v
( 1 )
z
< v
( 2 )
z
< < v
( n
z
)
z
̂
P
( n )
( k
x
k
y
z + z ! ) =
̂
P
0
( k
x
k
y
; z ; ! ) e x p
i ( k
( n )
z
?
!
v
( n )
z
) z
( 3 . 2 )
w i t h k
( n )
z
n = 1 2 n
z
, g i v e n b y E q . ( 2 . 4 ) e v a l u a t e d f o r r e f e r e n c e v e l o c i t y v
( n )
z
F o u r i e r - t r a n s f o r m e d b a c k t o t h e s p a c e - f r e q u e n c y d o m a i n , t h e e l d s
̂
P
( n )
( x ; y ; z +
z ! ) t h e n s e r v e a s r e f e r e n c e d a t a f r o m w h i c h t h e n a l r e s u l t i s o b t a i n e d b y i n t e r -
p o l a t i o n . U s i n g l i n e a r i n t e r p o l a t i o n , t h e d e p t h - c o n t i n u e d w a v e e l d i s g i v e n b y
̂
P ( x ; y ; z + z ! ) =
̂
P
( n )
( x ; y ; z + z ! )
v
( n + 1 )
z
? v
z
( x y )
v
( n + 1 )
z
? v
( n )
z
+
̂
P
( n + 1 )
( x ; y ; z + z ! )
v
z
( x y ) ? v
( n )
z
v
( n + 1 )
z
? v
( n )
z
( 3 . 3 )
3
8/6/2019 Article PSPI
http://slidepdf.com/reader/full/article-pspi 4/8
f o r a l l p o i n t s ( x ; y ; z ) w i t h v
( n )
z
v
z
( x y ) v
( n + 1 )
z
. F i n a l l y , i m a g i n g o f t h e r e e c t o r s
a t z + z i s o b t a i n e d b y t h e u s u a l c o n d i t i o n , E q . ( 2 . 2 ) . T h i s i s t h e e s s e n c e o f t h e P S P I
m e t h o d , a s i n t r o d u c e d b y J . G a z d a g a n d P . S g u a z z e r o 6 ] .
T h e P S P I a l g o r i t h m d e n e d b y E q s . ( 3 . 1 ) , ( 3 . 2 ) a n d ( 3 . 3 ) g i v e s c o r r e c t d e p t h
c o n t i n u a t i o n f o r v e r t i c a l l y - t r a v e l l i n g p l a n e w a v e s a n d m a i n t a i n s h i g h a c c u r a c y f o r
s m a l l d i p s c h a r a c t e r i z e d b y
q
k
2
x
+ k
2
y
! = v
( n )
z
. A l t h o u g h t h e i n t r o d u c t i o n o f
l a t e r a l l y - v a r i a b l e v e l o c i t i e s a n d t h e u s e o f i n t e r p o l a t i n g r e f e r e n c e s o l u t i o n s d o n o t h a v e
a w e l l e s t a b l i s h e d m a t h e m a t i c a l b a s i s , c o m p u t e r e x p e r i m e n t s s h o w t h a t t h i s a p p r o a c h
i s i n f a c t v e r y r e l i a b l e . P S P I i s a p r a c t i c a l a l t e r n a t i v e t o o t h e r f o r m s o f m i g r a t i o n { a s
l o n g a s t h e s e t o f r e f e r e n c e v e l o c i t i e s i s w e l l - c h o s e n . I t s i m p l e m e n t a t i o n a l a d v a n t a g e
i s t h a t e a c h r e f e r e n c e s o l u t i o n c o m e s f r o m a c o n s t a n t v e l o c i t y e x t r a p o l a t i o n w h o s e
i m p l e m e n t a t i o n i n h e r i t s t h e p a r a l l e l s t r u c t u r e o f t h e p h a s e s h i f t a l g o r i t h m 7 ] .
4 . O p t i m a l R e f e r e n c e V e l o c i t i e s . T h e v e l o c i t i e s v
( n )
z
p l a y a c r u c i a l r o l e i n
P S P I m i g r a t i o n o f s e i s m i c d a t a { f o r a c c u r a c y a n d c o s t o f t h e m e t h o d . U s i n g s t a t i s t i c a l
a r g u m e n t s , r e p r e s e n t a t i v e v e l o c i t i e s c a n b e o p t i m a l l y c h o s e n f o r t h e v e l o c i t y e l d o f
a g i v e n l a y e r ] z z + z ] . T h e t a s k i s t o h i g h l i g h t , f o r e a c h l a y e r , a m i n i m a l s e t o f
v e l o c i t y v a l u e s t h a t p r e d o m i n a t e s t a t i s t i c a l l y i n t h e p r o p a g a t i o n p r o c e s s . T h e m a n n e r
i n w h i c h t h i s i s d o n e , o u t l i n e d h e r e , i s d e s c r i b e d i n d e t a i l i n 8 ] .
U s i n g s o m e n u m b e r N + 1 o f r e f e r e n c e v e l o c i t i e s , t h e v e l o c i t y i n t e r v a l v
m
v
M
( w h e r e v
m
a n d v
M
a r e t h e m i n i m a l a n d m a x i m a l v e l o c i t y v a l u e s o n t h e e n t i r e e l d )
i s u n i f o r m l y d i s c r e t i z e d i n t o N s u b i n t e r v a l s , a n d a d i s t r i b u t i o n F
z
i s d e n e d o v e r t h e
d i s c r e t i z a t i o n : F
( k )
z
k = 1 ; : : : ; N , i s t h e f r a c t i o n o f v e l o c i t i e s ( f r o m t h e v e l o c i t y e l d
i n t h a t l a y e r ) c o n t a i n e d i n t h e k
t h
i n t e r v a l . I n o r d e r t o o p t i m i z e t h e s e t o f r e f e r e n c e
v e l o c i t i e s , w e d e n e t h e n u m b e r N
z
( N
z
N ) o f i n t e r v a l s o v e r w h i c h t h e v e l o c i t i e s w i l l
h a v e u n i f o r m d i s t r i b u t i o n w i t h d i s p e r s i o n S
z
, w h e r e S
z
F = ?
P
N
k = 1
F
( k )
z
l o g F
( k )
z
i s
t h e \ s t a t i s t i c a l e n t r o p y " o f t h e d i s t r i b u t i o n F
z
. I t f o l l o w s t h a t N
z
= b e x p ( S
z
F ) +
1
2
c
T h e n t h e N
z
+ 1 n e w r e f e r e n c e v e l o c i t i e s a r e c h o s e n s o t h a t t h e r e s u l t i n g d i s t r i b u t i o n
o f v e l o c i t i e s o v e r t h i s d i s c r e t i z a t i o n i s u n i f o r m .
N o t o n l y d o e s t h i s o p t i m i z a t i o n s i g n i c a n t l y r e d u c e t h e o p e r a t i o n c o u n t f o r P S P I ,
i t a l s o c o n c e n t r a t e s m o r e r e f e r e n c e v e l o c i t i e s w h e r e t h e d i s t r i b u t i o n o f v e l o c i t i e s i s
l a r g e a n d r e s u l t s i n f e w e r w h e r e t h e d i s t r i b u t i o n i s s m a l l . W i t h t h i s a d a p t i v e m e c h a -
n i s m , t h e a c c u r a c y o f P S P I m u s t i n d e e d i n c r e a s e o n a v e r a g e b e c a u s e o f t h e s t a t i s t i c a l
i m p o r t a n c e c o n f e r r e d t o t h o s e v e l o c i t i e s t h a t c o n t r i b u t e m a s s i v e l y t o t h e d o w n w a r d
p r o p a g a t i o n o f t h e w a v e e l d .
5 . R e c o n s t r u c t i o n o f a S u b s u r f a c e M o d e l . W e s t u d y a s y n t h e t i c e x a m p l e ,
f o r w h i c h w e k n o w t h e v e l o c i t y e l d t o b e c o r r e c t , i n o r d e r t o e x a m i n e t h e e e c t
o f P S P I s i m p l i c a t i o n s i n i m a g i n g a c o m p l e x m o d e l . F i g . 5 . 1 i l l u s t r a t e s t h e e x a m p l e
v e l o c i t y e l d f o r a v e r t i c a l s l i c e o f a 3 D s u b s u r f a c e m o d e l : x = y = 2 3 3 m
z = 1 0 m . V e l o c i t i e s v a r y f r o m 8 0 0 t o 2 5 0 0 m / s .
A s y n t h e t i c s e i s m i c s e c t i o n w a s g e n e r a t e d u s i n g a n a c o u s t i c w a v e p r o p a g a t i o n
m o d e l t o s i m u l a t e t h e s u r f a c e s i g n a l s t h a t w o u l d b e r e c e i v e d d u r i n g a s e i s m i c a c q u i -
s i t i o n o v e r t h i s v e l o c i t y e l d . F o r t h e d e p t h e x t r a p o l a t i o n o f t h e s e i s m i c d a t a , t h e
v e l o c i t y e l d o f F i g . 5 . 1 w a s i n i t i a l l y d i s c r e t i z e d u s i n g 4 0 r e f e r e n c e v e l o c i t i e s . T h e
a c t u a l n u m b e r n a l l y u s e d f o r a g i v e n l a y e r , a f t e r t h e o p t i m i z a t i o n p r o c e d u r e d e -
s c r i b e d a b o v e , v a r i e d f r o m 1 t o 6 , d e p e n d i n g o n d e p t h ; o n a v e r a g e o n l y f o u r r e f e r e n c e
v e l o c i t i e s w e r e n e c e s s a r y f o r a l a y e r . S u c h a n e c o n o m y i n t h e n u m b e r o f r e f e r e n c e
v e l o c i t i e s n e c e s s a r y f o r t h e P S P I a l g o r i t h m t r a n s l a t e s i n t o a n i m p o r t a n t r e d u c t i o n i n
c o m p u t a t i o n t i m e f o r d e p t h e x t r a p o l a t i o n a n d P S P I m i g r a t i o n .
4
8/6/2019 Article PSPI
http://slidepdf.com/reader/full/article-pspi 5/8
F i g . 5 . 1 2 D s l i c e o f a s y n t h e t i c 3 D s u b s u r f a c e v e l o c i t y m o d e l . T h i s i s t h e e l d t h a t P S P I
m i g r a t i o n s h o u l d r e p r o d u c e .
F i g . 5 . 2 2 D s l i c e o f 3 D i m a g e g e n e r a t e d b y P S P I m i g r a t i o n u s i n g v e l o c i t y m o d e l f r o m F i g . 5 . 1 .
T h e r e s u l t i n g m i g r a t e d s e c t i o n i s s h o w n i n F i g . 5 . 2 . T h e c o m p l e x s t r u c t u r e o f t h e
s u b s u r f a c e m o d e l i s l a r g e l y r e c o n s t r u c t e d . A g r e e m e n t b e t w e e n r e e c t i n g i n t e r f a c e s
p i c k e d u p b y t h e P S P I m i g r a t i o n a n d d i s c o n t i n u i t i e s o f t h e v e l o c i t y e l d i s v e r y g o o d .
6 . P a r a l l e l P S P I o n t h e O r i g i n 2 0 0 0 . T h e P S P I a l g o r i t h m i s i n t r i n s i c a l l y
d a t a p a r a l l e l ; t h a n k s t o d e c o u p l i n g i n t h e f r e q u e n c y d o m a i n , t h e d e p t h e x t r a p o l a t i o n
o f E q s . ( 3 . 1 ) { ( 3 . 3 ) a t e a c h s t e p c o n s i s t s o f a b s o l u t e l y c o n c u r r e n t c a l c u l a t i o n s . T h e
5
8/6/2019 Article PSPI
http://slidepdf.com/reader/full/article-pspi 6/8
i m a g i n g o f E q . ( 2 . 7 ) a t e a c h d e p t h r e q u i r e s a s u m ( o v e r f r e q u e n c y ) o f t h e r e s u l t s o f t h e
d e p t h e x t r a p o l a t i o n ; t h i s i s t h e o n l y p o i n t a t w h i c h i n t e r - p r o c e s s o r c o m m u n i c a t i o n s
( o r r e m o t e m e m o r y a c c e s s e s ) a r e r e q u i r e d b y t h e a l g o r i t h m . I m p l e m e n t a t i o n a l l y , t h e
r e q u i r e d o p e r a t i o n i s a r e d u c t i o n ( g l o b a l s u m ) o n t h e e l e m e n t s o f a d i s t r i b u t i o n o f 2 D
a r r a y s , o n c e a t e v e r y d e p t h .
T h e H P F c o d e h a d i n i t i a l l y a p p e a r e d t o b e d r a s t i c a l l y p e n a l i z e d b y t h e S G I
O r i g i n ' s a r c h i t e c t u r e s i n c e i t r a n m u c h f a s t e r o n t h e S G I P o w e r C h a l l e n g e t h a n o n
t h e O r i g i n . N o w n e w c o m p i l e r s a n d O S h a v e b r o u g h t i m p r e s s i v e p e r f o r m a n c e g a i n s
o n t h e O r i g i n 2 0 0 0 , a n d w e a r e b a c k t o a f a s t , s c a l a b l e H P F c o d e . I n t h e m e a n t i m e , w e
h a v e p o r t e d t h e c o d e t o n a t i v e O p e n M P o n t h e O r i g i n a n d c a n c o m p a r e p e r f o r m a n c e
b e t w e e n t h e t w o c o d e s .
O n e p r o b l e m p o s e d b y t h e O p e n M P c o n v e r s i o n w a s h o w t o c a r r y o u t a r e d u c t i o n
s u m e l e m e n t - b y - e l e m e n t o n a d i s t r i b u t i o n o f 2 D a r r a y s . E c i e n t O p e n M P r e d u c t i o n
i s c u r r e n t l y o n l y d e n e d f o r s c a l a r s . T h e r e d u c t i o n s u m f o r a n a r r a y i n O p e n M P m u s t
b e c a r r i e d o u t " b y h a n d " , u s i n g e i t h e r c r i t i c a l r e g i o n s o r b a r r i e r s t o a v o i d c o n i c t s
b e t w e e n p r o c e s s o r s . O n t h e o t h e r h a n d , H P F r e q u i r e s o n l y t h e F 9 0 i n t r i n s i c " s u m "
t o d e n e t h e r e d u c t i o n s u m .
A m u c h m o r e i m p o r t a n t p r o b l e m w i t h O p e n M P o n t h e O r i g i n 2 0 0 0 i s t h a t o f d a t a
p l a c e m e n t . D a t a p l a c e m e n t , a n i n t r i n s i c p a r t o f H P F p r o g r a m m i n g , i s i m p o r t a n t o n
t h e O r i g i n 2 0 0 0 , e v e n w h e n u s i n g t h e s h a r e d m e m o r y p a r a d i g m o f O p e n M P . W h i l e a
s h a r e d - m e m o r y m a c h i n e g u a r a n t e e s t h a t a l l d a t a i s l o g i c a l l y e q u a l l y a c c e s s i b l e t o a l l
p r o c e s s o r s , t h e c o s t o f t h a t a c c e s s i s n o t g u a r a n t e e d t o b e u n i f o r m . I n p a r t i c u l a r , t h i s
i s t h e c a s e o n t h e d i s t r i b u t e d s h a r e d m e m o r y O r i g i n 2 0 0 0 . I t s c c N U M A n a t u r e g i v e s
t h e c a c h e c o h e r e n c y w h i c h a s s u r e s t h e s i n g l e - m e m o r y m o d e l , a n d y e t t h e s c a l a b l e
a r c h i t e c t u r e i m p o s e s v a r y i n g m e m o r y a c c e s s c o s t s : l e s s e x p e n s i v e f o r l o c a l a c c e s s ,
m o r e e x p e n s i v e f o r r e m o t e a c c e s s ( c o n s i d e r e d h e r e a s c o m m u n i c a t i o n ) .
A t t h e s a m e t i m e , O p e n M P , u s e d f o r d i s t r i b u t i n g w o r k o n s h a r e d - m e m o r y m a -
c h i n e s , w a s n o t o r i g i n a l l y i n t e n d e d t o h a n d l e d a t a p l a c e m e n t , a n d a n y d a t a p l a c e m e n t
d i r e c t i v e i s c u r r e n t l y o u t s i d e t h e O p e n M P s t a n d a r d . S u c h d i r e c t i v e s a r e f u r n i s h e d b y
v e n d o r s f o r t h e i r s p e c i c m a c h i n e s ; o n t h e O r i g i n 2 0 0 0 , t h e S G I d i r e c t i v e s f o r m a n
e x t e n s i o n o f O p e n M P . W h i l e s u c h m a c h i n e - s p e c i c e x t e n s i o n s a r e n e c e s s a r y f o r o p t i -
m i z i n g c o d e , t h e i r u s e i n h i b i t s t h e p o r t a b i l i t y t h a t t h e O p e n M P s t a n d a r d w a s m e a n t
t o p r o v i d e .
B e c a u s e o f t h e d a t a - p a r a l l e l n a t u r e o f o u r p r o b l e m , t h e o r i g i n a l H P F c o d e w a s
n a t u r a l l y s t r u c t u r e d f o r e c i e n c y o n d i s t r i b u t e d - m e m o r y m a c h i n e s . T h e c o n v e r s i o n
t o O p e n M P w a s u n d e r t a k e n s o a s t o p r e s e r v e t h e o r i g i n a l d i s t r i b u t e d d a t a s t r u c t u r e
o f t h e H P F c o d e ; o n t h e D S M a r c h i t e c t u r e o f t h e O r i g i n 2 0 0 0 t h i s s h o u l d s e r v e t o
g u a r a n t e e t h a t l o c a l m e m o r y a c c e s s e s a r e f a v o r e d o v e r t h e c o s t l i e r r e m o t e a c c e s s e s
a n d t h a t s c a l a b i l i t y i s t h u s e n h a n c e d .
I n t h e a b s e n c e o f d a t a p l a c e m e n t d i r e c t i v e s i n O p e n M P , t h e S G I d i r e c t i v e s s h o u l d
h a v e p r o v i d e d t h e m e a n s f o r c o n t r o l l i n g d a t a p l a c e m e n t a n d i m p o s i n g t h e d e s i r e d
s t r u c t u r e o n t h e d a t a . A " p a g e " i s t h e m i n i m a l g r a n u l a r i t y o f m e m o r y s p a c e o n t h e
O r i g i n , a n d " p a g e p l a c e " , w h i c h i s s u p p o s e d t o g i v e t h e u s e r c o n t r o l o v e r p l a c e m e n t
o f p a g e s i n m e m o r y , w a s t h e S G I d i r e c t i v e o f c h o i c e . T h e p a g e g r a n u l a r i t y d o e s n o t
a l l o w t h e n e c o n t r o l o v e r d a t a p l a c e m e n t w h i c h o n e g e n e r a l l y e x p e c t s ; f o r e x a m p l e ,
a n a r r a y d i s t r i b u t e d a m o n g s e v e r a l p r o c e s s o r s i s d i s t r i b u t e d b y p a g e , n o t b y e l e m e n t .
A u s e r c a n t h u s b e s u r p r i s e d b y n d i n g s o m e e l e m e n t s ( t h o s e w h i c h h a p p e n t o o v e r l a p
o n t h e p a g e a l l o t t e d t o a n o t h e r p r o c e s s o r ) r e s i d i n g o n p r o c e s s o r s o t h e r t h a n w h e r e
t h e y w e r e t h o u g h t t o h a v e b e e n p l a c e d . T h i s c a n b e a v o i d e d b y p a d d i n g t h e a r r a y s o
6
8/6/2019 Article PSPI
http://slidepdf.com/reader/full/article-pspi 7/8
a s t o s e p a r a t e d a t a b l o c k s b y a t l e a s t a p a g e o f m e m o r y s p a c e . H o w e v e r , t h i s r e q u i r e s a
l e v e l o f h a n d t u n i n g o f t h e a r r a y t h a t w a s l e f t b e h i n d l o n g a g o o n d i s t r i b u t e d m e m o r y
m a c h i n e s ! U n f o r t u n a t e l y , e v e n w i t h t h i s h a n d t u n i n g , p a g e p l a c e w a s n o t o p e r a t i v e
o n t h e O r i g i n a t t h e t i m e o f t h e c o n v e r s i o n o f o u r c o d e f r o m H P F .
S o r s t - t o u c h d e f a u l t p l a c e m e n t w a s u t i l i z e d . T h i s i s a c o n v e n t i o n w h i c h d i c t a t e s
t h a t t h e p r o c e s s o r w h i c h r s t " t o u c h e s " ( c a r r i e s o u t s o m e o p e r a t i o n o n ) a d a t u m w i l l
t a k e t h e p a g e c o n t a i n i n g t h a t d a t u m i n t o i t s a s s o c i a t e d l o c a l m e m o r y . S i m p l y i n i -
t i a l i z i n g t h e a r r a y v i a a p a r a l l e l d o - l o o p w h o s e i t e r a t e s a r e d i s t r i b u t e d c o n v e n i e n t l y
a m o n g t h e p r o c e s s o r s w i l l a c h i e v e a d e s i r e d d i s t r i b u t i o n { t o w i t h i n t h e u s u a l c o n -
s t r a i n t s i m p o s e d b y t h e p a g e g r a n u l a r i t y . ( A g a i n , p a g e o v e r l a p p i n g c a n b e a v o i d e d
b e t w e e n s u b a r r a y b l o c k s b y a c c o r d i n g l y p a d d i n g t h e a r r a y . ) U n f o r t u n a t e l y , e v e n t h e
r s t - t o u c h c o n v e n t i o n i s n o t g u a r a n t e e d t o g i v e t h e d e s i r e d d a t a p l a c e m e n t i f t h e
m a c h i n e i s u n d e r h e a v y u s e . I f t h e O S i s s w a p p i n g t h r e a d s a m o n g p r o c e s s o r s w h i l e
t h e r s t - t o u c h i n i t i a l i z a t i o n i s t a k i n g p l a c e , a s u b a r r a y b l o c k c a n w i n d u p s c a t t e r e d ,
p a g e b y p a g e , a m o n g s e v e r a l m e m o r i e s . O n t h e S G I O r i g i n 2 0 0 0 , t h i s c a n h a p p e n
e v e n w h e n t h r e a d s a r e " l o c k e d " t o s p e c i c p r o c e s s o r s , b e c a u s e t h e O S c a n o v e r r i d e ,
d e p e n d i n g o n m a c h i n e u s e , t h e u s e r - s p e c i e d d i r e c t i v e s a n d e n v i r o n m e n t v a r i a b l e s .
0 4 8 12 16
# of CPUs
0
50
100
150
200
250
T i m e [ s ]
Timings: OpenMP vs HPF
OpenMP elapsed timeOpenMP CPU time
OpenMP elapsed time fluctuations
HPF elapsed time
HPF CPU time
F i g . 6 . 1 T i m i n g s : O p e n M P v s H P F . F l u c t u a t i o n s i n e l a p s e d t i m e f o r O p e n M P r u n s c o r r e s p o n d
t o h e a v y m a c h i n e u s e . N o s u c h u c t u a t i o n s a r e o b s e r v e d f o r H P F .
O n t h e o t h e r h a n d , H P F o n t h e s h a r e d m e m o r y m a c h i n e d o e s n o t s u e r f r o m
t h e s a m e p r o b l e m s o f d a t a d i s t r i b u t i o n n o r o f O S i n t e r f e r e n c e . U n l i k e O p e n M P , H P F
i s n o t c o n s t r a i n e d t o r e s p e c t F o r t r a n c o n v e n t i o n s o f a r r a y s t o r a g e a c r o s s p r o c e s s o r
b o u n d a r i e s . ( O p e n M P m u s t g u a r a n t e e t h a t a r r a y e l e m e n t s w h i c h a r e c o n t i g u o u s
i n F o r t r a n r e m a i n c o n t i g u o u s i n m e m o r y { e v e n f o r d i s t r i b u t e d a r r a y s a n d a c r o s s
p r o c e s s o r b o u n d a r i e s . ) T h u s H P F i s n o t i n u e n c e d b y p a g e g r a n u l a r i t y , a n d t h e
u s e r c a n t r u l y c o n t r o l d a t a d i s t r i b u t i o n . H P F p r o c e d u r e s a r e a l s o n o t s u b j e c t t o t h e
" p r o c e s s o r h o p p i n g " w h i c h c h a r a c t e r i z e s O S c o n t r o l o f O p e n M P t h r e a d s a n d w h i c h
c a n p e n a l i z e O p e n M P p e r f o r m a n c e w h e n a m a c h i n e i s u n d e r h e a v y u s e .
7
8/6/2019 Article PSPI
http://slidepdf.com/reader/full/article-pspi 8/8
0 4 8 12 16
# of CPUs
0
4
8
12
16
S p e e d u p
Speedup: OpenMP vs HPF
OpenMP
HPF
ideal
F i g . 6 . 2 S p e e d u p : O p e n M P v s H P F . T h e H P F c o d e s c a l e s w e l l ; t h e O p e n M P c o d e d o e s n o t .
N o t s u r p r i s i n g l y , t h e n , O p e n M P p e r f o r m a n c e f o r t h i s a p p l i c a t i o n o n t h e O r i -
g i n 2 0 0 0 i s s i g n i c a n t l y i n f e r i o r t o H P F p e r f o r m a n c e . O n e c a n s e e i n g u r e 6 . 1 h o w
t h e O p e n M P v e r s i o n i s p e n a l i z e d b y t h e O S ; t h e u c t u a t i o n s i n e l a p s e d t i m e , v i s i b l e
f o r s o m e o f t h e O p e n M P r u n s , c o r r e s p o n d t o m o m e n t s o f h e a v y m a c h i n e u s e a n d a c -
c o m p a n y i n g i n t e r f e r e n c e f r o m t h e O S ; o n e r u n w i t h 1 6 C P U s w h i c h t o o k 1 5 m i n u t e s
t o n i s h , i s n o t e v e n i n c l u d e d i n t h e g u r e . T h e H P F c o d e n e v e r m a n i f e s t e d u c t u -
a t i o n s o f t h i s o r d e r . F i g u r e 6 . 2 r e p o r t s s p e e d u p m e a s u r e d u s i n g o n l y t h e f a v o r a b l e
r u n s f o r O p e n M P . T h e H P F c o d e s c a l e s w e l l ; t h e O p e n M P c o d e d o e s n o t .
F o r t h e t i m e b e i n g , w e w i l l c o n t i n u e o u r c o d e d e v e l o p m e n t i n P G H P F .
R E F E R E N C E S
1 ] J . A . S c a l e s , T h e o r y o f S e i s m i c I m a g i n g , n o t e s f o r g r a d u a t e c o u r s e s , C o l o r a d o S c h o o l o f M i n e s ,
1 9 9 7 ( h t t p : / / l a n d a u . M i n e s . E D U / ~ s a m i z d a t / i m a g i n g / i n d e x . h t m l )
2
O z d o g a n Y i l m a z , S e i s m i c d a t a p r o c e s s i n g , I n v e s t i g a t i o n i n G e o p h y s i c s , 2 , S o c . E x p l . G e o p h y s . ,
1 9 8 7 .
3 ] R . H . S t o l t , \ M i g r a t i o n b y F o u r i e r t r a n s f o r m " , G e o p h y s i c s 4 3 ( 1 9 7 8 ) 2 3 { 4 8 .
4 ] R . H . S t o l t a n d A . K . B e n s o n , \ S e i s m i c M i g r a t i o n { T h e o r y a n d P r a c t i c e " , H a n d b o o k o f
G e o p h y s i c a l E x p l o r a t i o n { S e c t i o n I : S e i s m i c E x p l o r a t i o n , 5 , E l s e v i e r S c i e n c e L t d . , 1 9 8 5 .
5 ] J . G a z d a g , \ W a v e m i g r a t i o n w i t h t h e p h a s e s h i f t m e t h o d " , G e o p h y s i c s 4 3 ( 1 9 7 8 ) 1 3 4 2 { 1 3 5 1 .
6 ] J . G a z d a g a n d P . S g u a z z e r o , \ M i g r a t i o n o f s e i s m i c d a t a " , G e o p h y s i c s 4 9 ( 1 9 8 4 ) 1 2 4 { 1 3 1 .
7 ] C . B a g a i n i , E . B o n o m i a n d E . P i e r o n i , \ D a t a P a r a l l e l I m p l e m e n t a t i o n o f 3 D P S P I " , i n P r o c .
6 5 t h S E G A n n u a l M e e t i n g , O c t . 1 9 9 5 , p p . 1 8 8 { 1 9 1 .
8 ] E . B o n o m i , L . B r i e g e r , C . N a r d o n e a n d E . P i e r o n i , \ P S P I : A S c h e m e f o r H i g h - P e r f o r m a n c e
E c h o R e c o n s t r u c t i o n I m a g i n g " , C o m p u t e r s i n P h y s i c s 1 2 ( 1 9 9 8 ) 1 2 6 { 1 3 2 .
8