design and analysis of computer experimentsdesign of experiments develops strategies to define...

63
Design and analysis of computer experiments 29/11/2012 Bertrand Iooss

Upload: others

Post on 27-May-2020

40 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Design and analysis of computer

experiments

29/11/2012

Bertrand Iooss

Page 2: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Uncertainty management - The generic methodology

Venez’ course 2012 – Design and analysis - B. Iooss 2

Page 3: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Main objectives of sensitivity analysis

� ���������������� ������������������������� �� ���������������� ���

� ������������ ������������������������ ���� ������� ���� ���������������������������� �����

�����������������������������������

� ����� ���������������������������������

� ���������������� ��������!�����

�������� �������� �������

Venez’ course 2012 – Design and analysis - B. Iooss 3

�������� �������� �������

� ���������������������

� ���� ��������������������� ������� ��������� ����"����������#���������������������������

� �������������� �������������������

Page 4: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Outline

������������ �������� ������ �����������������

$% ������� �������������������

Venez’ course 2012 – Design and analysis - B. Iooss 4

Page 5: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Typical engineering practice : One-At-a-Time (OAT) design

X2

P2P3

Venez’ course 2012 – Design and analysis - B. Iooss 5

�� ��� !�"

#$%� ���������� �������������������& ��

'���� ��������� "(�����������)�����������)*�� �����)

+������ �������� ����������������,�� ����������������-

X1

P1 P2

Page 6: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Model exploration goal

.#$+"����� ���������������������������� ���������

&���������������"����������������������' ������!� (���������� �� ������������������������

/�� � ������� ������ �����������������������

����������"��������� )*�� ��������� Ex: p =2, n =3

N =9

p = 10, n=3

N = 59049

Venez’ course 2012 – Design and analysis - B. Iooss 6

%��������(��������������������0������ ������1 ���� ��� 2��������������+������������������������,�������������������

0.0 0.2 0.4 0.6 0.8

0.2

0.4

0.6

0.8

1.0

V1

V2

0.2 0.4 0.6 0.8

0.2

0.4

0.6

0.8

V1

V2

Monte Carlo Optimized design

'�"� 34( 3�5

N = 59049

Page 7: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Objectives

-��� ��� ��.������ � �� ������� "��� ������ ����� ��� ����� ��� "����� ����� ����������� ���� ���� �����!��� "� "��� �� ������ ��� �"� ����"��� ���������/

� 0� ����� ��� ����� ���� ��� ����� ���� �� ����� �� ������� ������������� � ��� ����� �������

� 0� ����� ���� ��� ����� ���� �������� � ����� "��� ������ ���������� ���������%

Venez’ course 2012 – Design and analysis - B. Iooss 7

0���� ���� "� ���1 ��� ����� "���� ����� ��� ' ��� �������� ( � �������� ����

���� #������/

� 2�" �� �� ��� ��� ' ��� ( 3

Page 8: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Exploration in physical experimentation

Design of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible

�������� ��� �������� �����

/�� ���� ������

����������� ���������� ����������6�������� ��������47

�������� ������� �����

'��������� ����� ������� �� �����&�������������� �������

'�������"

Venez’ course 2012 – Design and analysis - B. Iooss 8

����������� ���������� ����������

4���������� � ��������������

4���������� ���������������������

�����������������������

+����� ��������������"��� ������

2��������������� ����������

���� ������ ��������� ����������� ���������������

parameter 1

parameter 2

parameter 3

6�������� ��������47

6 ������������ ��������47��

Page 9: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Space filling designs

+������� �������� ������������������������������

%����� ��������������������� �� ������������������ �����������������

0������ ����������� ����������������%

0.6

0.8

1.0

V2

0.4

0.6

0.8

V2

+�����+�����������������+�����+�����

+����+����5������5������

Venez’ course 2012 – Design and analysis - B. Iooss 9

6������/ +�����#�����

0"���������������/7% �����������������"�����������/����������������8$% 9�� ��������������� ��������������������������

0.0 0.2 0.4 0.6 0.8

0.2

0.4

V1

V2

0.2 0.4 0.6 0.8

0.2

0.4

V1

V2������������

+�����+������+�+��+�+�

5������5������ ���� �����+5 ��+5 �

Page 10: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

� ������������ �: /������!� ��������������������"��� ��������� ��������� ������������ ��������

����������;<�7=� ��������� �� ��� �����������

),(min),( re whe

),(max),(maxmin

)0(

)0(xxdDxd

DxdDxd

Dx

MIxxD

∈=

=[ Johnson et al. 1990 ]

[ Koehler & Owen 1996 ]

Geometrical criteria (1/2)

Venez’ course 2012 – Design and analysis - B. Iooss 10

*>?��� ������������������ �������� �� ��� �:

Page 11: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

• p = 1 ; Xi = (2i-1)/(2N) ; φmM = 1 / 2N

• p > 1 : sphere recovering

Minimax design

Venez’ course 2012 – Design and analysis - B. Iooss 11

8&&&��������������������9

Page 12: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Geometrical criteria (2/2)

- Mindist distance: ( L2 norm for example)

Maximin design ΞNMm :

maximize minimal distance between two points of the design

),(min)( )2()1(

, )2()1(xxd

Nxx

N

Ξ∈=Ξφ

),(min),(minmax )2()1(

,

)2()1(

,Mm

)2()1()2()1(xxdxxd

NNN xxxx Ξ∈Ξ∈Ξ=

Venez’ course 2012 – Design and analysis - B. Iooss 12

- …

Page 13: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

• p = 1 ; Xi = (i-1)/(N-1) ; φmM = 1 / (N-1)

• p > 1 : sphere packing

Maximin design

Venez’ course 2012 – Design and analysis - B. Iooss 138&&&��������������������9 8&&&����!���������9

Page 14: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Space filling measure of a design: the discrepancy������� ����������������������"������������������ ��������@������������ ��������������

⇒ ������� ��������� ��������� ������

A������������������������/,�����������"������������� �������������������������"�����������������

×××=∈ p

pttttQtQ 21 [,0[[,0[[,0[)(,[1,0[)( �

Venez’ course 2012 – Design and analysis - B. Iooss 14

4�"���������������������������������

�������� �������������

∏=∈

−=

×××=∈

p

i

i

tQ

tQ

p

tN

ND

ttttQtQ

p1

)(

[1,0[)(

21

sup)(disc

[,0[[,0[[,0[)(,[1,0[)( �

Page 15: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Link with the integration problem

( )

( ) ( )

=

=

=

=

N

x

xfN

I

dxxfI

p

Ni

i

N

i

i

N

p

1)(Var

[1,0[in points random of sequence a with

)(1

: Carlo Monte

)(

...1)(

1

)(MC

[1,0[

Venez’ course 2012 – Design and analysis - B. Iooss 15

( ) ( )

=⇒==Ε

NO

N

NIII NN

1)(VarVar; MCMC ε

A���������������:�!����;��&!���0������-"

-������"�����������#����� �#��������,�����#������/

-���B1��"�������/+����@�#�����

( )

=

N

NO

pln

ε

)(disc)( DfV ×≤ε

Page 16: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

( )

( )2/1

2

[1,0[ 1)(

*2

1)(

[1,0[

*

))(Volume(11

))(Volume(11

sup

)(

)(

−=Ξ

−=Ξ

∫ ∑

=∈

=∈

tt

t

tx

txt

dQN

D

QN

D

p

i

i

p

N

iQ

N

N

iQ

N

L2 discrepancy

Several definitions, depending on considered norms and intervals

Choice allowing computations : L2222 discrepancy

L2 discrepancy at origin :

[ Hickernell 1998 ]

Venez’ course 2012 – Design and analysis - B. Iooss 16

Missing property: taking into account uniformity of the point projections On lower-dimensional subspaces of [0,1[p

=> Modified L2 discrepancies

( )

{ }

)in scoordinate of cube(unit on )( of projection )( and

,...,1with

))(Volume(11

Ø

2

1)(2 )(

uCQQ

pu

dQN

D

u

u

u C

u

N

iQ

N

uu

iu

tt

tttx

=

−=Ξ ∑ ∫ ∑

≠ =∈

Page 17: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Discrepancy computation in practice

� �������+4����� ��������������"������������������<�

� /��� ��+4����� ��������������"��������������������� ������������

Venez’ course 2012 – Design and analysis - B. Iooss 17

� ����� �� +4����� ����� ��������� "��� �������� ���' ���� (������� ������������

∑∏

∑∏

= =

= =

−−−+−++

−−−+−

=

N

ji

p

k

j

k

i

k

j

k

i

k

N

i

p

k

i

k

i

k

p

xxxxN

xxN

D

1, 1

)()()()(

2

1 1

2

)()(2

2

1

2

1

2

1

2

1

2

11

1

2

1

2

1

2

1

2

11

2

12

13)(disc

Page 18: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Sobol’sequence vs. Random sample vs. regular grid

;5���/C�������1��$<7<=

Venez’ course 2012 – Design and analysis - B. Iooss 18

Page 19: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Example - N = 150 - Dimension = 8

Sobol Sobol scrambling Owen

Venez’ course 2012 – Design and analysis - B. Iooss 19

Page 20: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Example - N = 150 - Dimension = 8

Halton

Venez’ course 2012 – Design and analysis - B. Iooss 20

Page 21: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Pathologies on 2D projections

Halton

Venez’ course 2012 – Design and analysis - B. Iooss 21

Page 22: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Important property: robustness in terms of subprojections

���� ����������� ������� �<�����"� ��������������/B ��������������������7 *������� �� �����������⇒⇒⇒⇒ �� ==�B ���������������������$ *������������ �� �����������������⇒⇒⇒⇒ �4 ==�

0����"�����+5 "����1������������B �������������������"B�����������������������������/�����������@*7������@*$�%%%�

• �@*7⇒ 42+���������7 ���.���������������

Venez’ course 2012 – Design and analysis - B. Iooss 22

���� ���

• �@≥ $:�������� ��������������� ���4$B��������������������1������������

�����.������

:��������������������������������������������������

Page 23: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Latin Hypercube Sample (LHS)

> ��� ��" ?��� �� �@��������� ���

> ������" � �� �������( �����⇒⇒⇒⇒ +;�,��(-

������ ���� ��������(��� ����%�!� ����������� �� ����

'������" �34�(3A

��������������������� ���� ������� �������

[ McKay et al. 1979 ]

Venez’ course 2012 – Design and analysis - B. Iooss 23

'��� ����� �� ��!� ��� ������������ �� �����⇒⇒⇒⇒ '��� ����� ���������� �� ��� ���������B��4����( C

'������" �34�(3A

Page 24: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Algorithm of LHS(p,N) – Stein method

ran = matrix(runif(N*p),nrow=N,ncol=p) #tirage de N x p valeurs selon loi

U[0,1]

x = matrix(0,nrow=N,ncol=p) # construction de la matrice x

for (i in 1:p) {

idx = sample(1:N) #vecteur de permutations des entiers

{1,2,…,N}

P = (idx-ran[,i]) / N # vecteur de probabilités

x[,i] <- quantile_selon_la_loi (P) }

'������" �34�(3�5�<� D?85��9�<4 D(,5��-

Venez’ course 2012 – Design and analysis - B. Iooss 24

'������" �34�(3�5�<� D?85��9�<4 D(,5��-

Page 25: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

+������������/ �������������������� ����7<<<�� �� �����42+%0��������������"���������������������φ (.) �' ���� ������ (�

D90/���������� 42+�����/

���������������!��������� ���/������������ φ(.) ���������������������/

Optimisation of LHS => Space-filling LHS

'������"+;�,4��E-

������ ��� �� ( )pN!

[ Park 1993; Morris & Mitchell 1995 ]

Venez’ course 2012 – Design and analysis - B. Iooss 25

7% :������������� �������42+�����������������������0

$% -����0 ></7% &�����������������" � ������������� $�������������������

$%�����������" "��������

E%�������0

E% +������������*>������������������

Ξ−Ξ− 1 ,

)()(expmin new

T

φφ

Page 26: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Examples of optimized LHS

F����������"��������������� ���������42+�

0.6

0.8

6������/�*$G ) *7H

Venez’ course 2012 – Design and analysis - B. Iooss 26

�������42+ 4�""���B������ 5�����������/����������42+ +�����#�����

0.2 0.4 0.6 0.8

0.2

0.4

Page 27: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Summary on the design of numerical experiments

Goal: Sample a high dimensionam space in an « optimal » manner (obtain the maximum of information on the behaviour of the outputZ / X є Rp)

&������/ ����������������������,���������� ����������

7%'+���� ������(���������������������/

B D�������������������������"�������������������������8�

Venez’ course 2012 – Design and analysis - B. Iooss 27

B D��������������� ��� ��������������� ��������������������

$%&�������� ��� ������.���������������������������������4�������������������42+�

E%:����������������7���$

Page 28: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Outline

7% ����� �������������������

4� $����������� �������� ������ �����������������

Venez’ course 2012 – Design and analysis - B. Iooss 28

Page 29: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Sensitivity analysis notions

� ����������� ���������

���������I���������J�����������I���������I������ ����������� ����������������� �� ������

� /�� ������3��������������� ����� ���������

&��������I����������������@������������@����I������������������������@������������������������@���I�K����������

iXY ∂∂

)( i

i

XX

Venez’ course 2012 – Design and analysis - B. Iooss 29

���@������������������������@���I�K����������

���� ����

����

Page 30: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Main objectives of sensitivity analysis

� ���������������� ������������������������� �� ���������������� ���

� ������������ ������������������������ ���� ������� ���� ���������������������������� �����

�����������������������������������

� ����� ���������������������������������

� ���������������� ��������!�����

�������� �������� �������

Venez’ course 2012 – Design and analysis - B. Iooss 30

� ���������������������

� ���� ��������������������� ������� ��������� ����"����������#���������������������������

� �������������� �������������������

Page 31: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

�#�������� �������*������������ ����������

%� �����������&� �"

7% +��������/B ������������� �����������B ��������������� ������������������#��������� ���������

$% L������������������ �������� ������/

Overall classification of sensitivity analysis methods

Venez’ course 2012 – Design and analysis - B. Iooss 31

$% L������������������ �������� ������/B �����������M���������������M���1B �������������B ������������������������������+������B �����������/��������������������������

E% ��������������� ����������B ��������������#��������%M��������������B ���������

X1

X3

X2

Y

Page 32: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Screening with n < p (supersaturated designs)

�����������>>7<����������������������������

?�.������/ ������������������������ �����

2�������/G )������ �� ����������NN������������ �����

G ��������� �������������������������"��������

G C��"������ ������������� ������������������M���������

'������"����������0���������� ������

Venez’ course 2012 – Design and analysis - B. Iooss 32

FGXXXX1111

XXXX2222

XXXX3333

XXXX4444 XXXX………… XXXXpppp

4 ��

F�

Page 33: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Screening with n < p (supersaturated designs)

�����������>>7<����������������������������

?�.������/ ������������������������ �����

2�������/G )������ �� ����������NN������������ �����

G ��������� �������������������������"��������

G C��"������ ������������� ������������������M���������

'������"����������0���������� ������

Venez’ course 2012 – Design and analysis - B. Iooss 33

FGXXXX1111

XXXX2222XXXX3333

XXXX4444

XXXX…………

XXXXpppp

XXXX…………

G

4 �� � �

F�

F���FG≠≠≠≠F�XXXX1111

XXXX2222

XXXX3333

XXXX4444 XXXX………… XXXXpppp

Page 34: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Screening with n < p (supersaturated designs)

�����������>>7<����������������������������

?�.������/ ������������������������ �����

2�������/G )������ �� ����������NN������������ �����

G ��������� �������������������������"��������

G C��"������ ������������� ������������������M���������

'������"����������0���������� ������

Venez’ course 2012 – Design and analysis - B. Iooss 34

FG

G

4 �� � �

F�

F�

XXXX1111XXXX2222

XXXX3333XXXX…………

��FG≠≠≠≠F� ��F� DFG HH

(���� �� ��" D� I4

$��&������<�

XXXX1111XXXX2222

XXXX3333

XXXX4444 XXXX………… XXXXpppp

XXXX1111XXXX2222

XXXX3333

XXXX4444

XXXX…………

XXXXpppp

XXXX…………

Page 35: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

∆X2

Screening without hypothesis on function: Morris’ method

• ������!������ ���������

P1

� )����O7����������

� ?�0�?��B��B�B0����

Venez’ course 2012 – Design and analysis - B. Iooss 35

X1

� ������������ �������������� ��� �����������

P2P3

Page 36: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

X2

4

3

2

� ?�0�������������������������/�*�P��O7������������

� :��������B����� ����������������� ���

Morris’ method

Venez’ course 2012 – Design and analysis - B. Iooss 36

X1

1

5

� +���������������/

Page 37: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Morris: sensitivity measures

� ��������� �������������/

:�������������� ���������� ������������ ����������������������������

� ��������� ������ ������

Venez’ course 2012 – Design and analysis - B. Iooss 37

� ��������� ������ ���������� �������� �������/

��������������� �� ������ ���������B������ � ���"��������������������/

� � ��������Q� *>���������� ���� ��� �������������*>����������������������������"�������"��������������

Page 38: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Morris : example

$< �����$7<���������� A�������P������

������������"���E

3

Venez’ course 2012 – Design and analysis - B. Iooss 38

σ

,����/������������ �������� �����

������������"���E�����/

7% )���������� ���$% 4������ ���E% )��������� ���

���M��"��������������

1 2

Page 39: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Example : fuel irradiation computation in HTR

,������������04�+�,6��/���������� ���20� ���� �������������������������������������

)����������J�� ����,��������������#��������,��������������#������,��������+�������

,�����������������/ ������� ��������

(���� ���� ������������ ����� "�5J ���5�5 K

< 1µµ < 1µµ < 1µµ < 1µµ φφφφ

Venez’ course 2012 – Design and analysis - B. Iooss 39

,�����������������/ ������� ���������������������������������

0�� ������� ������������������������ ������� ���������������1������:&�,�+�,�?&�,�

?����������������������������� ���������������/��������������������������������������

� ����� "�5J ���5�5 K

Page 40: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

3 uncertainty types for the inputs� 7<���������� ��������������� ������������������1���8�

+���� ����������������A����������������

� R���������� ������������������������8�:�������;�������= ��� ��������������

� $S�����������"� �������� ������������ ����8�6�����.������� ����������������������T9;<%UR�7%<R=�

Venez’ course 2012 – Design and analysis - B. Iooss 40

'������"+�&��

>�/�����������

Page 41: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Results of Morris

4������������������������������1��������������������������+���������������� ���

:� ������� ��������

�*VE������$<������������*SH<��������������T7��*>�����*7V�

Venez’ course 2012 – Design and analysis - B. Iooss 41

:� ������� ������������ ���������"� &�,

,��������/������������������#������������ ���������������������������������������������������� �����

9� ����������������� �������������� ����������

Page 42: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

�#�������� �������*������������ ����������

%� �����������&� �"

7% +��������/B ������������� �����������B ��������������� ������������������#��������� ���������

$% L������������������ �������� ������/

Overall classification of sensitivity analysis methods

Venez’ course 2012 – Design and analysis - B. Iooss 42

$% L������������������ �������� ������/B �����������M���������������M���1B �������������B ������������������������������+������B �����������/��������������������������

E% ��������������� ����������B ��������������#��������%M��������������B ���������

X1

X3

X2

Y

Page 43: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Sensitivity analysis for one scalar output

+������<∈ℜ∈ℜ∈ℜ∈ℜ��W�< �∈ℜ∈ℜ∈ℜ∈ℜ �� �!�) >�

&�������������/�����������!���������� ����/�����������

�����1/ �������������,�����������#���B�����,������������������������

Venez’ course 2012 – Design and analysis - B. Iooss 43

Page 44: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Graphial representation : scatterplots

YX

σσρ

),cov(=

0.000.000.000.00 0.020.020.020.02 0.040.040.040.04 0.060.060.060.06 0.080.080.080.08 0.100.100.100.10

00 0022 22

44 4466 66

88 881

01

01

01

0

ι3ι3ι3ι3

π2

23

π2

23

( ��

. ����#�����&��� ����������������

'������"(3755

���� �������� ��� ���� ����������

Venez’ course 2012 – Design and analysis - B. Iooss 44

YXσσ

yx

N

i

ii

ss

yyxxN∑

=

−−

= 1

))((1

ρ̂

Page 45: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Flood model - Scatterplots – Output S

L*����� ��"����TA�������;R<<�E<<<=

C* ���������� ������T��������;7R�R<=

X�*��"��������������������T������������;VU�R7=

2�*��1�������T������������;Y�U=

,�*���1������T������������;RR�RH=

Venez’ course 2012 – Design and analysis - B. Iooss 45

�����,���������G ) *7<<

Page 46: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Flood model - Scatterplots – Output Cp

�����,���������G ) *7<<

Venez’ course 2012 – Design and analysis - B. Iooss 46

�@� � �&���!"����� ��� �� ����������&�������� ���������������� ��� �������*>����� �������������������

Page 47: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Sensitivity analysis for one scalar output

+������<∈ℜ∈ℜ∈ℜ∈ℜ��W�< �∈ℜ∈ℜ∈ℜ∈ℜ �� �!�) >�

? Linear relation ?

#��

��Z�

(� ? Monotonic relation ?

&�������������/�����������!���������� ����/�����������

L��������������������������������������;+�����������%<<�2���������%<H=

Venez’ course 2012 – Design and analysis - B. Iooss 47

#��

Linear regression between Xi

and Y

Regression coefficients

���������������� Sobol’ indices

(�

#�� (�

Regression on ranks

��ZP�

Page 48: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Sensitivity indices in case of linear inputs/output relation

:�����������������������

+�����/ � �����!������

� +�,�����/

+���� β ����������������� ���������� W �� ��� Q

∑=

+=p

i

ii XY1

0 ββ

( ))Var(

)Var(:

Y

XXSRC i

ii β=

( )Y,X

( )pX,X ...,1=X

Venez’ course 2012 – Design and analysis - B. Iooss 48

+���� β� ����������������� ���������� W �� ��� Q�

� +�,�������������������������������� �������&������

� ��������� �����������������

0��������������������� �Z /

� -����� *>������������������� +�,

��

( )

( )∑

=

=

−=n

i

i

n

i

ii

YY

YY

R

1

2

1

2

2

ˆ

1

( )∑=

=p

i

iXR1

22 SRC

Page 49: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Flood model - Output S

�����,���������G ) *7<<

Venez’ course 2012 – Design and analysis - B. Iooss 49

E7[ 7R[7S[ $U[ H[

+����������������+�,$�

0����������������Z*<%UU�

+�,��� ���������� ������ �����#������������������������

Page 50: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Sensitivity analysis for one scalar output

+������<∈ℜ∈ℜ∈ℜ∈ℜ��W�< �∈ℜ∈ℜ∈ℜ∈ℜ �� �!�) >�

? Linear relation ?

#��

��Z�

(� ? Monotonic relation ?

&�������������/�����������!���������� ����/�����������

L��������������������������������������;+�����������%<<�2���������%<H=

Venez’ course 2012 – Design and analysis - B. Iooss 50

#��

Linear regression between Xi

and Y

Regression coefficients

���������������� Sobol’ indices

(�

#�� (�

Regression on ranks

��ZP�

)Var(

)]Var[E(

Y

XYS

i

i=

Page 51: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

&��������� ��T 9;?�7= ���*7�8��� ����� ���������������

pLf ]1;0[)()( 2 ∈∈ xxx

( ) ( ) ( )pp

i ij

jiij

p

i

ii xxxfxxfxfffy ,...,,...,)( 21,...,2,11

0 ++++== ∑∑∑>=

x

"���

Functional decomposition

:� ������ ������������������

D90��������� ������������� /sjiiii iijdxxxf

ss,...,0),...,( 1... 11

=∀=∫

Venez’ course 2012 – Design and analysis - B. Iooss 51

&��������� ��T 9;?�7= ���*7�8��� ����� ���������������

6������/

( ) )E(0 ydff == ∫ xx

( ) 00 )|E()( fxyfdxfxf iiii −=−= ∫ −x

( ) 0)|E()|E(),|E(, fxyxyxxyxxf jijijiij +−−=

0),(;2

1)(;

2

1)(;1

]1;0[~;]1;0[~;),(

21122221110

212121

=−=−==

+=

xxfxxfxxff

UxUxxxxxf

Page 52: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

22121 34),( xxxxf +=

]21;21[, 21 −∈Uxx

3

1)34()(

2/1

2/1

2/1

2/1212

210 ∫ ∫− −

=+== dxdxxxyEf

3

14)34()|()( 2

1

2/1

2/122

210111 −=+=−= ∫− xdxxxfxyExf

00 =f

2111 4)( xxf =

3)( xxf =

Another example

Venez’ course 2012 – Design and analysis - B. Iooss 52

34)34()|()( 1

2/12210111 −=+=−= ∫− xdxxxfxyExf

222 3)( xxf =

0),( 2112 =xxf

�����������

20222 3)|()( xfxyExf =−=

0),( 2112 =xxf

Page 53: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Sensitivity indices without model hypotheses

�������������������"

V

)()()()(Var 121

YVYVYVY p

p

ji

ij

p

i

i �� +++= ∑∑

<=

5����������)?��;6 ����+����S7=����%� �����������Q� �/

[ ] ... , )E(Var

)]E([Var)( where

jijiij

ii

VVXXYV

XYYV

−−=

=

Venez’ course 2012 – Design and analysis - B. Iooss 53

� 5�����������������������/

� +�������������������������/

� %%%

��

)Var(Y

VS i

i=

)Var(Y

VS

ij

ij =

Page 54: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

22121 34),( xxxxfy +== ]21,21[, 21 −∈Uxx

3

1)(0 == yEf ( )[ ]

106.0883.0

80.0111 ===

V

xfVarS

On a vu :

Another example

Venez’ course 2012 – Design and analysis - B. Iooss 54

3

3

14)|()( 2

10111 −=−= xfxyExf

20222 3)|()( xfxyExf =−=

0),( 2112 =xxf

883.01

V

( )[ ]894.0

883.0

75.0222 ===

V

xfVarS

�����������

Page 55: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Graphical interpretation

2 4 6 8 10 12 14

02

46

810

p23

0 50 100 150

02

46

810

p23

5��������+����@��������������������������� �����������������������������������������������������

)��������

2��������

Venez’ course 2012 – Design and analysis - B. Iooss 55

2 4 6 8 10 12 14

per1

0 20 40 60 80

02

46

810

kd1

p23

0 50 100 150

kd2

0.00 0.02 0.04 0.06 0.08 0.100

24

68

10

i3

p23

+���������

Page 56: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

1≤∑i

iS

1=∑i

iS

��"��

�������������

∑− S1 ���������������� ��������������"�����������

k

i j k

ijk

i j

ij

p

i

i SSSS ,...,2,11

...1 +++= ∑ ∑ ∑∑ ∑∑=

Sobol’ indices properties

Venez’ course 2012 – Design and analysis - B. Iooss 56

∑−i

iS1 ���������������� ��������������"�����������

6������/ �*V����V������+��H������+�.�V������+�.1�7������+�.1�

A���������/$�B7������������������

0������������������/

;2�����+�������7UUH=

i

j kj

ijkijiTi SSSSS ~,

1... −=+++= ∑ ∑

Page 57: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Flood model

Venez’ course 2012 – Design and analysis - B. Iooss 57

Page 58: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Sobol indices computation

� :����� ��Q� �7� ��������������/

� 5����������� ����������������������/

)Var(1 and

)Var(~

Y

VS

Y

VS i

Ti

ii−==

Venez’ course 2012 – Design and analysis - B. Iooss 58

� 5����������� ����������������������/

( ) ( )( ) [ ])(),(CovEE)]Var[E()( '~,~,

22

iiiiiiiiii XXfXXfdXXYdXXYXYYV =−== ∫∫

[ ]),(),(Cov)]Var[E()( ~'

~,~~ iiiiii XXfXXfXYYV ==

XXX ofcopy t independenan ' and )(Let ~, ii XX=

Page 59: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Direct estimation via Monte Carlo

$�%�%�%����� /

���������������� ���������/

,���������� �����������������/

:�����7� ����� /��� *� ��O7�

( ) ( )∑∑==

=−=n

k

kn

k

kf

nfff

nYV

1

)(0

1

20

2)( 1ˆ avec ˆ1)(ˆ XX

( ) ( ) 20

)()(1

)()(1

)(1

)()(1

)()(1

)(1

1

',...,',,',...,',...,,,,...,1

)(ˆ fXXXXXfXXXXXfn

YVk

p

k

i

k

i

k

i

kk

p

k

i

k

i

k

i

kn

k

i −= +−+−

=

( ) ( )njpi

j

injpi

j

i XX,..,1;,..,1

)(

,..,1;,..,1

)( ' and ====

( ) ( )1 n

Venez’ course 2012 – Design and analysis - B. Iooss 59

:�����7� ����� O�����������/��� *� ��O$�������������

:����������� T7�V*>������� � ������ ������ � ��#����� ��������

?���� �������F����B+�������������/

( ) ( ) 20

)()(1

)()(1

)(1

)()(1

)()(1

)(1

1~ ,...,,',,...,,...,,,,...,

1)(ˆ fXXXXXfXXXXXf

nYV

k

p

k

i

k

i

k

i

kk

p

k

i

k

i

k

i

kn

k

i −= +−+−

=

( ) ( ) )(ˆin ' and ~,..,1;,..,1

)(

,..,1;,..,1

)(YVXX injpi

j

injpi

j

i ====

[ ]∑=

+− −=n

k

pkkpkikikikkpkki XXfXXXXXfXXfn

V1

)1(,

)1(1,

)1(,

)1(1,

)2(,

)1(1,

)1(1,

)2(,

)2(1, ),...,(),...,,,,...,(),...,(

Page 60: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

The sampling-based approaches

+������<∈ℜ∈ℜ∈ℜ∈ℜ��W�< �∈ℜ∈ℜ∈ℜ∈ℜ �� �!�) >�

? Linear relation ?

F��

Linear regression between X

��Z�

����������Sobol indices

(� ? Monotonic relation ?

F�� (�

��ZP�

Venez’ course 2012 – Design and analysis - B. Iooss 60

between Xand Y

Regression coefficients

����������������

Sobol indices

Regression on ranks

�� ��

���������

SmoothingMetamodelN > 10 p

Monte Carlo

N > 1000 p

? CPU time cost of the model ?

Quasi-MC, FAST, RBD,

N > 100 p

�����

Page 61: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Flood model – Output Cp

5������7<<B�!������,�����������.������� �������������� � �����

&������������ ���A����������/L$ *UU[

)*7�R

Venez’ course 2012 – Design and analysis - B. Iooss 61

)*7�R

7<<���������

)���O$��7<<*Y�Y����������

Page 62: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

Classification of sensitivity analysis methods

�������������

)�����������

M� ����������������

/���������I ����� �����������

,����������� �������� �������+����������������B�����8�O����� ���6�W \Q� �

�� ����

�����������

Venez’ course 2012 – Design and analysis - B. Iooss 62

� 7<� 7<<<�

4�����7�

������

���������O�����������

���������"������

�����������

$�

�� *������� ��������������

< (���� ������������������

���� �� ����

����������� ����

���1��������

4�������������

����/� ���������

Page 63: Design and analysis of computer experimentsDesign of experiments develops strategies to define experiments in order to obtain the required information as efficiently as possible ˛

– Fang et al., Design and modeling for computer experiments, Chapman &

Hall, 2006

– J.C. Helton, J.D. Johnson, C.J. Salaberryet C.B. Storlie: Survey of sampling-

based methods for uncertainty and sensitivity analysis. Reliability

Engineering and System Safety, 91:1175–1209, 2006.

– Kleijnen, The design and analysis of simulation experiments, Springer, 2008

Bibliography

Venez’ course 2012 – Design and analysis - B. Iooss 63

– Kleijnen, The design and analysis of simulation experiments, Springer, 2008

– Koehler & Owen, Computer experiments, 1996

– A. Saltelli, K. Chan & E.M. Scott, Sensitivity analysis, Wiley, 2000

– A. Saltelli et al., Global sensitivity analysis - The primer. Wiley, 2008.