lect1-part ii
TRANSCRIPT
1
TOÁN CHUYÊN ĐỀPhần I
Probability and ComputingRandomized Algorithm and Probabilistic Analysis(Xác suất và kỹ thuật tính – Giải thuật ngẫu nhiên hóa
và Phân tích xác suất)Dr. Nguyễn Khanh Văn, M. Lê Quốc
Phần IIProbability, Statistic and Stochastic Processes(Xác suất thống kê và quá trình ngẫu nhiên)
Prof. Nguyễn T. Hoàng Lan, Dr Nguyễn Linh Giang
2
TOÁN CHUYÊN ĐỀ
Phần II: Xác suất thống kê
Nội dung • Lecture 1: Random Variables, Distribution and Probability Density Function (Bài 1: Biến ngẫu nhiên, hàm phân phối xác suất, Hàm mật độ xác suất, các dạng phân phối xác suất)
• Lecture 2: Mean, Variance, Moments and Characteristic Functions (Bài 2: Các đặc trưng của biến ngẫu nhiên: Trung bình, phương sai, mô men và các hàm đặc tính)
• Lecture 3: Function of a Random Variable (Bài 3: Hàm của biếnngẫu nhiên)
3
Nội dung• Lecture 4: Two Random Variables. One Function of Two
Random Variables (Bài 4: Hai biến ngẫu nhiên. Hàm của hai biếnngẫu nhiên)
• Lecture 5: Joint Moments and Joint Characteristic Functions, Conditional Density Functions (Bài 5: Các mô men và đặc trưngđồng thời, hàm mật độ xác suất có điều kiện)
• Lecture 6: Principles of Parameter Estimation (Bài 6: Nguyên tắcước lượng tham số)
Tài liệu tham khảo chính• Papoulis. A "Probability, Random Variables and Stochastic
Processes " McGraw Hill 1991, 2002• Tống Đình Quỳ, “Giáo trình xác suất thống kê”, NXB Giáo dục
4
Bài 1: Biến ngẫu nhiênCác khái niệm cơ bản
• Biến ngẫu nhiên (Random Variable - r.v) X: Định nghĩa 1: Một biến ngẫu nhiên được định nghĩanhư một hàm có giá trị thực xác định trên khoảngkhông gian các sự kiện ánh xạ tập tất cả các thựcnghiệm thành tập các số thực R sao cho nghịch ảnh củakhoảng số x trong R là một sự kiện
• Thể hiện của biến ngẫu nhiên: Ký hiệu X, Y là cácbiến ngẫu nhiên, và x, y là các giá trị của biến ngẫunhiên, còn gọi là thể hiện của biến ngẫu nhiên, là cácgiá trị cụ thể quan sát được
• Các loại biến : Biến ngẫu nhiên rời rạc, tập giá trị làhữu hạn và đếm được. Biến liên tục, tập giá trị số thực
5
Random Variables
Let (Ω, F, P) be a probability model for an experiment, and X a function that maps every to a unique point the set of real numbers. Since the outcome is not certain, so is the value Thus if B is some subset of R, we may want to determine the probability of “ ”. To determine this probability, we can look at the set that contains all that maps into B under the function X.
,Ω∈ξ,Rx∈ ξ
.)( xX =ξ
BX ∈)(ξ
Ω∈= − )(1 BXA Ω∈ξΩ
ξ
R)(ξX
x
A
B
Fig. 1.1
6
Obviously, if the set also belongs to the associated field F, then it is an event and the probability of A is well defined; in that case we can say
However, may not always belong to F for all B, thus creating difficulties. The notion of random variable (r.v) makes sure that the inverse mapping always results in an event so that we are able to determine the probability for any
Random Variable (r.v): A finite single valued function that maps the set of all experimental outcomes into the set of real numbers R is said to be a r.v, if the set is an event for every x in R.
)(1 BXA −=
)).((" )("event theofy Probabilit 1 BXPBX −=∈ξ (1-1)
)(1 BX −
.RB ∈
) ( ⋅XΩ
)(| xX ≤ξξ)( F∈
7
Thus, is an event for every n. Consequently
is also an event. All events have well defined probability. Thus the probability of the event must depend on x. Denote
The role of the subscript X in (1-4) is only to identify the actual r.v. is said to the Probability Distribution Function (PDF) associated with the r.v X.
⎭⎬⎫
⎩⎨⎧ ≤<− 1 aX
na
I∞
=
==⎭⎬⎫
⎩⎨⎧ ≤<−
1
1 n
aXaXn
a
)(| xX ≤ξξ
.0)( )(| ≥=≤ xFxXP Xξξ (1-3)
)(xFX
(1-2)
8
Hàm phân phối xác suất
• Định nghĩa 2: Hàm phân phối xác suất của biếnngẫu nhiên X, ký hiệu F(x), được xác định như sau:
F(x) = P(X< x), x (1-4)
• Trường hợp biến rời rạc:
• Một số tính chất của hàm phân phối
R∈
)()( ∑<
=xx
ii
xpxF
9
Distribution Function: Note that a distribution function g(x) is nondecreasing, right-continuous and satisfies
i.e., if g(x) is a distribution function, then
(i)
(ii) if then
and
(iii) for all x.
We need to show that defined in (1-4) satisfies all properties in (1-6). In fact, for any r.v X,
,0)( ,1)( =−∞=+∞ gg
,0)( ,1)( =−∞=+∞ gg
,21 xx < ),()( 21 xgxg ≤
),()( xgxg =+
(1-6)
)(xFX
(1-5)
10
1)( )(| )( =Ω=+∞≤=+∞ PXPFX ξξ
.0)( )(| )( ==−∞≤=−∞ φξξ PXPFX
(i)
and
(ii) If then the subset Consequently the event since implies As a result
implying that the probability distribution function is nonnegative and monotone nondecreasing.(iii) Let and consider the event
since
,21 xx < ).,(),( 21 xx −∞⊂−∞
, )(| )(| 21 xXxX ≤⊂≤ ξξξξ
1)( xX ≤ξ .)( 2xX ≤ξ
( ) ( ) ),()()()( 2211 xFxXPxXPxF XX =≤≤≤= ξξ (1-9)∆ ∆
(1-7)
(1-8)
,121 xxxxx nn <<<<< − L
.)(| kk xXxA ≤<= ξξ (1-10)
, )( )( )( kk xXxXxXx ≤=≤∪≤< ξξξ (1-11)
11
using mutually exclusive property of events we get
But and hence
Thus
But the right limit of x, and hence
i.e., is right-continuous, justifying all properties of a distribution function.
( ) ).()()()( xFxFxXxPAP XkXkk −=≤<= ξ (1-12)
,11 LL −+ ⊂⊂ kkk AAA
.0)(lim hence and lim1
===∞→
∞
=∞→ kk
kkkk
APAA φI (1-13)
.0)()(lim)(lim =−=∞→∞→
xFxFAP XkXkkk
),()( xFxF XX =+
)(xFX
(1-14)
,lim +
∞→= xxkk
12
Additional Properties of a PDF
(iv) If for some then
This follows, since implies is the null set, and for any will be a subset of the null set.
(v)
We have and since the two events are mutually exclusive, (16) follows.
(vi)
The events and are mutually exclusive and their union represents the event
0)( 0 =xFX ,0x . ,0)( 0xxxFX ≤= (1-15)
( ) 0)()( 00 =≤= xXPxFX ξ 0)( xX ≤ξ
)( ,0 xXxx ≤≤ ξ
).(1 )( xFxXP X−=>ξ (1-16)
, )( )( Ω=>∪≤ xXxX ξξ
. ),()( )( 121221 xxxFxFxXxP XX >−=≤< ξ (1-17)
)( 21 xXx ≤< ξ )( 1xX ≤ξ
. )( 2xX ≤ξ
13
(vii)
Let and From (1-17)
or
According to (1-14), the limit of as from the right always exists and equals However the left limit value need not equal Thus need not be continuous from the left. At a discontinuity point of the distribution, the left and right limits are different, and from (1-20)
( ) ).()()( −−== xFxFxXP XXξ (1-18)
,0 ,1 >−= εεxx .2 xx =
),(lim)( )( lim00
εξεεε
−−=≤<−→→
xFxFxXxP XX (1-19)
).()( )( −−== xFxFxXP XXξ (1-20)
),( 0+xFX )(xFX 0xx →
).( 0xFX
)( 0−xFX ).( 0xFX )(xFX
.0)()( )( 000 >−== −xFxFxXP XXξ (1-21)
14
Thus the only discontinuities of a distribution function are of the jump type, and occur at points where (1-21) is satisfied. These points can always be enumerated as a sequence, and moreover they are at most countable in number. Example 1.1: X is a r.v such that Find Solution: For so that and for so that (Fig.1.2)
Example 1.2: Toss a coin. Suppose the r.v X is such that Find
)( xFX
0x
. ,)( Ω∈= ξξ cX ).(xFX
, )( , φξ =≤< xXcx ,0)( =xFX
.,TH=Ω.1)( ,0)( == HXTX
)(xFX
xc
1
Fig. 1.2
).(xFX
.1)( =xFX ,)( , Ω=≤> xXcx ξ
15
Hàm mật độ xác suấtĐịnh nghĩa 3. Hàm mật độ xác suất của biến ngẫu nhiên X, ký hiệu f(x), có hàm phân phối F(x) khả vi,được định nghĩa:
Probability density function (p.d.f)
The derivative of the distribution function is called the probability density function of the r.v X. Thus
Since
from the monotone-nondecreasing nature of
)(xFX
)( xf X
.
)()(dx
xdFxf XX =
,0)()(lim
)(0
≥∆
−∆+=
→∆ xxFxxF
dxxdF XX
x
X
(1-23)
(1-24)
),( xFX
∆
16
it follows that for all x. will be a continuous function, if X is a continuous type r.v. However, if X is a discrete type r.v as in (1-22), then its p.d.f has the general form (Fig. 1.5)
where represent the jump-discontinuity points in As Fig. 1.5 shows represents a collection of positive discrete masses, and it is known as the probability mass function (p.m.f ) in the discrete case. From (1-23), we also obtain by integration
Since (1-26) yields
0)( ≥xf X )( xf X
,)()( ∑ −=i
iiX xxpxf δ
).(xFX
(1-25)
.)()( duufxFx
xX ∫ ∞−= (1-26)
,1)( =+∞XF
,1)( =∫+∞
∞−dxxf x
(1-27)
ix
)(xfX
xix
ip
Fig. 1.5
)( xf X
17
which justifies its name as the density function. Further, from (1-26), we also get (Fig. 1.6b)
Thus the area under in the interval represents the probability in (1-28).
Often, r.vs are referred by their specific density functions -both in the continuous and discrete cases - and in what follows we shall list a number of them in each category.
.)()()( )( 2
11221 dxxfxFxFxXxP
x
x XXX ∫=−=≤< ξ (1-28)
Fig. 1.6
)( xf X ),( 21 xx
)(xfX
(b)
x1x 2x
)(xFX
x
1
(a)1x 2x
18
Một số hàm phân phối củabiến ngẫu nhiên liên tục
• Phân phối chuẩn (phân phối Gaussian)• Phân phối đều• Phân phối theo hàm mũ• Phân phối Gamma• Phân phối Beta• Phân phối Cauchy• Phân phối Laplace• Phân phối F - Fisher
19
Continuous-type random variables
1. Normal (Gaussian): X is said to be normal or Gaussian r.v, if
This is a bell shaped curve, symmetric around the parameter and its distribution function is given by
where is often tabulated. Since depends on two parameters and the notation ∼will be used to represent (1-29).
.2
1)(22 2/)(
2
σµ
πσ−−= x
X exf (1-29)
,µ
,2
1)(22 2/)(
2∫ ∞−
−− ⎟⎠⎞
⎜⎝⎛ −
==x y
XxGdyexFσµ
πσσµ (1-30)
dyexG yx 2/2
21)( −
∞−∫=π
),( 2σµNX)(xfX
xµFig. 1.7
∆
)(xfX
µ ,2σ
20
2. Uniform: ∼ if (Fig. 1.8), ),,( babaUX <
⎪⎩
⎪⎨⎧ ≤≤
−=otherwise. 0,
, ,1)( bxa
abxf X(1.31)
)(xfX
xa b
ab −1
Fig. 1.8
3. Exponential: ∼ if (Fig. 1.9))( λεX
⎪⎩
⎪⎨⎧ ≥=
−
otherwise. 0,
,0 ,1)(
/ xexfx
X
λ
λ (1-32)
)(xfX
x
Fig. 1.9
21
4. Gamma: ∼ if (Fig. 1.10)
If an integer
5. Beta: ∼ if (Fig. 1.11)
where the Beta function is defined as
),( βαGX )0 ,0( >> βα
⎪⎩
⎪⎨⎧
≥Γ=
−−
otherwise. 0,
,0 ,)()(
/1
xexxf
x
X
βα
α
βα (1-33)
n=α )!.1()( −=Γ nn
),( baX β )0 ,0( >> ba
⎪⎩
⎪⎨⎧ <<−
=−−
otherwise. 0,
,10 ,)1(),(
1)(
11 xxxbaxf
ba
X β (1-34)
),( baβ
∫ −− −=1
0
11 .)1(),( duuuba baβ (1-35)
x
)( xf X
x
Fig. 1.1110
)( xf X
Fig. 1.10
22
6. Chi-Square: ∼ if (Fig. 1.12)
Note that is the same as Gamma
7. Rayleigh: ∼ if (Fig. 1.13)
8. Nakagami – m distribution:
),( 2 nX χ
)(2 nχ ).2 ,2/(n
⎪⎩
⎪⎨⎧ ≥=
−
otherwise. 0,
,0 ,)(22 2/
2 xexxf
x
X
σ
σ
(1-36)
(1-37)
,)( 2σRX
x
)( xf X
Fig. 1.12
)( xf X
xFig. 1.13
⎪⎩
⎪⎨⎧ ≥
Γ=−−
otherwise. 0,
,0 ,)2/(2
1)(
2/12/2/ xex
nxfxn
nX
22 1 /2 , 0( ) ( )
0 otherwiseX
mm mxm x e x
f x m− − Ω⎧ ⎛ ⎞ ≥⎪ ⎜ ⎟= Γ Ω⎝ ⎠⎨
⎪⎩(1-38)
23
9. Cauchy: ∼ if (Fig. 1.14)
10. Laplace: (Fig. 1.15)
11. Student’s t-distribution with n degrees of freedom (Fig 1.16)
( ) . ,1)2/(
2/)1()(2/)1(2
+∞<<∞−⎟⎟⎠
⎞⎜⎜⎝
⎛+
Γ+Γ
=+−
tnt
nnntf
n
T π
,),( µαCX
. ,)(
/)( 22 +∞<<∞−−+
= xx
xf X µαπα
. ,21)( /|| +∞<<∞−= − xexf x
Xλ
λ
)( xf X
x
Fig. 1.14µ
(1-41)
(1-40)
(1-39)
x
)( xf X
Fig. 1.15t
( )Tf t
Fig. 1.16
24
12. Fisher’s F-distribution/ 2 / 2 / 2 1
( ) / 2
( ) / 2 , 0( ) ( / 2) ( / 2) ( )
0 otherwise
m n m
m nz
m n m n z zf z m n n mz
−
+
⎧Γ +≥⎪= Γ Γ +⎨
⎪⎩(1-42)
25
Một số hàm phân phối củabiến ngẫu nhiên rời rạc
• Phân phối Bernoulli• Phân phối nhị thức• Phân phối Poison• Phân phối siêu hình học• Phân phối hình học• Phân phối nhị thức âm• Phân phối đều rời rạc
26
Discrete-type random variables
1. Bernoulli: X takes the values (0,1), and
2. Binomial: ∼ if (Fig. 1.17)
1. Poisson: ∼ if (Fig. 1.18)
.)1( ,)0( pXPqXP ==== (1-43)
),,( pnBX
.,,2,1,0 ,)( nkqpkn
kXP knk L=⎟⎟⎠
⎞⎜⎜⎝
⎛== − (1-44)
, )( λPX
.,,2,1,0 ,!
)( ∞=== − Lkk
ekXPkλλ (1-45)
k
)( kXP =
Fig. 1.171 2 n
)( kXP =
Fig. 1.18
27
4. Hypergeometric:
5. Geometric: ∼ if
6. Negative Binomial: ~ if
7. Discrete-Uniform:
(1-49)
(1-48)
(1-47)
.,,2,1 ,1)( NkN
kXP L===
),,( prNBX1
( ) , , 1, .1
r k rkP X k p q k r r
r−−⎛ ⎞
= = = +⎜ ⎟−⎝ ⎠L
.1 ,,,2,1,0 ,)( pqkpqkXP k −=∞=== L
)( pgX
, max(0, ) min( , )( )
m N mk n k
Nn
m n N k m nP X k
⎛ ⎞⎛ ⎞⎜ ⎟⎜ ⎟
⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎛ ⎞⎜ ⎟⎜ ⎟⎝ ⎠
−−
+ − ≤ ≤= = (1-46)
28
Các đặc trưng của biến ngẫu nhiên(tóm tắt)
• Xác xuất của biến ngẫu nhiên, hàmphân phối xác suất F(x):
• Hàm mật độ xác xuất: f(x) = F’(x)• Các phân phối xác suất• Các đặc trưng của biến ngẫu nhiên:
– - Kỳ vọng, ký hiệu E[X], EX, EX– (trung bình của biến ngẫu nhiên)– - Phýõng sai (Variance)– độ lệch chuẩn– - Mô men cấp k, mô men trung tâm,
mô men gốc
RxxXPxF ∈<= ),()(
∫=≤≤β
α
βα dxxfXP )()(
[ ]
⎥⎦⎤
⎢⎣⎡=
⎥⎦⎤
⎢⎣⎡=
=
−
−
∫∞
∞−
)(
)()(
)(
)(
][22
α
σX
XEX
XE
k
k EX
EX
dxxxf
v0=α