Xác suất có điều kiện doc

Bài 2: Xác suất có điều kiện
Lê Phong – Đặng Hải Vân – Nguyễn Đình Thúc
Khoa CNTT – ĐHKHTN
{dhvan,lphong,ndthuc}@fit.hcmus.edu.vn
1
Giới thiệu
• Định nghĩa xác suất có điều kiện
• Tính
▫ xác suất từ phân hoạch
▫ xác suất có điều kiện bằng công thức Bayes
• Ứng dụng: xích Markov
HCMUS 2010 - Thống kê máy tính 2
Đ/n xác suất có điều kiện
• Cần xem xét sự thay đổi xác suất của một
biến cố A khi biến cố B đã xảy ra trước đó.
• Xác suất của biến cố A trong trường hợp
này được gọi là xác suất có điều kiện của
biến cố A khi biết biến cố B xảy ra – ký
hiệu là Pr(A|B)
• Đ/n: nếu A và B là 2 biến cố với Pr(B) > 0
thì
HCMUS 2010 - Thống kê máy tính 3
 Đ/n x/s có điều
kiện
 Đ/n
 Tính chất
 Tính x/s bằng
phân hoạch
 Tính x/s có đ/k
bằng định lý
Bayes

 Ví dụ
 Định lý
Bayes
 Ứng dụng:
xích Markov
 Tiến trình
ngẫu nhiên
 Xích
Markov
 Ví dụ
 Tóm tắt
)Pr(
)Pr(
)|Pr(
B
AB
BA 
 Đ/n x/s có điều
kiện
 Đ/n
 Tính chất
 Tính x/s bằng
phân hoạch
 Tính x/s có đ/k
bằng định lý
Bayes
 Ví dụ
 Định lý
Bayes
 Ứng dụng:

xích Markov
 Tiến trình
ngẫu nhiên
 Xích
Markov
 Ví dụ
 Tóm tắt
Tính chất
• Pr(A|B) = Pr(A)  A và B là hai biến cố
độc lập.
• Luật nhân:
▫ Pr(AB) = Pr(A).Pr(B|A)
▫ Pr(AB) = Pr(B).Pr(A|B)
• Pr(A
1
…A
n
) = Pr(A
1
) × Pr(A
2
|A1) ×
Pr(A
3
|A
1
A
2
) ×…× Pr(A
n

|A
1
A
2
…A
n-1
)
với Pr(A
1
…A
n
) > 0
HCMUS 2010 - Thống kê máy tính 4
 Đ/n x/s có điều
kiện
 Đ/n
 Tính chất
 Tính x/s bằng
phân hoạch
 Tính x/s có đ/k
bằng định lý
Bayes
 Ví dụ
 Định lý
Bayes
 Ứng dụng:
xích Markov
 Tiến trình
ngẫu nhiên
 Xích

Markov
 Ví dụ
 Tóm tắt
Tính xác suất bằng phân hoạch
• Không gian mẫu S được hợp thành từ các
biến cố A
i
(i=1…k) tách rời – một phân
hoạch của S
HCMUS 2010 - Thống kê máy tính 5
• Với B là biến cố bất kỳ
thì A
i
B (i=1…k) là một
phân hoạch của B, do
đó
với Pr(A
j
) > 0 (j=1…k)



k
j
jj
k
j
j
ABABAB
11

)|P r()Pr()P r()P r(
A
1
A
2
A
3
A
4
B
 Đ/n x/s có điều
kiện
 Đ/n
 Tính chất
 Tính x/s bằng
phân hoạch
 Tính x/s có đ/k
bằng định lý
Bayes
 Ví dụ
 Định lý
Bayes
 Ứng dụng:
xích Markov
 Tiến trình
ngẫu nhiên
 Xích
Markov
 Ví dụ
 Tóm tắt

Ví dụ:
• Đi xét nghiệm máu, kết quả dương tính.
Có bị bệnh không?
• Kinh nghiệm cho biết
▫ trong 10000 người chỉ có 1 người bị bệnh
▫ nếu một người bị bệnh thì xác suất xét
nghiệm ra dương tính là 90%
▫ nếu một người không bị bệnh thì xác suất ra
dương tính là 10%
• Nhận xét: không thể dùng phương pháp
đếm
HCMUS 2010 - Thống kê máy tính 6
 Đ/n x/s có điều
kiện
 Đ/n
 Tính chất
 Tính x/s bằng
phân hoạch
 Tính x/s có đ/k
bằng định lý
Bayes
 Ví dụ
 Định lý
Bayes
 Ứng dụng:
xích Markov
 Tiến trình
ngẫu nhiên
 Xích
Markov

 Ví dụ
 Tóm tắt
Định lý Bayes
• Đặt
▫ A = “bị bệnh”
▫ B = “dương tính”
Cần tính Pr(A|B)
• Tức là xác suất bị bệnh khi xét nghiệm
dương tính là 0.0009
HCMUS 2010 - Thống kê máy tính 7
.00090.0
9999.01.00001.09.0
0001.09.0
)Pr()|Pr()P r()|Pr(
)Pr()|Pr(
)|Pr(







cc
AABAAB
AAB
BA
 Đ/n x/s có điều
kiện
 Đ/n

 Tính chất
 Tính x/s bằng
phân hoạch
 Tính x/s có đ/k
bằng định lý
Bayes
 Ví dụ
 Định lý
Bayes
 Ứng dụng:
xích Markov
 Tiến trình
ngẫu nhiên
 Xích
Markov
 Ví dụ
 Tóm tắt
Định lý Bayes
• Công thức Bayes: Giả sử các biến cố A
1
,…,
A
k
hình thành một phân hoạch của không gian
S và Pr(A
j
) > 0 (

j = 1,…, k), B là một biến cố
bất kỳ thỏa Pr(B) > 0 thì,


i = 1,…, k,
HCMUS 2010 - Thống kê máy tính 8
.
)|Pr()Pr(
)|Pr()Pr(
)Pr(
)|Pr()Pr(
)|Pr(
1







k
j
jj
iiii
i
ABA
ABA
B
ABA
BA
 Đ/n x/s có điều
kiện
 Đ/n

 Tính chất
 Tính x/s bằng
phân hoạch
 Tính x/s có đ/k
bằng định lý
Bayes
 Ví dụ
 Định lý
Bayes
 Ứng dụng:
xích Markov
 Tiến trình
ngẫu nhiên
 Xích
Markov
 Ví dụ
 Tóm tắt
Tiến trình ngẫu nhiên
• Ví dụ: có 5 đường dây điện thoại, cứ 2
phút đếm số lượng đường dây bị bận
▫ X
i
: số đường dây bị bận ở thời điểm thứ i =
1…n…,
• Chuỗi X
1
, X
2
,…, X
n

,… được gọi là một tiến
trình ngẫu nhiên với tham số thời gian rời
rạc.
• Mô hình xác suất được thể hiện bởi
với mọi n > 1
HCMUS 2010 - Thống kê máy tính 9
), ,,|Pr(
221111 nnnn
xXxXxXxX 

 Đ/n x/s có điều
kiện
 Đ/n
 Tính chất
 Tính x/s bằng
phân hoạch
 Tính x/s có đ/k
bằng định lý
Bayes
 Ví dụ
 Định lý
Bayes
 Ứng dụng:
xích Markov
 Tiến trình
ngẫu nhiên
 Xích
Markov
 Ví dụ
 Tóm tắt

Xích Markov
• Xích Markov: là một tiến trình ngẫu nhiên
với
• Xích Markov hữu hạn: tại mỗi thời điểm,
xích chỉ được nhận 1 trong k trạng thái
s
1
,…, s
k
.
• Xác suất chuyển (1 bước) từ trạng thái s
i
ở
thời điểm n đến s
j
ở thời điểm n+1 là
Pr(X
n+1
= s
j
|X
n
= s
i
)
HCMUS 2010 - Thống kê máy tính 10
).|Pr(
), ,|Pr(
11
1111

nnnn
nnnn
xXxX
xXxXxX




 Đ/n x/s có điều
kiện
 Đ/n
 Tính chất
 Tính x/s bằng
phân hoạch
 Tính x/s có đ/k
bằng định lý
Bayes
 Ví dụ
 Định lý
Bayes
 Ứng dụng:
xích Markov
 Tiến trình
ngẫu nhiên
 Xích
Markov
 Ví dụ
 Tóm tắt
Xích Markov
• Xích Markov có xác suất chuyển không

đổi:
• Chuyển 2 bước
• Ma trận 1-bước chuyển
 Ma trận m-bước chuyển là P
m
HCMUS 2010 - Thống kê máy tính 11
, 2,1,)|Pr(
1


npsXsX
ijinjn




k
r
rjirijinjn
pppsXsX
1
)2(
2
)|Pr(
.



1
111












kkk
k
pp
pp
P
 Đ/n x/s có điều
kiện
 Đ/n
 Tính chất
 Tính x/s bằng
phân hoạch
 Tính x/s có đ/k
bằng định lý
Bayes
 Ví dụ
 Định lý
Bayes
 Ứng dụng:
xích Markov

 Tiến trình
ngẫu nhiên
 Xích
Markov
 Ví dụ
 Tóm tắt
Xích Markov
• Tại thời điểm đầu, đặt v
i
= Pr(X
1
= s
i
) với i
= 1…k thì
V
1
= (v
1
,…,v
k
) là vector xác suất đầu
• Tại thời điểm n > 1
HCMUS 2010 - Thống kê máy tính 12







k
i
ijni
k
i
jnijn
sXsXsX
sXsXsX
1
11
1
1
)|Pr()Pr(
)Pr()Pr(
1
1
1
)Pr(
)Pr(
















n
T
kn
n
n
V
sX
sX
V P
 Đ/n x/s có điều
kiện
 Đ/n
 Tính chất
 Tính x/s bằng
phân hoạch
 Tính x/s có đ/k
bằng định lý
Bayes
 Ví dụ
 Định lý
Bayes
 Ứng dụng:
xích Markov
 Tiến trình
ngẫu nhiên
 Xích

Markov
 Ví dụ
 Tóm tắt
Ví dụ
• Trở lại ví dụ đường dây điện thoại, ma
trận 1-bước chuyển
• Vector xác suất đầu V
1
= (0.5,0.3,0.2,0,0,0)
HCMUS 2010 - Thống kê máy tính 13
2.04.01.01.01.01.0
2.03.02.01.01.01.0
1.02.03.02.01.01.0
1.01.02.03.02.01.0
1.01.01.02.03.02.0
1.01.01.02.04.01.0
5
4
3
2
1
0
543210
b
b
b
b
b
b
bbbbbb

P 
 Đ/n x/s có điều
kiện
 Đ/n
 Tính chất
 Tính x/s bằng
phân hoạch
 Tính x/s có đ/k
bằng định lý
Bayes
 Ví dụ
 Định lý
Bayes
 Ứng dụng:
xích Markov
 Tiến trình
ngẫu nhiên
 Xích
Markov
 Ví dụ
 Tóm tắt
Ví dụ
• Hỏi: sau 4 phút, xác suất để có 3 đường
dây bận là bao nhiêu?
• Tính
V
3
= V
1
.P

2
= (0.13,0.23,0.20,0.16,0.16,0.12).
 Pr(X
3
= 3) = 0.20
HCMUS 2010 - Thống kê máy tính 14
 Đ/n x/s có điều
kiện
 Đ/n
 Tính chất
 Tính x/s bằng
phân hoạch
 Tính x/s có đ/k
bằng định lý
Bayes
 Ví dụ
 Định lý
Bayes
 Ứng dụng:
xích Markov
 Tiến trình
ngẫu nhiên
 Xích
Markov
 Ví dụ
 Tóm tắt
Tóm tắt
• Nội dung chính
▫ Xác suất có điều kiện
▫ Công thức xác suất tổng

▫ Công thức Bayes
▫ Xích Markov
• Từ khóa
▫ Xác suất có điều kiện (conditional
probaility),
▫ định lý Bayes (Bayes’s theorem),
▫ xích Markov (Markov chain)
HCMUS 2010 - Thống kê máy tính 15