Bài giảng Lý thuyết thông tin: Chương 0 - Bùi Văn Thành

Trường Đại Học Công Nghệ Thông Tin
KHOA MẠNG & TRUYỀN THÔNG

LÝ THUYẾT THÔNG 
Bùi Văn Thành
TIN

1

Tháng 7 năm 2013


Chương 0

XÁC SuẤT
MA TRẬN
2


XÁC SUẤT (Probability) 
1.1. THÍ NGHIỆM NGẪU NHIÊN, KHÔNG GIAN MẪU, BIẾN 
CỐ: 
1.1.1. Thí nghiệm ngẫu nhiên (Random Experiment) 
Thí nghiệm ngẫu nhiên là một thí nghiệm có hai đặc tính : ­Không 
biết chắc hậu quả nào sẽ xảy ra. ­Nhưng biết được các hậu quả có 
thể xảy ra 
Ví dụ: 
Tung một con xúc sắc là một thí nghiệm ngẫu nhiên vì :
­Ta không biết chắc mặt nào sẽ xuất hiện 
­Nhưng biết được có 6 trường hợp xảy ra (xúc sắc có 6 mặt 1, 2, 3, 
4, 5, 6) 

Ràng buộc:
3
­Con xúc sắc đồng chất để 6 mặt đều có thể xuất hiện như nhau.
­Cách tung xúc sắc không cố ý thiên vị cho mặt nào hiện ra. 


1.1.2. Không gian mẫu (Sample Space) 
Tập hợp các hậu quả có thể xảy ra trong thí nghiệm ngẫu nhiên gọi là 
không gian mẫu của thí nghiệm đó.
Ví dụ: Không gian mẫu của thí nghiệm thảy một con xúc xắc là: E = {1, 
2, 3, 4, 5, 6} 
Không gian mẫu của thí nghiệm thảy cùng một lúc hai đồng xu là: 
E = {SS, SN, NS, NN} với S: Sấp, N: Ngửa 
 1.1.3. Biến cố (Event) 
a) Biến cố 
­Mỗi tập hợp con của không gian mẫu là một biến cố
­Biến cố chứa một phần tử gọi là biến cố sơ đẳng 
 Ví dụ: 
Trong thí nghiệm thảy 1 con xúc sắc :
­Biến cố các mặt chẵn là : {2, 4, 6}. Biến cố các mặt lẻ: {1, 3, 5}
­Các biến cố sơ đẳng là : {1}, {2}, {3}, {4}, {5}, {6}
4


b) Biến cố xảy ra (hay thực hiện) 
Gọi r là một hậu quả xảy ra và A là một biến cố:
­nếu r ∈ A ta nói biến cố A xảy ra 
­nếu r ∉ A ta nói biến cố A không xảy ra
 Ví dụ: 
Trong thí nghiệm thảy một con xúc sắc nếu mặt 4 xuất hiện thì: 

­Biến cố {2,4,6} xảy ra vì 4 ∈{2, 4, 6}
­Biến cố {1,3,5} không xảy ra vì 4 ∉{1, 3, 5}
Ghi chú:
­φ⊂ E => φ là một biến cố
∀r, r ∉φ => φ là một biến cố vô phương (biến cố không) ­E ⊂ E 
=> E là một biến cố ∀ r, r ∈ E => E là một biến cố chắc chắn 
5


1.1.4. Các phép tính về biến cố 
Cho 2 biến cố A, B với A⊂ E và B ⊂ E 
a) Biến cố hội A ∪ B (Union): Biến cố hội của 2 biến 
cố A và B được ký hiệu là A ∪ B: A ∪ B xảy ra  (A 
xảy ra HAY B xảy ra) 

b) Biến cố giao A ∩ B (Intersection): A ∩ B xảy ra  (A 
xảy ra VÀ B xảy ra) 

6

A∩B 


c) Biến cố phụ A (Biến cố đối lập, Component of A):A xảy ra 
 A không xảy ra 

d) Biến cố cách biệt ( biến cố xung khắc, mutually exclusive 
event) 
A cách biệt với B  A ∩ B = φ 
A cách biệt với B  A với B không cùng xảy ra 

7


Ví dụ: 
Trong thí nghiệm thảy một con xúc sắc, ta có không gian 
mẫu: E = {1, 2, 3, 4, 5, 6} ­Gọi A là biến cố mặt lẻ xuất 
hiện => A = {1, 3, 5} ­Gọi B là biến cố khi bội số của 3 
xuất hiện => B = {3, 6} ­Gọi C là biến cố khi mặt 4 xuất 
hiện => C = {4}, biến cố sơ đẳng. 
Ta có: A ∪ B = {1, 3, 5, 6} A ∩ B = {3} A = {2,4,6} : 
biến cố khi mặt chẵn xuất hiện. A ∩ C = φ => A và C là 
2 biến cố cách biệt. 
e) Hệ đầy đủ (Collectively Exhaustive) 
Gọi A1, A2…, Ak là k biến cố trong không gian mẫu E 
Nếu A1∪ A2∪… ∪Ak  = E thì K biến cố trên được gọi 
8
là một hệ đầy đủ. 


1.2. XÁC SUẤT (Probability). 
1.2.1. Định nghĩa: 
Nếu thơng gian mẫu E có N biến cố sơ đẳng và biến cố A có n biến 
cố sơ đẳng thì xác suất của biến cố A là :
P(A) = n(A)/N
Một cách khác ta có thể viết :
P(A) = Số trường hợp A xảy ra/Số trường hợp
cóthể xảy ra
Ví dụ: 
Trong thí nghiệm thảy một con xúc sắc, xác suất biến cố các mặt 

chẵn xuất hiện là :
P(A) =n(A)/N = 3/6=1/2
 1.2.2. Tính chất: 
9
a. Gọi A là một biến cố bất kỳ trong khơng gian mẫu E : 0 ≤ P(A) ≤ 1 
b. P (φ) = 0 => φ là Biến cố vơ phương P (E) = 1 => E là Biến cố chắc 
chắn 


1.2.3. Công thức về xác suất :
a) Xác suất của biến cố hội: 
P (A ∪ B) = P (A) + P(B) ­ P( A ∩ B)
Chứng minh: 
Gọi N : là số phần tử của không gian mẫu E 
n1: là số phần tử của (A ­ B) 
n2: là số phần tử của (A∩B) 
n3: là số phần tử của (B ­ A) 
 

n(A ∪ B)=n1 + n2 + n3= n1+n2+n2+n3 –n2 = n(A) +n(B) ­n(A ∩ B) 
Do đó : n( A ∪ B)/N = n(A)/N + n(B)/N ­ n(A ∩ B )/N 
10
P(A ∪ B) = P(A) + P(B) ­ P(A ∩ B) 


Ghi chú :
Nếu A và B là 2 biến cố cách biệt, ta có: 
A ∩ B = φ =>P(A ∩ B) = P(φ) = 0 
==> P (A ∪ B) = P(A) + P(B) 
 

b) Xác suất của biến cố phụ (biến cố đối lập) 
Biến cố phụ của biến cố A trong không gian mẫu E là 
A : P(A) + P (A) = 1 
Chứng minh: 
A∪ A  = E 
P (A∪A ) = P(E) 
P(A) + P( A ) ­ P(A ∩ A ) = 1 vì P(A∩ A ) = P(φ) = 0 11


1.2.4. Công thức nhân về xác suất :
a) Xác xuất có điều kiện :
Gọi P (B / A) là xác suất có điều kiện của biến cố B sau 
khi biến cố A đã thực hiện.
Với P(A) > 0 ; P(B) > 0 
 

12


Chứng minh :
Gọi E là không gian mẫu chứa hai biến cố A,B 
Giả sử A thực hiện rồi thì A là biến cố chắc chắn, ta có 
thể chọn A làm không gian mẫu thu gọn. 
Biến cố B thực hiện sau khi biến cố A xảy ra trở thành 
biến cố B/A. 
Trong không gian mẫu biến cố B/A thực hiện nếu và chỉ 
nếu A ∩ B thực hiện. 
r ∈ B/A  r ∈ A ∩ B 
 
Theo định nghĩa, ta có: 

 P(B/ A) =n(A  ∩ B) /n(A) =(n(A  ∩ B) /N)/(n(A)/N) = P(A 
13
∩ B)/P(A) 
 


b) Công thức nhân về xác suất: 
Cho hai biến cố A và B trong không gian mẫu E, xác 
suất của biến cố giao được tính: 
P(A∩B) = P(B/A) * P(A) hay P(A∩B) = P(A/B) * P(B) 
c) Biến cố độc lập :
Biến cố gọi là độc lập với biến cố A về phương diện 
xác suất nếu xác suất của biến cố B không thay đổi cho 
dù biến cố A đã xảy ra, nghĩa là: P(B/A) = P(B) ngược 
lại: P(A/B) = P(A) Trong trường hợp hai biến cố độc 
lập, công thức nhân trở thành: 
P(A∩B) = P(A) * P(B) 
14


1.2.5. Công thức xác suất đầy đủ ­ Công thức Bayes 
a) Công thức xác suất đầy đủ :
Giả sử biến cố B xảy ra khi và chỉ khi một trong các biến 
cố của hệ đầy đủ cách biệt nhau từng đôi một A1, A2…, 
Ak xảy ra. 
Biết xác suất P(Ai) và P(B/Ai) hãy tìm P(B) 
A1

Ak
A2

B

             
                B ∩A1          B∩A2                                B∩Ak

15


Theo giả thiết bài toán thì 
B = (B ∩ A1) ∪ (B ∩ A2) ∪ … ∪ (B∩Ak) 
P(B)= P[(B∩A1) ∪ (B∩A2) ∪…∪ (B∩Ak)] = 
P(B∩A1) + P(B∩A2) + … + P(B∩Ak) 
  Vì: P(B∩Ai) = P(B/Ai) * P(Ai)                                         
                                          
                                       k
P(B) = ∑ P(B/ Ai)*P(Ai)
                                      i=1 
Công thức này được gọi là công thức xác xuất đầy đủ.
16


Ví dụ: 
Trong nhà máy có 4 phân xưởng.Phân xưởng I sản xuất chiếm 1/3 
tổng sản lượng của nhà máy; Phân xưởng II chiếm 1/4; Phân 
xưởng III chiếm 1/4; Phân xưởng IV chiếm 1/6. Tỷ lệ phế phẩm 
tương ứng với các phân xưởng là 0,15; 0,08; 0,05; 0,01. 
Tìm xác suất để lấy ngẫu nhiên một sản phẩm trong kho sản 
phẩm của nhà máy thì sản phẩm đó là phế phẩm 
Giải : Gọi A1, A2, A3, A4 là biến cố lấy đúng một sản phẩm của 

phân xưởng I,II,III,IV. Gọi B là biến cố lấy được một phế phẩm 
B = (B∩A1) ∪ (B∩A2) ∪ (B∩A3) ∪ (B∩A4) 4 ==>P(B) = ∑P(B/ 
Ai)*P(Ai) i=1 
Theo đề bài: 
P(A1) = 1/3, P(A2) = 1/4, P(A3)= 1/4, P(A4) = 1/6, ∑P(Ai) = 1
P(B/A1) = 0,15, P(B/A2) = 0,08, P(B/A3) = 0,05, P(B/A4) = 0,01 
17
Vậy P(B) =1/3 * 0,15 + 1/4 * 0,08 + 1/4 * 0,05 + 1/6 * 0,01 = 0,0816 


b) Công thức Bayes: 
Giải bài toán ngược của bài toán trên, tức là biết các P(Ai), 
P(B/Ai) và biến cố B đã xảy ra, tìm P(Ai/B) 
Ta có : B = (B∩A1) ∪ (B∩A2) ∪ (B∩A3) ∪ (B∩A4) 
và P(Ai∩B) = P(Ai/B) * P(B) 
                    = P(B/Ai) * P(Ai)P(B/Ai )* P(Ai ) 
 P(Ai/B)= P(B/Ai )* P(Ai )/P(B)                                               
                                          
                                                         k
P(Ai/B)= P(B/Ai )* P(Ai ) /(∑ P(B/Ai ) * P(Ai ))                    
                                                                                                   
18
                   
                                                        i=1 


Công thức này được gọi là công thức Bayes, hay công 
thức xác suất các giả thiết về các biến cố Ai có thể xem 
như giả thiết theo đó biến cố B xuất hiện. Ta phải tính 
xác suất của các giả thiết với điều kiện biến cố B xuất 

hiện. 
Ví dụ: 
Xét lại thí dụ 2.2, cũng với giả thiết đó bây giờ ta yêu 
cầu xác suất để lấy một sản phẩm của phân xưởng thứ 
nhất biết nó là một phế phẩm.
Ta phải tìm P(A1/B) 
P(A1/B) = [P(B/A1) * P(A)]/P(B) = [0,15 * 1/3]/0,0816 = 
0,61 
19


1.2.6. Công thức Bernoulli :
a) Công thức Bernoulli :
Nếu tiến hành những phép thử độc lập, trong mỗi phép thử xác 
suất hiện của biến cố A như nhau và bằng p thì xác suất để biến 
cố A xuất hiện k lần trong n phép thửđó được biểu diễn bằng 
công thức Bernoulli 
                         Pn(k) = Cn k pk qn­k Với q = 1­p
 Ghi chú :
a.Trong trường hợp biến cố A xuất hiện từ k1 đến k2 lần trong n 
phép thử thì ta ký hiệu xác xuất đó là Pn(k1,k2) 
Gọi Aki là biến cố A xuất hiện ki lần 
A = Aki ∪ Ak1+1 ∪…∪ Ak2                                                              
                                       
                                                             k2 
20

Pn(k1,k2)=P(A)= ∑Cni piqn­i

b.Khi n và k khá lớn việc tính toán Pn(k) và Pn(k1, k2) 
sẽ phức tạp. Để khắc phục điều đó người ta phải tìm 
cách tính gần đúng các xác suất đó bằng cách áp dụng 
các định lý giới hạn.
Ví dụ: 
Trong thùng có 30 bi: 20 trắng và 10 đen. Lấy liên tiếp 
4 bi, trong đó mỗi bi lấy ra đều hoàn lại thùng trước khi 
lấy bi tiếp theo và các bi đều được trộn lại. Hỏi xác 
suất để trong 4 bi lấy ra có 2 bi trắng.
Giải: Xác suất lấy được bi trắng p = 20/30 =2/3 có thể 
xem như nhau trong 4 phép thử:  q = 1 ­ p = 1/3
áp dụng công thức Bernoulli 
21


Ví dụ: 
Xác suất xuất hiện biến cố A bằng 0,4. Hỏi xác suất để 
trong 10 phép thử biến cố A xuất 
hiện không quá 3 lần. 
Giải: 
p = 0.4, q = 0.6 
Xác suất để biến cố A xuất hiện 0 lần : P10(0) = q10 
Xác suất để biến cố A xuất hiện 1 lần : P10(1) = 10pq9 
Xác suất để biến cố A xuất hiện 2 lần : P10(2) = 45p2q8 
Xác suất để biến cố A xuất hiện 3 lần : P10(3) = 
120p3q7 
Xác suất để biến cố A xuất hiện không quá 3 lần  22
P10(0,3) = P10(0) + P10(1) + P10(2) + P10(3) ≈ 0.38 

Ghi chú: 

b) Số lần xuất hiện chắc chắn nhất: 
Trị số của Pn(k) nói chung phụ thuộc vào k. Ta tìm một số k0 sao 
cho Pn(k0) đạt giá trị lớn nhất. Số k0 gọi là số lần xuất hiện 
chắc chắn nhất của biến cố A trong n phép thử. Ta có: 
np­q  ≤ k0 ≤ np + p         p ≠ 0 và p ≠ 1 

23


Ví dụ: 
Xác suất bắn trúng đích của một người bằng 0,7. Nếu người đó 
bắn 25 phát.
Xác định sốlần có khả năng trúng đích nhất.
Giải :
n = 25, p = 0,7, q = 0,3 
np ­ q  ≤ k0 ≤ np + p 
25 * 0,7 – 0,3  ≤ k0 ≤ 25 * 0,7 + 0,7 
17,2  ≤ k0 ≤ 18,2 
Vì k là số nguyên, nên chọn k = 18

24


 c) Các công thức gần đúng để tính Pn (k) và Pn 
(k1,k2) 
Các công thức được rút ra từ các định lý giới hạn.
Công thức Moixre ­ Laplace :
 Pn(k) ≈ϕ(xk)/ npq 

• Công thức Moixre ­ Laplace được sử dụng khi n khá 
lớn 
• p là xác suất của biến cố A trong phép thử Bernoulli, p 
không quá gần 0 và 1 
xk = (k­np)         / npq 
ϕ(x) = 1 /  2π * e­x²/2 : hàm số Gauss 
25