slike bài giảng cơ sở lý thuyết truyền tin - hà quốc trung chương 2xác suât và quá trình ngẫu nhiên

Chương 2: Xác suất và quá trình ngẫu nhiên
1
Sự kiện, xác suất, tính độc lập thống kê
2
Biến ngẫu nhiên
3
Quá trình ngẫu nhiên
4
Tín hiệu ngẫu nhiên rời rạc theo thời gian
Chương 2: Xác suất và quá trình ngẫu nhiên 0.
1/ 80
1. Sự kiện, xác suất, tính độc lập thống kê
1
Sự kiện, xác suất, tính độc lập thống kê
Khái niệm
Sự kiện
Xác suất
Sự kiện đồng thời, xác suất đồng thời
Xác suất có điều kiện
Tính độc lập thống kê
2
Biến ngẫu nhiên
3
Quá trình ngẫu nhiên
4
Tín hiệu ngẫu nhiên rời rạc theo thời gian
Chương 2: Xác suất và quá trình ngẫu nhiên 1. Sự kiện, xác suất, tính độc lập thống kê
2/ 80
1.1.Khái niệm
Xác suất là một lý thuyết nhánh của toán học nghiên cứu
về các hiện tượng ngẫu nhiên, cung cấp một công cụ hình

thức để suy luận trong các trường hợp thông tin không đầy
đủ.
Xác suất, giống như toán học, dựa trên một số các tiên đề,
dùng các phương pháp suy luận và các công cụ toán học
để suy ra các định lý
Thống kê là khoa học xuất phát từ thực tế, cho phép xây
dựng các mô hình của các hiện tượng tự nhiên, sử dụng
cách suy luận qui nạp: dựa trên một số lượng các dữ liệu
quan sát được, tìm các qui luật, các mô hình của các hiện
tượng
Chương 2: Xác suất và quá trình ngẫu nhiên 1. Sự kiện, xác suất, tính độc lập thống kê
3/ 80
1.1.Khái niệm
Thực nghiệm (phép thử) ngẫu nhiên:
không thể dự đoán trước kết quả
cho các kết quả khac nhau khi tất cả các tham số, các điều
kiện như nhau
Các kết quả có thể của phép thử tạo ra một tập hợp (ký
hiệu bằng S).
Gieo con xúc xắc, kết quả thu được nằm trong tập
hợp{1, 2, 3, 4, 5, 6}
Tung một đồng xu, tập kết quả là {Sấp, Ngửa}
Tuổi của người gặp đầu tiên trong ngày{1 . . . 100}
Quan sát các gói tin chạy qua một thiết bị mạng trong
khoảng thời gian 15’: tập kết quả là:???
Một tập con A của tập S định nghĩa sự kiện "kết quả thu
được của phép thử nằm trong A" gọi tắt là sự kiện A.
Ví dụ: gieo con xúc xắc được số chẵn
Tung đồng xu được mặt sấp
Người đầu tiên gặp trong ngày còn trẻ (tuổi <30)

Chương 2: Xác suất và quá trình ngẫu nhiên 1. Sự kiện, xác suất, tính độc lập thống kê
4/ 80
1.1.Khái niệm (Tiếp)
Với tập S cố định, có thể định nghĩa phép bù, phép hợp,
phép giao trên các tập con.
Có thể định nghĩa phép bù, phép hợp, phép giao trên các
sự kiện:
Sự kiện bù của sự kiện A là sự kiện: "kết quả thu được của
phép thử nằm trong tập S \ A ký hiệu
¯
A
Ví dụ Sự kiện bù của sự kiện gieo con xúc xắc được {3, 4} là
sự kiện gieo con xúc xắc được {1, 2, 5, 6}
Hợp của hai sự kiện A ∪ B là sự kiện "kết quả thu được của
phép thử nằm trong tập A ∪ B
Hợp của sự kiện "gặp người dưới 18 tuổi" và sự kiên "gặp
người dưới trên 16 dưới 60" là sự kiện "gặp người dưới 60
tuổi"
Giao của hai sự kiện A ∪ B là sự kiện "kết quả thu được của
phép thử nằm trong tập A ∩ B
Giao của hai sự kiện trên là sự kiện (gặp người từ 16 đến
18 tuổi)
Hai sự kiện loại trừ lẫn nhau A ∩
¯
A = ∅
Chương 2: Xác suất và quá trình ngẫu nhiên 1. Sự kiện, xác suất, tính độc lập thống kê
5/ 80
1.2.Xác suất
Khái niệm
Là một độ đo của sự kiện, đo độ xác định của một sự kiện

trước khi sự kiện đó xảy ra
Xác định lượng hiểu biết về sự kiện trước khi sự kiện đó xảy
ra
Sự kiện nào chắc chắn sẽ xảy ra thì có xác suất bằng 1
Các sự kiện khác không chắc chắn xảy ra có xác suất
dương, nhỏ hơn 1
Cách đo
Cần định lượng khả năng xuất hiện của một sự kiện.
Thực hiện các thực nghiệm lặp lại (giả thiết là các tính chất
ảnh hưởng đến kết quả không phụ thuộc thời gian)
Sau N lần thử, sự kiện A xuất hiện k lần.
Tỷ số
k
N
có thể dùng để đặc trưng cho khả năng xuất hiện
của A với N lần thử đó.
Sau rất nhiều lần thử, khả năng xuất hiện của A thể hiện
bằng giá trị trung bình của
k
N
.
Chương 2: Xác suất và quá trình ngẫu nhiên 1. Sự kiện, xác suất, tính độc lập thống kê
6/ 80
1.2.Xác suất (Tiếp)
Giá trị đó chính là xác suất xuất hiện của A, ký hiệu P(A).
Sử dụng các tính toán xác suất
Tính chất
0 ≤ P(A) ≤ 1: Xác suất là số dương nhỏ hơn 1.
P(S) = 1: xác suất của sự kiện luôn luôn xảy ra bằng 1.
P(∅) = 0.

Xác suất của hợp hai sự kiện rời nhau bằng tổng hai xác
suất:
P(A ∪ B) = P(A) + P(B) nếu A ∩ B = ∅
Tổng quát P(∪(A
i
)) =

A
i
nếu A
i
∩ A
j
= ∅ ∀ i, j
Chương 2: Xác suất và quá trình ngẫu nhiên 1. Sự kiện, xác suất, tính độc lập thống kê
7/ 80
1.3.Sự kiện đồng thời, xác suất đồng thời
Sự kiện đồng thời của hai sự kiện A, B là sự kiện "Cả A và
B đều xuất hiện".
Các sự kiện riêng rẽ: gieo xúc xắc được 6, tung đồng xu
sấp. Sự kiện đồng thời: Vừa tung đồng xu sấp, vừa gieo
xúc xắc được 6
Xác suất đồng thời của hai sự kiện là xác suất xuất hiện
đồng thời của hai sự kiện đó.
Xét hai phép thử A,B
A cho các sự kiện A
i
∈ A, 0 ≤ i ≤ m.
B cho các sự kiện B
j

∈ B, 0 ≤ j ≤ n.
Sự kiện đồng thời của A
i
và B
j
là sự kiện tạo từ tập các giá
trị (A
i
, B
j
), 0 ≤ i ≤ m, 0 ≤ j ≤ n sao cho A
i
∈ A và B
j
∈ B,
Xác suất đồng thời của A
i
và B
j
là xác suất của sự kiện
đồng thời (A
i
, B
j
), P(A
i
, B
j
)
Tính chất

Chương 2: Xác suất và quá trình ngẫu nhiên 1. Sự kiện, xác suất, tính độc lập thống kê
8/ 80
1.3.Sự kiện đồng thời, xác suất đồng thời (Tiếp)
0 ≤ P(A
i
, B
j
) ≤ 1.
Nếu B
j
loại trừ lẫn nhau thì P(A
i
) =

m
j=1
P(A
i
, B
j
).
Nếu A
i
loại trừ lẫn nhau thì P(B
j
) =

n
i=1
P(A

i
, B
j
).
Nếu A
i
,B
j
loại trừ lẫn nhau thì

n
i=1

m
j=1
P(A
i
, B
j
) = 1.
Chương 2: Xác suất và quá trình ngẫu nhiên 1. Sự kiện, xác suất, tính độc lập thống kê
9/ 80
1.3.Sự kiện đồng thời, xác suất đồng thời
Xét hai sự kiện A, B có xác suất đồng thời là P(A, B).
Khi B đã xuất hiện, xác suất xuất hiện của A gọi là xác
suất có điều kiện, với điều kiện B đã xuất hiện.
Ví dụ Sự kiện B: M đã học thi Sự kiện A: M thi qua Xác suất
có điều kiện: xác suất M thi qua với điều kiện M đã học thi
Định nghĩa:
P(A|B) =

P(A, B)
P(B)
Như vậy:
P(A, B) = P(A).P(B|A) = P(B).P(A|B)
Chương 2: Xác suất và quá trình ngẫu nhiên 1. Sự kiện, xác suất, tính độc lập thống kê
10/ 80
1.3.Sự kiện đồng thời, xác suất đồng thời (Tiếp)
Công thức Bayes: Nếu A
i
, 1 ≤ i ≤ n là các sự kiện loại trừ
lẫn nhau, ∪
n
i=1
A
i
= S, B là sự kiện có xác suất lớn hơn 0
thì
P(A
i
|B) =
P(A
i
, B)
P(B)
=
P(B, A
i
)
P(B|A)P(A)
=

P(B|A
i
)P(A
i
)
n

j=1

P(B|A
j
)P(A
j
)

P(A
i
|B) gọi là xác suất hậu nghiệm, còn P(B|A
i
) gọi là xác
suất tiên nghiệm
ý nghĩa trong truyền tin
Chương 2: Xác suất và quá trình ngẫu nhiên 1. Sự kiện, xác suất, tính độc lập thống kê
11/ 80
1.3.Sự kiện đồng thời, xác suất đồng thời
Nếu A và B là hai sự kiện xảy ra hoàn toàn độc lập với
nhau thì
P(A|B) = P(A)
và
P(B|A) = P(B)

Xác suất đồng thời của A và B sẽ là
P(A, B) = P(A).P(B)
Hai sự kiện A và B gọi là độc lập thống kê với nhau.
Tổng quát hơn, nếu A
i
, 1 ≤ i ≤ n độc lập thống kê thì
P(A
1
, A
2
, . . . , A
n
) =
n

i=1
P(A
i
)
Chương 2: Xác suất và quá trình ngẫu nhiên 1. Sự kiện, xác suất, tính độc lập thống kê
12/ 80
2. Biến ngẫu nhiên
1
Sự kiện, xác suất, tính độc lập thống kê
2
Biến ngẫu nhiên
Biến ngẫu nhiên, hàm phân bố xác suất, hàm mật độ xác
suất
Biến ngẫu nhiên
Hàm phân bố xác suất

Hàm mật độ xác suất
Biến ngẫu nhiên, các hàm xác suất 2 (nhiều) chiều
Hàm phân bố xác suất có điều kiện
Biến ngẫu nhiên độc lập thống kê
Hàm của biến ngẫu nhiên
Các trị trung bình thống kê
Mô men, mô men trung tâm
Mô men hợp, mô men trung tâm hợp, hàm tương quan, hàm hiệp
biến
Biến ngẫu nhiên nhiều chiều
Hàm đặc tính
Tổng các biến ngẫu nhiên
Hàm đặc tính nhiều chiều
Một số phân bố xác suất thường gặp
Phân bố nhị thức
Phân bố đều
Phân bố Gaussian
3
Quá trình ngẫu nhiên
4
Tín hiệu ngẫu nhiên rời rạc theo thời gian
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên
13/ 80
2.1.Biến ngẫu nhiên, hàm phân bố xác suất, hàm mật
độ xác suất
Cần định lượng hóa các kết quả thu được từ một phép thử
s ∈ S.
Thực hiện một ánh xạ từ tập hợp kết quả thu được lên tập
hợp số thực
X : S → , s → X(s)

.
Biến số X(s) nhận các giá trị thực, phản ánh kết quả của
phép thử s; gọi là một biến ngẫu nhiên, có thể dùng để đặc
trưng cho giá trị s của phép thử.
Có thể gọi tắt X thay cho X(s)
Ví dụ
Khi gieo một con xúc xắc, có thể dùng một biến ngẫu nhiên
X nhận 6 giá trị thực (chẳng hạn 1, 2, 3, 4, 5, 6) tương ứng
với 6 mặt.
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên
14/ 80
2.1.Biến ngẫu nhiên, hàm phân bố xác suất, hàm mật
độ xác suất (Tiếp)
Khi tung một đồng xu, có thể dùng một biến ngẫu nhiên X
nhận 2 giá trị thực 0, 1 tương ứng với kết quả sấp ngửa.
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên
15/ 80
2.1.Biến ngẫu nhiên, hàm phân bố xác suất, hàm mật
độ xác suất
Định nghĩa
Xét một phép thử, kết quả thu được s biểu thị bằng biến
ngẫu nhiên X(s).
Mỗi sự kiện có một xác suất xuất hiện nào đó.
Cần một đặc trưng toán học cho xác suất của tất cả các sự
kiện: hàm phân bố xác suất:
F(x) = P({s : X (s) ≤ x}), −∞ < x < ∞
Ví dụ
Xúc xắc, biến ngẫu nhiên X nhận 6 giá trị thực
{1, 2, 3, 4, 5, 6} tương ứng với 6 mặt, xác suất đều nhau:
Tung xu, biến ngẫu nhiên X nhận 2 giá trị thực −1, 1 tương

ứng với kết quả sấp ngửa, xác suất đều nhau:
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên
16/ 80
2.1.Biến ngẫu nhiên, hàm phân bố xác suất, hàm mật
độ xác suất (Tiếp)
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên
17/ 80
2.1.Biến ngẫu nhiên, hàm phân bố xác suất, hàm mật
độ xác suất (Tiếp)
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên
18/ 80
2.1.Biến ngẫu nhiên, hàm phân bố xác suất, hàm mật
độ xác suất
Phân biệt biến ngẫu nhiên liên tục và biến ngẫu nhiên rời
rạc
Hàm mật độ xác suất là đạo hàm của hàm phân bố xác
suất theo X
p(x) =
dF(x)
dx
Do đó
F(x) =

x
−∞
p(u)du

∞
−∞
p(u)du = 1

P(x
1
< x ≤ x
2
) = F(x
2
) − F(x
1
) =

x
2
x
1
p(u)du
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên
19/ 80
2.1.Biến ngẫu nhiên, hàm phân bố xác suất, hàm mật
độ xác suất (Tiếp)
Nếu hàm phân bố không liên tục thì
p(x) =
n

1
P(X = x
i
)δ(x − x
i
)
Trong đó δ(x) là hàm xung đơn vị, δ(x) = 1 với x = 0,

δ(x) = 0 với x = 0
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên
20/ 80
2.2.Biến ngẫu nhiên, các hàm xác suất 2 (nhiều) chiều
Xét hai sự kiện biểu thị bởi hai biến ngẫu nhiên X
1
, X
2
. Hai
biến này có thể coi là một biến ngẫu nhiên 2 chiều (X
1
, X
2
)
biểu thị sự kiện đồng thời.
Hàm phân bố xác suất 2 chiều
F(x
1
, x
2
) = P(X
1
≤ x
1
, X
2
≤ x
2
) =


x
1
−∞

x
2
−∞
p(u
1
, u
2
)du
1
du
2
Hàm mật độ xác suất 2 chiều p(x
1
, x
2
) =
d
2
dx
1
dx
2
F(x
1
, x
2

)
Khi lấy tích phân theo biến này, thu được hàm mật độ xác
suất của biến kia

∞
−∞
p(x
1
, x
2
)dx
1
= p(x
2
);

∞
−∞
p(x
1
, x
2
)dx
1
= p(x
1
)
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên
21/ 80
2.2.Biến ngẫu nhiên, các hàm xác suất 2 (nhiều) chiều

(Tiếp)
Hai hàm này thường gọi là hàm mật độ phân bố xác suất
biên
Lấy tích phân theo cả hai biến

∞
x
1
=−∞

∞
x
2
=−∞
p(x
1
, x
2
)dx
1
dx
2
= 1
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên
22/ 80
2.2.Biến ngẫu nhiên, các hàm xác suất 2 (nhiều) chiều
Xét hai biến ngẫu nhiên X
1
, X
2

có hàm mật độ phân bố xác
suất đồng thời là p(x
1
, x
2
). Giả sử đã biết
x
2
− ∆x
2
< X
2
≤ x
2
và muốn xác định xác suất X
1
≤ x
1
,
trong đó ∆x
2
> 0:
P(X
1
≤ x
1
|x
2
− ∆x
2

< X
2
≤ x
2
)
Theo công thức của xác suất có điều kiện
P(X
1
≤ x
1
|x
2
− ∆x
2
< X
2
≤ x
2
) =
P(X
1
≤ x
1
, x
2
− ∆x
2
< X
2
≤ x

2
)
P(x
2
− ∆x
2
< X
2
≤ x
2
)
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên
23/ 80
2.2.Biến ngẫu nhiên, các hàm xác suất 2 (nhiều) chiều
(Tiếp)
Thay các xác suất bằng các tích phân (giả sử tất cả các
hàm đang xét đều liên tục)

x
1
−∞

x
2
x
2
−∆x
2
p(u
1

, u
2
)du
1
du
2

x
2
x
2
−∆x
2
p(u
2
)du
2
=
F(x
1
, x
2
) − F(x
1
, x
2
− ∆x
2
)
F(x

2
) − F(x
2
− ∆x
2
)
Chia cho ∆x
2
và lấy giới hạn ∆x
2
→ 0
P(X
1
≤ x
1
|X
2
= x
2
) =
dF(x
1
, x
2
)/dx
2
dF(x
2
)/dx
2

=
d[]

x
1
−∞

x
2
−∞
p(u
1
, u
2
)du
1
du
2
]/dx
2
dF(x
2
)/dx
2
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên
24/ 80
Lấy đạo hàm theo x
1
p(x
1

|x
2
) =
p(x
1
, x
2
)
p(x
2
)
p(x
1
|x
2
) là hàm phân bố xác suất có điều kiện của x
1
với
điều kiện đã biết x
2
Như vậy
p(x
1
, x
2
) = p(x
1
|x
2
)p(x

2
) = p(x
2
|x
1
)p(x
1
)
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên
25/ 80