Các khái niệm căn bản về mạng máy tính - Phần 2 pot

7/2/2010
1
Chương 1:
Các khái niệm căn bản
1.2 Đo thông tin
7/2/2010Huỳnh Văn Kha
2
ðộ không chắc chắn có ñiều kiện
và là hai biến ngẫu nhiên
• ðộ không chắc chắn của với ñiều kiện

• ðộ không chắc chắn của với ñiều kiện là trung bình
theo trọng lượng của , nghĩa là:

7/2/2010
2
7/2/2010Huỳnh Văn Kha
3
ðịnh lý 1.4

Chứng minh:




Do nên ta có ñiều cần chứng minh
7/2/2010Huỳnh Văn Kha
4
ðịnh lý 1.5

Dấu bằng xảy ra khi và chỉ khi và ñộc lập

Chứng minh:
Theo ñịnh lý 1.4 thì:

Theo ñịnh lý 1.3 thì:

Dấu bằng xảy ra khi và chỉ khi , ñộc lập
Từ hai ñiều này ta suy ra ñiều cần chứng minh
7/2/2010
3
ðo thông tin
• Có 2 đồng xu, một đồng cân bằng, một đồng có 2
mặt đều xấp.
• Chọn ngẫu nhiên một đồng, tung hai lần.
• Nếu biết tổng số mặt xấp của hai lần tung thì ta
biết gì về đồng xu được chọn?
• Nếu số mặt xấp ít hơn 2 thì đồng xu được chọn là
đồng xu cân bằng ngược lại thì không chắc chắn
• Kết quả một sự kiện có thể cho ta biết một số
thông tin về các sự kiện khác
7/2/2010Huỳnh Văn Kha
5
ðo thông tin
• Biết trước kết quả biến ngẫu nhiên Y, đại lượng
nào sẽ đo lượng thông tin có thể biết được của
biến ngẫu nhiên X?
• Gọi X là biến ngẫu nhiên nhận giá trị 0 nếu đồng
xu cân bằng được chọn, nhận giá 1 nếu đồng xu
còn lại được chọn, Y là tổng số mặt xấp
7/2/2010Huỳnh Văn Kha
6

0
1
0
1
2
1/4
1/4
1/2
1
X
Y
7/2/2010
4
ðo thông tin
• Khi chọn ngẫu nhiên 1 đồng xu thì độ không chắc
chắn cần xác định là H(X)
• Sau khi biết được tổng số mặt xấp thì độ không
chắc chắn cần xác định chỉ còn là H(X|Y)
• Do đó người ta định nghĩa lượng thông tin thu
được về biến X khi biết Y là:
I(X|Y) = H(X) – H(X|Y)
• I(X|Y) được sử dụng nhiều trong việc truyền tải
thông tin qua kênh bị nhiễu, mà ta sẽ xét kỹ
trong chương 3
7/2/2010Huỳnh Văn Kha
7
7/2/2010Huỳnh Văn Kha
8
Một số tính chất của
• Do ñịnh lý 1.5, ta thấy , dấu bằng xảy ra khi và

chỉ khi , ñộc lập
• Theo ñịnh lý 1.4:

Do ñó:

Nhưng:

Vậy:

7/2/2010
5
• Tính I(X|Y) trong ví dụ trên?
• Tính I(Y|X) trong ví dụ trên?
• Chú ý:
7/2/2010Huỳnh Văn Kha
9

Nếu ta biết trước các xác xuất thì nên tính theo
công thức