Bài giảng Lý thuyết thông tin: Chương 1.2 - ThS. Huỳnh Văn Kha

Chương 1:
Các khái niệm căn bản
1.2 Đo thông tin


2
Huỳnh Văn Kha

06/03/11

ðộ không chắc chắn có ñiều kiện
và

là hai biến ngẫu nhiên

• ðộ không chắc chắn của

với ñiều kiện

• ðộ không chắc chắn của
trọng lượng của

với ñiều kiện
, nghĩa là:

là trung bình theo


3
Huỳnh Văn Kha

06/03/11

ðịnh lý 1.4
Chứng minh:

Do

nên ta có ñiều cần chứng minh


4
Huỳnh Văn Kha

ðịnh lý 1.5
Dấu bằng xảy ra khi và chỉ khi

và

ñộc lập

Chứng minh:
Theo ñịnh lý 1.4 thì:
Theo ñịnh lý 1.3 thì:
Dấu bằng xảy ra khi và chỉ khi ,

ñộc lập

Từ hai ñiều này ta suy ra ñiều cần chứng minh

06/03/11

5
Huỳnh Văn Kha

06/03/11

ðo thông tin
• Có 2 đồng xu, một đồng cân bằng, một đồng có 2
mặt đều xấp.
• Chọn ngẫu nhiên một đồng, tung hai lần.
• Nếu biết tổng số mặt xấp của hai lần tung thì ta
biết gì về đồng xu được chọn?
• Nếu số mặt xấp ít hơn 2 thì đồng xu được chọn là
đồng xu cân bằng ngược lại thì không chắc chắn
• Kết quả một sự kiện có thể cho ta biết một số
thông tin về các sự kiện khác


6
Huỳnh Văn Kha

06/03/11

ðo thông tin
• Biết trước kết quả biến ngẫu nhiên Y, đại lượng
nào sẽ đo lượng thông tin có thể biết được của
biến ngẫu nhiên X?
• Gọi X là biến ngẫu nhiên nhận giá trị 0 nếu đồng
xu cân bằng được chọn, nhận giá 1 nếu đồng xu

còn lại được chọn, Y là tổng số mặt xấp
0
1/4
0
1/2

X

1/4

1

1

1
2

Y


7
Huỳnh Văn Kha

06/03/11

ðo thông tin
• Khi chọn ngẫu nhiên 1 đồng xu thì độ không chắc
chắn cần xác định là H(X)
• Sau khi biết được tổng số mặt xấp thì độ không
chắc chắn cần xác định chỉ còn là H(X|Y)

• Do đó người ta định nghĩa lượng thông tin thu
được về biến X khi biết Y là:
I(X|Y) = H(X) – H(X|Y)
• I(X|Y) được sử dụng nhiều trong việc truyền tải
thông tin qua kênh bị nhiễu, mà ta sẽ xét kỹ
trong chương 3


8
Huỳnh Văn Kha

06/03/11

Một số tính chất của
• Do ñịnh lý 1.5, ta thấy
chỉ khi , ñộc lập
• Theo ñịnh lý 1.4:
Do ñó:
Nhưng:
Vậy:

, dấu bằng xảy ra khi và


9
Huỳnh Văn Kha

06/03/11

• Tính I(X|Y) trong ví dụ trên?

• Tính I(Y|X) trong ví dụ trên?
• Chú ý:

Nếu ta biết trước các xác xuất
công thức

thì nên tính theo