Lý Thuyết thông tin Chương 2

CHƯƠNG 2
NGUỒN TIN
Giáo Viên: TS. Trần Trung Duy
Học Viện Công Nghệ Bưu Chính Viễn Thông TP. Hồ Chí Minh.
Email:
Điện Thoại: 0938967217.


Nguồn Tin

 Để đánh giá định lượng cho tin tức, người ta đưa ra
khái niệm lượng tin.

 Lượng tin đưa ra khả năng dự đoán được của tin.
 Một tin có xác suất xuất hiện càng nhỏ thì có độ bất
ngờ càng lớn, lượng tin càng lớn, và ngược lại.

 Xét nguồn tin X rời rạc sinh ra các tin i với xác suất là
p(i), lượng tin i phải là một hàm có đặc điểm sau:

• Tỉ lệ nghịch với xác suất xuất hiện p(i), f(1/(p(i))).
• Hàm này phải bằng 0 khi p(i)=1


Nguồn Tin

 Nếu hai tin độc lập thống kê là i và j đồng thời xuất
hiện ta có tin là (i, j) , thì lượng tin chung phải bằng
tổng lượng tin của từng tin:

 Với luật nhân xác suất thì

 Vì vậy


Nguồn Tin
 Hàm loga thỏa mãn các yêu cầu này nên hàm

log(1/p(i)) được chọn để đánh giá định lường cho tin.

 Lượng tin của một tin i được ký hiệu là I(i). Định nghĩa
lượng tin của một tin i

 Đơn vị là bit hay nat hay hartley khi cơ số là 2, e hay
10.

 Cơ số 2 hay được chọn


Nguồn Tin
 Entropy của nguồn tin
 Entropy H được định nghĩa là giá trị trung bình thống

kê của lượng tin. Đó là lượng tin trung bình chứa trong
một ký tự bất kỳ của nguồn tin.

 Entropy của một nguồn M

 p(m) là xác suất của ký tự thứ m.


Nguồn Tin

 Entropy của nguồn tin
 Giá trị lớn nhất của entropy là

đạt được khi

 Tốc độ thông tin nguồn: R=rH, r (bit/s)


Ví dụ
• Cho X={x1, x2} có xác suất xuất hiện lần lượt
là:
– P(x1) = P(x2) = 0.5
– P(x1) = 0.96875 và P(x2) = 0.03125
– P(x1) = 1 và P(x2) = 0
Tính I(x1) và I(x2) cho mỗi trường hợp và nhận xét


Lượng Tin có Điều Kiện
• Lượng tin X = xi khi đã xảy ra Y = yj

(

)

I ( xi / y j ) = − log P ( xi / y j ) .


Lượng Tin Tương Hỗ
• Lượng tin X = xi khi đã xảy ra Y = yj
I ( xi ; y j ) = I ( xi ) − I ( xi / y j )

 P ( xi / y j )
= log 
 P ( xi )



÷
÷



Lượng Tin Tương Hỗ
• Lượng tin tương hỗ có điều kiện
• Giả sử có 3 tập tin rời rạc X, Y, Z và xi ∈ X, yj
∈ Y, zk ∈ Z Khi đó lượng tin tương hỗ có điều
kiện:
P( xi / y j zk )
I ( xi ; y j / zk ) = log
P( xi / zk )


Entropy đồng thời

n

m

H ( XY ) = −∑∑ P ( xi , y j ) log P( xi , y j )
i =1 j =1

Entropy đồng thời
• H(XY) = H(X)+H(Y/X)
• H(XY) = H(Y)+H(X/Y)
• H(XYZ) = H(X)+H(Y/X)+H(Z/X,Y)
= H(XY) + H(Z/X,Y)


Entropy có điều kiện
• Xét hai biến ngẫu nhiên rời rạc xi∈X và yj ∈ Y
với xác suất xuất hiện lần lượt là P(x i), i = 1, 2,
., n và P(yj), j = 1, 2, ., m. Entropy có điều kiện
H(X/Y) của tập tích XY là độ bất định trung
bình của X khi đã xảy ra một tin bất kỳ trong
nguồn tin Y:
n

m

H ( X / Y ) = −∑∑ P ( xi , y j ) log P ( xi / y j )
i =1 j =1


Tính chất của Entropy điều kiện


Entropy tương hỗ
• H(X;Y) = H(X) - H(Y/X)
• H(X;Y) = H(Y) - H(X/Y)
• H(X;YZ) = H(X;Y) + H(X;Z/Y)

BÀI TẬP
• Bài Tập 1: Nguồn tin X có 6 ký tự với xác suất
xuất hiện lần lượt là PA = ½, PB = ¼, PC = 1/8,
PD = PE =1/20, PF = 1/40.
a)Tính lượng thông tin chứa đựng trong thông
điệp sau: ABABBA và FDDFDF
b)Tính entropy H của nguồn tin X.


BÀI TẬP
• Bài Tập 2: Cho 6 ký tự với xác suất xuất hiện
lần lượt là PA = 0.4, PB =0.2, PC = 0.12, PD = PE
=0.1, PF = 0.08.
a)Tính lượng thông tin chứa đựng trong thông
điệp sau: ABCDEF và ACADAF.
b)Tính entropy H(X).


BÀI TẬP
• Bài Tập 3: Một nguồn tin gồm hai tin có xác
suất xuất hiện lần lượt là PA = x và PB = 1-x.
a)Tính entropy H(X) của nguồn.
b)Tìm x để H(X) lớn nhất.


BÀI TẬP
• Bài Tập 4: Một nguồn tin gồm ba tin A, B và
C có xác suất xuất hiện lần lượt là PA = 1/3, PB

= x và PC = y.
a)Tìm y và tính entropy H(X) của nguồn theo x.
b)Vẽ H(X) theo x.
c)Tìm x để H(X) lớn nhất.