MÔ HÌNH ENTROPY CỦA NHIỀU BIẾN

Mô hình ENTROPY C Ủ
A NHI Ề
U BI Ế
N
M ục tiêu
Sau khi hoàn tất bài học này bạn có thể:
•
•
•
•
•

Hiểu biết các định nghĩa Entropy của nhiều biến và Entropy có điều kiện,
Hiểu mối quan hệ giữa H(X,Y) với H(X) và H(Y) khi X, Y độc lập,
Hiểu mối quan hệ giữa H(X,Y) với H(X) và H(Y) khi X, Y tương quan,
Vận dụng mối quan hệ gữa các Entropy để tính các Entropy một cách hiệu quả,
Vận dụng Entropy có điều kiện để làm cơ sở tính lượng tin trong bài học kế tiếp

Định nghĩa Entropy c ủa nhi ều bi ến
Giả sử: X và Y là 2 biến ngẫu nhiên cho trước với pịj = p(X=xi,Y=yj) (∀ i=1,..,M và j=1,…,L).
Khi đó, Entropy H(X,Y) có dạng:

Hay

Một cách tổng quát:

Ví d ụ Entropy của nhiều bi ến
Cho 2 BNN X và Y độc lập nhau và có các phân phối:

Tính H(X,Y).
- Lập phân phối của P(X,Y)

- H(X,Y) =H(0.125, 0.25, 0.125, 0.125, 0.25, 0.125)=2.5 (Bit)

Định nghĩa Entropy có đi ều ki ện
Entropy của Y với điều kiện X=xi (i=1,..,M) được định nghĩa là:

Entropy của Y với điều kiện X xảy ra được định nghĩa là:

Ví d ụ Entropy có đi ều kiện
Xét biến ngẫu nhiên X và biến ngẫu nhiên Y có tương quan nhau. Các phân phối như sau:

Phân phối của Y có điều kiện X:

Entropy của Y/X=1 và Y/X=2 như sau :
H(Y/X=1)=H(0.25, 0.5 , 0.25)= -0.25 log0.25 – 0.5 log0.5-0.25 log0.25
=0.5 + 0.5 + 0.5= 1.5 (Bit)
H(Y/X=2)= H(0; 0; 1)= 0 (Bit)
Entropy của Y khi X xảy ra:
H(Y/X)=P(X=1) H(Y/X=1)+ P(X=2) H(Y/X=2)=(0.5x1.5) + ((0.5x0)=0.75 (Bit).

Quan hệ giữa H(X,Y) với H(X) và H(Y) khi X, Y t ương quan
Định lý 2: H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y).
Định lý 3: H(Y/X)≤ H(Y) và Dấu đẳng thức xảy ra khi và chỉ khi X và Y độc lập nhau.


Chứng minh định lý 2:

Tương tự ta có: H(X,Y)=H(Y)+H(X/Y)
Chứng minh định lý 3:

Từ định lý 1 và định lý về quan hệ giữa các Entropy, ta có:
H(X,Y)=H(X)+H(Y/X)≤ H(X)+ H(Y) => H(Y/X) ≤ H(Y).

Sinh viên tự chứng minh

Bài tập
Xét BNN X và BNN Y có tương quan nhau. Các phân phối như sau:

Phân phối của Y có điều kiện X:

Tính các Entropy sau: H(X), H(Y).


Tính các Entropy có điều kiện sau: H(X/Y), H(Y/X).
Tính các Entropy sau: H(X,Y).
Từ kết quả câu 1,2 và 3 hãy minh họa các định lý 1, 2 và 3 cho bài học.