Một số ứng dụng của xác suất trong lý thuyết thông tin

1

MỤC LỤC

Mở đầu

3

1 Một số yếu tố của lý thuyết xác suất

4

2

1.1 Xác suất có điều kiện và các biến cố độc lập . . . . . . . . .

4

1.2 Ánh xạ đo được và biến ngẫu nhiên . . . . . . . . . . . . . .

6

1.3 Các số đặc trưng của biến ngẫu nhiên . . . . . . . . . . . . .

10

Một số ứng dụng của xác suất trong lý thuyết thông tin 11
2.1 Entropi. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

2.2 Entropi của đại lượng ngẫu nhiên . . . . . . . . . . . . . . .

12

2.3

Entropi đồng thời và entropi có điều kiện

. . . . . . . . . .

23

2.4

Lượng thông tin . . . . . . . . . . . . . . . . . . . . . . . .

24

2.5 Entropi của một số phân phối thường gặp. . . . . . . . . . .

30

Kết luận

37

Tài liệu tham khảo

39

2

MỞ ĐẦU

Như chúng ta đã biết, các hiện tượng ngẫu nhiên là do tác động của vô
số mối liên hệ, chúng xảy ra một cách khác nhau và không thể xác định
được kết quả xảy ra khi chưa thực hiện quan sát.Vì vậy các kết quả của hiện
tượng ngẫu nhiên đều mang tính bất định.
Để đo độ bất định các kết quả của hiện tượng ngẫu nhiên đó là một trong
những nguyên nhân cơ bản hình thành nên khái niệm Entropi, nó là khái
niệm khơng thể tách rời của lý thuyết thông tin. Một trong những thành
tựu đặc sắc của lý thuyết tin là đưa ra khái niệm lượng thông tin, lý thuyết
định lượng thơng tin. Về mặt định tính, lý thuyết thông tin cũng cho ta hiểu
thêm về một thuộc tính của thơng tin là đối lập với bất định và ngẫu nhiên.
Khóa luận gồm 2 chương
Chương 1. Một số yếu tố của lý thuyết xác suất
Trong chương này, chúng tơi trình bày một số yếu tố của lý thuyết xác
suất cần thiết để xây dựng các khái niệm quan trọng của lý thuyết thơng tin
như: xác suất có điều kiện và các biến cố độc lập, ánh xạ đo được và biến
ngẫu nhiên.
Chương 2. Một số ứng dụng của sác xuất trong lý thuyết thông
tin
Đây là nội dung chính của luận văn.Trong chương này chúng tơi trình bày
khái niệm Entropi của đại lượng ngẫu nhiên một chiều, thiết lập một số tính
chất của Entropi một chiều. Trình bày khái niệm Entropi đồng thời của hệ
hai đại lượng ngẫu nhiên và ba đại lượng ngẫu nhiên, Entropi có điều kiện


3

và các tính chất liên quan. Đặc biệt trong luận văn này chúng tôi đã thiết
lập Entropi của một số phân phối thường gặp.
Khóa luận được thực hiện tại trường Đại học Vinh dưới sự hướng dẫn tận
tình của PGS.TS. Phan Đức Thành. Nhân dịp này cho phép tác giả bày tỏ
lời cảm ơn sâu sắc nhất tới PGS.TS. Phan Đức Thành, người thầy đã tận
tình hướng dẫn tác giả trong suốt q trình học tập và hồn thành luận
văn. Đồng thời tác giả xin chân thành cảm ơn ban chủ nhiệm khoa Tốn,
các thầy cơ giáo trong khoa Tốn đã nhiệt tình giảng dạy. Cuối cùng tác giả
cảm ơn tất cả bạn bè và gia đình đã ln động viên, giúp đỡ tác giả trong
suốt thời gian học tập và hồn thành luận văn. Mặc dù đã có nhiều cố gắng
nhưng luận văn không thể tránh khỏi những thiếu sót. Vì vậy tác giả rất
mong nhận được những lời chỉ bảo quý báu của các thầy cô giáo và bạn đọc.
Vinh, tháng 11 năm 2010
Tác giả: Nguyễn Thị Hương


4

CHƯƠNG 1

MỘT SỐ YẾU TỐ CỦA LÝ THUYẾT XÁC SUẤT

1.1

Xác suất có điều kiện và các biến cố độc lập

1.1.1 Xác suất có điều kiện
Định nghĩa. Giả sử ( Ω, F, P) là không gian xác suất.
A,B ∈ F, P(A) > 0. Khi đó số

P(B/A) =

P(AB)
P(A)

(1.1)

được gọi là xác suất có điều kiện của biến cố B đối với biến cố A.
Tính chất
1.P(B/A) ≥ 0;
2. Nếu B ⊃ A thì P(B/A) = 1, đặc biệt P( Ω/A) = 1.
3. Nếu(B n ) là dãy biến có đơi một xung khắc thì
∞

P(

∞

B n /A) =

n=1

P(B n /A).

(1.2)

n=1

4. Giả sử A1 , A2 , ...An (n ≥ 2), n là biến cố bất kỳ sao cho
P(A1 A2 ...An ) > 0. Khi đó:

P(A1 A2 ...An ) = P(A1 ).P(A2 /A1 ...P(An /A1 ...An−1 ).

(1.3)

1.1.2 Công thức xác suất đầy đủ và công thức Bayes
Định nghĩa. Họ n biến cố H1 , H2 , ..., Hn được gọi là họ đầy đủ nếu


5

Hi Hj = ∅, (i = j) và H1 ∪ H2 ... ∪ Hn = Ω

Định lý
Giả sử H1 , H2 ..., Hn là họ đầy đủ các biến cố và
P(Hi ) > 0, ∀i = 1, 2, ..., n. Khi đó, với biến của A bất kỳ, ta có

(i) P(A) =

n
i=1

P(A/Hi )P(Hi ).

(ii) Nếu P(A) > 0 thì:
P(A/Hk )P(Hk )

P(Hk /A) =

n

(k = 1, 2, ..., n)

(1.4)

P(A/Hi )P(Hi )
i=1

(1.4) gọi là cơng thức Bayes
1.1.3 Tính độc lập của các biến cố
Giả sử ( Ω, F, P) là không gian xác suất.
Định nghĩa 1. Hai biến cố Avà B được gọi là độc lập nếu:
P(AB) = P(A).P(B)

(1.5)

Tính chất:
1. A, B độc lập khi và chỉ khi P(A/B) = P(A) hoặc P(B/A) = P(B)
2. Hai biến cốA, B độc lập với nhau khi và chỉ khi một trong các điều kiện
sau thỏa mãn:
¯ B độc lập ;
(i) A,
(ii)A, B¯ độc lập;
¯ B
¯ độc lập.
(iii)A,

Định nghĩa 2
1. Họ các biến cố (Ai )i∈I được gọi là độc lập đôi một nếu hai biến cố bất
kỳ của họ đều độc lập.
2. Họ các biến cố(Ai )i∈I được gọi là độc lập toàn cục(gọi vắn tắt là độc

6

lập), nếu đối với họ hữu hạn các biến cố bất kỳ của họ đều độc lập.

1.2

Ánh xạ đo được và biến ngẫu nhiên

1.2.1 Ánh xạ đo được
Định nghĩa.Giả sử ( Ω1 , F1 ) và ( Ω2 , F2 ) là hai không gian đo. Ánh xạ
X: Ω1 −→ Ω2 gọi là ánh xạ F1 /F2 đo được nếu với mọi B ∈ F2 thì
X −1 (B) ∈ F1 .

Tính chất
1.Giả sử ánh xạ X : Ω1 −→ Ω2 là ánh xạ G1 /F1 đo được. Khi đó
(i) Nếu G1 ⊂ G2 thì X là G2 /F1 đo được,
(ii) Nếu F2 ⊂ F1 thì X là G1 /F2 đo được.
1.2.2 Biến ngẫu nhiên
Định nghĩa.Giả sử ( Ω, F, P)là không gian xác suất, G là ∂ - đại số con
của σ -đại số F.

Khi đó ánh xạ X : Ω −→ R được gọi là biến ngẫu nhiên

G đo được nếu nó là ánh xạ G/B(R) đo được (tức là với mọi B ∈ B(R) thì
X −1 (B) ∈ G).

Nếu biến ngẫu nhiên X chỉ nhận được hữu hạn giá trị, thì nó được gọi là
biến ngẫu nhiên đơn giản. Biến ngẫu nhiên còn được gọi là đại lượng ngẫu

nhiên.
Trong trường hợp đặc biệt, khi X là biến ngẫu nhiên F− đo được, thì X
được gọi một cách đơn giản là biến ngẫu nhiên .
Hiển nhiên, biến ngẫu nhiên G− đo được là biến ngẫu nhiên. Mặt khác,
dễ thấy rằng nếu X là biến ngẫu nhiên thì họ σ(X) = (X −1 (B) : B ∈ B(R)
lập thành một σ -đại số con của σ -đại số F , σ đại số này gọi là σ -đại số
sinh bởi X. Đó là σ -đại số bé nhất mà X đo được. Từ đó suy ra rằng:
X là biến ngẫu nhiên G− đo được khi và chỉ khi σ(X) ⊂ G.


7

Tính chất
Định lý 1
X là biến ngẫu nhiên khi và chỉ khi một trong các điều kiện sau đây thỏa
mãn
(i)(X < a) := (ω : X(ω) < a) ∈ F

∀a ∈ R

(ii)(X ≤ a) := (ω : X(ω) ≤ a) ∈ F

∀a ∈ R

(iii)(X > a) := (ω : X(ω) > a) ∈ F

∀a ∈ R

(iv)(X ≥ a) := (ω : X(ω) ≥ a) ∈ F

∀a ∈ R

Định lý 2
Giả sử X1 , X2 , ..Xn là các biến ngẫu nhiên cùng xác định trên (Ω, F, P) :
Rn −→ R là hàm đo được ( tức f là B (Rn ) / B(R) đo được.) Khi đó
Y = f (X1 , ..., Xn ) : Ω −→ R
ω −→ f (X1 (ω), ..., Xn (ω)) là biến ngẫu nhiên.

Hệ quả

Giả sử X, Y là các biến ngẫu nhiên cùng xác định trên (Ω, F, P),

f : R −→ R là hàm liên tục a ∈ R . Khi đó aX,X ± Y, XY, |X|, f (X),
X + = max(X, 0), X − = max(−X, 0), X
Y , (Y = 0) đều là các biến ngẫu

nhiên.
Định lý 3
Giả sử (Xn , n ≥ 1) là dãy các biến ngẫu nhiên cùng xác định trên
(Ω, F, P). Khi đó, nếu inf Xn , sup Xn , hữu hạn, thì inf Xn , sup Xn , lim Xn , lim Xn ,
n

n

n

n

lim Xn , ( nếu tồn tại), đều là biến ngẫu nhiên. Trước khi kết thúc mục

n→∞

này, cần chú ý rằng các tính chất trên của biến ngẫu nhiên có thể mở rộng
cho biến ngẫu nhiên G - đo được bất kỳ.
1.2.3 Phân phối xác xuất
Định nghĩa

Giả sử (Ω, F, P) là không gian xác suất, X : Ω −→ R là

biến ngẫu nhiên. Khi đó hàm tập: PX : B(R) −→ R
B −→ PX (B) = P(X −1 (B))


8

được gọi là phân phối xác suất của X.
Ví dụ
Giả sử A ∈ F, X = IA là hàm chỉ tiêu của A. Với mỗi B ∈ B(R) ta có:


P(∅) = 0
nếu 0 ∈ B, 1 ∈
/B


 ¯
P(A = 1 − P(A) nếu0 ∈
/ B, 1 ∈
/B
PX (B) = P(X −1 (B)) =


P(A)
nếu1 ∈ B, 0 ∈
/B


P(Ω) = 1
nếu 0 ∈ B, 1 ∈ B

Tính chất
1. PX là độ đo xác suất trên B(R)
Thật vậy:
( i) PX (B) = P(X −1 (B)) ≥ 0, ∀B ∈ B(R).
(ii) PX (R) = P(X −1 (R)) = P(Ω) = 1
(iii) Giả sử (Bn ) ⊂ B(R), Bi Bj = ∅(i = j). Lúc đó:
X −1 (Bi )X −1 (Bj ) = X −1 Bi Bj = ∅(i = j)
∞

Suy ra: PX (
∞

=

Bn ) = P(X −1 (

n=1

P(X −1 Bn )) =

n=1

∞

∞

∞

Bn )) = P(

n=1

X −1 (Bn )

n=1

PX (Bn ).
n=1

2. Nếu Q là độ đo xác suất trên B(R) thì Q là phân phối xác suất của
một biến ngẫu nhiên X nào đó.
Chứng minh:
Đặt Ω = R, F = B(R), P = Q. Xét:
X : Ω −→ (R)
ω −→ X(ω) = ω.

Với mọi B ∈ B(R thì PX (B) = P(X −1 (B)) = P(B) = Q(B), suy ra
PX = Q hay Q là phân phối xác suất của biến ngẫu nhiênX xác định như


9

trên.
Chú ý:
Tương ứng giữa biến ngẫu nhiên là phân phối xác suất của chúng không
phải là tương ứng 1-1. Những biến ngẫu nhiên có cùng phân phối xác suất
được gọi là những biến ngẫu nhiên cùng phân phối.
1.2.4 Các hàm phân phối
Định nghĩa. Giả sử (Ω, F, P) là một không gian xác suất, X : Ω −→ R
là biến ngẫu nhiên. Khi đó, hàm số:
FX (x) = P(X < x) = P(ω : X(ω) < x)

được gọi là hàm phân phối của X.
Nhận xét:
FX (x) = P X −1 (−∞, x) = PX [(−∞, x)].

Ví dụ
Giả sử A ∈ F, IA là hàm chỉ tiêu của A và P(A) = p. Khi đó:

nếu x ≤ 0
0
FX (x) = PX [(−∞, x)] = 1 − p nếu 0 < x ≤ 1

1
nếu x > 1.

Tính chất
1. 0 ≤ F (x) ≤ 1.
2. Nếu a < b thì F(b) - F(a) = P(a ≤ X < b); do đó hàm khơng giảm.
3. lim F (x) = 1; lim F (x) = 0.
x→+∞

x→−∞

Để thuận tiện, người ta thường dùng ký hiệu:
F (+∞) = lim F (x); F (−∞) = lim F (x).
x→+∞

Lúc đó tính chất 3 có thể viết:
F (+∞) = 1; F (−∞) = 0.

x→−∞


10

1.3

Các số đặc trưng của biến ngẫu nhiên

1.3.1 Kỳ vọng
Định nghĩa. Giả sử X : (Ω, F, P) → (R, B(R)) là biến ngẫu nhiên. Khi
đó tích phân Lebesgue củaX theo độ đo P. ( Nếu tồn tại ) được gọi là kỳ
vọng của X và ký hiệu là EX .Vậy:
X dP.

EX =
Ω

Nếu tồn tại E |X|P < ∞ ( p > 0 ),thì ta nói X khả tích bậc p. Đặc biệt,
nếu E |X| < ∞, thì X được gọi là biến ngẫu nhiên khả tích.

Tính chất
Kỳ vọng có các tính chất sau đây:
1. Nếu X ≤ 0 thì EX ≤ 0.
2. Nếu X = C thì E X = C.
3. Nếu tồn tại E X thì với mọi C ∈ R, ta có E(CX) = CEX.
4. Nếu tồn tại E X và E Y thì E(X ± Y ) = EX ± EY .




nếu X rời rạc nhận các giá trị x1 , x2 , ...
với P(X = xi ) = pi .
5.EX =

 +∞ x p(x) dx nếu X liên tục có hàm mật độ p(x).
−∞
i x i pi

Tổng quát: Nếu F : R → R là hàm đo được và Y =f (X) thì




i f(xi )pi

nếu X rời rạc nhận các giá trị x1 , x2 , ...
với P(X = xi ) = pi .
EY =

 +∞ f (x) p (x) dx nếu X liên tục có hàm mật độ p(x).

−∞


11

CHƯƠNG 2

MỘT SỐ ỨNG DỤNG CỦA XÁC SUẤT TRONG LÝ
THUYẾT THÔNG TIN

2.1

Entropi.

2.1.1 Độ bất định của các hiện tượng ngẫu nhiên
Xét thí nghiệm xuất hiện n biến cố xung khắc nhau E1 , E2 , ..., En . Nếu
xác suất của tất cả các kết quả có thể có của thí nghiệm là
P (Ei ) = pi = a−mi ; (mi ∈ N ∗ , i = 1, ..., n)

(2.1)

thì mỗi kết quả thí nghiệm có xác suất a−mi .
Ký hiệu kết quả nhận được của một phép thử như là một đại lượng ngẫu
nhiên thì có thể lấy kỳ vọng toán của đại lượng ngẫu nhiên làm độ đo bất
định của thí nghiệm.
Kỳ vọng trên được xác định bằng:
H = m1 a−m1 + m2 a−m2 + ... + mn a−mn

(2.2)

Cơng thức (2.2) có thể viết dưới dạng:
n

H=−

pi loga pi

(2.3)

i=1

Cơng thức (2.3) là độ đo bất định của các kết quả một thí nghiệm đã cho.


12

Đại lượng H được gọi là entropi của thí nghiệm trên.

2.2

Entropi của đại lượng ngẫu nhiên

2.2.1 Entropi của đại lượng ngẫu nhiên rời rạc.
Định nghĩa
Giả sử X là đại lượng ngẫu nhiên rời rạc với luật phân phối
pi = P (X = xi )

(i = 1, 2, ..., n)

Entropi của đại lượng ngẫu nhiên X, ký hiệu H(X), được xác định bởi cơng

thức

n

pi logapi

H(X) = −

(2.4)

i=1

Tính chất
i) H(X) là hàm không âm liên tục và H(X) = 0 khi một trong những xác
suất p1 , p2 , ..., pn bằng 1 còn những xác suất còn lại bằng 0
ii) H(X) max khi
p1 = p2 = ... = pn =

Chứng minh. Ta sử dụng bất đẳng thức:
lnu
1
1
logu =
≥
(1 − )
lna
lna
u

1

.
n

∀n > 0

(2.5)

Dựa trên bất đẳng thức (2.5)với pi , qi (i = 1, 2, ..., n) thõa mãn điều kiện:
n

n

pi =
i=1

qi = 1

(2.6)

i=1

thì bất đẳng thức sau ln đúng:
n

pi log
i=1

pi
≥0
qi

(2.7)


13

Theo (2.5), (2.6) ta có:
n
i=1

1
loga

n
i=1

pi
1
pi log ≥
qi
loga

1
(pi − qi ) =
(
loga

n

pi (1 −

i=1

n

qi
)
pi

n

pi −
i=1

qi ) = 0

(2.8)

i=1

Dấu bằng chỉ xảy ra khi pi = qi ( i = 1, 2 ,..., n).
Nếu đặt trong (2.7) q1 = q2 = ... = qn = n1 , ta có:
n

n

pi lognpi =
i=1

pi logn +
i=1

n

⇒

n

n

pi lognpi −
i=1

pi logpi
i=1

n

pi logpi =
i=1

pi logn = logn
i=1

n

⇒−

pi logpi ≤ logn

(2.9).

i=1

Và dấu "=" ở (2.9) chỉ xảy ra khi: p1 = p2 = ... = pn = n1 .

Nhận xét
Số khả năng xảy ra càng nhiều thì càng khó xác định hơn, tức là độ
bất định càng lớn.
Lấy ví dụ về nguồn 2 tin x0 , x1 với xác suất tương ứng là p0 , p1 . Để minh
họa chúng ta có quy luật phân bố xác suất:
p0 + p1 = 1 ⇒ p1 = 1 − p0


14

Entropi của nguồn sẽ là:
H(X) = −p0 logp0 − p1 logp1 = −p0 logp0 − (1 − p0 )log(1 − p0 )
H(X)max khi p0 =

Tổng quát:

1
2

(khi đó p1 = 1 − p0 =

1
2

= p0 ); H(X)max = log2

Nếu nguồn X gồm m ký hiệu entropi sẽ có giá trị lớn nhất

khi các ký hiệu đẳng xác suất: p1 = p2 = ... = pm =

1
m,

khi đó sẽ có:

n

H(X)max = −

pi logpi = logm

(2.10)

i=1

Nếu dùng loga cơ số 2 ta sẽ có:
H(X)max = log2 m

H(X)max ≤ log2 m

2.2.2 Entropi của đại lượng ngẫu nhiên liên tục.
Định nghĩa
+∞

H(X) = −

f (x)log[lx f (x)]dx

(2.11)

−∞

H(X) là entropi của đại lượng ngẫu nhiên liên tục X, trong đó f(x) là mật
độ xác suất của đại lượng ngẫu nhiên X, lx là một khoảng có liên hệ với đại
lượng ngẫu nhiên X.

Chú ý
1. Entropi của đại lượng ngẫu nhiên liên tục trong trường hợp tổng


15

quát nó có thể lấy giá trị âm hoặc dương. Chỉ đối với các đại lượng ngẫu
nhiên với mật độ xác suất giới nội f (x) ≤ A, luôn quy ước lx <

1
A

thì

Entropi sẽ dương.
2Khoảng lx ở (2.11) lấy lx = 1 để đại lượng dưới dấu tích phân khơng
lớn. Khi đó (2.11) được viết lại là:
+∞

H(X) = −

f (x)logf (x)dx.

(2.12)

−∞

Tính chất
1. Kỳ vọng tốn của hàm đại lượng ngẫu nhiên là:
H(X) = −E[logf (X)]

(2.13)

2. Nếu mật độ xác suất của đại lượng ngẫu nhiên Y nhận được bằng cách
lấy trung bình mật độ của X với hàm trọng lượng tùy ý thì:
H(Y ) ≥ H(X)

(2.14)

Chứng minh. Với mật độ xác suất f(x), g(x) ta có:
+∞

f (x)log

f (x)
dx ≥ 0.
g(x)

−∞

Thật vậy từ bất đẳng thức (2.5) và tính chất:
+∞

f (x)dx = 1
−∞

(2.15)


16

+∞

+∞

f (x)
f (x)log
dx ≥
g(x)
−∞

f (x)

1
f (x)
1−
dx
lna
g(x)

−∞
+∞

1
=
lna

[f (x) − g(x)] dx = 0.

(2.16)

−∞

Cũng từ (2.5) dấu " =" trong (2.15) xảy ra khi f(x) = g(x). Khi đó xét
đại lượng ngẫu nhiên Y với hàm mật độ xác suất là :
+∞

g(y) =

a(x, y)f (x)dx

(2.17)

−∞

trong đó hàm trọng lượng a(x;y)là hàm thõa mãn các điều kiện
+)a(x; y) ≥0
+∞

+)

(2.18)
+∞

a(x; y)dx =

−∞

a(x; y)dy = 1

(2.19)

−∞

Rõ ràng g(y) có hai tính chất của hàm mật độ xác suất là g(x) ≥ 0 và:
+∞

+∞ +∞

g(y)dy =
−∞

a(x; y)f (x)dxdy

−∞ −∞
+∞
+∞

=

f (x)[
−∞

a(x; y)dy]dx

−∞
+∞

=

f (x)dx = 1
−∞

Nên ta có entropi của đại lượng ngẫu nhiên Y là:
+∞

H [Y ] = −
−∞

+∞ +∞

g(y)logg(y)dy = −
−∞ −∞

a(x; y)f (x)logg(y)dxdy

(2.20)

17

Nếu trừ các vế của công thức (2.12) và (2.20) ta có
+∞

H (Y ) − H (X) =

+∞ +∞

f (x)logf (x)dx −
−∞

a(x; y)f (x)logg(y)dxdy
−∞ −∞
+∞ +∞

=

a(x; y)f (x)log

f (x)
dxdy (2.21)
g(y)

−∞ −∞

Do bất đẳng thức (2.15) đúng với mật độ một chiều cũng như nhiều chiều
cho nên:
+∞ +∞

a(x; y)f (x)log

f (x)
dxdy
g(y)

−∞ −∞
+∞ +∞

=

a(x; y)f (x)log

a(x; y)f (x)
dxdy ≥ 0
a(x; y)g(y)

(2.22)

−∞ −∞

⇒ H (Y ) ≥ H (X)

Hệ quả
Nếu ta đặt trong (2.17) đặt a(x;y) = h(y-x); h(z) là mật độ xác suất
tùy ý, thì theo cơng thức chập của luật phân phối: (Z = X + Y )
+∞

+∞

fx (z − y)fy (y)dy =

fz (z) =
−∞

fx fy (z − x)dx

(2.23)

−∞

Ta suy ra g(y) chính là tích chập của các mật độ xác suất f và h. Như vậy từ
mệnh đề trên suy ra rằng entropi của tổng các đại lượng ngẫu nhiên độc lập
không thể bé hơn entropi thành phần bất kỳ của tổng.Vì vậy entropi của
đại lượng ngẫu nhiên bất kỳ là hàm tăng đơn điệu theo thời gian.
3. Entropi của đại lượng ngẫu nhiên liên tục không phụ thuộc vào gốc
tính của đại lượng ngẫu nhiên X và hằng số c bất kỳ:
H(X) = H(X + c)

(2.24)


18

2.2.3 Entropi của hệ hai đại lượng ngẫu nhiên.
Cho hai đại lượng ngẫu nhiên X và Y với X = Y ta có
Định nghĩa 1
Entropi có điều kiện của đại lượng ngẫu nhiên X đối với Y, ký hiệu
H (X/y), được xác định bởi:
+∞

H (X/y) = −

f1 (x/y)logf1 (x/y)dx

(2.25)

−∞

Nhận xét
Entropi có điều kiện của đại lương ngẫu nhiên X đối với Y phụ thuộc
vào các giá trị y của đại lượng ngẫu nhiên Y.
Định nghĩa 2
Kỳ vọng toán của entropi có điều kiện của đại lượng ngẫu nhiên X đối
với Y được gọi là entropi có điều kiện trung bình của đại lượng ngẫu nhiên
X đối với Y ký hiệu H(X/Y)
+∞

H(X/Y ) = EH(X/Y ) = −

f2 (y)f1 (x/y)logf1 (x/y)dxdy

(2.26)

−∞

trong đó f2 (y) là mật độ xác suất của đại lượng ngẫu nhiên Y.
Tính chất
Theo cơng thức f (x; y) = f1 (x)f2 (y/x) = f2 (y)f1 (x/y), công thức (2.26)
viết lại dưới dạng:

+∞

H(X/Y ) = −

f (x; y)logf1 (x/y)dxdy

(2.27)

−∞

Khi đó theo cơng thức của kỳ vọng tốn:
H(X/Y ) = −E [logf1 (X/Y )]

(2.28)

Khi các đại lượng X và Y độc lập, khi đó f1 (x/y) = f1 (x) thì:


19

H(X/Y ) = H(X/y) = H(X).

(2.29)

Chú ý
Nếu X là véc tơ ngẫu nhiên n chiều với các thành phần X1 , X2 , ..., Xn thì
cơng thức:
+∞

H (X) = −

−∞

+∞

...

f (x1 , x2 , ..., xn )logf (x1 , x2 , ..., xn )dx1 ...dxn . (2.30)

−∞

Định nghĩa 3
Giả sử X,Y là hai đại lượng ngẫu nhiên tùy ý, f(x,y) là mật độ phân bố
đồng thời của chúng. Ta gọi entropi của (X,Y) là:
+∞ +∞

H(X, Y ) = −

f (x, y)logf (x, y)dxdy

−∞ −∞

= −E[log[f (X, Y )]

(2.31).

Tính chất:Từ cơng thức f (x; y) = f1 (x)f2 (y/x) = f2 (y)f1 (x/y), ta có:
H(X, Y ) = −Elog[f1 (X)f2 (Y /X)]

= −E[logf1 (X)] − E[f2 (Y /X)]

(2.32)

Kết hợp (2.13) và (2.28) ta có:
H(X, Y ) = H(X) + H(Y /x).

(2.33)


20

Do tính đối xứng của X và Y ta có :
H(X, Y ) = H(XY ) − H(X/y)

(2.34)

Trong trường hợp đặc biệt khi X,Y là các đại lượng ngẫu nhiên độc lập thì
ta có:
H(Y /X) = H(Y ), H(X/Y ) = H(X)

Nên các công thức (2.33); (2.34) trong trường hợp X,Y độc lập có dạng:
H(X, Y ) = H(X) + H(Y )

(2.35)

2.2.4 Hệ ba đại lượng ngẫu nhiên
Định nghĩa 1
Entropi có điều kiện của hệ (X,Y) đối với đại lượng ngẫu nhiên Z là:
+∞ +∞

H((X, Y )/Z) =

f3 ((x, y)/Z)logf3 ((x, y)/Z)dxdy
−∞ −∞

+∞ +∞ +∞

=

f3 ((x, y)/z)logf3 ((x, y)/z)dxdydz

(2.36)

−∞ −∞ −∞

và entropi có điều kiện của đại lượng ngẫu nhiên Z đối với hệ (X,Y) được
xác định bởi:


21

+∞

H(Z/(X, Y )) = −

f3 (z/(X, Y ))logf3 (z/(X, Y ))dz

−∞

+∞ +∞ +∞

=−

f3 (z/(x, y))logf3 (z/(x, y)dxdydz

(2.37)

−∞ −∞ −∞

trong đó f3 ((x, y)/z), f3 (z/(x, y)); là mật độ có điều kiện của hệ (X,Y) đối
với Z, và của Z đối với hệ (X,Y) được xác định bởi hệ thức:
f3 ((x, y)/z) =

f (x, y, z)
f3 (z)

(2.38)

f3 (z/(x, y)) =

f (x, y, z)
f (x, y)

(2.39)

và

Định nghĩa 2
Gọi f(x, y, z) là hàm mật độ của hệ ba đại lượng ngẫu nhiên (X, Y, Z).
Ta có entropi của hệ (X,Y, Z) là:
+∞ +∞ +∞

H(XY Z) = −

f (x, y, z)logf (x, y, z)dxdydz

−∞ −∞ −∞

= −E[log(X, Y, Z)]

(2.40)

Khi đó theo cơng thức (2.36), (2.37) và chú ý đến công thức (2.38), (2.39)


22

ta có cơng thức tính entropi có điều kiện trung bình của hệ (X,Y)đối với
đại lượng ngẫu nhiên Z là:
H((X, Y )/Z) = EH((X, Y )/Z)

+∞ +∞ +∞

=−

f3 (z)f3 ((x, y)/z)logf3 ((x, y)/z)dxdydz

−∞ −∞ −∞

+∞ +∞ +∞

=−

f (x, y, z)logf3 ((x, y)/z)dxdydz

(2.41)

−∞ −∞ −∞

và của đại lượng ngẫu nhiên Z đối với hệ (X,Y) là:
H(Z/(X, Y )) = EH(Z(X, Y ))

+∞ +∞ +∞

=−

f (x, y)f3 (z/(x, y))logf3 (z/(x, y))dxdydz

−∞ −∞ −∞

+∞ +∞ +∞

=−

f (x, y, z)logf3 (z/(x, y))dxdydz

(2.42)

−∞ −∞ −∞

Kết hợp (2.39) ta suy ra:

Tính chất
H(XY Z) = H(X) + H(Y /X) + H(Z/(X, Y ))


23

Chứng minh suy ra từ các định nghĩa 1 và định nghĩa 2
2.3

Entropi đồng thời và entropi có điều kiện

2.3.1 Khái niệm về Entropi đồng thời và entropi có điều kiện.
Entropi đồng thời là độ bất định trung bình của cặp (x, y) bất kỳ trong
tập tích (x y). Theo định nghĩa ban đầu về entropi ta có định nghĩa sau:
H(X/Y ) = −

p(xy)logp(x/y)

(2.43)

p(xy)logp(y/x)

(2.44)

xy

Tương tự
H(Y /X) = −
xy

2.3.2 Tính chất
1.

i)
H(XY ) = H(X) + H(Y /X)

(2.45a)

H(XY ) = H(Y ) + H(X/Y )

(2.45b)

i i)

Và cùng có thể chứng minh các bất đẳng thức
2.

i)
H(Y ) ≥ H(Y /X)

(2.39a)


24

i i)
H(X) ≥ H(X/Y )

(2.39b)

Bất đẳng thức (2.39) sẽ trở thành đẳng thức trong trường hợp hai tập X
và Y độc lập thống kê với nhau khi đó H(Y/X) = H (Y)
Chứng minh (2.39) dựa trên cơ sở bất đẳng thức
ln(W ) = ln [1 + (W − 1)] ≤ W − 1

(2.53)

Theo (2.39) ta có :
p(y)

H(Y X) − H(Y ) =
XY

Đặt W =

p(y)
p(y/x)

p(xy)logp p(y/x)

và sử dụng bất đẳng thức ( 2.40 )

H(YX ) - H (Y) ≤

p(xy)
XY

2.4

(2.51)

p(y)
(y/x)

− 1 logW = 0

(2.54)

Lượng thông tin

2.4.1 Định nghĩa
Thông tin về một đại lượng ngẫu nhiên X, nhận được do kết quả của việc
quan sát đại lượng ngẫu nhiênY có liên quan, sẽ làm thay đổi sự bất định
của đại lượng ngẫu nhiên X, điều đó như ta đã biết trong phần trước chính
là sự thay thế entropi khơng điều kiện của X H(X) bằng entropi trung bình
có điều kiện của X đối với Y.
Vì vậy gọi giá trị
I (X; Y ) = H (X) − H(X/Y )

(2.55)


25

là độ đo thông tin (lượng thông tin) về đại lượng ngẫu nhiên X chứa trong
đại lượng ngẫu nhiên Y.
2.4.2 Tính chất
1.
I (X; Y ) ≥ 0

(2.56)

Chứng minh: thật vậy, theo các công thức (2.13), (2.28) và (2.14) :
I (X; Y ) = −E [logf (X)] + E [logf (X/Y )]
f (X; Y )
f (X/Y )
= E log
= E log
f (X)
f (X)f (Y )
+∞ +∞

=

f (x, y)log

f (x; y)
dxdy ≥ 0. (2.41)
f (x)f (y)

−∞ −∞

Và ta cũng có:
I (X; Y ) = 0 ⇐⇒ H (X) = H(X/Y )
⇐⇒ X và Y độc lập với nhau.

2. Khác với công thức (2.11) chỉ xác định với entropi đối với các đại lượng
ngẫu nhiên liên tục, các công thức (2.55) và (2.57) xác định lượng thông tin
đối với các đại lượng ngẫu nhiên bất kỳ.
Ví dụ, đối với các đại lượng ngẫu nhiên rời rạc X, Y thì cơng thức (2.57)

có dạng:
n

I(X; Y ) =

P(
i,j=1

P (X = xi , Y = yj )
X = xi
)log
Y = yj
P (X = xi )P (Y = yj )