Một số ứng dụng của lý thuyết thông tin để kiểm định giả thiết thống kê

.

1


.

2


MỤC LỤC
3

Mục lục
Lời nói đầu

4

1. Một số kiến thức cơ bản của lý thuyết thông tin

6

1.1.Khái niệm độ bất định của đại lượng ngẫu nhiên . . . . . . . . . . . . . . . . . . 6
1.2.Entropi của đại lượng ngẫu nhiên . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.Entropi của hệ đại lượng ngẫu nhiên. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10
1.4.Entropi của đại lượng ngẫu nhiên có phân phối chuẩn và phân
phối đều . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.5.Lượng thông tin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2. Một số ứng dụng của thông tin trong thống kê

26

2.1.Các khái niệm và định nghĩa cơ bản . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.2.Các tính chất của I(1 : 2) và J(1, 2) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.3.Một số ví dụ của thơng tin trong thống kê . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4.Các loại sai lầm loại 1và loại 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.5.Các quần thể nhị thức. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .37
Kết luận

38

Tài liệu tham khảo

39

3


LỜI NĨI ĐẦU
Thơng tin là một trong những nhu cầu không thể thiếu đối với con người,
là một trong những điều kiện cần cho sự tồn tại và phát triển của xã hội
lồi người.
Lý thuyết thơng tin có rất nhiều ứng dụng đặc biệt đối với ngành công
nghệ thông tin và điện tử viễn thông. Chúng ta biết nhiều khái niệm của
xác suất đã được sử dụng vào lí thuyết thơng tin. Vậy lí thuyết thơng tin có
ứng dụng như thế nào trong ngành xác suất thống kê? Trong luận văn này
chúng tôi xin đề cập một vài ứng dụng của lí thuyết thơng tin để kiểm định
giả thiết thống kê.
Với mục đích đó, nội dung luận văn được trình bày trong hai chương.
Chương 1. Một số kiến thức cơ bản của lí thuyết thơng tin
Trong chương này chúng tơi trình bày một số kiến thức cơ bản của lí

thuyết thông tin như: Entropi của đại lượng và hệ đại lượng ngẫu nhiên,
lượng thông tin của đại lượng và hệ đại lượng ngẫu nhiên để sử dụng cho
chương sau.
Chương 2. Một số ứng dụng của thông tin trong thống kê
Chương này trình bày một số ứng dụng của thơng tin trong thống kê toán
học, khái niệm trung tâm của chương này là khái niệm lượng thơng tin trung
bình do quan sát có lợi cho giả thiết H1 và bất lợi cho giả thiết H2 được kí
hiệu bởi I(1 : 2) và nêu các tính chất của nó. Cùng với khái niệm đó chúng
tơi đưa ra độ sai khác ( hay khác biệt ) giữa các giả thiết H1 và H2 kí hiệu
bởi J(1, 2) và nêu lên các tính chất của nó.
Luận văn được hồn thành tại trường Đại học Vinh dưới sự hướng dẫn
khoa học của thầy giáo PGS.TS. Phan Đức Thành. Tác giả bày tỏ lòng biết
ơn sâu sắc nhất tới thầy. Tác giả cũng xin bày tỏ lòng cảm ơn chân thành tới
4


các Thầy, Cô giáo trong tổ Lý thuyết xác suất và thống kê toán của Khoa
Toán - Trường Đại học Vinh đã tận tình dạy dỗ, giúp đỡ tác giả trong suốt
quá trình học tập và nghiên cứu.
Tác giả xin gửi lời cảm ơn chân thành nhất đến quý Thầy, Cô giáo khoa
Sau đại học - Trường Đại học Vinh, Ban lãnh đạo trường Đại học Vinh, các
bạn bè, đồng nghiệp và gia đình đã tạo mọi điều kiện thuận lợi, động viên
và giúp đỡ tác giả để tác giả hồn thành khóa học và thực hiện được luận
văn này.
Mặc dù tác giả đã rất cố gắng nhưng do còn nhiều hạn chế về mặt năng
lực, kiến thức và thời gian nên luận văn không thể tránh khỏi các thiếu sót.
Rất mong nhận được các ý kiến đóng góp quý báu để luận văn được hoàn
thiện hơn.
Xin trân trọng cảm ơn!
Vinh, tháng 12 năm 2011

Tác giả
Nguyễn Thị Kiều Oanh

5


CHƯƠNG 1

MỘT SỐ KIẾN THỨC CƠ BẢN CỦA LÝ THUYẾT
THÔNG TIN
Chương này chúng tơi trình bày một số kiến thức cơ bản của lý thuyết
thông tin như Entropi của đại lượng và hệ các đại lượng ngẫu nhiên , lượng
thông tin của đại lượng và hệ đại lượng ngẫu nhiên để sử dụng trong chương
sau.
1.1. Khái niệm độ bất định của đại lượng ngẫu nhiên

Như chúng ta đã biết, các hiện tượng ngẫu nhiên là các hiện tượng mà
do tác động của của vô số mối liên hệ giữa các hiện tượng này với các hiện
tượng khác, chúng có thể tiến triển một cách khác nhau và dẫn đến các kết
cục khác nhau. Do đó kết quả của mỗi lần quan sát của hiện tượng ngẫu
nhiên không thể xác định trước khi chưa thực hiện quan sát. Vì thế các kết
quả quan sát của bất kì hiện tượng ngẫu nhiên nào đều mang tính bất định.
Xét thí nghiệm xuất hiện n biến cố xung khắc khác nhau E1 , E2 , . . . , En .
Giả sử xác suất của tất cả các kết quả có thể có của một thí nghiệm nào đó
là:
P (Ei ) = pi = a−mi

(mi ∈ N, i = 1, n).

(1.1)

Khi đó mỗi kết quả thí nghiệm có xác suất a sẽ nhận chỉ số được biểu
diễn bằng một số có m chữ số trong hệ cơ số a. Nếu coi số lượng các chữ số
trong con số viết trong hệ cơ số a, kí hiệu kết quả nhận được của phép thử,
như là một đại lượng ngẫu nhiên thì có thể lấy kỳ vọng tốn của đại lượng
ngẫu nhiên đó làm độ đo bất định của các kết quả thí nghiệm. Kỳ vọng toán

6


của đại lượng ngẫu nhiên đó bằng:
H = m1 a−m1 + m2 a−m2 + · · · + mn a−mn .

(1.2)

Cơng thức (1.2) có thể được viết dưới dạng
n

H=−

pi loga pi .

(1.3)

i=1

Bằng cách như vậy có thể lấy đại lượng H được xác định bởi công thức
(1.3) là độ đo bất định của các kết quả của một thí nghiệm trong trường
hợp khi mà các xác suất của tất cả các kết quả có thể (E1 , E2 , . . . , En ) của
một thí nghiệm có thể được biểu diễn bằng lũy thừa nguyên âm của một số

dương a nào đấy. Đại lượng H được xác định bằng cơng thức (1.3) được gọi
là Entropi của thí nghiệm đã cho.
1.2. Entropi của đại lượng ngẫu nhiên
1.2.1.Entropi của đại lượng ngẫu nhiên rời rạc
1.2.1.1.Định nghĩa. Giả sử X là đại lượng ngẫu nhiên rời rạc với luật
phân phối pi = P (X = xi )(i = 1, 2, . . . n). Entropi của đại lượng ngẫu nhiên
X , ký hiệu H[X] được xác định bởi công thức
n

H[X] = −

pi log pi .

(1.4)

i=1

1.2.1.2. Tính chất
a) Từ cơng thức (1.4) ta dễ dàng suy ra H[X] là hàm không âm, liên tục
của các xác suất p1 , p2 , . . . pn và chỉ khi bằng 0 khi một xác suất nào đấy
trong số các xác suất p1 , p2 , . . . pn bằng 1 còn các xác suất cịn lại bằng 0.
(Tức là khi X khơng phải là đại lượng ngẫu nhiên và thí nghiệm đang
xét không chứa một độ bất định nào cả ).
(Chúng ta quy ước rằng lim x log x = 0 với x = 0.)
7


b) Với N đã cho, H[X] sẽ nhận giá trị lớn nhất khi p1 = p2 = · · · = pn =
1
n.

(Tức là khi tất cả các giá trị có thể có của đại lượng ngẫu nhiên X là

đồng xác suất).
Để chứng minh chúng ta sẽ sử dụng bất đẳng thức sau:
1
1
ln u
≥
(1 − ), ∀u > 0.
(1.5)
log u =
ln a
ln a
u
Dựa trên bất đẳng thức (1.5) đối với bất kỳ các số dương pi , qi (i =

Chứng minh.

1, 2, . . . , n) thỏa mãn điều kiện
n

n

pi =
i=1

(1.6)

qi = 1.

i=1

Thì bất đẳng thức sau ln đúng:
n

pi log
i=1

pi
≥ 0.
qi

(1.7)

Thật vậy, theo (1.5) và (1.6) ta có:
n
i=1

pi
1
pi log
≥
qi
log a
1
log a

=

n

pi (1 −
i=1
n

(pi − qi )
i=1
n

1
=
(
log a

i=1

pi log
i=1

n

pi −

n

⇒

qi
)
pi

qi ) = 0
i=1

pi
≥ 0.
qi

(1.8)

Bởi vì dấu "=" trong (1.5) chỉ xảy ra khi và khi u = 1 cho nên dấu "="
trong (1.7) và (1.8) xảy ra khi và chỉ khi pi = qi (i = 1, 2, . . . , n). Nếu đặt
trong (1.7) q1 = q2 = · · · = qn = n1 , ta có:
n

n

pi log n +

pi log npi =
i=1

n

pi log pi
i=1

i=1
8

n

⇒

n

pi log npi −
i=1

⇒−

n

n
i=1 pi log pi

pi log p1 =
i=1

pi log n = log n.

(1.9)

i=1

≤ log n. Và dấu "=" trong (1.9) chỉ xảy ra khi và chỉ khi

p1 = p2 = · · · = pn =

1
n

Như vậy bất đẳng thức (1.9) Entropi của đại lượng ngẫu nhiên rời rạc
sẽ lớn nhất khi tất cả các giá trị có thể có của đại lượng ngẫu nhiên này là
đồng xác suất.
Nhận xét. Bởi vì log n tăng thực sự khi n tăng nên giá trị có thể lớn nhất
của Entropi của đại lượng ngẫu nhiên là hàm tăng thực sự của số n các giá
trị có thể của đại lượng ngẫu nhiên. Điều này hoàn toàn phù hợp với những
suy đoán trực giác của chúng ta là: Số khả năng càng nhiều thì khó xác
định hơn, tức là độ bất định càng lớn.
1.2.2. Entropi của đại lượng ngẫu nhiên liên tục
1.2.2.1. Định nghĩa. Giả sử đại lượng ngẫu nhiên X có hàm mật độ
f (x)

Ta gọi đại lượng:
+∞

H[X] = −

(1.10)

f (x) log[lx f (x)]dx
−∞

là Entropi của đại lượng ngẫu nhiên liên tục X , trong đó f (x) là mật độ xác
suất của đại lượng ngẫu nhiên X , còn lx là một khoảng nào đấy có liên hệ
với đại lượng ngẫu nhiên X .
Chú ý: 1) Khác với Entropi của đại lượng ngẫu nhiên rời rạc, Entropi
của đại lượng ngẫu nhiên liên tục trong trường hợp tổng quát có thể lấy giá

trị dương hoặc âm. Chỉ đối với các đại lượng ngẫu nhiên liên với mật độ xác
suất giới nội f (x) ≤ A, và nếu luôn luôn quy ước rằng lx <
sẽ dương.
9

1
A

thì Entropi


2) Khoảng lx được đưa vào trong công thức (1.10) để cho đại lượng dưới
dấu logarit không quá lớn, khoảng này có thể được chọn tuỳ ý, đặc biệt ta
có thể lấy lx = 1. Do đó từ đây về sau ta chỉ xét với lx = 1. Khi đó công
thức (1.10) được viết lại là:
+∞

H[X] = −

f (x) log f (x)dx.

(1.11)

−∞

1.2.2.2. Tính chất
a) Theo định nghĩa của kỳ vọng tốn của hàm đại lượng ngẫu nhiên ta
có:
H[X] = −E[log f (X)].

(1.12)

b) Nếu mật độ xác suất của đại lượng ngẫu nhiên Y nhận được bằng cách
lấy trung bình mật độ xác suất của đại lượng ngẫu nhiên X với hàm trọng
lượng tuỳ ý a(x, y) thì:H[Y ] ≥ H[X]. (Nói một cách khác, việc san bằng
mật độ xác suất không làm giảm Entropi mà chỉ làm tăng Entropi mà
thôi.)
c) Chúng ta cũng dễ dàng thấy rằng Entropi của đại lượng ngẫu nhiên
liên tục khơng phụ thuộc vào gốc tính của đại lượng ngẫu nhiên. Tức là:
H[X] = H[X + c].

(1.13)

với mọi đại lượng ngẫu nhiên X và c là hằng số bất kỳ.
Như vậy Entropi của các đại lượng ngẫu nhiên nhận được bằng cách kết
hợp các đại lượng ngẫu nhiên độc lập, sẽ có giá trị bằng tổng các Entropi
của các đại lượng ngẫu nhiên thành phần.
1.3. Entropi của hệ đại lượng ngẫu nhiên
1.3.1. Entropi của hệ hai đại lượng ngẫu nhiên
Cho hai đại lượng ngẫu nhiên X và Y (X = Y ).
10


1.3.1.1.Định nghĩa 1. Entropi có điều kiện của đại lượng ngẫu nhiên
X đối với Y , ký hiệu H[X | Y ], được xác định bởi:
+∞

H[X | Y ] = −

f1 (x | y) log f1 (x | y)dx.

(1.14)

−∞

Nhận xét. Entropi có điều kiện của đại lượng ngẫu nhiên X đối với Y
phụ thuộc vào các giá trị y của đại lượng ngẫu nhiên Y , tức là hàm số của
đại lượng ngẫu nhiên Y .
1.3.1.2. Định nghĩa 2. Kỳ vọng tốn của Entropi có điều kiện của đại
lượng X đối với Y được gọi là Entropi có điều kiện trung bình của đại lượng
ngẫu nhiên X đối với Y , ký hiệu HY [X].
+∞

+∞

f2 (y)f1 (x | y) log f1 (x | y)dxdy,

HY [X] = E{H[X | Y ]} = −
−∞

−∞

(1.15)
trong đó f2 (y) là mật độ xác suất của đại lượng ngẫu nhiên Y.
1.3.1.3.Tính chất
Theo cơng thức f (x, y) = f1 (x)f2 (y | x) = f2 (y)f1 (x | y), ta viết lại công
thức (1.15) dưới dạng:
+∞

+∞

HY [X] = −

f (x, y) log f1 (x | y)dxdy.
−∞

(1.16)

−∞

Với f (x, y) là mật độ xác suất đồng thời của các đại lượng ngẫu nhiên X và
Y.

Nhờ công thức của kỳ vọng tốn ta có:
HY [X] = −E[log f1 (X | Y )].

(1.17)

Trong trường hợp đặc biệt khi các đại lượng X và Y là độc lập, khi đó ta
có f1 (x | y) khơng phụ thuộc vào y , thì tất cả các Entropi có điều kiện của
đại lượng ngẫu nhiên X đối với Y trùng với Entropi không điều kiện của đại
11


lượng ngẫu nhiên X , tức là:
HY [X] = H[X | Y ] = H[X].

(1.18)

Chú ý: 1) Entropi có điều kiện H[Y | X] và Entropi có điều kiện trung

bình HX [Y ]của đại lượng ngẫu nhiên Y đối với X được xác định hoàn toàn
tương tự.
2) Tất cả những điều đã trình bày ở trên đúng cho cả trường hợp X, Y là
các đại lượng ngẫu nhiên vô hướng hoặc các vec tơ ngẫu nhiên.Trong trường
hợp X, Y là các vectơ, mỗi tích phân trong các cơng thức ở trên được biểu
diễn như là tích phân bội trên miền tất cả các giá trị có thể có của các vectơ
ngẫu nhiên X và Y . Ví dụ như nếu X là vectơ ngẫu nhiên n chiều với các
thành phần X1 , X2 , . . . Xn thì cơng thức (1.10) được viết dưới dạng chi tiết
hơn như sau:
+∞

H[X] = −

+∞

...
−∞

f (x1 , x2 , . . . , xn ) log f1 (x1 , x2 , . . . , xx )dx1 dx2 . . . dxn .
−∞

(1.19)
1.3.1.4. Định nghĩa. Giả sử X, Y là hai đại lượng ngẫu nhiên tuỳ ý
(vô hướng hoặc vectơ), f (x, y) là mật độ phân phối đồng thời của chúng. Ta
gọi Entropi của vectơ ngẫu nhiên kết hợp (X, Y ) là:
+∞

+∞

H[X, Y ] = −

f (x, y) log f1 (x, y)dxdy = −E[log f (X, Y )].
−∞

−∞

(1.20)
1.3.1.5. Tính chất. Từ công thức f (x, y) = f1 (x)f2 (y | x) = f2 (y)f1 (x |
y) ta có:
H[X, Y ] = −Elog[f1 (X)f2 (Y | X)] = −E[log[f1 (X)] − E[log f2 (Y | X)].

(1.21)
Kết hợp với công thức (1.12) và chú ý của công thức (1.17) ta nhận được
12


công thức:
H[X, Y ] = H[X] + HX [Y ].

(1.22)

Do tính đối xứng của X và Y ta cũng có:
H[X, Y ] = H[Y ] + HY [X].

(1.23)

Trong trường hợp đặc biệt khi X và Y là các đại lượng ngẫu nhiên độc lập
với nhau thì ta có: HX [Y ] = H[Y ], HY [X] = H[X];
Do đó ta có cơng thức (1.22) và (1.23) trong trường hợp này có dạng:
H[X, Y ] = H[X] + H[Y ].

(1.24)

1.3.2.Hệ ba đại lượng ngẫu nhiên độc lập
Cho ba đại lượng ngẫu nhiên X, Y, Z ta có các định nghĩa sau:
1.3.2.1.Định nghĩa. Ta có Entropi có điều kiện của hệ (X, Y ) đối với
đại lượng ngẫu nhiên Z được xác định là:
+∞

+∞

f3 ((x, y) | Z) log f3 ((x, y) | Z)dxdy.

H[(X, Y ) | Z] = −
−∞
+∞

+∞

−∞

+∞

=−

f3 ((x, y) | z) log f3 ((x, y) | z)dxdydz.
−∞

−∞

(1.25)

−∞

và Entropi có điều kiện của đại lượng ngẫu nhiên Z với hệ (X, Y ) là
+∞

H[Z | (X, Y )] = −

f3 (z | (X, Y ) log f3 (z | (X, Y )dz
−∞

+∞

+∞

+∞

=−

f3 (z | (x, y)) log f3 (z | (x, y))dxdydz.
−∞

−∞

(1.26)

−∞

trong đó f3 ((x, y) | z) và f3 (z | (x, y)) lần lượt là mật độ có điều kiện của

hệ (X, Y ) đối với Z và của hệ Z đối với (X, Y ). Được định nghĩa bởi các hệ
thức:
f3 ((x, y) | z) =
13

f (x, y, z)
.
f3 (z)

(1.27)


Và f3 (z | (x, y)) =

f (x, y, z)
.
f2 (x, y)

(1.28)

1.3.2.2.Định nghĩa. Gọi f (x, y, z) là hàm mật độ của hệ ba đại lượng
ngẫu nhiên (X, Y, Z) Ta có Entropi của hệ (X, Y, Z) được định nghĩa bởi:
+∞

+∞

+∞

H[X, Y, Z] = −

f (x, y, z) log f (x, y, z)dxdydz
−∞

−∞

−∞

= −E[log f (X, Y, Z)].

(1.29)

Khi đó theo (1.25),(1.26) và chú ý đến các cơng thức (1.27),(1.28) ta suy
ra các Entropi có điều kiện trung bình của hệ (X, Y ) đối với đại lượng
ngẫu nhiên Z là:
HZ [X, Y ] = E{H[(X, Y ) | Z]}
+∞

+∞

+∞

f3 (z)f3 ((x, y) | z) log f3 ((x, y) | z)dxdydz

=−

−∞
−∞
−∞
+∞
+∞

+∞

f (x, y, z) log f3 ((x, y) | z)dxdydz.

=−
−∞

−∞

(1.30)

−∞

và của đại lượng ngẫu nhiên Z đối với hệ (X, Y ) là
H(X,Y ) [Z] = E{H[Z | (X, Y )]}
+∞

+∞

=−

+∞

f (x, y)f3 (z | (x, y)) log f3 (z | (x, y))dxdydz
−∞
−∞
−∞
+∞
+∞
+∞

=−

f (x, y, z) log f3 (z | (x, y))dxdydz.
−∞

−∞

(1.31)

−∞

Kết hợp với cơng thức (1.28), ta có thể biểu diễn lại công thức (1.29) như

14


sau:
+∞

+∞

+∞

−∞
+∞

−∞
+∞

−∞
+∞

H[X, Y, Z] = −

f (x, y, z) log f (x, y, z)dxdydz

= −

f (x, y, z) log[f (x, y)f3 (z | (x, y))]dxdydz
−∞
+∞

−∞
+∞

−∞
+∞

= −

f (x, y, z) log f (x, y)dxdydz
−∞
+∞

−∞
+∞

−∞
+∞

f (x, y, z) log f3 (z | (x, y))dxdydz

+
−∞

−∞
−∞
+∞
+∞
+∞

= −

f (x, y, z) log f (x, y)dxdydz + H(X,Y ) [Z]
−∞
+∞

−∞
+∞

−∞

−∞

= −

−∞

f (x, y) log f (x, y)dxdy + H(X,Y ) [Z]

= H[X, Y ] + H(X,Y ) [Z]

Kết hợp với công thức (1.22) ta suy ra
H(X, Y, Z) = H(X) + HX (Y ) + H(X,Y ) (Z).

(1.32)

Tổng qt cơng thức (1.22) và (1.32) ta có:
Giả sử (X1 , . . . , Xn ) là các đại lượng ngẫu nhiên tùy ý (vô hướng hoặc
véc tơ), thì Entropi của n đại lượng ngẫu nhiên trên là:
H(X1 , . . . , Xn ) = H[X1 ] + HX1 [X2 ] + · · · + H(X1 ,...,Xn ) (Xn ).

(1.33)

Trong trường hợp đặc biệt, khi các đại lượng ngẫu nhiên X1 , . . . , Xn là
độc lập thì tất cả các Entropi có điều kiện sẽ trùng với Entropi không điều
kiện của đại lượng ngẫu nhiên tương ứng. Như vậy công thức (1.33) được
viết lại như sau:

n

H(X1 , . . . , Xn ) =

H[Xi ].

(1.34)

i=1

Như vậy Entropi của các đại lượng ngẫu nhiên nhận được bằng cách kết
15


hợp các đại lượng ngẫu nhiên độc lập, sẽ có giá trị bằng tổng các Entropi
của các đại lượng ngẫu nhiên thành phần.
1.4. Entropi của đại lượng ngẫu nhiên có phân phối chuẩn
và phân phối đều
1.4.1. Đại lượng ngẫu nhiên có phân phối đều
Giả sử fv (x) là mật độ xác suất của đại lượng ngẫu nhiên X có phân phối
đều trong miền v nào đấy (đặc biệt, nếu X là đại lượng vơ hướng thì miền
v có thể là a < x < b). Bởi vì fv (x) = 0 với mọi x không thuộc v nên dựa

vào công thức (1.10), Entropi của đại lượng ngẫu nhiên X được biểu diễn
bởi công thức:
+∞

+∞

fv (x) log fv (x)dx = −

H[X] = −
−∞

−∞

1
fv (x) log dx = log v (1.35)
v

Dễ dàng thấy rằng biểu thức cụ thể của mật độ xác suất fv (x) trong cơng
thức (1.35) khơng có ảnh hưởng đến giá trị của Entropi của X . Điều quan
trọng là mật độ xác suất đó bằng khơng khắp nơi trong miền ngồi v . Vì
vậy cơng thức (1.35) vẫn cịn đúng nếu thay trong đó fv (x) bởi mật độ xác
suất tuỳ ý f (x) bằng không khắp nơi trong miền ngồi v . Do đó, Entropi
của đại lượng ngẫu nhiên có phân phối đều có thể biểu diễn bằng công thức:
+∞

H[X] = −

(1.36)

f (x) log fv (x)dx.
−∞

1.4.2. Đại lượng ngẫu nhiên có phân phối chuẩn
Nếu thay vào trong công thức (1.10) biểu thức
2
x)
1
− (x−m
2
2δ
x
f (x) = √ e
.
δx 2π
của mật độ xác suất của đại lượng ngẫu nhiên đang xét, ở đây ta ký hiệu
mật độ đó bởi fN (x) và nếu chú ý tới các công thức:
+∞

+∞

f (x)dx = 1 và
−∞

δx2

2

(X − mx )2 f (x)dx

= D[X] = E(X − mx ) =
−∞
16


Chúng ta nhận được:
+∞

H[X] = −

fN (x) log fN (x)dx
−∞

+∞

=−
−∞

=

1
√

1
√

δx 2π
+∞

√

exp(−

1
x2
x2
√
)
log[
)]dx
exp(−
2δx2
2δx2
δx 2π
+∞

x2
1

exp(− 2 )dx− √
2δx
δx 2π

x2
x2
exp(− 2 )×(− 2 )dx
2δx
2δx

log(δx 2π)
δx 2π
−∞
−∞
+∞
+∞
√
x2 x
x2
1
1
x2 x
√
√
exp(− 2 )d +
exp(− 2 )×( 2 )d
=
log(δx 2π)
2δx δx 2 2π −∞
2δx

δx δx
2π
−∞
√
√
1
= log(δx 2π) + log e = log(δx 2eπ).
(1.37)
2
(Do đó ở phần trên ta đã biết Entropi khơng phụ thuộc vào kỳ vọng

tốn của đại lượng ngẫu nhiên nên ta có thể tính Entropi với giả thiết
mx = 0).

Như vậy ta thấy rằng, biểu thức cụ thể của mật độ xác suất fN (x) trong
công thức (1.37) củng không ảnh hưởng đến giá trị của Entropi. Chỉ có điều
quan trọng là mơmen cấp hai tương ứng với mật độ xác suất fN (x) bằng
δx2 .Như vậy entropi của đại lượng ngẫu nhiên có phân phối chuẩn có thể được

biểu diễn bởi cơng thức:
+∞

H[X] = −

(1.38)

f (x) log fN (x)dx.
−∞

Trong đó f (x) là mật độ xác suất bất kỳ thoả mãn:

+∞
−∞

x2 f (x)dx = δx2 .

(1.39)

1.4.3. Để xác định Entropi của vectơ ngẫu nhiên phân phối chuẩn n
chiều X , chúng ta thấy biểu thức
f (x1 , . . . , xn ) =

1
(2π)n
17

1

|K|

e− 2|K|

n
i,j=1

Kij ui uj


của mật độ xác suất chuẩn n chiều vào công thức (1.20). Khi đó ta nhận
được:
+∞

H[X] =

+∞

...

fN (x1 , . . . , xn )[log

−∞

−∞

log e
+
2|K|
= log

(2π)n | K |

n

Kij xi xj ]dx1 . . . dxn
i,j=1

log e
(2π)n | K | +
2|K|

n

Kij kij .

(1.40)

i,j=1

Trong đó | K | là định thức của ma trận tương quan của vectơ ngẫu nhiêu
X , còn Kij là phần phụ đại số của phần tử kij trong định thức | K |.

Theo công thức của khai triển định thức theo các phần tử của một hàng,
ta có

n

Kij kij = n | K |,

(1.41)

i,j=1

Và cơng thức (1.40) cho ta:
(2eπ)n | K |.

H[X] = log

(1.42)

Đặc biệt khi n = 1, cơng thức (1.42) có dạng của cơng thức (1.37). Vì
trong các cơng thức trên biểu thức cụ thể của mật độ xác suất fN (x) khơng

có ý nghĩa gì mà chỉ có các giá trị của có mơ men cấp hai tương ứng với
mật độ xác suất fN (x) mới đóng vai trị quan trọng, nên Entropi của đại
lượng ngẫu nhiên có phân phối chuẩn n chiều có thể được biểu diễn bằng
cơng thức:
+∞

H[X] = −

+∞

...
−∞

f (x1 , . . . , xn ) log fN (x1 , . . . , xn )dx1 . . . dxn .
−∞

(1.43)
18


Trong đó f (x1 , . . . , xn ) là hàm mật độ xác suất tuỳ ý thỏa mãn điều kiện:
+∞

+∞

xi xj f (x1 , . . . , xn )dx1 . . . dxn = kij , (i, j = 1, n)

...
−∞

(1.44)

−∞

Cơng thức (1.43) có thể được viết một cách đơn giản dưới dạng (1.44).
Như vậy công thức (1.38) cho ta biểu thức tổng quát của Entropi của đại
lượng ngẫu nhiên có phân phối chuẩn một chiều hoặc nhiều chiều.
1.4.4. Tính cực đại của Entropi của các đại lượng ngẫu nhiên
có phân phối chuẩn và phân phối đều
Nếu quan sát công thức (1.36) và (1.37), chúng ta thấy rằng Entropi của
đại lượng ngẫu nhiên có phân phối chuẩn và phân phối đều được biểu diễn
qua các mật độ xác suất tùy ý bằng các công thức tương tự nhau. Do những
điều đã trình bày ta thấy rằng các đại lượng ngẫu nhiên có phân phối chuẩn
và phân phối đều có Entropi lớn nhất trong lớp các đại lượng ngẫu nhiên
có phân phối xác định. Tính chất cực đại đó của phân phối chuẩn và phân
phối đều là hệ quả của bất đẳng thức tổng quát
+∞

f (x) log
−∞

f (x)
dx ≥ 0
g(x)

(*)

đúng cho các mật độ xác suất bất kì ( một chiều cũng như nhiều chiều).
Thật vậy, giả sử Y là đại lượng ngẫu nhiên liên tục tùy ý mà tất cả các
giá trị có thể có của nó bao gồm trong miền v . Mật độ xác suất của nó f (y)

thỏa mãn điều kiện
f (x)dx = 1.
v

Vì vậy cơng thức (1.36) đúng với mật độ đó. Nếu đặt trong(*) g(x) = fv (x),
theo (1.10) và (1.36), ta nhận được
H[X] − H[Y ] ≥ 0.

(X là đại lượng ngẫu nhiên có phân phối đều trong miền v .)
19

(1.45)


Bất đẳng thức đó chứng tỏ rằng trong số tất cả các đại lượng ngẫu nhiên
mà tất cả các giá trị có thể có của nó được chứa trong miền v nào đó, đại
lượng ngẫu nhiên có phân phối đều trong miền v sẽ có Entropi lớn nhất. Tính
chất cực đại của Entropi của đại lượng ngẫu nhiên có phân phối đều tương
tự với tính chất đã được chứng minh trong phần đã trình bày về Entropi của
đại lượng ngẫu nhiên rời rạc. Như chúng ta đã biết trong mục này, trong số
tất cả các đại lượng ngẫu nhiên rời rạc có những giá trị có thể có, các đại
lượng ngẫu nhiên với các giá trị đồng xác suất thì có Entropi lớn nhất.
Tương tự như vậy, từ cơng thức (1.38) và bất đẳng thức (*) ta cũng rút
ra kết luận rằng trong số tất cả các đại lượng ngẫu nhiên liên tục có cùng
mơ men cấp hai (hoặc ma trận các mô men cấp hai trong trường hợp các
đại lượng ngẫu nhiên véc tơ), các đại lượng ngẫu nhiên có cùng phân phối
chuẩn có Entropi lớn nhất.
1.5. Lượng thơng tin
1.5.1. Định nghĩa
Thông tin về một đại lượng ngẫu nhiên X , nhận được do kết quả của việc

quan sát đại lượng ngẫu nhiên Y có liên quan, sẽ làm thay đổi độ bất định
của đại lượng ngẫu nhiên X , điều đó như ta đã biết trong phân trước chính
là sự thay thế Entropi khơng điều kiệnH(X) của X bằng Entropi trung bình
có điều kiện HY (X) của X đối với Y . Vì vậy ta sẽ gọi giá trị:
I[X; Y ] = H[X] − HY [X].

(1.46)

Là độ đo thông tin (lượng thông tin) về đại lượng ngẫu nhiên X chứa
trong đại lượng ngẫu nhiên Y .
1.5.2. Tính chất
1.5.2.1
I[X; Y ] ≥ 0.
20

(1.47)


Chứng minh.

Thật vậy, theo các công thức (1.12), (1.17) và (*) ta có:

I[X; Y ] = −E[log f (X)] + E[log f (X | Y )] = E[log
+∞

f (X, Y )
= E[log
]=
f (X)f (Y )

+∞

f (x, y) log
−∞

−∞

f (X | Y )
]
f (X)

f (x, y)
dxdy ≥ 0. (1.48)
f (x)f (y)

(ở đây f (x)f (y) đóng vai trị g(x, y).) Và ta cũng có:
I[X; Y ] = 0 ⇔ H[X] = HY [X] ⇔ X và Y độc lập với nhau.

1.5.2.2. Khác với công thức (1.10) chỉ xác định Entropi đối với các đại
lượng ngẫu nhiên liên tục, các công thức (1.46) và (1.48) xác định lượng
thông tin đối với các đại lượng ngẫu nhiên bất kỳ.
Ví dụ, đối với các đại lượng rời rạc X, Y thì cơng thức (1.48) có dạng:
n

I[X; Y ] =

X = xi
Y = yj

P

i,j

log

P (X = xi , Y = yj )
.
P (X = xi )P (Y = yj )

(1.49)

1.5.2.3
I[X; Y ] = I[Y ; X]

Chứng minh.

(1.50)

Thật vậy, theo cơng thức (1.46) ta có:
I[X; Y ] = H[X] − HY [X]
I[Y ; X] = H[Y ] − HX [Y ]

⇒ I[X; Y ] − I[Y ; X] = (H[X] − HY [X]) − (H[Y ] − HX [Y ])
= (H[X] + HX [Y ] − (H[Y ] + HY [X])
= H[X, Y ] − H[X, Y ] = 0.

1.5.2.4. Đối với hai đại lượng ngẫu nhiên X và Z , nếu tồn tại các hàm
đơn trị ϕ và ψ thỏa mãn :
Z = ϕ(X)
21

(1.51)


và X = ψ(Z)

(1.52)

Thì mọi đại lượng ngẫu nhiên Y ta có:
(1.53)

I[Z; Y ] = I[Y ; X].

Nhận xét. Tính chất trên được hiểu như sau "Việc quan sát các đại
lượng ngẫu nhiên có liên hệ với nhau bằng sự phụ thuộc hàm số đơn trị sẽ
cho ta cùng một lượng thông tin".
Chúng ta sẽ đánh giá sự thay đổi lượng thông tin gây ra do sự biến đổi
đại lượng ngẫu nhiên phải quan sát X mà qua phép biến đổi đó ta nhận
được đại lượng ngẫu nhiên Z . Theo các cơng thức (1.46) và (1.16) ta có:
I[Y ; X] − I[Y ; Z] = HY [Y ] − HX [Y ] = E[log

f2 (Y | X)
]
f4 (Y | Z)

(1.54)

Trong đó f4 (Y | Z) là mật độ xác suất có điều kiện của đại lượng Y đối
với Z . Theo công thức f (x, y, z) = f1 (x)f2 (y | x)f3 (z | x)(**), và các công
thức

+∞

f (x, y)dy

f1 (x) =

−∞
+∞

+∞

f (x1 , . . . , xn ) =

...
−∞

f (x1 , . . . , xn )dx1 , . . . , xn
−∞

f1 (x | y) =

f (x, y)
f2 (y)

Thì mật độ bằng:
f23 (y, z)
f4 (y | z) =
]=
f3 (z)

+∞
−∞ f1 (x)f2 (y | x)f3 (z | x)dx
+∞
−∞ f1 (x)f3 (z | x)dx

(1.55)

Từ các công thức (1.54) và (**) ta suy ra rằng:
+∞

+∞

+∞

I[Y ; X] − I[Y ; Z] =

f (x, y, z) log
−∞

−∞

−∞

22

f2 (y | x)
dxdydz
f4 (y | z)

+∞

+∞

+∞

f1 (x)f3 (y | z)dxdz =

=
−∞

−∞

f2 (y | x) log
−∞

f2 (y | x)
dy (1.56)
f4 (y | z)

Theo công thức (*), vế phải của công thức (1.56) không thể âm. Nên ta
suy ra:
I[Y ; Z] ≤ I[Y ; X]

(1.57)

Và điều đó chứng minh điều khẳng định đã nêu ra.
+) Nếu các đại lượng X và Y độc lập với nhau thì, như đã chứng tỏ bởi
cơng thức (1.55), chính các đại lượng ngẫu nhiên Y và Z là độc lập với nhau,
trong trường hợp đó: I[Y ; Z] = I[Y ; X] = 0.

+) Nếu các đại lượng X và Z liên hệ với nhau bởi hàm đơn trị 1-1(công
thức (1.51)) thì f3 (z | x) = δ(z − ϕ(x)).
Và theo cơng thức (1.55) nên ta có các mật độ xác suất f2 và f4 bằng
nhau với bất kỳ giá trị x và giá trị tương ứng với nó z = ϕ(x).
1.5.2.5
I[X; Y ] = H[X] + H[Y ] − H[X, Y ].

Chứng minh.

(1.58)

Ta có:
H[X, Y ] = H[Y ] + HY [X]
⇒ I[X; Y ] = H[X] − HY [X]
= H[X] − (H[X, Y ] − H[Y ])
= H[X] + H[Y ] − H[X, Y ].

Ví dụ. Trong trường hợp cụ thể, khi (X, Y ) có phân phối chuẩn hai chiều,
tức có hàm mật độ:
1

f (x, y) =
2πδx δy

1 − p2

2
23

x2

xy
y2
−
2p
+
)]
2
2
2
δ
δ
δ
δ
x
y
1−p
y
1

exp[−

(


Trong đó hàm mật độ của X và Y lần lượt là:
f1 (x) =

δx

1

√

1
x2
y2
exp(− 2 ) và f2 (y) = √ exp(− 2 )
2δx
2δy
2π
δy 2π

với p là hệ số tương quan của X và Y (| p |≤ 1).
(Chú ý rằng ở đây ta không xét trường hợp p = 1 và khi đó X và
Y phụ thuộc tuyến tính lẫn nhau. Và ta chỉ xét với các đại lượng ngẫu

nhiên X và Y cũng như (X, Y ) có kỳ vọng bằng 0 theo chú ý của khái
niệm Entropi của đại lượng ngẫu nhiên có phân phối chuẩn).
Khi đó theo công thức (1.16) và các công thức (1.37), (1.42) ta có:
+∞

+∞

HY [X] = −

f (x, y) log f (x | y)dxdy
−∞
+∞

−∞
+∞

= −

f (x, y) log
−∞
+∞

−∞
+∞

= −

f (x, y)
dxdy
f2 (y)

f (x, y) log f (x, y)dxdy
−∞
+∞

−∞
+∞

+

f (x, y) log f2 (y)dxdy
−∞

−∞
+∞

+∞

= −

f (x, y) log f (x, y)dxdy
−∞
+∞

−∞
+∞

f (x | y)

+
−∞

f2 (y) log f2 (y)dxdy
−∞
+∞

+∞

= H[(X, Y )] −

H[Y ]f (x | y)dxdy
−∞

= log(2eδx δy
= log(2eδx δy
= log(δx

−∞

1 − p2 ) − log(δy

√

+∞

+∞

f (x | y)dxdy

2eπ)

√
1 − p2 ) − log(δy 2eπ)

−∞

−∞

2eπ(1 − p2 )).

Suy ra:
√
I[X; Y ] = H[X] − HY [X] = log(δx 2eπ) − log(δx
24

2eπ(1 − p2 ))

I[X; Y ] = log

1

1
= − log(1 − p2 ).
2
1 − p2

(1.59)

Do vai trò đối xứng của đại lượng ngẫu nhiên X và Y ta cũng có:
1
I[Y ; X] = − log(1 − p2 ).
2

25

(1.60)