bài giảng lý thuyết thông tin chương 3 bùi văn thành lượng tin, nguồn rời rạc

LÝ THUYẾT THÔNG TIN
Bùi Văn Thành

Tháng 7 năm 2013
1
Trường Đại Học Công Nghệ Thông Tin
KHOA MẠNG & TRUYỀN THÔNG
Chương 3
L ng tin, ượ
Entropi ngu n r i r cồ ờ ạ
2
3.1 Mối liên hệ của lượng tin
và lý thuyết xác suất

Sự tiếp xúc của con người với ngoại vật, nhận thức được ngoại vật là thông qua thông tin tiếp thu được.
•
Một tin đối với người nhận có 2 phần, hay 2 nội dung:
1. Độ bất ngờ của tin: rất liên quan đến các vấn đề cơ bản của hệ thống truyền tin. Ví dụ: một tin càng bất
ngờ, sự xuất hiện của nó càng hiếm, thì rõ ràng thời gian nó chiếm trong một hệ thống truyền tin càng ít.
Như vậy, muốn cho việc truyền tin có hiệu suất cao thì không thể coi các tin như nhau nếu chúng xuất hiện
ít nhiều khác nhau.
2. Ý nghĩa (hàm ý) của tin: không ảnh hưởng đến các vấn đề cơ bản của hệ thống truyền tin như tốc độ hay
độ chính xác. Nó chính là ý nghĩa của những tin mà con người muốn trao đổi với nhau thông qua việc
truyền tin.
3
3.1 Mối liên hệ của lượng tin
và lý thuyết xác suất
Về mặt truyền tin ta chỉ quan tâm đến độ bất ngờ của tin hay xác suất xuất hiện các ký hiệu. Xét mối liên hệ giữa
khái niệm tin tức với lý thuyết xác suất:
o
Một nguồn tin rời rạc x

(k)
= (x
1
,…, x
n
) là một ký hiệu a
i
bất kỳ thuộc nguồn A được gửi đi ở thời điểm t
k
.
Tin x
(k)
có dạng: x
(k)
với xác suất xuất hiện p(x
(k)
).
o
Thực hiện phép biến đổi tổng quát trong một hệ thống truyền tin là phép biến đổi có cấu trúc thống kê của
nguồn, ie, biến đổi cấu trúc thống kê của tập tin ở đầu vào khâu hệ thống trở thành một tập tin mới với một cấu trúc
thống kê mong muốn ở đầu ra.
{A,p(a)} {B,p(b)} , ε quy luật biến đổi
o
{A,p(a)}: nguồn vào với bộ chữ A, có phân bố xác suất p(a)
o
{B,p(b)}: nguồn ra với bộ chữ B, có phân bố xác suất p(b)
4
ε

3.2 LƯỢNG TIN RIÊNG, LƯỢNG TIN TƯƠNG HỖ,

LƯỢNG TIN CÓ ĐiỀU KiỆN

Lượng tin riêng:

Ở đầu vào của kênh là các tin , các tin trong quá trình truyền lan trong kênh bị nhiễu phá hoại, làm cho sự
chuyển đổi từ nguồn X sang nguồn Y không phải là 1-1 . Một tin có thể chuyển thành một tin ở đầu ra của
kênh với những xác suất chuyển đổi khác nhau tùy thuộc theo tính chất nhiễu trong kênh.

Bài toán truyền tin trong trường hợp này đặt ra là: Cho biết cấu trúc thống kê của nguồn X, tính chất tạp nhiễu của
kênh biểu thị dưới dạng các xác suất chuyển đổi của tin, khi nhận được một tin , hãy xác định tin tương ứng của nguồn
X.

Lời giải tìm được sẽ có dạng: Với tin nhận được, tin nào của nguồn X có nhiều khả năng đã được phát đi nhất.
5
)(
1
log)(
i
i
xp
xI =
Xx
i
∈
Xx
i
∈
Yy
j
∈

Yy
j
∈
Yy
j
∈
Để giải quyết vấn đề, phải qua hai bước:
1. Tính các lượng tin về một tin bất kỳ chứa trong tin nhận được, lượng tin đó gọi là lượng tin tương hỗ
giữa x
i
và y
i
.
.
Muốn xác định lượng tin tương hỗ ta phải tìm lượng tin ban đầu có trong x
i
, sau khi thực hiện quá trình truyền tin
ta tìm lượng tin còn lại trong x
i
, hiệu hai lượng tin này cho ta thấy lượng tin đã truyền từ x
i
sang y
i
.
.
Lượng tin có điều kiện, trong quá trình truyền tin, là lượng tin đã bị tạp nhiễu phá hủy không đến đầu thu được:
.
Lượng tin tương hỗ:
=
2. Đem so sánh các lượng tin tương hỗ với nhau, và lượng tin nào cực đại sẽ cho biết tin x

i
có khả năng nhiều nhất
chuyển thành y
i
trong quá trình truyền tin.
6
Xx
i
∈
Yy
j
∈
)|(
1
log)|(
ji
ji
yxp
yxI =
)(
)|(
log)|()(),(
i
ji
jiiji
xp
yxp
yxIxIyxI =−=







∑
j
jijji
yxpypyxp )|()(/)|(log
TÍNH CHẤT CỦA LƯỢNG TIN
7

Tính chất 1: I(x
i
) ≥ 0

Tính chất 2: I(x
i
) ≥ I(x
i
,y
j
)

Tính chất 3: I(x
i
y
j
) = I(x
i
) + I(y

j
) - I(x
i
,y
j
)

Khi cặp x
i
, y
j
độc lập thống kê với nhau thì I(x
i
; y
i
) = 0
Lượng tin trung bình
8

Lượng tin trung bình: là lượng tin tức trung bình chứa trong một ký hiệu bất kỳ của nguồn đã cho:

Lượng tin tương hỗ trung bình:

Lượng tin riêng trung bình có điều kiện:

Quan hệ giữa các lượng tin trung bình:
)(
)/(
log),(),(
;

xp
yxp
yxpYXI
YyXx
∑
∈∈
=
∑
−
−==
XY
yxpyxpXIYXH )/(log),()()/(
)(log)()()()(
i
Aa
i
Aa
ii
apapaIapAI
ii
∑∑
∈∈
−==
)|()(),( YXIXIYXI −=
0),(),( ≥= XYIYXI
Ví dụ
Bài toán: Cho một nguồn tin U bao gồm 8 tin U = {u
0
, u
1

, u
2
, u
3
, u
4
, u
5
, u
6
, u
7
}, với các xác suất xuất hiện như sau:
Hãy cho biết lượng tin riêng của mỗi tin và lượng tin trung bình của nguồn này trong đơn vị bits.
Giải: Lượng tin riêng của mỗi tin là
p(u
0
) p(u
1
) p(u
2
) p(u
3
) p(u
4
) p(u
5
) p(u
6
) p(u

7
)
1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16
I(u
0
) I(u
1
) I(u
2
) I(u
3
) I(u
4
) I(u
5
) I(u
6
) I(u
7
)
2 2 3 3 4 4 4 4
Ví dụ (tt)

Lượng tin trung bình của nguồn là
I(U) = (1/4) × 2 + (1/4) × 2 + (1/8) × 3 + (1/8) × 3 + (1/16) × 4 + (1/16) × 4 + (1/16) × 4 +
(1/16) × 4 = 2,75 bits.

Điều này nói lên một ý nghĩa quan trọng rằng, chúng ta có thể biểu diễn mỗi tin trong nguồn U bằng một
chuỗi có chiều dài trung bình là 2,75 bits. Nó sẽ tốt hơn so với trong trường hợp chúng ta không chú ý
đến cấu trúc thống kê của nguồn. Lúc đó chúng ta sẽ biểu diễn mỗi tin trong 8 tin của nguồn bằng các

chuỗi có chiều dài là 3 bits.
Tốc độ lập tin
11

Tốc độ thiết lập tin của nguồn: Lượng thông tin nguồn lập được trong một đơn vị thời gian:
R= n
0
.H(X) (bps)
+ H(X): entropi của nguồn.
+ n
0
: số ký hiệu được lặp trong một đơn vị thời gian
Ví dụ: Cho nguồn tin với xác suất tương ứng là:
Nếu có một tin gồm các ký hiệu: . Để có H(x) cực đại phải có xác suất các ký hiệu bằng nhau bằng 1/8
{ }
4321
,,, xxxxX =
8/1)(;8/1)(;4/1)(;2/1)(
4321
==== xpxpxpxp
8/7)( =XH
31212411
xxxxxxxx
Ví dụ (tt):
Muốn vậy ta mã hoá nguồn X trên thành nguồn Ynhư sau:
Ta được dãy các ký hiệu của tin :
Nguồn này có :
Mã hoá nguồn này thành nguồn Z với các ký hiệu sau:
Ta được dãy các ký hiệu của tin :
Xác suất các ký hiệu của nguồn bằng nhau và bằng 1/4 nên:

Vậy bằng phép mã hoá nguồn X thành nguồn Z ta có thể nâng Entropi của nguồn X là H(x) = 7/8 thành Entropi H(z) = 2
mà vẫn đảm bảo lượng tin trong các bản tin được bảo toàn và có cùng giá trị là 14 (bit)
12
1114
0113
012
01
yyyx
yyyx
yyx
yx
=
=
=
=
01100100111100
yyyyyyyyyyyyyy
1)( =YH
114
013
102
001
yyz
yyz
yyz
yyz
=
=
=
=

3231441
zzzzzzz
24log)( ==ZH
Thông lượng kênh truyền
13

Thông lượng của kênh C là lượng thông tin tối đa kênh cho qua đi trong một đơn vị thời gian mà không gây sai nhầm
(C(bps)).
Thông thường R < C, để R tiến tới gần C ta dùng phép mã hoá thống kê tối ưu (sao cho R=C) để tăng Entrôpi.

Thông lượng kênh rời rạc không nhiễu:
C = R
max
= n
0
. H(X)
max
(bps)
R
max
tốc độ lập tin đầu vào, lượng tin này nhận được nguyên vẹn ở đầu ra
Nếu kênh có R < C thì ta có thể mã hoá để tăng R sao cho: C – R < ε, ε nhỏ tuỳ ý.
Độ dư của nguồn:
Độ dư tương đối của nguồn:
Dùng phương pháp mã hóa tối ưu để giảm độ dư của nguồn đến 0 hoặc sử dụng độ dư của nguồn để xây dựng mã hiệu chống
nhiễu.
maxmax
max
)(
)(

1
)(
)()(
XH
XH
XH
XHXH
r −=
−
=
)()(
max
XHXHR −=
Thông lượng kênh truyền (tt)

Thông lượng kênh rời rạc có nhiễu:
R = n
o
I(X;Y) = n
0
[H(X)-H(X/Y)] (bps)

Tốc độ lập tin cực đại trong kênh có nhiễu:
C = R
max
= n
0
[H(X)-H(X/Y)]
max
(bps)


Độ dư tương đối còn có thể được xác định theo công thức:

Hiệu quả sử dụng kênh:
14
C
R
r
c
−=1
cc
r−= 1
λ
3.4 Entropi của nguồn rời rạc

Khái niệm: Khi ta nhận được một tin ta sẽ nhận được một lượng tin trung bình, đồng thời độ bất ngờ
về tin đó cũng đã được giải thoát, cho nên độ bất ngờ và lượng tin về ý nghĩa vật lý trái ngược nhau,
nhưng về số đo thì giống nhau và được xác định theo công thức sau:

Độ bất ngờ trung bình của một tin thuộc nguồn (entropi của nguồn) được xác định theo công thức
sau:
15
)(
1
log)(
xp
xH =
∑
∈
−=

Xx
xpxpXH )(log)()(
Entropi coù ñieàu kieän

Khi cần đánh giá sự ràng buộc thống kê giữa các cặp (x,y) ta dùng khái niệm entropi có điều kiện
hoặc Đó là độ bất định trung bình của một ký hiệu bất kỳ khi đã biết bất kỳ một ký
hiệu .

So sánh với các biểu thức định nghĩa cho các entropi, ta có quan hệ sau:
16
)|( YXH
)|( XYH
Xx ∈
Yy ∈
∑
∑
∈∈
∈∈
−=
−=
YyXx
YyXx
xypyxpXYH
yxpyxpYXH
;
;
)|(log).()|(
)|(log).()|(
)|()(),(
)|()(),(

YXHYHYXH
XYHXHYXH
+=
+=
Tính chất của entropi
1. Entropi là một đại lượng không âm: H(X)
≥
0
2. H(X) = 0 khi nguồn có một ký hiệu bất kỳ có xác suất xuất hiện bằng 1 và xác suất xuất hiện tất cả
các ký hiệu còn lại bằng không.

Nghĩa là nguồn có một tin luôn được xác định, như vậy giá trị thông tin của nguồn bằng
không.
3. Entropi cực đại khi xác suất xuất hiện của các ký hiệu bằng nhau
Chứng minh: Các giá trị làm cực đại hàm
Với điều kiện cũng chính là các giá trị làm cực đại hàm
- Các giá trị bằng nhau với tất cả các tin của nguồn, và khi đó giá trị cực đại của H(x) sẽ là nếu lấy đơn vị là bít và
nguồn có m tin.
- Nếu nguồn có m ký hiệu đẳng xác suất thì xác suất xuất hiện một ký hiệu là 1/m khi đó:

17
∑
∈
−=
Xx
xpxpXH )(log)()(
1)( =
∑
∈Xx
xp

)(xp
)(xp
m
2
log
mXH log)( =
3.5 Mối quan hệ giữa
lượng tin tương hỗ trung bình và Entropi
Vậy:
Suy ra:
Nếu X,Y độc lập thống kê :
Và ta cũng chứng minh được:
18
∑∑
∈∈∈∈
−==
YyXxYyXx
xpyxpyxp
xp
yxp
yxpYXI
;;
))(log)|()(log,(
)(
)|(
log),(),(
∑∑
∈∈∈∈
−=
YyXxYyXx

xpyxpyxpyxp
,,
)(log),()|(log),(
)|()( YXHXH −=
)|()(),( YXHXHYXI −=
)|()(),( XYHYHYXI −=
),()()(),( YXHYHXHYXI −+=
0),( =YXI
)|()( YXHXH ≥
)|()( XYHYH ≥
Ví dụ:

Cho sơ đồ truyền tin:
Biết :

+ Tính Entropi đầu vào của kênh:

+ Tính Entropi đầu ra:
19
)|(
00
xyp
)|(
01
xyp
)|(
10
xyp
)|(
11

xyp
0
x
0
y
1
x
1
y
4
3
)(;
4
1
)(
10
== xpxp
3/1)|()|(;3/2)|()|(
10011100
==== xypxypxypxyp
81,0))(log)()(log)(()(
1100
=+−= xpxpxpxpXH
417,0)|()()|()()(
1010000
=+= xypxpxypxpyp
583,0)|()()|()()(
1110101
=+= xypxpxypxpyp
98,0))(log)()(log)(()(

1100
=+−= ypypypypYH
Tính H(X,Y):
Áp dụng công thức:

+ Tính:
20
∑
∈∈
−=
YyXx
xypxypYXH
;
)(log)(),(
17,0)|()()(
00000
== xypxpyxp
08,0)|()()(
01010
== xypxpyxp
25,0)|()()(
10101
== xypxpyxp
5,0)|()()(
11111
== xypxpyxp
73,1),( =YXH
)|( YXH
75,098,073,1)(),()|( =−=−= YHYXHYXH