Bài giảng lý thuyết thông tin và mã hóa

TÓM TẮT BÀI GIẢNG
LÝ THUYẾT THÔNG TIN

CHƯƠNG 1:

TIN TỨC

1-1 HỆ THỐNG TRUYỀN TIN (HT3)
Nguồn
tin

Si(t)

Kênh tin

S0(t)

Nhận tin

Nhiễu


Nguồn tin:

+ Là tập hợp các tin HT3 dùng để lập các bản tin khác
nhau trong sự truyền.
+ Nguồn tin được mô hình hoá toán học bằng bốn quá
trình sau:
- Quá trình ngẫu nhiên liên tục.
Quá trình ngẫu nhiên rời rạc.
- Dãy ngẫu nhiên liên tục.

- Dãy ngẫu nhiên rời rạc.


Kênh tin: là nơi diễn ra sự truyền lan của tín hiệu
mang tin và chòu tác động của nhiễu.
S0(t) = Nm (t). Si(t) + Na(t)

+ Si(t): Tín hiệu vào & S0(t): tín hiệu ra của kênh tin
+ Nm (t), Na(t) : đặc trưng cho nhiễu nhân, nhiễu cộng.
Lý thuyết thông tin

trang: 1




Nhận tin: là đầu cuối của HT3 làm nhiệm vụ khôi
phục tin tức ban đầu.
Nguồn tin (1)

Nhận tin (1’)

Mã hóa nguồn (2)

Giải mã nguồn (2’)

Mã hóa kênh (3)

Giải mã kênh (3’)

Bộ điều chế (4)

Giải điều chế (4’)

Phát cao tần (5)

Kênh tin

Thu cao tần (5’)

Hệ thống truyền tin số (rời rạc)


Hai vấn đề cơ bản của hệ thống truyền tin:

+ Vấn đề hiệu suất, nói cách khác là tốc độ truyền tin
của hệ thống.
+ Vấn đề độ chính xác, nói cách khác là khả năng
chống nhiễu của hệ thống.
1-2 SỐ ĐO THÔNG TIN
a. Lượng đo tin tức: Nguồn A có m tín hiệu đẳng xác
xuất, một tin do nguồn A hình thành là một dãy n
ký hiệu ai bất kỳ (ai  A).
Lý thuyết thông tin

trang: 2


–

Lượng tin chứa trong một ai bất kỳ:
I(ai)=logm

-

(1)

Lượng tin chứa trong một dãy x gồm n ký hiệu:
I(x) = n.log m

(2)

Đơn vò lượng đo thông tin thường được chọn là
cơ số 2.
-

Khi m ký hiệu của nguồn tin có xác xuất khác
nhau và không độc lập thống kê với nhau thì
I(xi) = log (1/p(ai))



(3)

Lượng tin riêng:
I(xi) = -log p(xi)

(4)

Là lượng tin ban đầu được xác đònh bằng xác

xuất tiên nghiệm.


Lượng tin còn lại của xi sau khi đã nhận được yj
được xác đònh bằng xác xuất hậu nghiệm.
x
I ( xi / yi )   log p( i )
(5)
yj



Lượng tin tương hỗ:

p(
I ( xi ; yi )  I ( xi )  I ( xi / yi )  log


xi
)
yj

p( xi )

(6)

Đặc tính của lượng tin:
+ I(xi)  I(xi ; yi)

(7)

+ I(xi)  0

(8)

Lý thuyết thông tin

trang: 3


+ I(xi.yi) = I(xi) + I(yi) - I(xi; yi)

(9)

Khi cặp xi, yj độc lập thống kê với nhau thì I(xi; yi)
=0


Ta có: I(xi. yi) = I(xi) + I(yi)
(10)
Lượng tin trung bình: là lượng tin tức trung bình
chứa trong m ký hiệu bất kỳ của nguồn đã cho.

I ( x)   p( x) log p( x)

(11)

X



Lượng tin tương hỗ trung bình:
I ( X , Y )   p( x, y) log
XY



p( x / y )
p ( x)

(12)

Lượng tin riêng trung bình có điều kiện:

I (Y / X )   p( x, y) log( y / x)

(13)

XY

b. Entrôpi nguồn rời rạc: là một thông số thống kê cơ
bản của nguồn. Về ý nghóa vật lý độ bất ngờ và
lượng thông tin trái ngược nhau, nhưng về số đo
chúng bằng nhau:

H ( X )  I ( X )   p( x) log p( x)

(1)

Entropi: độ bất ngờ



Đặc tính của Entrôpi H(X):
+ H(X)  0
+ H(X) = 0 khi nguồn tin chỉ có một ký hiệu
+ H(X)max khi xác suất xuất hiện các ký hiệu của
nguồn bằng nhau.

Lý thuyết thông tin

trang: 4


(2 tập tin: xo, yo với po, p1. P1 =1-po
H(x) = -po.logpo –p1.logp1=-po.logpo – (1-po)log(1po)


Entrôpi đồng thời: là độ bất đònh trung bình của một
cặp (x,y) bất kỳ trong tích XY.

H ( XY )    p( x, y) log p( x, y)

(2)

 XY



Entrôpi có điều kiện:

H ( X / Y )    p( x, y) log p( x / y)

(3)

 XY

1-3 THÔNG LƯNG CỦA KÊNH THÔNG TIN:


Tốc độ thiết lập tin của nguồn:
R= n0.H(X) (bps)

(1)

+ H(X); entrôpi của nguồn.
+ n0 : số ký hiệu được lập trong một đơn vò thời gian


Thông lượng của kênh C là lượng thông tin tối đa
kênh cho đi qua trong một đơn vò thời gian mà
không gây sai nhầm. C(bps)



Thông thường R < C, để R tiến tới gần C ta dùng
phép mã hoá thống kê tối ưu để tăng Entrôpi.

a. Thông lượng kênh rời rạc không nhiễu:
C = Rmax = n0. H(X)max

(bps)

(2)

Độ dư của nguồn:

Lý thuyết thông tin

trang: 5


r 1

H(X )
H ( X ) max

(3)

Dùng phương pháp mã hóa tối ưu để giảm độ dư của
nguồn đến không hoặc sử dụng độ dư của nguồn để xây
dựng mã hiệu chống nhiễu.
b. Thông lượng kênh rời rạc có nhiễu:
R = noI(X;Y) = n0[H(X)-H(X/Y)] (bps)

(4)

no = 1/T = delta(f)


Tốc độ lập tin cực đại trong kênh có nhiễu:

C = Rmax = n0[H(X)-H(X/Y)]max

Lý thuyết thông tin

(bps) (5)

trang: 6


CHƯƠNG 2:

MÃ HÓA NGUỒN TIN

2-1. MÃ HIỆU
2-1-1 Mã hiệu và các thông số cơ bản của mã hiệu:


Cơ số của mã (m) là số các ký hiệu khác nhau trong
bảng chữ của mã. Đối với mã nhò phân m= 2.



Độ dài của mã n là số ký hiệu trong một từ mã. Nếu
độ dài các từ mã như nhau ta gọi là mã đều, ngược
lại là mã không đều.
VD:

a

b

c

d

1)

00

01

10

11

-> n=2

2)

0

1

10

111

-> 0 đều,

n

=7/4 < 2 (p ¼ ¼ ¼ ¼ )


Độ dài trung bình của bộ mã:
n   p( xi )ni

(1)

i 1

+ p(xi): xác suất xuất hiện tin xi của nguồn X được
mã hóa.
+ ni : độ dài từ mã tương ứng với tin xi.
+ N: Tổng số từ mã tương ứng với tổng số các tin của
xi


Tính chất mã: Tổng hợp các tổ hợp mã có thể có
được: N0=2n., nếu:
+ N+ N=N0 ta gọi là mã đầy

Lý thuyết thông tin

trang: 7


2-1-2 Điều kiện thiết lập mã hiệu:


Điều kiện chung cho các loại mã là quy luật đảm
bảo sự phân tích các tổ hợp mã.

VD:
1) Phát n=2 (mã đều): phát chuỗi VD1:
Thu: 1000111001100111
c a d c b c b d (giải mã theo từng 2 bit)
2) Thu:

1000111001100111

(a, b): baaabbbaabbaabbb
(a,b,c): c aabbc ab c abbb
(a,b,c,d): c aa d aabc a d
hiện trước)


(ưu tiên ký tự ít xuất

Điều kiện riêng cho các loại mã:

+ Đối với mã thống kê tối ưu: độ dài trung bình tối
thiểu của mã.
+ Đối với mã sửa sai: khả năng phát hiện và sửa sai
cao.
2-1-3. PHƯƠNG PHÁP BIỂU DIỄN MÃ.
a- Các bảng mã:
Tin
a1

Từ mã
00
Mã không đều, vơi

a2
01

a3
100

a4
1010

a5
1011

Mặt toạ độ mã:
Lý thuyết thông tin

trang: 8


n

bi    K 2 K 1

(1)

K 1

K =0 hay 1 (mã nhò phân);
K: số thứ tự của ký hiệu trong từ mã
a1->b1=0.20+0.21=0 -> (n1,b1)=(0,0)
c. Đồ hình mã:
Cây mã
Nút 0 (mức 0): nút gốc
0

0v 1

0

1

1

2

0

1

4

0

0

0V1

1

3
1

a1(00) a2(01)
0

3

1

2

a3(100)

0

a4(1010) a5(1011)

0

1

Đồ hình kết cấu

Chỉ nút gốc với từ mã được bôi đen
Đồ hình kết cấu: chập các mã với nút gốc (mũi tên theo
chiều kim đồng hồ)
a- Hàm cấu trúc của mã:

2
Khi ni = 2
G(ni) =
1
Khi ni= 3
2
Khi ni = 4
0
Khi ni = 1
0
Khi ni = 5
2-1-4 Điều kiện để mã phân tách được :
Lý thuyết thông tin

trang: 9




Mã có tính Prêphic (prefix)

VD: 1011 -> prefix = 101 or 10 or 1
-

Bất kỳ dãy các từ mã nào của bộ mã cũng không
được trùng với một dãy từ mã khác của cùng bộ mã.

-

Mã có tính prêphic nếu bất kỳ tổ hợp mã nào cũng

không phải là prêphic của một tổ hợp nào khác
cùng bộ mã. Điều kiện để mã có tính prêphic:
n

2

j

G( j )  1

j 1



Mã hệ thống có tính phêphic được xây dựng từ một
mã prêphic nào đó bằng cách lấy một số tổ hợp của
mã prêphic gốc làm tổ hợp sơ đẳng và các tổ hợp
còn lại làm tổ hợp cuối. Ghép các tổ hợp sơ đẳng
với nhau và nối một trong các tổ hợp cuối vào
thành tổ hợp mã mới gọi là mã hệ thống có tính
prêphic.



Ví dụ: Lấy bộ mã prêphic 1,00,010,011
- Các tổ hợp sơ đẳng: 1,00,010
- Một tổ hợp cuối: 011



Gọi :
- n1, n2,…, ni là độ dài các tổ hợp sơ đẳng
- 1, 2,…, k là độ dài các tổ hợp cuối
- Số có thể có được các dãy ghép bằng các tổ hợp
sơ đẳng có độ dài nj bằng :
g(nj) = g(nj-n1) + g(nj-n2) + …+ g(nj-ni)

Lý thuyết thông tin

(1)
trang: 10


Trong đó: nj  1; g(0) = g(nj=0) = 1 ; g(nj < 0) = 0


Nếu chỉ dùng một tổ hợp cuối , hàm cấu trúc mã
sẽ là:
G(nj) = g(nj- )

(2)

+ Từ (1) và (2) ta có công thức truy chứng tính G(nj)
G(nj) = G(nj-n1) + G(nj-n2) + …+ G(nj-ni)

(3)

Trong đó: nj  +1; G(nj = ) = 1; G(nj < ) = 0
+ Từ (1) ta có: n1=1, n2=2, n3=3 và  =3
 g(nj) = g(nj-1) + g(nj-2) + g(nj-3)

g(nj=1) = g(0) + g(-1) + g(-2) = 1  có 1 dãy 1
g(nj=2) = g(1) + g(0) + g(-1) = 2  có 2 dãy: 00 và 11
g(nj=3) = g(2) + g(1) + g(0) = 4  có 4 dãy: 111, 100,
001, 010
3 tổ hợp sơ đẳng -> 3 giá trò g
+ Từ (3) ta có:
G(nj) = G(nj-1) + G(nj-2) +G(nj-3)
Trong đó: nj=  +1=4 ; G(nj=3) = 1 ; G(nj<3) = 0
G(4) = G(3) + G(2) + G(1) = 1  có 1dãy 1011
G(5) = G(4) + G(3) + G(2) = 2  có 2 dãy: 11011 và
00011
G(6) = G(5) + G(4) + G(3) = 4  có 4 dãy: 111011,
100011, 001011, 010011
G(7) = G(6) + G(5) + G(4) = 7
+ Ta có thể tìm G(nj) từ công thức (2) :
G(nj) = g(nj-3)
Lý thuyết thông tin

trang: 11


G(4) = g(4-3) = g(1) = 1
G(5) = g(5-3) = g(2) = 2
G(6) = g(6-3) = g(3) = 4


Nếu dùng nhiều tổ hợp cuối để ghép 1, 2, …I,
cách ghép các dãy tổ hợp sơ đẳng với một trong các
tổ hợp cuối có nhiều cách.
G(nj) = g(nj - 1) + g(nj - 2) + ….+ g(nj - k) (4)

- Ví dụ: Với bộ mã ở trên ta lấy
+ Hai tổ hợp sơ đẳng : 1, 00  n1= 1, n2= 2
+ Hai tổ hợp cuối: 010, 011  1 = 2 = 3
+ Từ (1) ta tính được số có thể có được các dãy ghép
bằng các tổ hợp sơ đẳng có độ dài nj bằng:
g(nj) = g(nj –1) + g(nj-2)
Trong đó nj 1, g(0) = 1, g (<0) = 0
g(1) = g(0) + g(-1) = 1  1dãy :1
g(2) = g(1) + g(0) = 2  2 dãy :11 và 00
g(3) = g(2) + g(1) = 3  3 dãy :111, 100, 001
g(4) = g(3) + g(2) = 5  5dãy :1111, 0000, 1100,
0011, 1001
+ Từ (2) ta có:
G(nj) = 2g(nj-3) trong đó nj 4;
G(3) =1; G(<3) =0
G(4) = 2g(1) = 2x1 = 2  1010 và 1011
G(5) = 2g(2) = 2x2 = 4  11010, 00010, 11011, và
00011
Lý thuyết thông tin

trang: 12


G(6) = 2g(3) = 2x3 = 6  111010, 100010, 001010,
111011, 100011, và 001011
G(7) = 2g(4) = 2x5 = 10
2-2. CÁC LOẠI MÃ THỐNG KÊ TỐI ƯU (TKTƯ)
2-2-1. Một số đònh lý cơ bản của mã TKTƯ


Đònh lý giới hạn về độ dài trung bình của từ mã: n
H(U)  n  H(U) +1

(1)

 mã thống kê có hai đặc điểm sau:
-

Các ký hiệu khác nhau của bộ chữ phải đồng xác
suất.

-

Xác suất xuất hiện các ký hiệu trong từ mã không
phụ thuộc sự có mặt của các ký hiệu ra trước.

-

n càng nhỏ càng tốt



Tiêu chuẩn mã kinh tế tối ưu:
H (U )
(2) H(U): Entrôpi của nguồn
 
n

n : độ dài trung bình của từ mã.

  càng tiến tới 1 tính kinh tế của mã càng cao.


Mã thống kê có tính prephic.



2 ni  p(ui )

(3) &

N

2

 ni

1

(4)

i 1

2-2-2 Mã Thống kê tối ưu Sannon:
Các bước thực hiện mã thống kê tối ưu Sannon:
Bước 1: Liệt kê các tin của nguồn Ui và các xác suất
pi tương ứng theo xác suất giảm dần.
Lý thuyết thông tin

trang: 13

Bước 2: Ứng với mỗi hàng ui, pi ghi một số Pi theo
biểu thức:
Pi = p1 + p2 +….+ pi-1
Bước 3: Đổi các số thập phân Pi thành các số nhò
phân
Bước 4: Tính độ dài từ mã:
2 ni  p(ui )  21 ni

(2)

Bước 5: Từ mã (ni, bi) sẽ là ni ký hiệu nhò phân (kể từ
số lẻ trở đi) của số nhò phân Pi
Ví dụ: lập mã cho nguồn U có sơ đồ thống kê:
Ui
pi

U1
0,34

U2
0,23

Ui

pi

Pi

U1
U2
U3
U4
U5
U6
U7

0,34
0,23
0,19
0,1
0,07
0,06
0,01

0
0,34
0,57
0,76
0,86
0,93
0,99

U3
0,19

U4
0,1

U5
0,07

Số nhò phân
Pi
0,0000
0,0101
0,1001
0,1100
0,11011
0,11101
0,1111110

ni

U6
U7
0,06 0,01
Tứ mã

2
3
3
4
4
5
7

00
010

100
1100
1101
11101
1111110

+ Pi được tính theo bước 2: i = 1 P1 = p0 = 0
i = 2 P2 = p1 = 0,34
i =3 P3 = p1 + p2 = 0,57
+ Đổi Pi sang số nhò phân:

Lý thuyết thông tin

trang: 14


Pi = 0,34
x2
0,68  0
x2
1,36  1
-1
0,36
x2
0,72  0
x2
1,44  1
Khi đó Pi = 0,34
 0,0101

Pi = 0,86
x2
1,72  1
-1
0,72
x2
1,44  1
-1
0,44
x2
0,88  0
x2
1,76  1
-1
0,76
x2
1,52  1
Khi đó Pi = 0,86 
0,11011

+ Tính ni theo (2)
ni = 1  2-1 = 0,5 > pi=0,34  bò loại
ni = 2  2-2 = 0,25 < pi=0,34 < 31-2 =0,5  thỏa mãn
 vậy ta lấy ni = 2 suy ra từ mã: 00
ni = 3  2-3 = 0,125 < pi=0,23 <0,25  lấy ni =3 
010
 Tính kinh tế của mã:

Lý thuyết thông tin

trang: 15


7

H(U)=   pi log 2 pi
i 1

 0,34 log 2 0,34  ...  0,01log 2 0,01  2,37
n =

7

 p n  0,34 x2  0,23x3  ...  0,01x7  2,99
i 1

 p=

i

i

H (U ) 2,37

 0,81
2,99
n

2-2-3 Mã thống kê tối ưu Fano:
Các bước thực hiện mã hoá mã thống kê tối ưu Fano:

Bước 1: Liệt kê các tin ui trong một cột theo thứ tự pi
giảm dần.
Bước 2: Chia làm 2 nhóm có tổng xác suất gần bằng
nhau nhất. Ký hiệu mã dùng cho nhóm đầu là 0, thì
nhóm thứ 2 là 1.
Bước 3: Mỗi nhóm lại chia thành hai nhóm nhỏ có xác
suất gần bằng nhau nhất (ký hiệu 0 và 1). Quá trình cứ
tiếp tục cho đến khi chỉ còn một ký hiệu thì kết thúc.
Ui
U1
U2
U3
U4
U5
U6
U7

pi
0,34
0,23
0,19
0,1
0,07
0,06
0,01


1
0
0

1
1
1
1
1

2
0
1
0
1
1
1
1

3

4

5

0
1
1
1

0
1
1

0
1

Từ mã
00
01
10
110
1110
11110
11111

Thực hiện bước 2:

Lý thuyết thông tin

trang: 16


-

-


-

-

n=

Cách 1:
p1+ p2 = 0,34 + 0,23 = 0,57
p3+ p4 + p5 + p6 + p7 = 0,43
Độ chênh lệch :
0,14
Cách 2:
p1+ p2 + p3
= 0,76
p4 + p5 + p6 + p7 = 0,24
Độ chênh lệch : 0,52
Vậy cách chia thứ nhất có xác suất gần bằng nhau
hơn cách chia thứ hai, nên ta chọn cách chia thứ
nhất. Quá trình cứ thế tiếp diễn.
Thực hiện bước 3:
Cách 1:
p3 = 0,19
p4 + p5 + p6 + p7 = 0,24
Độ chênh lệch : -0,05
Cách 2:
p3 + p4
= 0,29
p5 + p6 + p7 = -0,14
Độ chênh lệch : 0,15
Vậy ta chọn cách thứ nhất.
7

p

i

n i  0,34 x 2  0,23x2  0,19 x2  0,1x3

i 1

 0,07 x4  0,06 x5  0,01x5  2,41
H (U ) 2,37
p=

 0,98
2,41
n
 có thể vẽ cây mã cho TKTƯ Fano.


Nhận xét về mã thống kê tối ưu Fano:

Lý thuyết thông tin

trang: 17


Ưu: Với cách chia nhóm đồng xác suất, sự lập mã TK
tối ưu đồng thời cũng là mã prêphic.
Khuyết: Không cho phép lập mã duy nhất, nghóa là có
nhiều mã tương đương về tính kinh tế.
Ví dụ: đối với nguồn tin dưới đây ít nhất có hai cách
chia có tính kinh tế như sau:
Ui

pi

U1
U2
U3
U4
U5
U6
U7

0,19
0,19
0,19
0,19
0,08
0,08
0,08


Cách
chia 1
00
010
011
10
110
1110
1111

Từ mã
00

010
011
10
110
1110
1111

Cách
chia 2
000
001
01
10
1100
1101
111

Từ mã
000
001
01
10
1100
1101
111

7

n1   pi ni  (0,19x2) + (0,19x3) + (0,19x3) + (0,19x2)
i 1

+ (0,08x3) + (0,08x4) +(0,08x4)=2,46


7

n2   pi ni  (0,19x3) + (0,19x3) + (0,19x2) + (0,19x2)
i 1

+ (0,08x4) + (0,08x4) +(0,08x3)=2,46
Cùng một bộ mã nên H(u1) = H(u2) suy ra 1 =2.


Để khắc phục nhược điểm của mã thống kê tối ưu
Fano ta nghiên cứu mã thống kê tối ưu Huffman.

Lý thuyết thông tin

trang: 18


1

0

0

0

1

0

u1

1

u3

u4

u2

0

u7

u6

0

1
u2

u3

1

0

1

0

u1

1

0

u5

0

Cách chia 2

1

0

1

u4

u1

1

0
0

0

1
u2

u5

0

0

1

u4
1
u3

1
1

0

u5

1
0

1
u6

u6

u7

u7

Cách chia 1
2-2-4 Mã TK tối ưu Huffman:
Theo Hốpman để có một bộ mã Pre6phic có độ dài từ
mã tối thiểu, điều kiện cần và đủ là thỏa mãn 3 tính chất
sau:
1- Tính thứ tự độ dài các từ mã: pi  pj với i nj.
2- Tính những từ cuối: có độ dài bằng nhau, chỉ khác
nhau về trọng số của ký hiệu cuối cùng.
3- Tính liên hệ giữa những từ cuối và từ trước cuối.


Các bước thực hiện mã hóa TK tối ưu Hốpman.

Lý thuyết thông tin

trang: 19


Bước 1: Các nguồn tin được liệt kê trong cột theo thứ tự
xác suất xuất hiện giảm dần.
Bước 2: Hai tin cuối có xác suất bé nhất được hợp
thành tin phụ mới có xác suất bằng tổng xác suất các

tin hợp thành.
Bước 3: Các tin còn lại (N-2) với tin phụ mới được liệt
kê trong cột phụ thứ nhất theo thứ tự xác suất giảm
dần.
Bước 4: Quá trình cứ thế tiếp tục cho đến khi hợp thành
một tin phụ có xác suất xuất hiện bằng 1.
ui

pi

Từ
mã
0

1

1

U1

0,34

0

0,58

00

1

U2
U3

0,23

0

0,19

1

U4
U5

0,10

U6
U7

0,06

0

0,01

1

0,42

10

11
0
1

0,07

0

0.14

0,24
011
0100

1



0,07

01010
01011

Từ mã được đọc ngược từ đầu ra về đầu vào. Cũng
có thể dùng cây mã để xác đònh mã Hốp nam:

Lý thuyết thông tin

trang: 20

gèc
1

0

0,42
1

0

0

0,42
0

u1(0,34)

1 u2(0,23)

0,14
1

0

1

u3(0,19)

u4(0,1)

0,07

0

u5(0,07)
u6(0,06)

1

u7(0,01)

 Tính kinh tế:  = 0,98
Mặc dù tối ưu hơn so với mã Sannon và Fano, nhưng
khi bộ mã nguồn có nhiều tin thì bộ mã trở nên cồng kềnh.
Khi đó người ta kết hợp 2 phương pháp mã hóa: Mã Hốp
man + mã đều.
Pi
Mã Hốp man
Mã
Từ mã
ui
đều

u1
u2
u3
u4
u5
u6
u7

u8
u9
u10
u11
u12
u13
u14

0,5

0

0
10

0,25

0

0,5*1

0,0315

1

1

00

11000

0,0315

0,125

01

11001

0,031

0

10

11010

11

11011

000

111000

0,0157

001

111001

0,0157

010

111010

0,031
0,0157

0,25

0,0157

0,125

011

111011

0,0156

1

100

111100

0,0156

101

111101

0,0155

110

111110

0,0155

111

111111

Lý thuyết thông tin

trang: 21


4

H(u) =   pi log 2 pi 
i 1

-[0,5log20,5 + 0,25log20,25 + 0,125log20,125] =


4

n   pi ni  (0,5x1) +(0,25x2) + ((0,125x5) +0,125x6
i 1

= 0,5 +0,5+0,625+0.75=2,375



H (u )


n

Lyù thuyeát thoâng tin



2,375

trang: 22


CHƯƠNG 3: MÃ HÓA KÊNH TRUYỀN
(Mã phát hiện và sửa sai)
3-1 KHÁI NIỆM VỀ MÃ PHÁT HIỆN VÀ SỬA SAI:


Dạng sai lầm của mã hiệu được truyền tuỳ thuộc
tính chất thống kê của kênh:

-

sai độc lập dẫn đến sai ngẫu nhiên: 1 hoặc 2 sai.

-

Sai tương quan dẫn đến sai chùm (sai cụm)

 Người ta thống kê: sai ngẫu nhiên xẩy ra 80%, sai
chùm xảy ra 20%.


Xác suất xuất hiện một từ mã n ký hiệu có t sai bất
kỳ:
p(n,t) = Cntpst(1-ps)n-t

(1)

3-1-1 Cơ chế phát hiện sai của mã hiệu


Số từ mã có thể có: N0 = 2n



Số từ mã mang tin: N = 2k.



Số từ mã không dùng đến: 2n –2k (số tổ hợp cấm)



Để mạch có thể phát hiện hết i lỗi thì phải thỏa
mãn điều kiện:

2n
2 
1 E


(2)

k

Trong đó E



= E1 + E2+ . . . + Ei

(3)

E1, E2, . . Ei là tập hợp các vector sai 1,2 . . .i lỗi.


Để phát hiện và sửa hết sai 1 lỗi ta có:

Lý thuyết thông tin

trang: 23


2k 

2n
n 1

(4)

3-1-2 Khả năng phát hiện và sửa sai:


Trọng số Hamming của vector t: ký hiệu, w(t) được
xác đònh theo số các thành phần khác không của
vector.
Ví dụ: t1 = 1 0 0 1 0 1 1  w(t1) = 4



Khoảng cách Hamming giữa 2 vector t1, t2: ký hiệu,
d(t1, t2) được đònh nghóa là số các thành phần khác
nhau giữa chúng.
Ví dụ: t2 = 0 1 0 0 0 1 1  d(t1, t2) = 3 chúng khác
nhau ở vò trí 0, 1 và 3



Khoảng cách Hamming giữa 2 vector mã t1, t2 bằng
trọng số của vector tổng t1  t2:

d(t1, t2)=w(t1  t2) .
t1 = 1 0 0 1 0 1 1
 t2 = 0 1 0 0 0 1 1
t1 t2 = 1 1 0 1 0 0 0  w(t1 t2) = 3 = d(t1, t2)

Điều kiện để một mã tuyến tính có thể phát hiện
được t sai:
d  t+1
(5)
ví dụ: t = 1  d  2; t = 2  d  3
t=5d6





Điều kiện để một mã tuyến tính có thể phát hiện và
sửa được t sai: d  2t + 1
(6)
t = 1  d  3; t = 2  d  5; t = 5  d  11

3-1-3 Hệ số sai không phát hiện được:
Lý thuyết thông tin

trang: 24


Ví dụ: đối với bộ mã (5,2) có trọng số Hamming w =2
ta xác đònh được hệ số sai không phát hiện được:
p’ = C21pqC31 pq2 + C22p2C32p2q

(7)

nếu p = 10-3  p’  6p2 = 6.10-6 nghóa là có 106 bit
truyền đi, 103 bit bò sai thì có 6 bit sai không phát hiện
được.
3-1-4 Phương trình đường truyền –Vector sai – cơ chế sửa
lỗi:
-

Gọi từ mã phát đi là T.

-

Gọi từ mã nhận được là R

-

Gọi từ mã sai do đường truyền gây ra là E.

 phương trình đường truyền: R = T E
T=RE
(8)
E=TR
Đối với mã nhò phân 3 phương trình trên tương đương
nhau.


Vector sai: E = (e0, e1, …, en)

(9)

Ví dụ: E = (1 0 0 1 0 1 0)  sai ở vò trí 0, 3, 5
Trong các hệ thống truyền số liệu có 2 cơ chế sửa lỗi:
Cơ chế ARQ: cơ chế yêu cầu phát lại số liệu một cách tự
động (khi phát hiện sai).cơ chế này có 3 dạng cơ bản:
-

Cơ chế ARQ dừng & chờ (stop and wait ARQ)

-

Cơ chế ARQ quay ngược N vector (N go back
ARQ).

-

Cơ chế ARQ chọn lựa việc lặp lại.

Lý thuyết thông tin

trang: 25