Lý thuyết thông tin (Mã hiệu)

Mã hiệu

Các khái niệm cơ bản.
•
Nguồn tin rời rạc: Là một tập hữu hạn các tin có một
cấu trúc thống kê nhất định, được mô tả với bảng chữ
với quy luật phân xác suất nhất định của các chữ.
•
Mã hiệu (code): Là một nguồn tin gồm các dấu hiệu
riêng (symbol) hay các bảng chữ cái được xây dựng
nhằm thoả mãn một số yêu cầu nhất định mà hệ thống
đề ra như: tốc độ truyền tin, độ chính xác truyền tin.
•
Cơ số của mã (m): số các ký hiệu khác nhau trong
một từ mã. Với mã nhị phân thì m = 2, dùng các ký
hiệu như gạch, chấm, nghỉ để mã hoá như vậy có 3
dấu hiệu khác nhau trong từ mã nên m = 3….
•
Quá trình mã hoá (encoding): Dùng các ký hiệu để
biểu diễn các tin của nguồn tin. Hay mã hoá là quá
trình biến đổi nguồn tin thành mã hiệu ( mã hóa là
phép biến đổi từ tập tin này thành một tập tin khác có
đặc tính thống kê yêu cầu).
•
Độ dài từ mã (n): số ký hiệu của một từ mã
•
Mã đều: là bộ mã gồm các từ mã có cùng độ dài.
•
Mã không đều: là bộ mã gồm các từ mã có độ dài
không bằng nhau.
•

Độ dài trung bình của từ mã là thông số cơ bản của
mã và được xác định bởi:
( )
i
L
i
i
nxpR
∑
=
=
1
Trong đó:
n
i
: độ dài từ mã thứ i
P(x
i
): xác suất xuất hiện của bản tin thứ i.
L: Tổng số bản tin của nguồn ( số từ mã của bộ mã)
•
Tổng số từ mã L: số các bản tin được mã hóa hay số
từ mã dùng để mã hoá các bản tin. (mỗi một từ mã
được dùng để mã hoá cho một bản tin)
+ Với mã đều thì các từ mã trong bộ mã đều có chiều
dài n và số ký hiệu khác nhau m thì số các từ mã được
xác định L: L = m
n
- bộ mã này được gọi là mã đầy
+ Với mã có tổng số các từ mã L < m

n
thì gọi là mã
vơi
- Đối với mã vơi trong số các từ mã có độ dài n ký
hiệu là các tổ hợp có thể dùng làm từ mã M
Ví dụ: cho nguồn tin X = {3,6,9,15} dùng hệ nhị phân
để mã hoá cho nguồn tin trên với một ký hiệu trong
nguồn là một tổ hợp 4 bit:
Giải: với mã nhị phân thì cơ số m = 2, mỗi tổ hợp
dùng 4 bit để mã hoá cho một tin nên độ dài của một
từ mã n = 4, số từ mã của bộ mã là L = m
n
= 2
4
= 16.
-
Dùng mã nhị phân 4 bit để mã hoá là các tổ hợp
[ 0000, 0001….1111] như vậy có 16 tổ hợp mã để mã
hoá cho nguồn nhưng các tổ hợp có thể dùng là:
[0011, 0110, 1001, 1111].
•
Các từ mã không được dùng trong bộ mã gọi là mã
cấm:
•
Với ví dụ trên các mã cấm là các mã không được
dùng là : 0000, 0001, 0010, 0100, 0111, 0101, 1000,
1100,1010, 1110
•
Giá trị của mỗi ký hiệu (a): với một từ mã có m ký
hiệu khác nhau, mỗi ký hiệu mã gọi là một dấu hiệu

riêng và có một giá trị nhất định và được gán cho một
giá trị nằm trong khoảng (0 đến m-1).
- Với mã nhị phân (m = 2) thì mỗi ký hiệu trong từ mã
được gán cho một giá trị 0 hoặc 1 (0 đến m-1).
•
Chỉ số vị trí: gọi là một vị trí mã hay một chỗ trong
từ mã để đặt một ký hiệu mã vào đó. Với từ mã có n
ký hiệu thì có n vị trí mã. đánh dấu vị trí bên phải nhất
của từ mã là vị trí 0, bên trái nhất của từ mã là n-1.
•
Trọng số vị trí (w
i
): Là trọng số của ký hiệu thứ i
trong bộ mã: w
i
= m
i
(i vị trí của ký hiệu trong mã, m là
cơ số của mã)
•
Trọng số của từ mã (b): là tổng các giá trị của các ký
hiệu mã trong từ mã:
∑
−
=
=
1
0
n
k

k
k
mab
a
k
: giá trị của ký hiệu mã ở vị trí thứ k (mã nhị phân
thì a = 1 hay 0), m
k
là trọng số của vị trí thứ k.
•
Quãng cách D: khoảng cách giữa hai trọng số của hai
từ mã: D = (b
i
– b
j
) với b
i
,b
j
là trọng số của từ mã i và
j.

Điều kiện thiết lập mã.
•
Điều kiện thiết lập mã thứ 1: trong dãy ký hiệu liên
tiếp phải đảm bảo sự phân tách được một cách duy
nhất các từ mã.
•
Xét nguồn tin X= {a,b,c,d}, các tin được mã hoá nhị
phân theo quy luật:

a 00
b 01
c 10
d 11
- Bên thu nhận được dãy tin ở dạng
các ký hiệu 00 00 00 01 11 10 khi
giải mã ta thu được a a a b d c
- Như vậy nếu có quy luật để phân
biệt được ký hiệu đầu của mỗi từ mã
ta có thể phân tách được thành các từ
mã.
•
ví dụ 2: xét X = {a,b,c,d} và mã hoá
nguồn tin với bộ mã:
a 0
b 01
c 101
d 1
Giả sử dãy tin truyền đi là
aaabcdb, khi nhận được dãy ký
hiệu 000011010111 ta có thể
giải mã thành các tin aaaadcbdd
khác với tin ban đầu là aaabcdb
Như vậy bộ mã trên không cho phép
phân tách các từ mã một cách duy nhất
và đúng đắn.
•
Điều kiện thiết lập mã 2: Với mỗi loại mã phải thoả
mã về độ dài trung bình của mỗi từ mã là tối thiểu và
với mã chống nhiễu phải cho phép phát hiện sai càng

nhiều càng tốt.

Phương pháp biểu diễn mã:
•
Các bảng mã:

Bảng đối chiếu mã: liệt kê các bản tin của nguồn
với các từ mã tương ứng
- ưu điểm: trực quan về từ mã với các bản tin của
nguồn.
Tin a1 a2 a3 a4
Từ mã 00 01 100 101

•
Mặt toạ độ mã: dựa vào 2 thông số của từ mã như
trọng số b và độ dài n của từ mã:
Tin a1 a2 a3 a4
Từ mã 00 01 100 101
chiều dài n 2 2 3 3
Träng sè b 0 1 4 5
n
1
2 3
0
4
1
2
3
4
5

•
a1
•
a2
•
a4
•
a3
b
•
Hàm cấu trúc: cho biết số các từ mã theo độ dài n
i
:
G(n
i
)
ví dụ: X = 00, 01,100,110, 1100, 0110,011
Có các hàm cấu trúc G(n
i
):
G(2)= 2, G(3) =3, G(4) = 2

Điều kiện phân tách của mã hiệu
•
Độ chậm dải: là số ký hiệu cần phải nhận được đủ để
có thể phân tách được từ mã. độ chậm dải có thể là
hữu hạn hay vô hạn.
•
Điều kiện để mã phân tách được: Bất kỳ từ mã nào
của bộ mã cũng không được trùng với một dãy từ mã

khác của cùng một bộ mã. (Từ mã ngắn không là phần
đầu, phần giữa, phần cuối của từ mã dài hơn)
•
Bảng thử tính phân tách của bộ mã:
maxmin
2
.
2
1
n
i
Tn
i
ch






≤≤






−
Trong đó: i là số hiệu cột rỗng, n
min

,n
max
: độ dài từ mã
nhỏ nhất, lớn nhất
Cách xây dựng bảng:
•
Xếp các từ mã thành một cột đánh dấu là cột 1.
•
đối chiếu từ mã ngắn với từ mã dài hơn trong cột 1.
•
Nếu từ mã ngắn giống phần đầu của từ mã dài hơn thì
viết phần còn lại vào cột 2.
•
Đối chiếu các từ mã trong cột 2 với cột 1, lấy phần
còn lại ghi vào cột tiếp theo. Làm tiếp tục như thế cho
đến khi cột cần điền trở nên trống rỗng.
Định lý: điều kiện cần và đủ để mã có tính phân tách
được là không có tổ hợp mã nào trong cột thứ j >=2
trùng với từ mã trong cột 1.
xét ví dụ: Lập bảng thử phân tách cho bộ mã:
00, 01, 100, 1010,
Cột 1 Cột 2
00
01
100
1010
Ta thấy các từ mã không trùng với
phần đầu của các từ mã còn lại nên
cột 2 trống rỗng. Nên mã có tính
phân tách được

41
4
2
2
2
2
12
2
.
2
1
maxmin
≤≤⇔






≤≤






−
⇔







≤≤






−
ch
ch
ch
t
t
n
i
Tn
i
Xét bộ mã:10, 100,01, 011.
Cột
1
Cột
2
Cột
3
Cột
4

Cột
5
….
10 0 1 0 1 …
100 1 11 00 11 ….
01 0 1 0
011 00 11 00
Ta thấy cột i =
2,3,4… có các từ mã
không trùng với các
từ mã cột 1 nên bộ
mã có khả năng phân
tách được nhưng cột
thứ i trải ra vô hạn
nên độ chậm giải mã
là vô hạn

Mã có tính prefix: là bộ mã không có bất kỳ từ mã
nào là phần đầu của các từ mã còn lại trong cùng bộ
mã
Mã I II III
S
0
0 01 1
S
1
1 10 01
S
2
11 110 100

S
3
01 001 011
Các mã I, III không có
tính prefix vì s
0
trùng
với phần đầu của s
3
.
Mã II có tính prefix vì
không có từ mã nào
trùng với từ mã còn lại
Mã hoá nguồn

Mã hoá nguồn rời rạc.

Các khái niệm về nguồn rời rạc.
•
Nguồn rời rạc : Tạo ra chuỗi các ký hiệu từ một bảng
hữu hạn các ký hiệu.
ví dụ: X = {x
1
,x
2
…x
L}
}.
Với mỗi ký hiệu trong X có xác suất xuất hiện p
K:

P
k
= p(x
k
) với:
1,1
1
=≤≤
∑
=
L
k
k
pLk
•
Nguồn rời rạc không nhớ: Các ký hiệu rời rạc của
nguồn không phụ thuộc vào các ký hiệu xuất hiện
trước và sau đó( hay các ký hiệu rời rạc độc lập thống
kê với nhau)gọi là nguồn rời rạc không nhớ.
•
Nguồn dùng rời rạc: Các ký hiệu rời rạc trong nguồn
phụ thuộc thống kê với nhau.

Mã hoá nguồn rời rạc:
•
Mã hoá nguồn rời rạc không nhớ:
- Xét nguồn rời rạc không nhớ X = {x
i
} i = (1,2 L),
với T

S
thời gian tạo ra một ký hiệu x
i
, xác suất xuất
hiện các ký hiệu tương ứng P(x
i
), i =(1,2 L).
Entropi của X:
( ) ( ) ( )
∑
=
=
L
i
ii
xpxpXH
1
2
log
H(X)
max
= log
2
L nên H(X) <= H(X)
max
- Tốc độ thông tin của nguồn là tỷ số giữa lượng tin
trung bình của nguồn với thời gian tạo ký hiệu T
s
:
H(X)/T

S

mã hoá với từ mã có độ dài cố định:
•
Dùng R bit nhị phân mã hoá cho một ký hiệu của
nguồn. Với nguồn X = {x
1
,x
2
…x
L
) nên số bit nhị
phân tối thiểu phải dùng để mã hoá cho L ký hiệu
nguồn là: R = log
2
L
Nếu L không là lũy thừa của 2 thì số bit nhị phân tối
thiểu phải dùng là: R = [log
2
L] + 1
trong đó [x] là số nguyên lớn nhất nhỏ hơn x.
•
Hiệu suất của phép mã hoá được xác định: H(X)/R

Mã hoá với từ mã có độ dài thay đổi:
-
Với phép mã hoá này thì với xác suất các ký hiệu
nguồn không đồng xác suất có hiệu quả hơn phép mã
hoá trên.
-

Xây dựng phép mã hoá để tạo ra các từ mã có độ dài
thay đổi, giải mã duy nhất và có hiệu quả thì số lượng
trung bình các ký hiệu nhị phân ứng với một ký hiệu
nguồn.
( )
∑
=
=
L
k
kk
aPnR
1
Định lý mã hoá nguồn: Gọi X là nguồn rời rạc không
nhớ với H(X) hữu hạn với các ký hiệu x
i
, 1 <=i<=L,
với xác suất xuất hiện tương ứng p
i
có thể xây dựng
được mã hiệu nhị phân có tính prefix có độ dài trung
bình từ mã thoả mãn :
( )
1)(
+<≤
XHRXH
Ví dụ: Thực hiện mã hoá nguồn cho nguồn rời rạc
không nhớ:
•
Với Mã shannon-fano:là độc lập với nhau: xây dựng

mã trên cùng một cơ sở: độ dài từ mã tỷ lệ nghịch với
xác suất xuất hiện
-
Các bước xây dựng mã:
B1: xếp các tin theo xác suất tăng hay giảm dần
B
2
: chia nguồn tin ra hai nhóm có tổng xác suất gần
bằng nhau, gán nhóm trên 0, nhóm dưới 1.lặp lại thủ
tục chia nhóm cho đến khi nhóm còn 1 ký hiệu
B3: duyệt từ mã từ bước tạo nhóm đầu tiên đến hết.
Ví dụ: tạo mã với các bản tin X = ( x
1
…x
7
) có
xác suất xuất hiện
p(x
i
) = ( 0,01;0,06;0,07;0,1;0,19;0,23;0,34)
p X
0,34 X
1
0 0
0,23 X
2
1
0,19 X
3
1 0

0,1 X
4
1 0
0,07 X
5
1 0
0,06 X
6
1 0
0,01 x
7
1
X p Từ mã
X
1
0,34 00
X
2
0,23 01
X
3
0,19 10
X
4
0,1 110
X
5
0.07 1110
X
6

0,06 11110
x
7
0,01 11111