Bài giảng hệ thống viễn thông - Chương 1

Bài giảng: Hệ thống viễn thơng 2

Trường Đại học Giao Thơng Vận Tải Tp.HCM
Ch
ươ
ng 1.

LÝ THUY
Ế
T THƠNG TIN
H
ệ
th
ố
ng thơng tin
đượ
c
đị
nh ngh
ĩ
a là h
ệ
th
ố
ng chuy
ể
n t
ả
i tin t
ứ
c t

ừ
ngu
ồ
n phát tin
đế
n n
ơ
i
thu nh
ậ
n
ở
m
ộ
t kho
ả
ng cách nào
đ
ó. N
ế
u kho
ả
ng cách thơng tin này l
ớ
n h
ơ
n so v
ớ
i kích th
ướ

c
của thiết bị (cự ly thơng tin xa), ta có một hệ thống viễn thơng. Hệ thống thơng tin có thể
đượ
c th
ự
c hi
ệ
n gi
ữ
a m
ộ
t hay nhi
ề
u ngu
ồ
n phát tin
đồ
ng th
ờ
i
đế
n m
ộ
t hay nhi
ề
u n
ơ
i nh
ậ
n tin,

do đó ta có kiểu thơng tin một đường, đa đường, phương thức thơng tin một chiều, hai chiều
hay nhi
ề
u chi
ề
u. Mơi tr
ườ
ng thơng tin có th
ể

ở
d
ạ
ng h
ữ
u tuy
ế
n ho
ặ
c vơ tuy
ế
n, ch
ẳ
ng h
ạ
n
dùng dây truyền sóng, cable truyền tin hoặc sóng điện từ vơ tuyến.


•

Nguồn tin:

+ Là tập hợp các tin HT
3
dùng để lập các bản tin khác nhau trong sự truyền.
+ Nguồn tin được mô hình hoá toa
ùn học bằng bốn quá trình sau:
Nhận tin

Kênh tin

Nguồn tin
-

Quá trình ngẫu nhiên liên tục.
-

Quá trình ngẫu nhiên rời rạc.
- Dãy ngẫu nhiên liên tục.
-

Dãy ngẫu nhiên rời rạc.
•

Kênh tin:
là nơi diễn ra sự truyền lan của tín
hiệu mang tin và chòu tác động của
nhiễu.
S

0
(t) = N
m
S
i
(t) + N
a
(t)
+ S
i
(t): Tín hiệu vào & S
0
(t): tín hiệu ra của kênh tin
+ N
m
(t), N
a
(t) : đặc trưng cho nhiễu nhân, nhiễu cộng.
• Nhận tin: là đầu cuối của HT
3
làm nhiệm vụ khôi phục tin tức ban đầu.

Hệ thống truyền tin số (rời rạc)
Nguồn tin
Mã hóa nguồn
Mã hóa kênh
Bộ điều chế
Nhận tin
Giải điều chế
Giải mã kênh
Giải mã nguồn
Phát cao tần
Kênh tin
Thu cao tần

1
VIENTHONG05.TK
Bài giảng: Hệ thống viễn thơng 2

Trường Đại học Giao Thơng Vận Tải Tp.HCM
• Hai vấn đề cơ bản của hệ thống truyền tin:
+ Vấn đề hiệu suất, nói cách khác
là tốc độ truyền tin của hệ thống.
+ Vấn đề độ chính xác, nói cách khác là khả năng chống nhiễu của hệ thống.
1.1

Đ
O L
ƯỜ
NG THƠNG TIN VÀ MÃ HỐ NGU
Ồ

N
1.1.1

L
ượ
ng
đ
o tin t
ứ
c
Nguồn A có m tín hiệu đẳng xác xuất, một
tin do nguồn A hình th
ành là một dãy n
ký hiệu a
i
bất kỳ (a
i

∈
A).
- Lượng tin chứa trong một a
i
bất kỳ:
I(a
i
)=logm (1)
-

Lượng tin chứa trong một da
õy x gồm n ký hiệu:

I(x) = n.log m (2)
Đơn vò lượng đo thông tin thươ
øng được chọn là cơ số 2.
-

Khi m ký hiệu của nguồn tin có xác xua
át khác nhau và không
độc lập thống kê
với nhau thì
I(x
i
) = log (1/p(a
i
)) (3)
•

Lượng trò riêng:
I(x
i
) = -log p(x
i
) (4)
Là lượng tin ban đầu được xác đònh
bằng xác xuất tiên nghiệm.
•

Lượng tin còn lại của x
i
sau khi đã nhận được y
j

được xác đònh bằng xác xuất
hậu nghiệm.
)(log)/(
j
i
ii
y
x
pyxI −= (5)
•

Lượng tin tương hỗ:
)
(
)(
log)/()()/(
i
j
i
ii
i
ii
xp
y
x
p
yxIxIyxI
=
−=
(6)

• Đặc tính của lượng tin:
+ I(x
i
) ≥ I(x
i
; y
i
) (7)
+ I(x
i
) ≥ 0 (8)
+ I(x
i
.y
i
) = I(x
i
) + I(y
i
) - I(x
i
; y
i
) (9)
Khi cặp x
i
, y
j
độc lập thống kê với nhau thì I(x
i

; y
i
) = 0
Ta có:
I(x
i
; y
i
) = I(x
i
) + I(y
i
) (10)

2
VIENTHONG05.TK
Bài giảng: Hệ thống viễn thơng 2

Trường Đại học Giao Thơng Vận Tải Tp.HCM
• Lượng tin trung bình: là lượng tin tức trung bình chứa trong m ký hiệu bất kỳ
của nguồn đã cho.
∑
−=
X
xpxpxI
)(log)()(
(11)
•

Lượng tin tương hỗ trung bình:

∑
=
XY
xp
yxp
yxpYXI
)(
)/(
log),(),(
(12)
• Lượng tin riêng trung bình có điều kiện:
∑
−=
XY
xyyxpXYI
)/log(),()/(
(13)
1.1.2 Entropy và tốc độ thơng tin
Entrôpi nguồn rời rạc: là một thông số th
ống kê cơ bản của
nguồn. Về ý nghóa
vật lý độ bất ngờ và lượng thông tin trái ngược nhau, nhưng về số đo chúng bằng
nhau:
∑
−== )(log)()()( xpxpXIXH
(1)
• Đặc tính của Entrôpi H(X):
+ H(X)
≥
0

+ H(X) = 0 khi nguồn tin chỉ có một ký hiệu
+ H(X)max khi xác suất xuất hiện ca
ùc ký hiệu của nguồn bằng nhau.
•

Entrôpi đồng thời: là độ bất đònh trung
bình của một cặp (x,y) bất kỳ trong
tích XY.
∑
−
−=
XY
yxpyxp
XYH
),(log),()(
(2)
•

Entrôpi có điều kiện:
∑
−
−=
XY
yxpyxpYXH
)/(log),()/(
(3)
•

Tốc độ thiết lập tin của nguồn:
R= n

0
.H(X) (bps) (1)
+ H(X); entrôpi của nguồn.
+ n
0
: số ký hiệu được lặp trong một đơn vò thời gian
• Thông lượng của kênh C là lượng thông tin tối đa kênh cho qua đi trong một
đơn vò thời gian mà không gây sai nhầm. C(bps)
• Thông thường R < C, để R tiến tới gần C ta dùng phép mã hoá thống kê tối ưu
để tăng Entrôpi.
+ Thông lượng kênh rời rạc không nhiễu:

3
VIENTHONG05.TK
Bài giảng: Hệ thống viễn thơng 2

Trường Đại học Giao Thơng Vận Tải Tp.HCM
C = R
max
= n
0
. H(X)
max
(bps) (2)
Độ dư của nguồn:
max
)(
)(
1
XH

XH
r
−=
(3)
Dùng phương pháp mã hóa tối ưu để giảm độ dư của nguồn đến không hoặc
sử dụng độ dư của nguồn để xây
dựng mã hiệu chống nhiễu.
+ Thông lượng kênh rời rạc có nhiễu:
R = n
o
I(X;Y) = n
0
[H(X)-H(X/Y)] (bps) (4)
Tốc độ lập tin cực đại trong kênh có nhiễu:
C = R
max
= n
0
[H(X)-H(X/Y)]
max
(bps) (5)
1.1.3

Mã hóa ngu
ồ
n r
ờ
i r
ạ
c khơng nh

ớ

Khi m
ộ
t ngu
ồ
n r
ờ
i r
ạ
c khơng nh
ớ
t
ạ
o ra M ký t
ự
g
ầ
n nh
ư
b
ằ
ng nhau, R = rlogM, t
ấ
t c
ả
các
ký t
ự

đề
u ch
ứ
a cùng m
ộ
t l
ượ
ng tin và vi
ệ
c truy
ề
n tinh hi
ệ
u qu
ả
có th
ể
th
ự
c hi
ệ
n
ở
d
ạ
ng
M-ary v
ớ
i t
ố

c
độ
tín hi
ệ
u b
ằ
ng v
ớ
i t
ố
c
độ
ký t
ự
r. Nh
ư
ng khi các ký t
ự
có xác su
ấ
t khác
nhau, R = rH(X) < rlogM, việc truyền tin hiệu quả đòi hỏi q trình mã hố nguồn được
thực hiện dựa trên lượng tin biến đổi của mỗi ký tự. Trong phần này ta sẽ xét đến việc mã
hố nh
ị
phân.
B
ộ
mã hố nh
ị

phân, chuy
ể
n các ký t
ự

đế
n t
ừ
ngu
ồ
n thành nh
ữ
ng t
ừ
mã ch
ứ
a các ch
ữ
s
ố

nh
ị
phân
đượ
c t
ạ
o ra v
ớ
i t

ố
c
độ
bit c
ố
d
ị
nh r
b
. Xét
ở
ngõ ra, b
ộ
mã hố gi
ố
ng nh
ư
m
ộ
t
nguồn nhị phân với entropy Ω(p) và tốc độ thơng tin r
b
Ω(p) ≤ r
b
log2 = r
b
. Rõ ràng, mã
hố khơng t
ạ
o ra thơng tin thêm và và c

ũ
ng khơng hu
ỷ
ho
ạ
i thơng tin
để
cho mã hồn tồn
có th
ể
gi
ả
i
đ
ốn
đượ
c. Do v
ậ
y, thi
ế
t l
ậ
p ph
ươ
ng trình v
ề
t
ố
c
độ

truy
ề
n tin gi
ữ
a ngõ vào và
ngõ ra c
ủ
a b
ộ
mã hố, ta có:R = rH(X) = r
b
Ω
(p)
≤
r
b
hay r
b
/r
≥
H(X).
Đại lượng r
b
/r là một thơng số quan trọng được gọi là độ dài mã trung bình. Về mặt vật lý,
độ
dài mã trung bình là s
ố
ch
ữ
s

ố
nh
ị
phân trung bình trên m
ỗ
i ký t
ự
ngu
ồ
n. V
ề
m
ặ
t tốn
h
ọ
c ta có trung bình th
ố
ng kê:

∑
=
=
M
i
ii
NPN
1

Định lý mã hố nguồn của Shannon phát biểu rằng giá trị cực tiểu của N nằm trong

kho
ả
ng:

ε
+<≤ )()( XHNXH

Trong
đ
ó
ε
là m
ộ
t
đạ
i l
ượ
ng mang d
ấ
u d
ươ
ng.




Nguồn rời rạc
khơng nhớ
Bộ mã hố nhị
phân

R = rH(X)
r
b
Ω
(p)
≤
r
b


4
VIENTHONG05.TK
Bài giảng: Hệ thống viễn thông 2

Trường Đại học Giao Thông Vận Tải Tp.HCM
1.2 TRUYỀN TIN TRÊN KÊNH RỜI RẠC
1.2.1

L
ượ
ng tin t
ươ
ng h
ỗ

Xét h
ệ
th
ố
ng truy

ề
n tin nh
ư
trong hình bên. M
ộ
t ngu
ồ
n r
ờ
i r
ạ
c ch
ọ
n các ký t
ự
t
ừ
b
ả
ng ch
ữ

các X
để
truy
ề
n qua kênh. Lý t
ưở
ng, kênh truy
ề

n ph
ả
i tái t
ạ
o t
ạ
i
đ
íchký t
ự

đượ
c phát t
ạ
i
nguồn. Tuy nhiên, nhiễu và các suy hao truyền khác làm khác đi ký tự nguồn và kết quả là
thu
đượ
c b
ả
ng ký t
ự
Y t
ạ
i
đ
ích. Ta mu
ố
n
đ

o l
ượ
ng tin truy
ề
n
đ
i trong tr
ườ
ng h
ợ
p này.
Nhiều loại xác suất ký tự khác nhau được sử dụng liên quan đến hai nguồn trên, một số
đượ
c
đị
nh ngh
ĩ
a nh
ư
sau:
P(x
i
) là xác su
ấ
t mà ngu
ồ
n ch
ọ
n ký t
ự

truy
ề
n x
i
P(y
i
) là xác su
ấ
t ký t
ự
y
i

đượ
c nh
ậ
n t
ạ
i
đ
ích.
P(x
i
y
i
) là xác suất để x
i
được phát và y
i
được nhận.

P(x
i
/y
i
) là xác suất có điều kiện khi truyền đi x
i
và nhận được y
i
P(y
i
/x
i
) là xác su
ấ
t có
đ
i
ề
u ki
ệ
n khi y
i

đượ
c nh
ậ
n và ký t
ự
truy
ề

n
đ
i là x
i
.
L
ượ
ng tin t
ươ
ng h
ỗ

đượ
c
đị
nh ngh
ĩ
a nh
ư
sau:

)(
)|(
log);(
i
ji
ji
xP
yxP
yxI

=
bit
L
ượ
ng tin t
ươ
ng h
ỗ
th
ể
hi
ệ
n l
ượ
ng tin truy
ề
n
đ
i khi phát x
i
và thu
đượ
c y
i
.
Ngoài ra, ng
ườ
i ta còn
đị
nh ngh

ĩ
a l
ượ
ng tin t
ươ
ng h
ỗ
trung bình.
Đạ
i l
ượ
ng này
đặ
c tr
ư
ng
cho lương tin nguồn trung bình đạt được trên mỗi ký tự được nhận.

∑
=
ji
jiji
yxIyxPYXI
,
);()();
(
Qua m
ộ
t vài phép bi
ế

n
đổ
i ta
đượ
c:


)|()();(
YXHXHYXI
−=
Trong đó:

∑
=
ji
ji
ji
yxP
yxPYXH
,
)|(
1
log)()|(

Là lượng tin mất đi trên kênh nhiễu.
1.2.2

Dung l
ượ
ng kênh thông tin r

ờ
i r
ạ
c
Dung l
ượ
ng kênh
đượ
c
đị
nh ngh
ĩ
a là l
ượ
ng tin c
ự
c
đạ
i
đượ
c truy
ề
n qua trên m
ỗ
i ký t
ự

kênh:
(bit/symbol)
);(max

)(
YXIC
i
xP
s
=
Ngoài ra, người ta còn đo dung lượng kênh theo tốc độ tin. Nếu gọi s là tốc độ ký tự tối đa
cho phép bởi kênh thì dung lượng trên mỗi đơn vị thời gian được tính như sau:
C = sC
s
(bit/sec)
Định lý cơ bản của Shannon đối với một kênh truyền có nhiễu được phát biểu như sau:
Nếu một kênh có dung lượng kênh C và một nguồn có tốc độ tin R ≤ C thì tồn tại một hệ
thống mã hoá để ngõ ra của nguồn có thể được phát qua kênh với một tần số lỗi rất nhỏ.
Ngược lại, nếu R > C thì không thể truyền tin mà không có lỗi.

5
VIENTHONG05.TK
Bài giảng: Hệ thống viễn thơng 2

Trường Đại học Giao Thơng Vận Tải Tp.HCM
1.3 MÃ HỐ NGUỒN TIN
1.3.1

Mã hi
ệ
u
1) Mã hiệu và các thông số cơ bản của mã hiệu:

•

Cơ số của mã (m) là số các
ký hiệu khác nhau trong bảng
chữ của mã. Đối với
mã nhò phân m= 2.
•

Độ dài của mã n là số ký hiệu trong một từ mã. Nên độ dài các từ mã như nhau
ta gọi là mã đều, ngược lại là mã không đều.
• Độ dài trung bình của bộ mã:
∑
=
=
1
)(
i
ii
nxpn
(1)
+ p(x
i
): xác suất xuất hiện tin x
i
của nguồn X được mã hóa.
+ n
i
: độ dài từ mã tương ứng với tin x
i
.
+ N: Tổng số từ mã tương ứng

với tổng số các tin của x
i
•

Tổng hộp các tổ hợp mã có thể có được: N
0
=2
n
., nếu:
+ N<N
0
ta gọi là mã với.
+ N>N
0
ta gọi là mã đầy
2) Điều kiện thiết lập mã hiệu:

• Điều kiện chung cho các loại mã là quy luật đảm bảo sự phân tích các tổ hợp
mã.
• Điều kiện riêng cho các loại mã:
+ Đối với mã thống kê tối ưu: độ
dài trung bình tối thiểu của mã.
+ Đối với mã sửa sai: khả na
êng phát hiện và sửa sai cao.
3)
PHƯƠNG PHÁP BIỂU DIỄN MÃ.

a-

Các bảng mã:

Tin a
1
a
2
a
3
a
4
a
5
Từ mã
00
01
100
1010
1011


Mặt tạo độ mã:
∑
=
−
=
n
K
K
Ki
b

1
1
2
σ
(1)
σ
K
=0 hay 1;
K: số thứ tự của ký hiệu trong từ mã
b- Đồ hình mã:


6
VIENTHONG05.TK
Bài giảng: Hệ thống viễn thơng 2

Trường Đại học Giao Thơng Vận Tải Tp.HCM
Cây mã

0
1
1
0
1
2
0
3
0
1
0

1
a
1
(00)
a
2
(01)
a
3
(100)
a
4
(1010)
a
5
(1011)
1
2
3
4
0
0V1
0
1
0v1
Đồ hình kết cấu
0

c-

Hàm cấu trúc của mã:

2 Khi n
i
= 2
G(n
i
) = 1 Khi n
i
= 3
2 Khi n
i
= 4
4)
Điều kiện để mã phân tách được :
• Mã có tính Prêphic
-

Bất kỳ dãy các từ mã na
øo của bộ mã cũng không
được trùng với một dãy từ
mã khác của cùng bộ mã.
-

Mã có tính prêphic nếu bất kỳ tổ hợp mã
nào cũng không phải
là prêphic của
một tổ hợp nào khác cùng bộ mã.
Điều kiện để mã có tính prêphic:
∑

=
−
≤
n
j
j
jG
1
1)(2

•

Mã hệ thống có tính phêph
ic được xây dựng từ một
mã prêphic nào đó bằng
cách lấy một số tổ hợp của mã prêphic gố
c làm tổ hợp sơ đẳng và các tổ hợp
còn lại làm tổ hợp cuối. Ghép các tổ hợp sơ đẳng với nhau và nối một trong
các tổ hợp cuối vào thành tổ hợp mã mới gọi là mã hệ thống có tính prêphic.
•

Ví dụ: Lấy bộ mã prêphic 1,00,010,011
- Các tổ hợp sơ đẳng: 1,00,010
- Một tổ hợp cuối: 011
• Gọi :
-

n
1
, n

2,
…, n
i
là độ dài các
tổ hợp sơ đẳng
- λ
1
, λ
2
,…, λ
k
là độ dài các tổ hợp cuối
- Số có thể có được các dãy ghép bằng các tổ hợp sơ đẳng có độ dài n
j
bằng :
g(n
j
) = g(n
j
-n
1
) + g(n
j
-n
2
) + …+ g(n
j
-n
i
) (1)

Trong đó: n
j
≥ 1; g(0) = 1 ; g(n
j
< 0) = 0
• Nếu chỉ dùng một tổ hợp cuối λ, hàm cấu trúc mã sẽ là:
G(n
j
) = g(n
j
- λ) (2)

7
VIENTHONG05.TK
Bài giảng: Hệ thống viễn thơng 2

Trường Đại học Giao Thơng Vận Tải Tp.HCM

8
+ Từ (1) và (2) ta có công thức truy chứng tính G(n
j
)
G(n
j
) = G(n
j
-n
1
) + G(n
j

-n
2
) + …+ G(n
j
-n
i
) (3)
Trong đó: n
j
≥ λ+1; G(n
j
= λ) = 1; G(n
j
< λ) = 0
+ Từ (1) ta có: n
1
=1, n
2
=2, n
3
=3 và
λ
=3
⇒
g(n
j
) = g(n
j
-1) + g(n
j

-2) + g(n
j
-3)
g(n
j
=1) = g(0) + g(-1) + g(-2) = 1 → có 1 dãy 1
g(n
j
=2) = g(1) + g(0) + g(-1) = 2
→
có 2 dãy: 00 và 11
g(n
j
=3) = g(2) + g(1) + g(0) = 4
→
có 4 dãy: 111, 100, 001, 010
+ Từ (3) ta có:
G(n
j
) = G(n
j
-1) + G(n
j
-2) +G(n
j
-3)
Trong đó: n
j
=
λ

+1=4 ; G(n
j
=3) = 1 ; G(n
j
<3) = 0
G(4) = G(3) + G(2) + G(1) = 1
→
có 1dãy 1011
G(5) = G(4) + G(3) + G(2) = 2
→
có 2 dãy: 11011 và 00011
G(6) = G(5) + G(4) + G(3) = 4 → có 4 dãy: 111011, 100011, 001011, 010011
G(7) = G(6) + G(5) + G(4) = 7
+ Ta có thể tìm G(n
j
) từ công thức (2) :
G(n
j
) = g(n
j
-3)
G(4) = g(4-3) = g(1) = 1
G(5) = g(5-3) = g(2) = 2
G(6) = g(6-3) = g(3) = 4
•

Nếu dùng nhiều tổ hơ
ïp cuối để ghép
λ
1

,
λ
2
, …
λ
I
, cách ghép các dãy tổ hợp sơ
đẳng với một trong các tổ hợp cuối có nhiều cách.
G(n
j
) = g(n
j
-
λ
1
)
+
g(n
j
-
λ
2
) + ….+ g(n
j
-
λ
k
) (4)
-
Ví dụ

: Với bộ mã ở trên ta lấy
+ Hai tổ hợp sơ đẳng : 1, 00 ⇒ n
1
= 1, n
2
= 2
+ Hai tổ hợp cuối: 010, 011
⇒

λ
1
=
λ
2
= 3
+ Từ (1) ta tính được số có thể có được các dãy ghép bằng các tổ hợp sơ đẳng có độ
dài n
j
bằng:
g(n
j
) = g(n
j
–1) + g(nj-2)
Trong đó n
j
≥1, g(0) = 1, g (0) = 0
g(1) = g(0) + g(-1) = 1 ⇒ 1dãy :1
g(2) = g(1) + g(0) = 2 ⇒ 2 dãy :11 và 00
g(3) = g(2) + g(1) = 3 ⇒ 3 dãy :111, 100, 001

g(4) = g(3) + g(2) = 5 ⇒ 5dãy :1111, 0000, 1100, 0011, 1001
+ Từ (2) ta có:
VIENTHONG05.TK
Bài giảng: Hệ thống viễn thơng 2

Trường Đại học Giao Thơng Vận Tải Tp.HCM
G(n
j
) = 2g(n
j
-3) trong đó n
j
≥4; G(3) =1; G(<3) =0
G(4) = 2g(1) = 2x1 = 2 ⇒ 1010 và 1011
G(5) = 2g(2) = 2x2 = 4 ⇒ 11010, 00010, 11011, và 00011
G(6) = 2g(3) = 2x3 = 6 ⇒ 111010, 100010, 001010, 111011, 100011, và 001011
G(7) = 2g(4) = 2x5 = 10
1.3.2

Các lo
ạ
i mã th
ố
ng kê t
ố
i
ư
u (TKT
Ư
)

1) Một số đònh lý cơ bản của mã TKTƯ
•

Đònh lý giới hạn về độ dài
trung bình của từ mã:
n

H(U) ≤
n
≤ H(U) +1 (1)
⇒
mã thống kê có hai đặc điểm sau:
-

Các ký hiệu khác nhau của bo
ä chữ phải đồng xác suất.
- Xác suất xuất hiện các ký hiệu trong từ mã không phụ thuộc sự có mặt của các
ký hiệu ra trước.
•

Tiêu chuẩn mã kinh tế tối ưu:

−
=
n
UH
)(
ρ
(2) H(U): Entrôpi của nguồn
n

: độ dài trung bình của từ mã.
⇒ ρ càng tiến tới 1 tính kinh tế của mã càng cao.
•

Mã thống kê có tính prephic.
• (3) & (4)
)(2
i
n
up
i
≤
−
12
1
≤
∑
=
−
N
i
n
i
2)
Mã Thống kê tối ưu Sannon:
Các bước thực hiện mã
thống kê tối ưu Sannon:
Bước 1: Liệt kê các tin của nguồn U
i
và các xác suất p

i
tương ứng theo xác suất
giảm dần.
Bước 2: Ứng với mỗi hàng u
i
, p
i
ghi một số P
i
theo biểu thức:
P
i
= p
1
+ p
2
+….+ p
i-1

Bước 3: Đổi các số thập phân P
i
thành các số nhò phân
Bước 4: Tính độ dài từ mã:
(2)
ii
n
i
n
up
−−

≤≤
1
2)(2
Bước 5: Từ mã (n
i
, b
i
) sẽ là n
i
ký hiệu nhò phân (kể từ số lẻ trở đi) của số nhò
phân P
i
Ví dụ: lập mã cho nguồn U có sơ đồ thống kê:
U
i
U
i
U
2
U
3
U
4
U
5
U
6
U
7
p

i
0,34 0,23 0,19 0,1 0,07 0,06 0,01

9
VIENTHONG05.TK
Bài giảng: Hệ thống viễn thơng 2

Trường Đại học Giao Thơng Vận Tải Tp.HCM
U
i
p
i
P
i
Số nhò phân P
i
n
i
Từ mã






U
i
0,34
0
0,0000

2
00
U
2
0,23
0,34
0,0101
3
010
U
3
0,19
0,57
0,1001
3
100
U
4
0,1
0,76
0,1100
4
1100
U
5
0,07 0,86 0,11011 4 1101
U
6
0,06 0,93 0,11101 5 11101
U

7
0,01
0,99
0,111
1110
7
1111110
+ P
i
được tính theo bước 2: i = 1
→
P
1
= p
0
= 0
i = 2→ P
2
= p
1
= 0,34
i =3→ P
3
= p
1
+ p
2
= 0,57
+ Đổi P
i

sang số nhò phân:
P
i
= 0,34
x 2
0,68
→
0
x 2
1,36 → 1
- 1
0,36
x 2
0,72 → 0
x 2
1,44 → 1
Khi đó P
i
= 0,34
→
0,0101


P
i
= 0,86
x 2
1,72
→
1

- 1
0,72
x 2
1,44
→
1
- 1
0,44
x 2
0,88
→
0
x 2
1,76
→
1
- 1
0,76
x 2
1,52
→
1
Khi đó P
i
= 0,86 → 0,11011
+ Tính n
i
theo (2)
n
i

= 1
⇒
2
-1
= 0,5 > p
i
=0,34
⇒
bò loại
n
i
= 2 ⇒ 2
-2
= 0,25 < p
i
=0,34 < 3
1-2
=0,5

⇒ thỏa mãn ⇒ vậy ta lấy n
i
= 2 suy ra từ
mã: 00
n
i
= 3 ⇒ 2
-3
= 0,125 < p
i
=0,23 <0,25 ⇒ lấy n

i
=3 ⇒ 010
• Tính kinh tế của mã:

[]
37,201,0log01,0...34,0log34,0log)(
222
7
1
≈++−=−=
∑
=
i
i
i
ppUH


10
VIENTHONG05.TK