BÀI GIẢNG TRUYỀN DẪN SỐ Chương 2

Chương 2
MÃ HÓA NGUỒN
Nội dung:
2.1 Mô hình toán học của nguồn tin
2.2 Đo lượng tin của nguồn tin
2.3 Các kỹ thuật mã hóa nguồn rời rạc
2.4 Các kỹ thuật mã hóa nguồn tương tự
2.5.Lấy mẫu và điều chế xung
2.6 Điều chế xung mã
Bài tập
1

1
Chương 2 MÃ HÓA NGUỒN
2.1 Mô hình toán học của nguồn tin:

Nguồn tin: Nguồn tương tự: tín hiệu ngõ ra có dạng liên tục
Nguồn rời rạc: tín hiệu ngõ ra có dạng rời rạc

Nguồn tin tạo ra các bản tin một cách ngẫu nhiên. Với nguồn rời rạc (Discrete
source), ngõ ra là chuỗi các biến ngẫu nhiên rời rạc.

Mô hình cho nguồn rời rạc:
Giả sử nguồn rời rạc gồm L ký hiệu :{x
1
, x
2
,…, x
L
}, với xác suất tương ứng là
{p

1
,p
2
,…,p
L
}. Lúc đó:

{0,1} !"#$ !%#!%&

Nguồn rời rạc không nhớ DMS (Discrete Memoryless Source): phát ra chuỗi
ký hiệu là độc lập thống kê, nghĩa là:
2

2
1
1, 1, ,
L
k
k
p k L
=
= =
∑
1 2
( | , , ) ( )
n n n n
P x x x P x
− −
=
Chương 2 MÃ HÓA NGUỒN

2.2 Đo lượng tin của nguồn tin:


Tin tức liên quan đến sự ngạc nhiên mà chúng ta cảm nhận khi nhận được bản
tin. Bản tin ít có khả năng xảy ra sẽ mang nhiều tin tức hơn. Từ đó, người ta đưa ra
khái niệm lượng tin.

Lượng tin:

'()*+,-()./*01*.

 .123!.

#
•
Đơn vị của lượng tin: Tùy vào cơ số hàm logarit (cơ số 2: đơn vị là bit, cơ số
e: đơn vị là nat, cơ số 10: Hartley)
•
Tính chất: i/
ii/
3

3
1
( ) log log ( )
( )
i i
i
I x P x
P x

 
= = −
 ÷
 
( ) 0, 0 1
i i
I x p≥ ≤ ≤
( ) ( ),
i j i j
I x I x p p> <
Chương 2 MÃ HÓA NGUỒN
2.2 Đo lượng tin của nguồn tin (tt):

Lượng tin có điều kiện:

'()*,-()3!.

.1245*36!2
7
-8
.12&

Lượng tin tương hỗ:

'()*,-()93!.

*:.1236!2

&


Nhận xét: i/ Khi X, Y độc lập thống kê: I(x
i
,y
j
) = 0
ii/ I(x
i
,y
j
) = I(y
j
,x
i
)  lượng tin về sự kiện X = x
i
có được từ việc
xảy ra sự kiện Y = y
j
giống với lượng tin về sự kiện Y = y
j
có được
từ việc xảy ra sự kiện X = x
i
.
4

4
( | ) log ( | )
i j i j
I x y P x y= −

( )
( , ) ( ) ( | ) log
( | )
i
i j i i j
i j
P x
I x y I x I x y
P x y
= − = −
Chương 2 MÃ HÓA NGUỒN
2.2 Đo lượng tin của nguồn tin (tt):

Lượng tin trung bình:

'()**0;<*=>*0/*?@

Nhận xét:'()**0;15-()5***<@1*&
A>*BACDE.
"
F.
%
GH.5/*./*5
*(I<'"&JJ"&"%&
K()*+@.
%

K()**0;@



Lượng tin tương hỗ trung bình:
5

5
1
( ) ( )log ( )
L
i i
i
I X P x P x
=
= −
∑
1 1
( , ) ( , ) ( , )
L K
i j i j
i j
I X Y P x y I x y
= =
=
∑∑
1 2 1 2
( ) log [ ( )] log (0.01) 6.5 [ / ]I x p x bits symbol= − = − =
2 2
( ) 0.99log (0.99) 0.01log (0.01) 0.081 [ / ]I X bits symbol= − − =
Chương 2 MÃ HÓA NGUỒN
2.2 Đo lượng tin của nguồn tin (tt):
L=M;(&N=-,
F6'5&

H !%#! !"#!%OD
5-P 6!"F!"#QP 6!%F!"#&
Lời giải:
N,
H

6

6
2
( 0 | 0)
(0,0) log
( 0)
P Y X
I
P Y
= =
=
=
0
0 1 0 1
0
1
2 2
0 1 0 1
( 0 | 0) 1
( 0) ( 0 | 0) ( 0) ( 0 | 1) ( 1)
1 1 1
(1 ) (1 )
2 2 2

2(1 )
2
(0,0) log [ ]. (1,0) log [ ]
1 1
P y X p
P Y P y X P X P y X P X
p p p p
p
p
I bits I bits
p p p p
= = = −
= = = = = + = = =
= − + = − +
−
⇒ = =
− + − +
N(I*3

Channel













Chương 2 MÃ HÓA NGUỒN
!" #

Giả sử nguồn rời rạc X gồm L ký hiệu {x
1
, x
2
,…, x
L
}, Entropy của nguồn X được
định nghĩa là:

$%&'(
•
R*=2@''()**0;@-,&
•
  .Nếu các ký hiệu của nguồn có xác suất xuất hiện
bằng nhau thì Entropy sẽ đạt giá trị cực đại.
•
. Dấu = xảy ra khi một ký hiệu có xác suất xuất hiện bằng
1, còn xác suất xuất hiện của các ký hiệu còn lại là 0.
7

7
( ) logH X L≤
1
1 1 1
( ) , 1, , ( ) log log

L
i
i
P x i L H X L
L L L
=
= = ⇒ = − =
∑
1 1
( ) ( )log ( ) ( ) ( )
L L
i i i i
i i
H X P x P x P x I x
= =
= − =
∑ ∑
( ) 0H X ≥
Chương 2 MÃ HÓA NGUỒN
!" #)*

Entropy đồng thời:

Entropy có điều kiện:

Công thức liên hệ:
8

8
1 1

( , ) ( , )log( , )
L K
i j i j
i j
H X Y P x y x y
= =
= −
∑∑
1 1
( | ) ( , )log( | )
L K
i j i j
i j
H X Y P x y x y
= =
= −
∑∑
( , ) ( ) ( | )
( , ) ( ) ( | )
( , ) ( ) ( | )
( , ) ( ) ( | )
( , ) ( ) ( ) ( , )
H X Y H X H Y X
H X Y H Y H X Y
I X Y H X H X Y
I X Y H Y H Y X
H X Y H X H Y I X Y
= +
= +
= −

= −
= + −
+)*
+)*
,)-*
+)-*
Chương 2 MÃ HÓA NGUỒN
2.2 Đo lượng tin của nguồn tin (tt):
L=F6,
.5/*./*-*5
-()M*1(01&
NS #FS 6T#FS F6#U0*V
Lời giải:
&N,
H
C2

9

9
1 1 2
( 0) ( 0, 0) ( 0, 1)
3 3 3
P X P X Y P X Y= = = = + = = = + =
Y \ X 0 1
0 1/3 0
1 1/3 1/3
2
2 2 2
1

( ) ( )log ( ) ( 0)log ( 0) ( 1)log ( 1)
i i
i
H X P x P x P X P X P X P X
=
= − = − = = − = =
∑
1 1
( 1) ( 1, 0) ( 1, 1) 0
3 3
P X P X Y P X Y= = = = + = = = + =
2 2
2 2 1 1
( ) log log 0.9183 [ ]
3 3 3 3
H X bits= − − =
Chương 2 MÃ HÓA NGUỒN
2.2 Đo lượng tin của nguồn tin (tt):
Lời giải (tt):
0&N,
&N, 
 N*(I*3=S 6#FS F6#P F6##
10

10
( | ) ( , ) ( ) 1.585 0.983 0.667 [ ]H Y X H X Y H X bits= − = − =
2 2
2
1 1
2

2
2
2
2
( , ) ( , )log ( , )
( 0, 0)log ( 0, 0)
( 0, 1)log ( 0, 1)
( 1, 0)log ( 1, 0)
( 1, 1)log ( 1, 1)
1 1
3 log 1.585 [ ]
3 3
i j i j
i j
H X Y P x y x y
P X Y P X Y
P X Y P X Y
P X Y P X Y
P X Y P X Y
bits
= =
= −
= − = = = =
− = = = =
− = = = =
− = = = =
= − × =
∑∑
Chương 2 MÃ HÓA NGUỒN
.!" #/0


Giả sử nguồn liên tục X(t) có hàm mật độ phân bố xác suất của hàm mẫu x(t)
là p(x). Lúc đó, Entropy của nguồn X được định nghĩa là:
L='+*,
Tìm H(X) khi a=1; a=4.
Lời giải:
Entropy của nguồn:
Khi a= 1: H(X)=log
2
1=0 [bits]
Khi a= 4: H(X)=log
2
4=2 [bits]
11

11
1/ , 0
( )
0 , 0;
a x a
p x
x x a
≤ ≤

=

< >

( ) ( )log ( )H X p x p x dx
∞

−∞
= −
∫
2 2 2
0
1 1
( ) ( )log ( ) log log
a
H X p x p x dx dx a
a a
∞
−∞
= − = − =
∫ ∫
Chương 2 MÃ HÓA NGUỒN
2.3 Các phương pháp mã hóa nguồn rời rạc (Nén dữ liệu)

Giả sử nguồn rời rạc X gồm L ký hiệu {x
1
, x
2
,…, x
L
}, với xác suất xuất hiện các ký
hiệu tương ứng là {p
1
,p
2
,…,p
L

}. Mã hóa nguồn X chính là quá trình biểu diễn các
ký hiệu x
i
của nguồn bởi các chuỗi b
i
có chiều dài R
i
. (b
i
= [b
1
,b
2
,…,b
Ri
], b
i
= 0/1)

Yêu cầu của bộ mã hóa nguồn:
•
Các từ mã biểu diễn ở dạng nhị phân.
•
Quá trình mã hóa sao cho việc giải mã là duy nhất.

Đánh giá hiệu quả của bộ mã hóa nguồn:
•
Thông qua việc so sánh số lượng bit trung bình dùng để biểu diễn từ mã.
•
Hiệu suất mã hóa:

H(X): entropy của nguồn X.
: chiều dài trung bình của từ mã.
12

12
( )H X
R
η
=
Nguồn rời
rạc X
{x
i
}
{b
i
}: 0/1
Mã hóa
nguồn
1
0
L
i i
i
R p R
−
=
=
∑
R

Chương 2 MÃ HÓA NGUỒN
2.3 Các phương pháp mã hóa nguồn rời rạc (tt)
.1%2 %3 45%6789456%:;<=%

Tất cả các ký hiệu của nguồn được mã hóa bằng các từ mã có chiều dài bằng
nhau [từ mã R bit].

Quá trình mã hóa không tổn hao, và việc giải mã là dể dàng và duy nhất.

Ví dụ: mã ASCII, mã EBCDIC, mã Baudot,vv…

Quá trình mã hóa:
•
Giả sử nguồn gồm L ký hiệu đồng xác suất. Ta muốn mã hóa dùng R bit ?
•
Chọn giá trị của R:
•
Lúc đó, hiệu suất mã hóa:
o
Khi L lũy thừa của 2:
13

13
2
log( ) LH X
R
R
η
= =
2

2
log , 2 ,
log 1 ,
m
L L m
R
L otherwise

= ∈

=

+
 

 

¥
2 2
2
log log
1 100%
log
L L
R L
η
= = = ↔
Chương 2 MÃ HÓA NGUỒN
.1%2 %3 45%6789456%:;<=%)*
o

Khi L không phải là lũy thừa của 2:

Khi L lớn thì log
2
L lớn hiệu suất cao. Ngược lại, khi L nhỏ, hiệu suất
sẽ rất thấp  mã hóa từng khối J ký hiệu một lúc.

Quá trình mã hóa J ký hiệu cùng một lúc:
•
Số ký hiệu có thể có của nguồn: L
J
.
•
Chọn chiều dài từ mã mã hóa: N. Yêu cầu giá trị của N phải thỏa:
2
N
≥ L
J
 N ≥ log
2
L
J
= Jlog
2
L
Do N phải là số nguyên, nên:
•
Hiệu suất mã hóa:
 chọn J lớn thì hiệu suất
sẽ cao (dù cho L nhỏ)

14

14
2 2
2
log log
1
log 1
L L
R L
η
= = <
+
 
 
2
log 1N J L= +
 
 
2
2
log
( ) ( )
log 1
J L
H X JH X
R N J L
η
= = =
+

 
 
Chương 2 MÃ HÓA NGUỒN
.1%2 %3 45%6789456%:;<=%)*
L=BAC,%""-.5/*&
& WX>*-()8,*>**-Y&N;Z![
η
![
•
L9@*:8

AX-()0Y\0]*:8,9^0*&
•
S/*8,
b. Khi 3 ký hiệu được mã hóa cùng một lúc. Tìm N=?
η
![
•
Chiều dài của từ mã:
•
Hiệu suất mã hóa:
Nhận xét: khi xác suất xuất hiện các ký hiệu không bằng nhau, hiệu suất sẽ thấp
hơn (do lúc đó H(X) < log
2
L)  dùng phương pháp mã hóa khác
15

15
2 2
log log 100

( )
94.91%
7
L
H X
R R
η
= = = =
2 2
2
log 3log 100
99.66%
log 1 20
J L
J L
η
= = =
+
 
 
2 2
log 1 log 100 1 7R L= + = + =
   
   
2 2
log 1 3log 100 1 20R J L= + = + =
   
   
Chương 2 MÃ HÓA NGUỒN
.1%2 %3 45%6789456%:;%#>?)@A/;

%2 %3 45%6%BC0B%#45%6D" #*

Các ký hiệu của nguồn được mã hóa bằng các từ mã có chiều dài thay đổi.

Các ký hiệu có xác suất xuất hiện lớn sẽ được mã hóa bằng từ mã có chiều dài
nhỏ, và ngược lại. Kết quả là, chiều dài trung bình của từ mã sẽ nhỏ  η cao.

Ví dụ: mã Morse, mã Huffman, mã Shannon-Fano,vv…

Vấn đề giải mã khi từ mã có chiều dài thay đổi:
BAC,_F-()8,*`=01
a1bX*-()""%""%c&5--88,[[[[[
16

16
Ký hiệu a
i
Xác suất p
i
Tập mã 1 Tập mã 2
a
1
a
2
a
3
a
4
1/2
1/4

1/8
1/8
1
00
01
10
0
10
110
111
Chương 2 MÃ HÓA NGUỒN
)*

E%D"& 45""%""%


D

%

D

%
""%""%


D

_


d


45*;18'M2/*

E%D"& 45""%""%


%

%

D

%


182/*

eY182/*

8*5-()

8,*`f.

81*g
0/*-h*<Wf*

Mã có tính prefix: không có từ mã nào có chiều dài n giống với n bit đầu tiên
của từ mã có chiều dài m (m>n).

Ví dụ: Ni8%{1,00,01,10}:M,*`f.
Ni8%{0,10,110,111}:,*`f.
17

17
1
2 1
k
L
R
k
−
=
≤
∑
Chương 2 MÃ HÓA NGUỒN
.1%2 %3 45%6789456%:;%#>?)*
1%2 %3 45%6F%"G"

H3<8%I%J

K*+5*`=*<*3.5/*1j

L5',==*k.5/*@X,'j
0]/*&W,-j'"F,'%&

N=X,''*,g,.5/*j0]
/*&l5*;<*m*=-mno>**;m**p&

BAC,^H.5/*./*(

S82*345*;8,q=*/*8,[
18

18
u
i
u
1
u
2
u
3
u
4
u
5
u
6
u
7
p
i
0.34 0.23 0.19 0.1 0.07 0.06 0.01
Chương 2 MÃ HÓA NGUỒN
1%2 %3 45%6F%"G")*
Lời giải:
& <K%L
19

19

Ký hiệu
u
i
Xác suất
p
i
L n ầ
chia 1
L n ầ
chia 2
L n ầ
chia 3
L n ầ
chia 4
L n ầ
chia 5
Töø maõ
u
1
0.34
u
2
0.23
u
3
0.19
u
4
0.10
u

5
0.07
u
6
0.06
u
7
0.01
Chương 2 MÃ HÓA NGUỒN
1%2 %3 45%6F%"G")*
Lời giải:
& <K%L
Nhóm 1: Σp = 0.57, nhóm 2: Σp = 0.43: ∆ = |0.57-0.43 |= 0.14: nhỏ nhất
20

20
Ký hiệu
u
i
Xác suất
p
i
L n ầ
chia 1
L n ầ
chia 2
L n ầ
chia 3
L n ầ
chia 4

L n ầ
chia 5
Töø maõ
u
1
0.34 0
u
2
0.23 0
u
3
0.19 1
u
4
0.10 1
u
5
0.07 1
u
6
0.06 1
u
7
0.01 1
Chương 2 MÃ HÓA NGUỒN
1%2 %3 45%6F%"G")*
Lời giải:
& <K%L
21


21
Ký hiệu
u
i
Xác suất
p
i
L n ầ
chia 1
L n ầ
chia 2
L n ầ
chia 3
L n ầ
chia 4
L n ầ
chia 5
Töø maõ
u
1
0.34 0 0
u
2
0.23 0 1
u
3
0.19 1 0
u
4
0.10 1 1

u
5
0.07 1 1
u
6
0.06 1 1
u
7
0.01 1 1
Chương 2 MÃ HÓA NGUỒN
1%2 %3 45%6F%"G")*
Lời giải:
& <K%L
22
Ký hiệu
u
i
Xác suất
p
i
L n ầ
chia 1
L n ầ
chia 2
L n ầ
chia 3
L n ầ
chia 4
L n ầ
chia 5

Töø maõ
u
1
0.34 0 0
u
2
0.23 0 1
u
3
0.19 1 0
u
4
0.10 1 1 0
u
5
0.07 1 1 1
u
6
0.06 1 1 1
u
7
0.01 1 1 1
Chương 2 MÃ HÓA NGUỒN
1%2 %3 45%6F%"G")*
Lời giải:
& <K%L
23
Ký hiệu
u
i

Xác suất
p
i
L n ầ
chia 1
L n ầ
chia 2
L n ầ
chia 3
L n ầ
chia 4
L n ầ
chia 5
Töø maõ
u
1
0.34 0 0
u
2
0.23 0 1
u
3
0.19 1 0
u
4
0.10 1 1 0
u
5
0.07 1 1 1 0
u

6
0.06 1 1 1 1
u
7
0.01 1 1 1 1
Chương 2 MÃ HÓA NGUỒN
1%2 %3 45%6F%"G")*
Lời giải:
& <K%L
24

24
Ký hiệu
u
i
Xác suất
p
i
L n ầ
chia 1
L n ầ
chia 2
L n ầ
chia 3
L n ầ
chia 4
L n ầ
chia 5
Töø maõ
u

1
0.34 0 0
u
2
0.23 0 1
u
3
0.19 1 0
u
4
0.10 1 1 0
u
5
0.07 1 1 1 0
u
6
0.06 1 1 1 1 0
u
7
0.01 1 1 1 1 1
Chương 2 MÃ HÓA NGUỒN
1%2 %3 45%6F%"G")*
Lời giải:
& <K%L
25

25
Ký hiệu
u
i

Xác suất
p
i
L n ầ
chia 1
L n ầ
chia 2
L n ầ
chia 3
L n ầ
chia 4
L n ầ
chia 5
Töø maõ
u
1
0.34 0 0 00
u
2
0.23 0 1 01
u
3
0.19 1 0 10
u
4
0.10 1 1 0 110
u
5
0.07 1 1 1 0 1110
u

6
0.06 1 1 1 1 0 11110
u
7
0.01 1 1 1 1 1 11111