Nén dữ liệu LTTT

LÝ THUYẾT THÔNG TIN
CHƯƠNG 3: NÉN DỮ LIỆU

NGUYỄN THỊ NGA
NGUYỄN THANH DŨNG
NGUYỄN THANH TÍNH


NỘI DUNG CHƯƠNG
I. Các định nghĩa về mã hóa
II. Bất đẳng thức Kraft cho mã tức thời
III. Các mã tối ưu
IV. Các giới hạn chiều dài của mã tối ưu
V. Bất đẳng thức Kraft cho mã tách được duy nhất
VI. Mã Huffman
VII. Định lý về sự tối ưu của mã hóa Huffman


I. CÁC ĐỊNH NGHĨA VỀ MÃ HÓA

*

1. Các
định nghĩa về mã hóa dữ liệu :
 
- Tập hợp các phép ánh xạ để biến ngẫu nhiên X nhận giá trị trong tập thành các chuỗi có chiều dài xác
định của các ký tự thuộc tập ký tự mã .
- Ví dụ :
Biến ngẫu nhiên X thuộc tập ={A,H,N,T}
Tập kí tự mã ={0,1}
Bộ mã : phép ánh xạ

=> “NHAT”

A

0

H
N
T

10
110
111
110100111


*-  C(x) : từ mã (codeword) tương ứng với giá trị x của biến X.
- l(x) : chiều dài của C(x).
- Ví dụ:
Biến ngẫu nhiên X thuộc tập ={A,H,N,T}
Tập kí tự mã ={0,1}
Các từ mã :
Chiều dài:


 
*-Chiều
dài trung bình L(C) của bộ mã C cho biến ngẫu nhiên X tuân theo phân phối p(x).

2. Chiều dài trung bình của bộ mã :

-Ví dụ:
Cho biến ngẫu nhiên X có:

Suy ra: L(C) = 1,75 bit
Nhận xét: L(C) = H(X) = 1,75 bit.
X

A

H

N

T

P(X=x)

1/2

1/4

1/8

1/8

C(x)

0

10

110

111


*

3. Bộ mã tách được :
 
- Bộ mã được gọi là tách được nếu tất cả các giá trị của X đều được mã hóa thành những chuỗi khác nhau
trong bảng mã.
- Ví dụ:
Cho biến ngẫu nhiên X có:

+ Với chuỗi mã hóa có dạng : 0101100110
+ Chuỗi sau mã hóa : ABABBAABBA hay cũng có thể là CCDCD và nhiều kết quả khác nữa.
X

A

B

C

D

C(x)

0

1

01

10


*

4. Bộ mã mở rộng :
 
- Bộ mã mở rộng của C là phép biến đổi chuỗi các giá trị của biến X thành chuỗi từ mã.

- Ví dụ:
Cho và
=> Bộ mã mở rộng


5. Bộ mã tách được duy nhất:
- Một bộ mã được gọi là tách được duy nhất khi bộ mã mở rộng từ nó tách được duy nhất.
- Ví dụ:

Giả sử dãy mã nhận được (cần giải mã) là: 0010000101001.
X

a

b

0

01

=> Chuỗi sau giải mã là: abaaabbab
C(x)


6. Mã tức thời :
- Một bộ mã được gọi là tức thời nếu không tồn tại từ mã này là tiền tố của từ mã khác.
- Ví dụ:
Cho biến ngẫu nhiên X có:

Chuỗi cần mã hóa là: 0111011000.
=> Chuỗi sau giải mã: ABDCA
X

A

B

C

D

C(x)

0

11

100

101


MỐI QUAN HỆ GIỮA CÁC BỘ MÃ

TẤT CẢ CÁC MÃ
MÃ TÁCH ĐƯỢC

MÃ TÁCH ĐƯỢC DUY NHẤT

MÃ TỨC THỜI


II. ĐỊNH LÍ KRAFT
kiện cần :
*-  Điều
Cho mã tức thời X ={ } có:
Bảng chữ cái kích thước D (thường lấy D=2).
Chiều dài các từ mã: .
Chiều dài từ mã thỏa mãn (bất đẳng thức Kraft):
- Điều kiện đủ :
Nếu có tập hợp các từ mã thỏa mãn bất đẳng thức Kraft thì sẽ tồn tại bộ mã tức thời bởi các bộ mã có chiều
dài như trên.

:
 
*
- Cây bậc D cỡ k là cây có hệ thống nút, cạnh thỏa mãn:

a. Định nghĩa cây bậc D cỡ K

+ Từ 1 nút có số cạnh đi ra không vượt quá D.
+ Nút lá cách nút gốc không quá k cạnh.
- Tính chất :
+ Các nút (trừ nút gốc) của cây
đều được mã hóa từ tập {0,1,2,…,D-1}
+ Mỗi nút (đã mã hóa) có mã của
nút kề trước là tiền tố.
+ Tổng số các nút lá bằng .


 
*
- Điều kiện cần:

b. Chứng minh bất đẳng thức Kraft:
Cho trước bộ mã tức thời X ={ } với .
Ta cần chứng minh:

- Xây dựng cây bậc D cỡ .
- Qui tắc : một nút nào đó được chọn để gán một từ mã thì tất cả các nút kề sau nút gán từ mã phải được xóa.


thể như sau:

*-  Cụ Chọn
một nút có mã với độ dài mã là gán cho nó một từ mã C().
=>Tổng số nút lá được xóa tương ứng là
- Vậy số nút lá bị xóa hoặc được gán từ mã là:
=
=>


kiện đủ :
 
*- Điều
Giả sử :

- Xét và cơ số sinh mã là D:
+ Bước 1: Ta xếp theo thứ tự , xây dựng cây bậc D cỡ k.
+ Bước 2: Chọn nút bất kỳ trên cây có độ dài gán cho từ mã C() và xóa tất cả các nút kề sau nó.
+ Bước 3: Lặp lại bước 2 đối với các từ mã còn lại C() ứng với .
=> Bảng mã X={ } là bảng mã tức thời.


*-  Ví dụ:
Xét bảng mã thỏa mãn n=3; =1; =2; =3; D=2
=> X ={ } là bảng mã thức thời
Chọn cắt bỏ các nút con của .
Chọn cắt bỏ các nút con của .
Chọn =111.


III. MÃ TỐI ƯU:

* 

1. Định nghĩa:
-Mã tối ưu là mã có chiều dài trung bình ngắn nhất so với các mã tách được duy nhất khác.
- Tồn tại nhiều mã tối ưu cho mỗi nguồn , các mã tối ưu này có cùng chiều dài.
- Trong các mã tối ưu đó sẽ có 1 mã là mã tức thời.
2. Tính chất:
- Bộ mã tức thời sẽ thỏa mãn bất đẳng thức Kraft.
- Với D là kích thước tập kí tự mã, m là số từ mã và l là chiều dài từ mã .
-Ngược lại, nếu chiều dài của các từ mã thỏa mãn bất đẳng thức Kraft thì tồn tại bộ mã tức thời.


*-  Cho biến ngẫu nhiên X có:

3. Ví dụ:

X

1

2

3

P(X=i)

0.4

0.3

0.3

C1

0

10

110

C2

0

01

11

- Ta có:
=

=> 0.4*1 + 0.3*2 + 0.3*3 = 1.9
= + =1
=> 0.4*1 + 0.3*2 + 0.3*2 = 1.6
- Từ < => min = = 1.6
Vậy là mã tối ưu của biến ngẫu nhiên X.


IV. CÁC GIỚI HẠN CHIỀU DÀI CỦA MÃ TỐI ƯU:

*

1. Định lý chiều dài trung bình mã:
 
a. Định lý:
- Chiều dài trung bình mã L của bộ mã tức thời bất ký từ bảng kí tự gồm D ký tự của biến ngẫu nhiên X lớn hơn
hoặc bằng entropy cơ số D của X:
L
- Dấu “ = “ xảy ra khi và chỉ khi =
b. Chứng minh:
- Cho 2 phân phối ngẫu nhiên p i và qi , ta có:


*Ta  có
= = =0
Gọi chiều dài của từ mã là đặt :
K=

và =

Ta có :
=
Với
=+ = + L


*Nên 
Vì mã tức thời nên :
=>
=>

Khi = pi
=>
=>


 
*
a. Định lý :

2. Định lý giới hạn chiều dài mã tối ưu:
- Cho nguồn theo phân phối p, Bảng kí tự D, với * , * ,.. là chiều dài tối ưu của các từ mã . T có định lý giới
hạn chiều dài như sau :
L*

+1

- Chiều dài trung bình của bộ mã tối ưu của biến X: L =
- Chiều dài có thể không phải là số nguyên, do đó ta làm tròn chiều dài thành số tự nhiên gần nhất


*-Ví  dụ: Cho biến ngẫu nhiên X nhận giá trị X ={1,2,3} và tập ký tự D = {0,1}.
-

X

1

2

3

P(X=i)

0.6

0.3

0.1


 
*
- Ta có:

b. Chứng minh :
li = => li* =

()
Nên :

≤ li* < + 1
(1)
(2)
=> ≤ li* < +
=> ≤ li* < +
=> HD(X) ≤ L* < HD(X) + 1


V.BẤT ĐẲNG THỨC KRAFT CHO MÃ TÁCH ĐƯỢC DUY
NHẤT.

:
*- Xét  một tập nguồn X = {x , x Kraft
,……, x

1 . Bất đẳng thức McMillan -

1 2

n } được mã hóa thành một mã tách được duy nhất từ tập

D-ký tự .
- Chiều dài trung bình của các từ mã của mã tách được từ nguồn trên phải thỏa mãn bất đẳng thức
sau :
1

- Với li là chiều dài từ mã tương ứng lần lượt với tập nguồn X.