Lý Thuyết thông tin Chương 3

CHƯƠNG 3
MÃ HOÁ NGUỒN
Giáo Viên: TS. Trần Trung Duy
Học Viện Công Nghệ Bưu Chính Viễn Thông TP. Hồ Chí Minh.
Email:
Điện Thoại: 0938967217.


Mã Hoá Nguồn
 Hệ thống thông tin
• Nguồn tin (Information Source)
• Kênh tin (Channel)
• Nhận tin (Information Destination)


Mã Hoá Nguồn
• Thông tin
Thông tin là các dữ liệu được thu thập và xử lý nhằm
mang lại hiểu biết cho con người.

• Tin
Tin là dạng vật chất cụ thể để biểu hiện thông tin.

• Nguồn tin
Nơi sản sinh ra tin


Mã Hoá Nguồn
 Hệ thống thông tin số
• Tín hiệu đưa vào như hình ảnh âm thanh là các tín hiệu
tương tự.

• Khối định dạng: chuyển tín hiệu từ tương tự sang từ
mã số.


Mã Hoá Nguồn
 Tiêu chí đánh giá chất lượng hệ thống thông tin
• Tính hiệu quả
Tốc độ truyền tin
Truyền đồng thời nhiều tin khác nhau
Chi phí hoạt động và đầu tư

• Độ tin cậy
• Bảo mật
• Đảm bảo chất lượng dịch vụ


Mã Hoá Nguồn

 Khái niệm mã hoá

• Mã hóa là phép ánh xạ 1 – 1 từ các tập tin rời rạc xk lên
tập các từ mã uk

f : xk a uk


 Mục Tiêu

Mã Hoá Nguồn

• Mã hóa mỗi thông điệp nguồn thành một từ mã nhị
phân duy nhất.

• Một kỹ thuật mã hóa hiệu quả ứng với số lượng bit nhị
phân nhỏ nhất.


Mã Hoá Nguồn

 Các Thông Số của Bộ Mã

• Cơ số mã là số ký hiệu mã trong một bộ chữ mã B, ký
hiệu m.
Ví dụ: mã nhị phân có 2 ký hiệu 0,1  m = 2.

• Độ dài từ mã thứ k (lk) là số ký tự của từ mã thứ k.
• Tổng số các từ mã của bộ mã ký hiệu là N.


Mã Hoá Nguồn

 Khái Niệm các Bộ Mã

• Định nghĩa mã Non-Singular
Một bộ mã được gọi là non-singular khi tất cả các từ mã
là phải hoàn toàn khác nhau

∀ : xk ≠ xn ⇒ uk ≠ un

• Định nghĩa từ mã mở rộng

Một từ mã mở rộng là việc ánh xạ một chuỗi hữu hạn các
từ mã liên tiếp nhau.

x1 x2 ... a u1u2 ...


Mã Hoá Nguồn

 Khái Niệm các Bộ Mã

• Định nghĩa bộ mã giải mã duy nhất (Unique
Decodability)
Một bộ mã được gọi là giải mã duy nhất khi các từ mã
mở rộng của nó là một từ mã non-singular.


Mã Hoá Nguồn

 Định nghĩa bộ mã có tính Prefix

• Một bộ mã có tính prefix khi không có bất cứ từ mã
nào là phần mào đầu (prefix) của một từ mã khác trong
bộ mã.

⇒Mã có tính prefix có thể giải mã tức thời.
⇒Một bộ mã prefix là bộ mã giải mã duy nhất.
⇒Một bộ mã giải mã duy nhất chưa phải là một bộ mã
có tính Prefix.

Mã Hoá Nguồn

 Định nghĩa bộ mã có tính Prefix
• Ví dụ: Bộ mã nào có tính Prefix
Nguồn tin

Bộ mã A

Bộ mã B

S1

0

0

S2

10

01

S3

110

011

S4

1110

0111

• Giải mã chuỗi bit sau 0101101110


 Sơ Đồ
Toàn bộ mã

Mã non-singular

Mã Hoá Nguồn
Mã giả mã duy nhất

Mã giải mã tức thởi


Mã Hoá Nguồn

 Mã đều và mã đầy

• Mã đều là mã có chiều dài của các từ mã là bằng nhau.

∀ : lk = L
• Bộ mã đầy là bộ mã có tính chất:

N =m

l


Mã Hoá Nguồn

 Độ Dài Trung Bình và Hiệu Suất Mã
• Độ dài trung bình: trung bình thống kê của độ dài các
từ mã:

L = ∑ p ( xk ) lk
∀k

• Hiệu suất của bộ mã được tính bằng công thức:

η =H(X) /L


Mã Hoá Nguồn

 Mã Hoá Shannon-Fano

Bước 1: Sắp xếp các ký tự theo xác suất xuất hiện giảm
dần.
Bước 2: Vẽ đường thẳng chia các ký tự thành hai nhóm
sao cho tổng xác suất của hai nhóm là gần nhau nhất.
Viết ký tự 0 cho nhóm ở trên đường thẳng và ký tự 1
cho các nhóm ở phía dưới đường thẳng.
Bước 3: Tiếp tục chia các nhóm có nhiều hơn 1 ký tự
thành các nhóm nhỏ sử dụng phương pháp trong Bước

2.
Bước 4: Khi tất cả các nhóm đều chỉ chứa 1 ký tự, từ mã
được tạo ra từ các bit đọc từ trái sang phải.


Mã Hoá Nguồn

 Mã Hoá Shannon-Fano

Ví dụ: Mã hoá nguồn X có 4 ký tự A, B, C, D với xác
suất xuất hiện lần lượt là 1/2, 1/4, 1/8 và 1/8. Tính hiệu
xuất mã hoá.


 Mã Morse

Mã Hoá Nguồn


Mã Hoá Nguồn

 Alphabet: tần suất xuất hiện trong các văn bản
tiếng Anh


Mã Hoá Nguồn

 Mã Hoá Shannon-Fano

Bài tập 1: Mã hoá nguồn X có 8 ký tự A, B, C, D, E, F, G

và H với xác suất xuất hiện lần lượt là 0.5, 0.15, 0.15,
0.08, 0.08, 0.02, 0.01 và 0.01. Tính hiệu xuất mã hoá.


Mã Hoá Nguồn

 Mã Hoá Shannon-Fano

Đáp số: Các từ mã là 0, 100, 101, 110, 1110, 11110,
111110, 1111111.
H(X) = 2.15,

L = 2.18


Mã Hoá Nguồn

 Mã Hoá Shannon-Fano

Bài tập 2: Nguồn có 6 ký tự với xác suất là 0.3, 0.25, 0.2,
0.12, 0.08 và 0.05.


Mã Hoá Nguồn

 Mã Hoá Shannon-Fano

Bài tập 3: nguồn có 8 ký tự với xác suất là: 0.23, 0.2,
0.14, 0.12, 0.1, 0.09, 0.06, 0.06.

Mã Hóa Nguồn
 Mã hóa Huffman cơ sở (basic Huffman encoding)


Mã Hóa Nguồn
 Mã hóa Huffman cơ sở (basic Huffman encoding)