Bài giảng Lý thuyết thông tin: Chương 2.3 - ThS. Huỳnh Văn Kha

Chương 2:
Bài toán mã trường hợp
kênh không bị nhiễu
2.3 Định lý cho bài toán mã trong
trường hợp kênh không bị nhiễu


2
Huỳnh Văn Kha

9/30/2010

Mở ñầu
• Biến ngẫu nhiên X có các trạng thái x1, x2, …, xM
với xác xuất tương ứng p1, p2, …, pM
• Các từ mã cho x1, x2, …, xM là W1, W2, …, WM có
độ dài lần lượt là n1, n2, …, nM
• Tập các ký tự mã là {a1, a2, …, aD}
• Ta sẽ xây dựng bộ mã để cực tiểu hóa chiều dài từ
mã trung bình
• Đầu tiên là tìm chặn dưới lớn nhất, sau đó tìm
cách tiến gần tới chặn dưới đó. Và cuối cùng là
xây dựng thuật toán để tìm bộ mã tối ưu


3
Huỳnh Văn Kha

9/30/2010

ðịnh lý 2.4

(ðịnh lý cho bài toán mã trong
trường hợp kênh không bị nhiễu)
Gọi
là chiều dài từ mã trung bình của một bộ mã
giải được bất kỳ cho biến ngẫu nhiên X. Khi
đó:
Dấu bằng xảy ra khi và chỉ khi:


4
Huỳnh Văn Kha

9/30/2010

Chứng minh ñịnh lý 2.4
• Đặt:
Thì các qi có tổng bằng 1. Áp dụng mệnh đề 1.1


5
Huỳnh Văn Kha

9/30/2010

Chứng minh ñịnh lý 2.4
• Dấu bằng trong bất đẳng thức (*) xảy ra khi và chỉ
khi:

• Do bộ mã là giải được nên

Và ta được
• Tiếp theo, nếu

, thì


6
Huỳnh Văn Kha

9/30/2010

Chứng minh ñịnh lý 2.4
• Ngược lại, nếu

thì từ (*) ta được

Nhưng

Vậy

, và từ (**), ta được


7
Huỳnh Văn Kha

9/30/2010

Bộ mã tối ưu tuyệt ñối
• Bộ mã làm cho dấu bằng trong định lý 2.4 xảy ra

được gọi là bộ mã tối ưu tuyệt đối
• Ví dụ
X
x1
x2

Xác suất Từ mã
1/2
1/4

0
10

x3
x4

1/8
1/8

110
111


8
Huỳnh Văn Kha

9/30/2010

Bộ mã tối ưu tuyệt ñối
• Bộ mã tối ưu tuyệt đối phải thỏa mãn

• Trong trường hợp tổng quát chưa chắc xây dựng
được bộ mã tối ưu tuyệt đối, do các ni như trên
chưa chắc là số nguyên
• Tuy nhiên, ta hoàn toàn có thể xây dựng được bộ
mã tiền tố có chiều dài từ mã trung bình gần
bằng chận dưới H(X)/log D như khẳng định của
định lý sau


9
Huỳnh Văn Kha

9/30/2010

ðịnh lý 2.5
Cho trước biến ngẫu nhiên X, với độ không
chắc chắn là H(X). Khi đó tồn tại bộ mã
tiền tố cho X, sao cho chiều dài từ mã
trung bình thỏa mãn


10
Huỳnh Văn Kha

9/30/2010

Chứng minh ñịnh lý 2.5
• Chọn ni là số nguyên thỏa mãn

• Khi đó log pi ≥ -ni log D, suy ra

• Vậy theo định lý 2.2 thì tồn tại bộ mã tiền tố ứng
với các ni chọn như trên


11
Huỳnh Văn Kha

9/30/2010

Chứng minh ñịnh lý 2.5
• Tiếp theo, ta ước lượng chiều dài từ mã trung
bình. Nhân hai vế cho pi rồi lấy tổng theo i ta
được

• Và ta có kết luận của định lý


12
Huỳnh Văn Kha

9/30/2010

Mã hóa theo block
• Theo định lý 2.5, ta luôn xây dựng được bộ mã
tiền tố có chiều dài trung bình nhỏ hơn chận dưới
H(X)/log D cộng thêm 1 ký tự mã
• Tuy nhiên ta có thể làm tốt hơn thế nếu dùng
phương pháp mã hóa theo block
• Nghĩa là ta không mã hóa từng trạng thái xi của

X, mà sẽ mã hóa từng nhóm s các trạng thái
• Nói cách khác, ta sẽ xây dựng bộ mã cho vector
ngẫu nhiên Y = (X1, X2, …, Xs). Trong đó các Xi là
độc lập và có cùng phân phối xác suất như X


13
Huỳnh Văn Kha

9/30/2010

Mã hóa theo block
X p Từ mã
x1 3/4 0
x2 1/4 1

Y=(X1, X2)
x1x1
x1x2
x2x1
x2x2

p
9/16
3/16
3/16
1/16

Từ mã
0

10
110
111


14
Huỳnh Văn Kha

9/30/2010

Mã hóa theo block
• Ta sẽ kiểm chứng rằng việc mã hóa theo block sẽ
làm giảm chiều dài từ mã trung bình cho một
trạng thái của X
• Theo định lý 2.5, ta sẽ xây dựng được bộ mã tiền
tố cho Y với chiều dài từ mã trung bình thỏa

• Nhưng do các Xi độc lập và cùng phân phối xác
suất với X nên ta có:
H(Y) = H(X1) + H(X2) + … + H(Xs) = sH(X)


15
Huỳnh Văn Kha

9/30/2010

Mã hóa theo block
• Như vậy

•

chính là số ký tự mã trung bình để mã hóa
một trạng thái của X
• Từ trên ta thấy
có thể gần H(X)/log D tùy ý
• Vậy H(X)/log D chính là số ký tự mã trung bình
(lấy trong bộ D ký tự mã) cực tiểu dùng để mã
hóa một trạng thái của X


16
Huỳnh Văn Kha

9/30/2010

Một ý nghĩa của H(X)
• Trong trường hợp D=2 , ta thấy H(X) chính là số
ký tự mã trung bình cực tiểu dùng để mã hóa 1
trạng thái của X
• Một bộ mã nhị phân tiền tố sẽ tương ứng với một
dãy các câu hỏi “yes no” dùng để xác định trạng
thái của X
• Trong đó số câu hỏi để xác định xi chính bằng
chiều dài ni của từ mã tương ứng
• Vậy H(X) có thể xem là số câu hỏi trung bình cực
tiểu dùng để xác định trạng thái của X


17

Huỳnh Văn Kha

Ví dụ

yes

x1

no

x2

x1?
yes

X
x1
x2
x3
x4
x5

9/30/2010

Từ mã
00
01
11
100
101

yes

x1
or
x2?

x4

x4?
no

yes

no
x4
or
x5?

no

x5

x3