Bài toán mã trường hợp kênh không bị nhiễu - Phần 4 pps

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (291.67 KB, 9 trang )

7/2/2010
1
Chương 2:
Bài toán mã trường hợp
kênh không bị nhiễu
2.4 Xây dựng bộ mã tối ưu
Bổ ñề 2.6
Giả sử bộ mã C là tối ưu trong họ các các bộ mã
tiền tố cho phân bố xác suất p
1
, p
2
, …, p
M
; nói
cách khác, giả sử không bộ mã tiền tố nào có
chiều dài từ mã trung bình nhỏ hơn của C. Khi
đó C là tối ưu trong họ các bộ mã giải được
7/2/2010Huỳnh Văn Kha
2
Bổ đề 2.6 cho phép ta thay vì tìm bộ mã tối ưu
trong tập các bộ mã giải được, ta chỉ cần tìm bộ
mã tối ưu trong tập nhỏ hơn, tập các bộ mã tiền tố
7/2/2010
2
Chứng minh bổ ñề 2.6
• Giả sử tồn tại bộ mã giải được C’ có chiều dài từ
mã trung bình nhỏ hơn của C. Gọi n’
1
, n’
2

, …, n’
M
là các độ dài từ mã của C’
• Theo định lý 2.3
• Theo định lý 2.2 thì tồn tại bộ mã tiền tố C’’ với
chiều dài từ mã lần lượt là: n’
1
, n’
2
, …, n’
M
• Như vậy có bộ mã tiền tố C’’ có chiều dài từ mã
trung bình nhỏ hơn của C (vô lý)

7/2/2010
3
Huỳnh Văn Kha
Bổ ñề 2.7
• Cho C là bộ mã tiền tố nhị phân với chiều dài các
từ mã là n
1
, n
2
, …, n
M
.
• Giả sử các trạng thái được sắp xếp theo thứ tự
giảm dần theo xác suất (nghĩa là p
1
≥ p

2
≥ … ≥
p
M
) và trong mỗi nhóm có cùng xác suất, các
trạng thái được xếp thứ tự tăng dần theo chiều
dài từ mã, nghĩa là nếu p
i
= p
i+1
= … = p
i+r
thì n
i
≤
n
i+1
≤ … ≤ n
i+r
• Nếu C là tối ưu trong họ các bộ mã tiền tố thì C có
các tính chất sau:
7/2/2010
4
Huỳnh Văn Kha
7/2/2010
3
Bổ ñề 2.7
a) Trạng thái có xác suất cao thì từ mã tương ứng
có độ dài ngắn hơn, nghĩa là p
j

> p
k
kéo theo n
j
≤ n
k
b) Hai từ mã của hai trạng thái cuối có độ dài bằng
nhau, nghĩa là n
M-1
= n
M
c) Trong số các từ mã có chiều dài n
M
, có ít nhất
hai từ mã giống nhau hoàn toàn, ngoại trừ ký tự
cuối cùng của chúng
7/2/2010
5
Huỳnh Văn Kha
Ví dụ
• Xét bộ mã nhị phân sau
• Bộ mã này không tối ưu
X Từ mã
x
1
0
x
2
100
x

3
101
x
4
1101
x
5
1110
7/2/2010
6
Huỳnh Văn Kha
7/2/2010
4
Chứng minh bổ ñề 2.7
• Chứng minh a): Nếu p
j
> p
k
nhưng n
j
> n
k
thì
chỉ cần đổi các từ mã ở vị trí thứ j và k cho nhau
ta sẽ được bộ mã C’ có chiều dài từ mã trung bình
nhỏ hơn. Thật vậy:
• Chứng minh b): Chú ý rằng n
M-1
≤ n
M

. Nếu n
M
> n
M-1
, chỉ cần bỏ đi ký tự cuối của từ mã thứ M
thì ta được bộ mã tiền tố tốt hơn

7/2/2010
7
Huỳnh Văn Kha
Chứng minh bổ ñề 2.7
• Chứng minh c): Giả sử ngược lại, mọi cặp từ
mã độ dài n
M
đều có ít nhất một ký tự mã (không
là ký tự cuối) khác nhau. Khi đó chỉ cần bỏ đi ký
tự mã cuối cùng của một trong các từ mã đó, ta sẽ
được bộ mã (vẫn là tiền tố) tốt hơn
Chú ý: Để đơn giản ta chỉ nói về cách xây dựng bộ
mã tiền tố nhị phân tối ưu. Cách xây dựng bộ mã
với nhiều ký tự mã hơn có thể xem trong tài liệu
tham khảo
7/2/2010
8
Huỳnh Văn Kha
7/2/2010
5
Xây dựng bộ mã tối ưu (Huffman)
• Sắp xếp các x
i

theo thứ tự xác suất tăng dần
• Ghép hai trạng thái x
M-1
và x
M
thành một trạng
thái, gọi là x
M,M-1
, với xác suất p
M
+ p
M-1
• Giả sử ta xây dựng được bộ mã tiền tố tối ưu C
2
cho tập trạng thái mới
• Xây dựng C
1
cho tập trạng thái ban đầu như sau:
▫ Các từ mã cho x
1
, x
2
, …, x
M-2
vẫn như trong C
2
▫ Từ mã cho x
M-1
và x
M

được tạo thành bằng cách
thêm lần lượt 0, 1 vào từ mã của x
M,M-1
trong C
2
7/2/2010
9
Huỳnh Văn Kha
Xây dựng bộ mã tối ưu (Huffman)
X p C
1
n X p C
2
n
x
1
p
1
W
1
n
1
x
1
p
1
W
1
n
1

x
2
p
2
W
2
n
2
x
2
p
2
W
2
n
2
…
…
…
…
…
…
…
…
x
M,M-1
p
M
+p
M-1

W
M,M-1
n
M,M-1
…
…
…
…
x
M-2
p
M-2
W
M-2
n
M-2
x
M-1
p
M-1
[W
M,M-1
0] n
M-1
x
M-2
p
M-2
W
M-2

n
M-2
x
M
p
M
[W
M,M-1
1] n
M
7/2/2010
10
Huỳnh Văn Kha
7/2/2010
6
Chứng minh
• Ta sẽ chứng tỏ C
1
là bộ mã tối ưu
• Giả sử C
1
không tối ưu. Gọi C
1
’ là bộ mã tiền tố tối
ưu với các từ mã W’
1
, W’
2
, …, W’
M

có độ dài n’
1
,
n’
2
, …, n’
M
• Theo bổ đề 2.7 b) n’
M-1
= n’
M
• Theo bổ đề 2.7 c), có ít nhất một cặp từ mã độ dài
n
M
chỉ khác nhau ở ký tự cuối cùng
• Không mất tính tổng quát, giả sử W’
M-1
, W’
M
là
một cặp từ mã như vậy (nếu cần thiết, đổi vị trí)
7/2/2010
11
Huỳnh Văn Kha
Chứng minh
• Ghép x
M
, x
M-1
thành x

M,M-1
và xây dựng bộ mã C’
2
như sau
• Các từ mã cho x
1
, …, x
M-2
vẫn như trong C’
1
• Từ mã cho x
M,M-1
chính là W’
M
(hay W’
M-1
) bỏ đi
ký tự cuối (gọi là U’)
• Ta sẽ chứng minh C’
2
có chiều dài từ mã trung
bình nhỏ hơn chiều dài từ mã trung bình của C
2
• Và do đó trái với giả thiết tối ưu của C
2
7/2/2010
12
Huỳnh Văn Kha
7/2/2010
7

Chứng minh
X p C’
1
n X p C’
2
n
x
1
p
1
W’
1
n’
1
x
1
p
1
W’
1
n
1
x
2
p
2
W'
2
n’
2

x
2
p
2
W’
2
n
2
…
…
…
…
…
…
…
…
x
M,M-1
p
M
+p
M-1
U’ n’
M
-1
= n’
M-1
-1
…
…

…
…
x
M-2
p
M-2
W’
M-2
n’
M-2
x
M-1
p
M-1
W’
M-1
n’
M-1
x
M-2
p
M-2
W’
M-2
n’
M-2
x
M
p
M

W’
M
n’
M
=n’
M-1
7/2/2010
13
Huỳnh Văn Kha
Chứng minh
• C’
1
có chiều dài từ mã trung bình nhỏ hơn C
1
• Theo cách xây dựng C
1
thì n
M
= n
M-1
do đó
7/2/2010
14
Huỳnh Văn Kha

7/2/2010
8
Chứng minh

• Vậy
• Do n
M-1
-1 = n
M,M-1
, nên vế phải chính là độ dài từ
mã trung bình của C
2
và ta có điều cần chứng
minh
7/2/2010Huỳnh Văn Kha
15

Ví dụ
x
1
0.3
x
2
0.25
x
3
0.2
x
4
0.1
x
5
0.1
x