Kênh rời rạc không phụ thuộc thời gian - Phần 2 ppt

7/2/2010
1
Chương 3:
Kênh rời rạc không phụ
thuộc thời gian
3.2 Phương án giải mã tối ưu. Định
lý căn bản của LTTT
Giải mã
• Gọi x
1
, x
2
, …, x
M
và y
1
, y
2
, …, y
L
lần lượt là các ký
tự input và output.
• Một phương án giải mã là một phép tương ứng
mỗi ký tự output y
j
với một ký tự input x
j
*. Khi
nhận được y
j
ta sẽ giải mã thành x

j
*
• Giải mã là phân hoạch tập ký tự output thành các
tập B
1
, …, B
M
sao cho mỗi y trong B
i
sẽ giải mã
thành x
i
• Một phương án giải mã có thể xem như một kênh
deterministic với tập ký tự input là y
1
, y
2
, …, y
L
và tập ký tự output là x
1
, x
2
, …, x
M
7/2/2010
2
Huỳnh Văn Kha
7/2/2010
2

Ví dụ
Xác
suất
X
1/2 x
1
1/4 x
2
1/4 x
3
7/2/2010Huỳnh Văn Kha
3
Y
y
1
y
2
y
3
Z
x
1
x
2
x
3
1
1
1/2
1/2

Bài toán giải mã
• Cho trước input, xây dựng phương án giải mã sao
cho xác suất sai là nhỏ nhất
• Giả sử y
j
tương ứng với x
j
*
• Gọi xác suất đúng là p(e’), ta có:
• Kênh và input cho trước nên các p(y
j
) không đổi
• Với mỗi y
j
cho trước chỉ cần chọn x
j
* sao cho
p(x
j
*|y
j
) là lớn nhất
7/2/2010Huỳnh Văn Kha
4

7/2/2010
3
Trường hợp input ñồng xác suất
• Nếu input là đồng xác suất thì
• Với y cố định thì việc cực đại p(x

i
|y) tương đương
với việc cực đại p(y|x
i
)
• Như vậy với phân phối đều của input thì phương
án giải mã tối ưu là với mỗi y cho trước chọn x
i
sao cho p(y|x
i
) là cực đại
• Ta sẽ xét kỹ hơn vấn đề này trong chương 4
7/2/2010Huỳnh Văn Kha
5

Ví dụ
• Xét ma trận kênh
• Gải sử p(x
1
) = ½, p(x
2
) = p(x
3
) = ¼
• Tìm phương án giải mã tối ưu và tính xác suất sai
7/2/2010Huỳnh Văn Kha
6
1/2 1/3 1/6
1/6 1/2 1/3
1/3 1/6 1/2

y
1
y
2
y
3
x
1
x
2
x
3
7/2/2010
4
ðịnh lý căn bản của LTTT
• Giả sử nguồn sinh ra dãy các ký tự nhị phân với
định lượng không đổi R bit/giây, và định lượng
truyền của nguồn không quá 1 bit/giây
• Trong n giây, nguồn sinh nR ký tự
• Tổng số mẫu tin có thể có trong n giây là 2
nR
• Chú ý 2
nR
có thể không nguyên, trong trường hợp
đó, ta lấy [2
nR
] (phần nguyên của 2
nR
)
• Ta cũng không quan tâm trường hợp số ký tự của

nguồn không phải là 2. Vì nếu số ký tự mã là D và
nguồn sinh S ký tự/giây, thì trong n giây, nguồn
sinh D
nS
= 2
nSlog D
. Và có thể xem nó như nguồn
nhị phân với định lượng R = S log D
7/2/2010Huỳnh Văn Kha
7
ðịnh lý căn bản của LTTT
• Thay vì truyền từng ký tự qua kênh, ta sẽ mã hóa
mỗi block n ký tự
• Do định lượng truyền không quá 1 bit/giây nên
số ký tự mã mã hóa mỗi block không quá n ký tự
• Để giữ định lượng sinh của nguồn là R, ta cần 2
nR
từ mã chiều dài ≤ n
• Ý tưởng cơ bản của định lý là cho trước ε > 0, nếu
chọn n đủ lớn, ta có thể tìm được 2
nR
từ mã và
một cách giải mã sao cho sai số đều < ε, nghĩa là
< ε bất chấp từ mã nào được truyền qua kênh
7/2/2010Huỳnh Văn Kha
8
7/2/2010
5
ðịnh lý căn bản của LTTT
• Cái giá phải trả là ta cần phải chờ n giây trước khi

mã hóa nguồn tin, cũng có thể phải tốn thêm thời
gian chờ do việc mã hóa và giải mã
• Thêm vào đó, phương án mã hóa và giải mã
trong định lý này rất phức tạp và khó thực hiện
trong thực tế
7/2/2010Huỳnh Văn Kha
9
ðịnh lý căn bản của LTTT
• Ví dụ, xét R = 2/5 và n = 5. Trong 5 giây, số mẫu
tin có thể có do nguồn sinh ra là 2
nR
= 4. Gọi
chúng là m
1
, m
2
, m
3
, m
4
• Ta gán cho mỗi m
i
một dãy nhị phân độ dài ≤ 5
7/2/2010Huỳnh Văn Kha
10
m
1
00000
m
2

01101
m
3
11010
m
4
10111
m
1
00
m
2
01
m
3
10
m
4
11
7/2/2010
6
ðịnh lý căn bản của LTTT
• Với cách mã hóa thứ hai, chỉ cần một ký tự bị
truyền sai cũng không thể nào phát hiện được
• Với cách mã hóa thứ hai, mọi việc truyền sai một
ký tự đều có thể phát hiện và tự động sửa lỗi được
• Nếu nhận được chuỗi v, ta chỉ cần chọn từ mã w
sao cho số vị trí khác nhau của w và v là ít nhất
• Chú ý rằng hai từ mã khác nhau sẽ khác nhau ở ít
nhất 3 vị trí. Do đó mọi việc truyền sai một ký tự

sẽ phát hiện và sửa lỗi được
7/2/2010Huỳnh Văn Kha
11
ðịnh lý căn bản của LTTT
• Một n-chuỗi là một dãy n ký tự input hoặc output
• Một bộ mã (s,n) là một tập gồm s các n-chuỗi input
x
(1)
, …, x
(s)
cùng với một phương án giải mã, nghĩa
là một hàm cho tương ứng mỗi n-chuỗi output với
một trong các x
(i)
. Các x
(i)
gọi là các từ mã
• Một phương án giải mã là một phân hoạch tập các
n-output thành các tập con rời nhau B
1
, …, B
s
, mà
mỗi B
i
gọi là một tập giải mã. Khi nhận được
output trong B
i
ta sẽ giải mã thành x
(i)

7/2/2010Huỳnh Văn Kha
12
7/2/2010
7
ðịnh lý căn bản của LTTT
• Mỗi n-chuỗi input là một trạng thái của vector
ngẫu nhiên X = (X
1
, X
2
, …, X
n
)
• Mỗi n-chuỗi output là một trạng thái của vector
ngẫu nhiên Y = (Y
1
, Y
2
, …, Y
n
)
• Giả sử x
(i)
được truyền qua kênh, xác suất sai là
7/2/2010Huỳnh Văn Kha
13

ðịnh lý căn bản của LTTT
• Xác suất sai của bộ mã là
• Xác suất sai cực đại được định nghĩa là

• Do đó nếu p
m
(e) ≤ ε thì từ mã nào cũng được
truyền với sai số ≤ ε
7/2/2010Huỳnh Văn Kha
14


7/2/2010
8
ðịnh lý căn bản của LTTT
• Một bộ mã (s,n,λ) là một bộ mã (s,n) sao cho xác
suất sai cực đại là ≤ λ
Định lý căn bản của LTTT:
Cho trước một kênh rời rạc không phụ thuộc thời
gian với dung lượng kênh C > 0 và một số dương
R < C. Khi đó tồn tại một dãy các bộ mã
a
1
,
a
2
,
…,
A
n
, … sao cho
a
n
là một bộ mã ([2

nR
],n,λ
n
) và
λ
n

0 khi n

∞
7/2/2010Huỳnh Văn Kha
15