Mã hóa chống nhiễu, định lý kênh

Trang 175
Bài 10 Mã hóa chống nhiễu,
định lý kênh
‎10.1 Giới thiệu bài toán chống nhiễu
‎10.2 Định lý kênh có nhiễu cho kênh nhị phân đối xứng rời
rạc (BSC)
‎10.3 Định lý ngược của kênh truyền có nhiễu
Trang 176
Giới thiệu bài toán chống nhiễu

Mục tiêu chống nhiễu là bên nhận có thể đoán (giải mã) được
càng chính xác càng tốt dãy kí hiệu đã được phát.

Chẳng hạn xét nguồn nhị phân đối xứng với xác suất chéo
ε
,
đồng thời giả sử nguồn phát đẳng xác suất, tức P(0) = P(1) =
1/2.

Với
ε
< 1/2, xét cơ chế giải mã ở bên nhận như sau: Nếu y = 0
thì đoán x = 0 và nếu y = 1 thì đoán x = 1.

Xác suất giải mã bị lỗi của cơ chế này là
P(lỗi) = P(y = 0) P(x = 1 | y = 0) + P(y = 1) P(x = 0 | y = 1) =
ε
/2 +
ε
/2 =
ε

.

Chú ý trong trường hợp ở đây chúng ta tính được
P(y = 0) = P(y = 1) = 1/2 và P(x
≠
y | y) =
ε
.

Vấn đề quan trọng là có thể giảm được xác suất giải mã bị lỗi
hay không?
Trang 177
Giới thiệu bài toán chống nhiễu (tt)

Một hướng giải quyết như sau: để gởi 0 chúng ta gởi chuỗi 3 kí
hiệu 0 và tương tự để gởi 1 chúng ta gởi 3 kí hiệu 1.

Cơ chế giải mã của bên nhận như sau: Nếu chuỗi nhận có nhiều
kí hiệu 0 hơn 1 thì giải mã thành 0 và ngược lại.

Chẳng hạn bên nhận nếu nhận được 010 thì giải mã thành 0 còn
nếu nhận được 110 thì giải mã thành 1.

Cơ chế này có xác suất giải mã bị lỗi là
P(lỗi) = 3(1 –
ε
)
ε
2
+

ε
3
<
ε

Xác suất này nhỏ hơn
ε
. Tuy nhiên hiệu suất truyền thông tin bị
giảm xuống 3 lần.

Tương tự nếu muốn xác suất giải mã tiến đến 0 chúng ta sẽ mã
hoá 0 thành dãy 2n + 1 kí hiệu 0 và mã hoá 1 thành 2n + 1 kí
hiệu 1, nhưng tương ứng lúc này hiệu suất truyền thông tin
giảm xuống 2n + 1 lần so với ban đầu.
Trang 178
Giới thiệu bài toán chống nhiễu (tt)

Có một cách có thể giảm xác suất giải mã lỗi xuống gần bằng 0
nhưng không giảm hiệu suất truyền thông tin xuống gần bằng 0
mà chỉ cần nhỏ hơn một ngưỡng nào đólà đủ.

Ngưỡng đó chính là dung lượng kênh.

Cách này cũng khai thác ý tưởng trên ở chỗ thay vì để gởi đi 0
và 1, cái mà có “khoảng cách Hamming”giữa chúng là 1 thì
chúng ta sẽ mã hoá lần lượt thành 000 và 111, cái mà có
“khoảng cách Hamming”giữa chúng là 3 và vì vậy giảm xác
suất giải mã bị lỗi.
Trang 179
Định lý kênh có nhiễu cho kênh

nhị phân đối xứng rời rạc (BSC)

Xét kênh nhị phân đối xứng với xác suất chéo p.

Dung lượng kênh trong đơn vị bits/kí hiệu là
C = 1 – H(p) với H(p) = –plogp –(1–p)log(1–p)

Giả sử thời gian truyền 1 kí hiệu là T, số kí hiệu được truyền
trong 1 giây là 1/T, thì dung lượng theo đơn vị bits/giây là
C = [1 – H(p)]/T

Xét nguồn X có entropy H(X) bits/ký hiệu, tức là nguồn này tạo
ra thông tin ở tốc độ theo đơn vị bits/giây.
R = H(X)/T

Định lý 10.1.

Chừng nào mà R (bits/giây) còn nhỏ hơn C (bits/giây), thì việc
truyền trên kênh với tỉ lệ lỗi nhỏ tuỳ ý là có thể thực hiện được.

Để chứng minh định lý này cần một số khái niệm sau.
Trang 180
Các khái niệm

Trọng số Hamming

Trọng số Hamming của một dãy kí hiệu v = a
1
a
2

...a
n
, trong đó
mỗi a
i
∈
{0, 1, ..., m–1}, là số kí hiệu khác 0 của dãy, và
thường được kí hiệu là w(v).

Khoảng cách Hamming

Khoảng cách Hamming của hai dãy kí hiệu v
1
, v
2
với chiều dài
bằng nhau là số vị trí khác nhau của hai dãy, và thường được kí
hiệu là d(v
1
, v
2
).

Phép cộng cơ số
m
,
⊕

Xét a, b
∈

{0, 1, ..., m–1} thì a
⊕
b = (a + b) mod m.

Nếu v
1
= a
1
a
2
...a
n
, v
2
= b
1
b
2
...b
n
thì v
1
⊕
v
2
= c
1
c
2
...c

n
trong đó c
i
= a
i
⊕
b
i
với i = 1, 2, ..., n.