Kênh rời rạc không nhớ, lượng tin tương hỗ

Trang 145
Bài 9 Kênh rời rạc không nhớ
Lượng tin tương hỗ
9.1 Kênh rời rạc không nhớ và ma trận kênh
9.2 Entropy điều kiện và lượng tin tương hỗ
9.3 Một số loại kênh
9.4 Sự nhập nhằng (equivocation) và tốc độ truyền tin
9.5 Dung lượng kênh
Trang 146
Kênh rời rạc không nhớ và ma trận kênh

Định nghĩa

Một kênh rời rạc không nhớ (DMC) được định nghĩa bằng một
bảng kí hiệu đầu vào (nguồn phát) X = {x
1
, ..., x
K
}, một bảng kí
hiệu đầu ra (nguồn nhận) Y = {y
1
, ..., y
J
}, và một sự phân bố xác
suất có điều kiện p(y
j
| x
k
), với 1
≤
k

≤
K, 1
≤
j
≤
J.

Bảng kí hiệu đầu ra không nhất thiết giống bảng kí hiệu đầu
vào. Điều này có nghĩa là bên nhận có thể nhận những kí hiệu
mà không giống với những kí hiệu mà bên phát phát đi.
p(y
j
| x
k
)
X
x
k
Y
y
j
Trang 147
Nhận xét

Thuật ngữ không nhớ (memoryless) suy ra rằng
với N bất kỳ.

Một kênh rời rạc không nhớ thường được biểu diễn dưới dạng
một
ma trận kênh

[p(y
j
| x
k
)] có kích thước K
×
J.
∏
=
=
N
n
knjnkNkjNj
xypxxyyp
1
11
)|(}|{ LK
y
1
y
2
y
J
x
1
p(y
1
| x
1
) p(y

2
| x
1
) ... p(y
J
| x
1
)
x
2
p(y
1
| x
2
) p(y
2
| x
2
) ... p(y
J
| x
2
)
... ... ... ... ...
x
K
p(y
1
| x
K

) p(y
2
| x
K
) ... p(y
J
| x
K
)
Trang 148
Nhận xét (tt)

Chúng ta thấy, ma trận kênh chính là cái mà biểu diễn tính chất
tạp nhiễu của kênh truyền.

Chú ý, nếu chúng ta biết sự phân bố xác suất trên X thì sự phân
bố xác suất của Y sẽ được xác định như sau
∑
=
=
K
k
kjkj
xypxpyp
1
)|()()(
Trang 149
Entropy điều kiện và lượng tin tương hỗ

Xét bài toán truyền tin sau

Cho biết cấu trúc thống kê của nguồn X và ma trận kênh. Hãy
xác định kí hiệu x
k
nào đã được phát phát đi khi nhận được ở
đầu nhận một kí hiệu y
j
nào đó?

Ví dụ

Cho nguồn X = {x
1
, x
2
} với các xác suất lần lượt là p(x
1
) = 1/4,
p(x
2
) = 3/4, nguồn Y = {y
1
, y
2
} và ma trận kênh là

Nếu nhận được y
1
thì x
k
nào có khả năng đã được phát đi?

y
1
y
2
x
1
4/5 1/5
x
2
2/5 3/5
Trang 150
Ví dụ

p(x
1
| y
1
) < p(x
2
| y
1
), như vậy chúng ta có thể khẳng định được
kí hiệu x
2
có khả năng được phát đi hơn x
1
?
∑∑
==
×

×
=
×
==
K
i
iji
kjk
K
i
ji
kjk
j
jk
jk
xypxp
xypxp
yxp
xypxp
yp
yxp
yxp
11
)|()(
)|()(
),(
)|()(
)(
),(
)|(

5
2
)5/2()4/3()5/4()4/1(
)5/4()4/1(
)|()()|()(
)|()(
)|(
212111
111
11
=
×+×
×
=
+
=
xypxpxypxp
xypxp
yxp
5
3
)|(
12
=yxp
Trang 151
Ví dụ (tt)

Để ý, trong công thức của p(x
i
| y

j
) có chứa thừa số p(x
i
), nên
p(x
i
| y
j
) đã bịảnh hưởng bởi xác suất lề p(x
i
).

Vì vậy để công bằng trong việc so sánh chúng ta phải dựa trên
tỉ số p(x
i
| y
j
)/p(x
i
) cái mà không bịảnh hưởng nhiều bởi p(x
i
).

Như vậy thực sự kí hiệu x
1
mới có khả năng được phát đi hơn kí
hiệu x
2
.


Từ xác suất điều kiện chúng ta giới thiệu khái niệm lượng tin có
điều kiện.
5
4
4/3
5/3
)(
)|(
5
8
4/1
5/2
)(
)|(
2
12
1
11
==
==
xp
yxp
xp
yxp
Trang 152
Lượng tin có điều kiện I(x
k
| y
j
)


Định nghĩa
I(y
j
| x
k
) = –log p(y
j
| x
k
)
I(x
k
| y
j
) = –log p(x
k
| y
j
)

p(y
j
| x
k
)
→
1 thì I(y
j
| x

k
)
→
0 và ngược lại.

Nếu khi phát đi x
k
và biết chắc y
j
sẽ nhận được thì ở phía nhận
chúng ta không cần tốn thêm thông tin gì để giải thích.

Nếu p(y
j
| x
k
) = 1/2 (I(y
j
| x
k
) = 1 bit) thì khi phát đi x
k
bên nhận
sẽ có hai khả năng và y
j
chỉ là một trong hai khả năng đó, có
nghĩa là bên nhận cần thêm thông tin (cần thêm 1 bit) để biết
chính xác đólàkhả năng nào.

Xác suất p(y

j
| x
k
) = 1/2 chỉ xảy ra khi kênh truyền có nhiễu.
Trang 153
Lượng tin có điều kiện I(x
k
| y
j
)

Vì vậy lượng tin có điều kiện còn được gọi là lượng tin bị mất
đi do nhiễu.

Khi phát đi x
k
bên nhận sẽ có một tập các y
j
có khả năng được
nhận.

Ngược lại khi nhận được y
j
bên phát sẽ có một tập các x
k
có khả
năng được phát.

Để đo mức độ “quan hệ”giữa x
k

với y
j
chúng ta giới thiệu khái
niệm lượng tin tương hỗ.
Trang 154
Lượng tin tương hỗ

Định nghĩa

Lượng tin tương hỗ giữa hai tin là lượng tin của của tin này
được chứa trong tin kia và ngược lại. Bằng công thức
Lượng tin tương hỗ = Lượng tin riêng – Lượng tin bị mất đi
I(x
k
, y
j
)= I(x
k
) – I(x
k
| y
j
) = I(y
j
) – I(x
k
| y
j
)


Nếu p(x
k
| y
j
) = 1 có nghĩa là nếu y
j
đã nhận được thì chắc chắn
x
k
đã được phát đi, điều này có nghĩa là lượng tin của x
k
đã
được truyền nguyên vẹn thông qua kênh, do đó I(x
k
, y
j
) = I(x
k
).
)(
)(
)(
)(
j
kj
k
jk
yp
|xyp
xp

|yxp
loglog ==
Trang 155
Lượng tin có điều kiện trung bình
∑∑
==
−==
K
k
jkjk
K
k
jkjkj
yxpyxpyxIyxpyXI
11
)|(log)|()|()|()|(
∑∑
==
−==
J
j
kjkj
J
j
kjkjk
xypxypxyIxypxYI
11
)|(log)|()|()|()|(
∑∑∑
===

−==
J
j
K
k
jkjkj
J
j
jj
yxpyxpypyXIypYXI
111
)|(log)|()()|()()|(
∑∑
==
−=
K
k
J
j
jkjk
yxpyxp
11
)|(log),(
∑∑
==
−=
K
k
J
j

kjjk
xypyxpXYI
11
)|(log),()|(
Trang 156
Entropy điều kiện

Định nghĩa

Xét hai biến ngẫu nhiên x và y với phân bố xác suất đồng thời
p(x
k
, y
j
), k = 1, ..., K , j = 1, ..., J. Entropy điều kiện của x đã
cho y được định nghĩa là

H(
x
|
y
) có thể được diễn dịch như là độ bất ngờ trung bình về x
sau khi đã biết y.

Định lý 9.1

H(x | y)
≤
H(x), dấu “=” xảy ra
⇔

x và y là độc lập.
∑∑
==
−=
K
k
J
j
jkjk
yxpyxpH
11
)|(log),()|( yx