Bài 9 Kênh rời rạc không nhớ Lượng tin tương hỗ ppt

Trang 142
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Bài 9 Kênh ri rc không nh
Lng tin tng h
9.1 Kênh ri rc không nh và ma trn kênh
9.2 Entropy điu kin và lng tin tng h
9.3 Mt s loi kênh
9.4 S nhp nhng (equivocation) và tc đ truyn tin
9.5 Dung lng kênh
Trang 143
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Kênh ri rc không nh và ma trn kênh
̈ nh ngha
̈ Mt kênh ri rc không nh (DMC) đc đnh ngha bng mt
bng kí hiu đu vào (ngun phát)
X = {x
1
, , x
K
}, mt bng kí
hiu đu ra (ngun nhn)
Y = {y
1
, , y
J
}, và mt s phân b xác
sut có điu kin
p(y
j
| x
k

), vi 1 ≤ k ≤ K, 1 ≤ j ≤ J.
̈ Bng kí hiu đu ra không nht thit ging bng kí hiu đu
vào. iu này có ngha là bên nhn có th nhn nhng kí hiu
mà không ging vi nhng kí hiu mà bên phát phát đi.
p(y
j
| x
k
)
X
x
k
Y
y
j
Trang 144
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Nhn xét
̈ Thut ng không nh (memoryless) suy ra rng
vi N bt k.
̈ Mt kênh ri rc không nh thng đc biu din di dng
mt ma trn kênh
[p(y
j
| x
k
)] có kích thc K × J.
∏
=
=

N
n
knjnkNkjNj
xypxxyyp
1
11
)|(}|{ LK
p(y
J
| x
K
) p(y
2
| x
K
)p(y
1
| x
K
)x
K

p(y
J
| x
2
) p(y
2
| x
2

)p(y
1
| x
2
)x
2
p(y
J
| x
1
) p(y
2
| x
1
)p(y
1
| x
1
)x
1
y
J
y
2
y
1
Trang 145
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Nhn xét (tt)
̈ Chúng ta thy, ma trn kênh chính là cái mà biu din tính cht

tp nhiu ca kênh truyn.
̈ Chú ý, nu chúng ta bit s phân b xác sut trên X thì s phân
b xác sut ca Y s đc xác đnh nh sau
∑
=
=
K
k
kjkj
xypxpyp
1
)|()()(
Trang 146
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Entropy điu kin và lng tin tng h
̈ Xét bài toán truyn tin sau
Cho bit cu trúc thng kê ca ngun X và ma trn kênh. Hãy
xác đnh kí hiu x
k
nào đã đc phát phát đi khi nhn đc 
đu nhn mt kí hiu y
j
nào đó?
̈ Ví d
̈ Cho ngun X = {x
1
, x
2
} vi các xác sut ln lt là p(x
1

) = 1/4,
p(x
2
) = 3/4, ngun Y = {y
1
, y
2
} và ma trn kênh là
̈ Nu nhn đc y
1
thì x
k
nào có kh nng đã đc phát đi?
3/52/5x
2
1/54/5x
1
y
2
y
1
Trang 147
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Ví d
̈ p(x
1
| y
1
) < p(x
2

| y
1
), nh vy chúng ta có th khng đnh đc
kí hiu
x
2
có kh nng đc phát đi hn x
1
?
∑∑
==
×
×
=
×
==
K
i
iji
kjk
K
i
ji
kjk
j
jk
jk
xypxp
xypxp
yxp

xypxp
yp
yxp
yxp
11
)|()(
)|()(
),(
)|()(
)(
),(
)|(
5
2
)5/2()4/3()5/4()4/1(
)5/4()4/1(
)|()()|()(
)|()(
)|(
212111
111
11
=
×+×
×
=
+
=
xypxpxypxp
xypxp

yxp
5
3
)|(
12
=
yxp
Trang 148
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Ví d (tt)
̈  ý, trong công thc ca p(x
i
| y
j
) có cha tha s p(x
i
), nên
p(x
i
| y
j
) đã bnh hng bi xác sut l p(x
i
).
̈ Vì vy đ công bng trong vic so sánh chúng ta phi da trên
t s
p(x
i
| y
j

)/p(x
i
) cái mà không bnh hng nhiu bi p(x
i
).
̈ Nh vy thc s kí hiu x
1
mi có kh nng đc phát đi hn kí
hiu
x
2
.
̈ T xác sut điu kin chúng ta gii thiu khái nim lng tin có
điu kin
.
5
4
4/3
5/3
)(
)|(
5
8
4/1
5/2
)(
)|(
2
12
1

11
=
=
==
xp
yxp
xp
yxp
Trang 149
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Lng tin có điu kin I(x
k
| y
j
)
̈ nh ngha
I(y
j
| x
k
) = –log p(y
j
| x
k
)
I(x
k
| y
j
) = –log p(x

k
| y
j
)
̈ p(y
j
| x
k
) → 1 thì I(y
j
| x
k
) → 0 và ngc li.
̈ Nu khi phát đi x
k
và bit chc y
j
s nhn đc thì  phía nhn
chúng ta không cn tn thêm thông tin gì đ gii thích.
̈ Nu p(y
j
| x
k
) = 1/2 (I(y
j
| x
k
) = 1 bit) thì khi phát đi x
k
bên nhn

s có hai kh nng và
y
j
ch là mt trong hai kh nng đó, có
ngha là bên nhn cn thêm thông tin (cn thêm 1 bit) đ bit
chính xác đólàkh nng nào.
̈ Xác sut p(y
j
| x
k
) = 1/2 ch xy ra khi kênh truyn có nhiu.
Trang 150
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Lng tin có điu kin I(x
k
| y
j
)
̈ Vì vy lng tin có điu kin còn đc gi là lng tin b mt
đi
do nhiu.
̈ Khi phát đi x
k
bên nhn s có mt tp các y
j
có kh nng đc
nhn.
̈ Ngc li khi nhn đc y
j
bên phát s có mt tp các x

k
có kh
nng đc phát.
̈  đo mc đ “quan h”gia x
k
vi y
j
chúng ta gii thiu khái
nim lng tin tng h.
Trang 151
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Lng tin tng h
̈ nh ngha
̈ Lng tin tng h gia hai tin là lng tin ca ca tin này
đc cha trong tin kia và ngc li. Bng công thc
Lng tin tng h = Lng tin riêng – Lng tin b mt đi
I(x
k
, y
j
)= I(x
k
) – I(x
k
| y
j
) = I(y
j
) – I(x
k

| y
j
)
̈ Nu p(x
k
| y
j
) = 1 có ngha là nu y
j
đã nhn đc thì chc chn
x
k
đã đc phát đi, điu này có ngha là lng tin ca x
k
đã
đc truyn nguyên vn thông qua kênh, do đó I(x
k
, y
j
) = I(x
k
).
)(
)(
)(
)(
j
kj
k
jk

yp
|xyp
xp
|yxp
loglog =
=
Trang 152
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Lng tin có điu kin trung bình
∑∑
==
−==
K
k
jkjk
K
k
jkjkj
yxpyxpyxIyxpyXI
11
)|(log)|()|()|()|(
∑
∑
==
−==
J
j
kjkj
J
j

kjkjk
xypxypxyIxypxYI
11
)|(log)|()|()|()|(
∑
=
−==
J
j
K
k
jkjkj
J
j
jj
yxpyxpypyXIypYXI
111
)|(log)|()()|()()|(
−=
K
k
J
j
jkjk
yxpyxp
11
)|(log),(
−=
K
k

J
j
kjjk
xypyxpXYI
11
)|(log),()|(
Trang 153
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Entropy điu kin
̈ nh ngha
̈ Xét hai bin ngu nhiên x và y vi phân b xác sut đng thi
p(x
k
, y
j
), k = 1, , K , j = 1, , J. Entropy điu kin ca x đã
cho
y đc đnh ngha là
̈ H(x | y) có th đc din dch nh là đ bt ng trung bình v x
sau khi đã bit
y.
̈ nh lý 9.1
̈ H(x | y) ≤ H(x), du “=” xy ra ⇔ x và y là đc lp.
−=
K
k
J
j
jkjk
yxpyxpH

11
)|(log),()|( yx
Trang 154
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Chng minh
̈ Ly tng trên nhng cp (k, j) mà p(x
k
, y
j
) ≠ 0. Vì vy
+−=−
K
k
J
j
K
k
kkjkjk
xpxpyxpyxpHH
11 1
)(ln)()|(ln),()()|( xyx
−=
K
k
J
j
jk
k
jk
yxp

xp
yxp
11
)|(
)(
ln),(
⎥
⎥
⎦
⎤
⎢
⎢
⎣
⎡
−=−
kj
jk
k
jk
yxp
xp
yxpHH 1
)|(
)(
),()()|( xyx
∑
∑
−=
kj
jkjk

yxpypxp ),()()(
[
]
01)()( ≤−=
∑
∑
kj
jk
ypxp
Trang 155
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Chng minh (tt)
̈ Du “=” xy ra ⇔ p(x
k
) = p(x
k
| y
j
) đi vi tt c các cp (k, j)
mà
p(x
k
, y
j
) ≠ 0 đng thi tng p(x
k
)p(y
j
) trên tt c nhng cp
này bng 1.

̈ iu kin th hai tng đng vi điu kin p(x
k
)p(y
j
) = 0 bt
k khi nào mà p(x
k
, y
j
) = 0.
̈ C hai điu kin này cui cùng tng đng vi điu kin là x
và y đc lp.
̈ nh lý 9.2
̈ H(x, y) = H(x) + H(y | x) = H(y) + H(x | y)
Trang 156
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Chng minh
̈ Phn th hai chng minh hoàn toàn tng t.
̈ Kt hp hai đnh lý trên chúng ta suy ra rng
H(x, y) ≤ H(x) + H(y)
̈ du “=” xy ra ⇔ x, y là đc lp.
−=
kj
jkjk
yxpyxpH ),(log),(),( yx
[
]
+−=
kj
kjkjk

xypxpyxp )|(log)(log),(
[
]
∑
∑∑
−−=
kj
kjkj
k
kk
xypyypxpxp )|(log),()(log)(
)|()( xyx HH
+
=
Trang 157
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Lng tin tng h trung bình
̈ Nu biu din theo entropy thì chúng ta có
I(x, y) = H(x) – H(x | y) = H(y) – H(y | x)
∑
∑
=
kj
jkjk
yxIyxpYXI ),(),(),(
=
kj
k
jk
jk

xp
yxp
yxp
)(
)|(
log),(
=
kj
j
kj
jk
yp
xyp
yxp
)(
)|(
log),(
=
kj
jk
jk
jk
ypxp
yxp
yxp
)()(
),(
log),(
Trang 158
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin

Mt s loi kênh ri rc không nh
̈ Kênh đi xng (Symmetric channel)
̈ Là kênh mà mi dòng ca ma trn kênh cha cùng tp các s
p
1
’, , p
J
’vàmi ct cha cùng tp các s q
1
’, , q
K
’.
̈ Ví d
1 – εε
0 ≤ε≤1
ε1 – ε
[p(y
j
| x
k
)] =
0,30,20,5
0,20,50,3
0,50,30,2
[p(y
j
| x
k
)] =
k = 20,20,20,30,3

k = 10,30,30,20,2
[p(y
j
| x
k
)] =
432j = 1
Các ma trn biu
din
các kênh đi xng
Kênh đi xng nh
phân (binary
symmetric channel –
BSC).
Trang 159
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Nhn xét
̈ Kênh đi xng thì H(y | x) đc lp vi s phân b xác sut ca
ngun phát và đc xác đnh duy nht bng ma trn kênh.
̈ Chng minh
−=
K
k
J
j
kjjk
xypyxpH
11
)|(log),()|( xy
−=

K
k
J
j
kjkjk
xypxypxp
11
)|(log)|()(
−=
K
k
J
j
jjk
ppxp
11
''
log)(
∑
=
−=
J
j
jj
pp
1
''
log
Trang 160
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin

Kênh không mt (Lossless channel)
̈ Cnh ni gia x
k
và y
j
ngha là p(y
j
| x
k
) ≠ 0. Trong kênh không
mt đu ra xác đnh duy nht đu vào, vì vy H(x | y) = 0.
̈ Kênh đn đnh (Deterministic channel)
̈ Trong kênh này đu vào xác đnh duy nht đu ra, vì vy
H(y | x) = 0
x
1
x
1
x
K
y
1
y
2
y
m
y
m+1
y
J

y
1
x
1
x
2
x
m
x
m+1
y
2
x
K
y
J
Trang 161
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Kênh vô dng (Useless channel)
̈ Mt kênh là vô dng nu và ch nu x và y là đc lp vi mi
s phân b xác sut ca đu vào (ngun phát).
̈ i vi mt kênh vô dng thì H(x | y) = H(x), tc là kin thc
v đu ra không làm gim đ bt ng v đu vào. Vì vy, đi
vi mc đích xác đnh đn đnh đu vào, chúng ta có th pht
l đu ra hoàn toàn. Bây gi chúng ta s chng minh rng.
̈ Mt kênh ri rc không nh là vô dng nu và ch nu ma trn
kênh ca nó có các dòng ging nhau.
̈ Chng minh
̈ iu kin đ
Gi s ma trn có các dòng ging nhau p

1
’, , p
J
’. Thì đi vi
mi đu ra y
j
Trang 162
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Kênh vô dng (tt)
i vi mi cp đu vào– ra (x
k
, y
j
), chúng ta có
p(x
k
, y
j
) = p(x
k
) p(y
j
| x
k
) = p(x
k
) p
j
’= p(x
k

) p(y
j
)
Vì vy đu vào và đu ra đc lp nhau bt chp s phân b xác
sut ca đu vào.
̈ iu kin cn
Gi s các dòng ca ma trn không ging nhau ⇒∃mt ct
chng hn
j
0
mà có các phn t không ging nhau.
Gi s
p(y
j0
| x
k0
) là phn t ln nht trong ct này. Xét s phân
b đng nht (đng xác sut)  đu vào (đu phát), chúng ta có
====
K
k
K
k
K
k
jkjkjkjkj
pxppxypxpyxpyp
11 1
''
)()|()(),()(

Trang 163
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Kênh vô dng (tt)
̈ Tc là p(y
j0
) ≠ p(y
j0
| x
k0
). Vì vy p(x
k0
, y
j0
) = p(x
k0
) p(y
j0
| x
k0
) ≠
p(x
k0
) p(y
j0
)
. Mâu thun vi gi thit là x, y đc lp vi mi s
phân b xác sut ca đu vào.
<==
K
k

K
k
kjkjkjkj
xypxyp
K
xypxpyp
11
00000
)|()|(
1
)|()()(
Trang 164
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
S nhp nhng (equivocation)
và tc đ truyn tin
̈ Xét mt kênh nh phân đi xng vi xác sut chéo ε. Gi s
rng ti đu vào P(0) = P(1) = 1/2, tc đ sinh thông tin  đu
phát là
H(x) = 1 bit/kí hiu.
̈ Mt thit b đc gi là b quan sát, nhn mi cp kí hiu
vào/ra
(x, y) và sinh ra mt kí hiu z
̈ z = 0
nu x = y, z = 1 nu x ≠ y
Kênh
B quan sát
…x
(2)
x
(1)

…y
(2)
y
(1)
…z
(2)
z
(1)
Trang 165
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
S nhp nhng (equivocation)
và tc đ truyn tin (tt)
̈ S phân b ca z đc tìm thy nh sau:
P(z = 1) = P(x = 0) P(y = 1 | x = 0) + P(x = 1) P(y = 0 | x = 1)
= ε/2 + ε/2 = ε
P(z = 0) = 1 – P(z = 0) = 1 – ε
̈ Tc đ sinh thông tin bi b quan sát vì vy bng
H(z) = –ε log ε – (1 – ε) log(1 – ε) bits/kí hiu
̈ i vi mt dãy đu ra đã cho y
(1)
y
(2)
, ni nhn (receiver) có
th xây dng li chính xác dãy đu vào
x
(1)
x
(2)
ch khi đu ra
ca b quan sát

z
(1)
z
(2)
đã đc to sn.
̈ Tc đ truyn thông tin trên kênh, thng kí hiu là R, là bng
tc đ sinh thông tin H(x) tr tc đ sinh thông tin b sung
H(z).
R = H(x) – H(z)
Trang 166
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Ví d
̈ Chng hn, nu d liu đu vào đc sinh  tc đ 1000 kí
hiu/giây
và ε = 0,01, chúng ta có
H(x) = 1 → tc đ d liu đu vào = 1000 bits/giây
H(z) = 0,081
→ tc đ d liu b sung = 81 bits/giây
R = 0,919
→ tc đ truyn thông tin = 919 bits/giây
̈
Mt ngi có th lý lun rng trong mt dãy dài, vì ε = 0,01,
ngha là ch 1% s bit đc truyn b li, và vì vy tc đ
truyn thông tin phi là
990 bits/giây.
̈ Câu tr li là rng kin thc v s bit b li không đ đ xây
dng li d liu, mà chúng ta cn phi bit thêm v v trí li
na, và vì lý do này nên tc đ truyn thông tin là thc s bng
mt giá tr thp hn là
919 bits/giây.