Xử lý ảnh số - Nén dữ liệu ảnh part 3 potx

6.3 Co
.
so
.
˙’
cu
˙’
al´y thuyˆe
´
t thˆong tin
Trong Phˆa
`
n 6.1 ch´ung ta d¯˜a gi´o
.
i thiˆe
.
umˆo
.
tsˆo
´
c´ach d¯ˆe
˙’
gia
˙’
msˆo
´
lu
.
o
.
.

ng d˜u
.
liˆe
.
ubiˆe
˙’
udiˆe
˜
n
mˆo
.
ta
˙’
nh. Mˆo
.
tvˆa
´
nd¯ˆe
`
d¯ u
.
o
.
.
cd¯ˇa
.
t ra l`a: cˆa
`
n bao nhiˆeu d˜u
.

liˆe
.
u thu
.
.
csu
.
.
d¯ ˆe
˙’
biˆe
˙’
udiˆe
˜
nmˆo
.
t
a
˙’
nh? T´u
.
c l`a, sˆo
´
lu
.
o
.
.
ng d ˜u
.

liˆe
.
u ´ıt nhˆa
´
t l`a bao nhiˆeu d¯u
˙’
mˆo ta
˙’
d¯ ˆa
`
yd¯u
˙’
a
˙’
nh m`a khˆong
mˆa
´
t thˆong tin? L´y thuyˆe
´
t thˆong tin cung cˆa
´
pco
.
so
.
˙’
to´an ho
.
c tra
˙’

l`o
.
i cˆau ho
˙’
i n`ay v`a
nh˜u
.
ng vˆa
´
nd¯ˆe
`
liˆen quan.
6.3.1 D
-
o thˆong tin
Tiˆe
`
nd¯ˆe
`
co
.
ba
˙’
ncu
˙’
a l´y thuyˆe
´
t thˆong tin l`a c´o thˆe
˙’
mˆo h`ınh ho´a thˆong tin bo

.
˙’
imˆo
.
t qu´a
tr`ınh x´ac suˆa
´
t v`a c´o thˆe
˙’
d¯o thˆong tin theo mˆo
.
t ngh˜ıa tr`ung v´o
.
ica
˙’
m nhˆa
.
n tru
.
.
c quan
cu
˙’
a con ngu
.
`o
.
i. V´o
.
i gia

˙’
thiˆe
´
t n`ay, mˆo
.
tsu
.
.
kiˆe
.
n ngˆa
˜
u nhiˆen E v´o
.
i x´ac suˆa
´
t xuˆa
´
thiˆe
.
n
P (E)go
.
il`ach´u
.
a
I(E) = log
1
P (E)
= −log P (E)

d¯ o
.
nvi
.
thˆong tin. Gi´a tri
.
I(E)thu
.
`o
.
ng go
.
il`athˆong tin riˆeng (self-information) hay
lu
.
o
.
.
ng thˆong tin d¯u
.
o
.
.
cch´u
.
a trong E. N´oi chung, sˆo
´
lu
.
o

.
.
ng thˆong tin d¯´ong g´op v`ao su
.
.
kiˆe
.
n E tı
˙’
lˆe
.
nghi
.
ch v´o
.
i x´ac suˆa
´
t xuˆa
´
thiˆe
.
n E. Nˆe
´
u P(E)=1(t´u
.
c l`a, su
.
.
kiˆe
.

n luˆon luˆon
xa
˙’
y ra) th`ı I(E) = 0 v`a khˆong c´o thˆong tin g`ı d¯´ong g´op khi xa
˙’
y ra su
.
.
kiˆe
.
n n`ay. T´u
.
c
l`a, do khˆong c´o t`ınh tra
.
ng khˆong r˜o r`ang gˇa
´
nv´o
.
isu
.
.
kiˆe
.
n nˆen khˆong c´o thˆong tin g`ı
d¯ u
.
o
.
.

c trao d¯ˆo
˙’
i khi su
.
.
kiˆe
.
n n`ay xuˆa
´
thiˆe
.
n. Tuy nhiˆen, nˆe
´
u P (E)=0.99 th`ı viˆe
.
c truyˆe
`
n
d¯i thˆong b´ao su
.
.
kiˆe
.
n E xuˆa
´
thiˆe
.
ns˜ec´omˆo
.
tch´ut thˆong tin. Thˆong b´ao E khˆong xuˆa

´
t
hiˆe
.
n mang thˆong tin nhiˆe
`
uho
.
nv`ıkˆe
´
t qua
˙’
n`ay gˆay bˆa
´
t ng`o
.
.
Co
.
sˆo
´
trong ph´ep lˆa
´
y logarithm x´ac d¯i
.
nh d¯o
.
nvi
.
d¯ u

.
o
.
.
csu
.
˙’
du
.
ng d¯ˆe
˙’
d¯o thˆong tin.
3
Nˆe
´
usu
.
˙’
du
.
ng co
.
sˆo
´
e th`ı d¯o
.
nvi
.
d¯o l`a nat v`a nˆe
´

ucho
.
nco
.
sˆo
´
2, d¯o
.
nvi
.
d¯o go
.
il`abit.
Ch´u´yrˇa
`
ng nˆe
´
u P (E)=1/2th`ıI(E)=−log
2
1/2 hay 1 bit. T´u
.
c l`a lu
.
o
.
.
ng thˆong tin
d¯ u
.
o

.
.
c truyˆe
`
nd¯a
.
t khi su
.
.
kiˆe
.
n E c´o x´ac suˆa
´
t xuˆa
´
thiˆe
.
nbˇa
`
ng x´ac suˆa
´
t khˆong xuˆa
´
thiˆe
.
n
bˇa
`
ng 1 bit. V´ı du
.

d¯ o
.
n gia
˙’
n l`a tung xˆa
´
p ngu
.
˙’
amˆo
.
td¯ˆo
`
ng xu v`a thˆong b´ao kˆe
´
t qua
˙’
.
3
Khi khˆong viˆe
´
ttu
.
`o
.
ng minh gi´a tri
.
co
.
sˆo

´
cu
˙’
a log trong mˆo
.
tbiˆe
˙’
uth´u
.
cth`ıkˆe
´
t qua
˙’
c´o thˆe
˙’
hiˆe
˙’
uo
.
˙’
co
.
sˆo
´
bˆa
´
t k `y v `a d¯ o
.
nvi
.

d¯o thˆong tin tu
.
o
.
ng ´u
.
ng v´o
.
ico
.
sˆo
´
d¯´o.
153
6.3.2 Kˆenh truyˆe
`
n tin
Khi lu
.
o
.
.
ng thˆong tin ch´u
.
a trong mˆo
.
tsu
.
.
kiˆe

.
nd¯u
.
o
.
.
c truyˆe
`
nt`u
.
mˆo
.
t nguˆo
`
n thˆong tin d¯ˆe
´
n
mˆo
.
t ngu
.
`o
.
isu
.
˙’
du
.
ng thˆong tin ta n´oi nguˆo
`

n thˆong tin d¯u
.
o
.
.
cnˆo
´
iv´o
.
i ngu
.
`o
.
isu
.
˙’
du
.
ng thˆong
tin bo
.
˙’
imˆo
.
t kˆenh thˆong tin. Kˆenh thˆong tin l`a thiˆe
´
tbi
.
vˆa
.

tl´yc´och´u
.
c nˇang liˆen kˆe
´
t
nguˆo
`
nv´o
.
i ngu
.
`o
.
isu
.
˙’
du
.
ng. N´o c´o thˆe
˙’
l`a mˆo
.
td¯u
.
`o
.
ng dˆay d¯iˆe
.
n thoa
.

i, d¯u
.
`o
.
ng truyˆe
`
n nˇang
lu
.
o
.
.
ng d¯iˆe
.
nt`u
.
tru
.
`o
.
ng, hoˇa
.
cmˆo
.
t dˆay dˆa
˜
n trong m´ay t´ınh. H`ınh 6.4 l`a mˆo h`ınh to´an
ho
.
cd¯o

.
n gia
˙’
nd¯ˆo
´
iv´o
.
ihˆe
.
thˆo
´
ng thˆong tin r`o
.
ira
.
c. Trong mˆo h`ınh n`ay, tham sˆo
´
quan
tro
.
ng nhˆa
´
tl`athˆong lu
.
o
.
.
ng cu
˙’
ahˆe

.
thˆo
´
ng x´ac d¯i
.
nh bo
.
˙’
i kha
˙’
nˇang truyˆe
`
n thˆong tin.
Gia
˙’
su
.
˙’
rˇa
`
ng nguˆo
`
n thˆong tin trong H`ınh 6.4 ta
.
o ra mˆo
.
t d˜ay ngˆa
˜
u nhiˆen c´ac k´y
hiˆe

.
ut`u
.
mˆo
.
ttˆa
.
ph˜u
.
uha
.
n hay d¯ˆe
´
md¯u
.
o
.
.
cc´ack´yhiˆe
.
u. T´u
.
cl`ad¯ˆa
`
u ra cu
˙’
a nguˆo
`
nl`amˆo
.

t
biˆe
´
n ngˆa
˜
u nhiˆen r`o
.
ira
.
c. Tˆa
.
p c´ac k´yhiˆe
.
u nguˆo
`
n A = {a
1
,a
2
, ,a
J
} go
.
il`aba
˙’
ng k´y
hiˆe
.
u nguˆo
`

n v`a c´ac phˆa
`
ntu
.
˙’
a
j
∈ A go
.
il`ak´yhiˆe
.
u, hay k´ytu
.
.
. Gia
˙’
su
.
˙’
x´ac suˆa
´
td¯ˆe
˙’
nguˆo
`
n
sinh ra k´y hiˆe
.
u a
j

l`a P(a
j
)v`a
J

j=1
P (a
j
)=1.
D
-
ˇa
.
t z =[P ( a
1
),P(a
2
), ,P(a
J
)]
t
. Khi d¯´o cˇa
.
p(A, z), go
.
il`akhˆong gian x´ac suˆa
´
th˜u
.
u

ha
.
ncu
˙’
a nguˆo
`
n, mˆo ta
˙’
d¯ ˆa
`
yd¯u
˙’
nguˆo
`
n thˆong tin.
Do x´ac suˆa
´
t xuˆa
´
thiˆe
.
nk´yhiˆe
.
u a
j
l`a P(a
j
)nˆen lu
.
o

.
.
ng thˆong tin ch´u
.
a trong su
.
.
kiˆe
.
n n`ay l`a I(a
j
)=−log P (a
j
). Nˆe
´
u k k´yhiˆe
.
u nguˆo
`
nd¯u
.
o
.
.
cta
.
o ra th`ı theo luˆa
.
tsˆo
´

l´o
.
n,
v´o
.
i k d¯ u
˙’
l´o
.
nk´yhiˆe
.
u a
j
(vˆe
`
trung b`ınh) s˜e xuˆa
´
thiˆe
.
n kP(a
j
)lˆa
`
n. Suy ra lu
.
o
.
.
ng thˆong
tin trung b`ınh nhˆa

.
nd¯u
.
o
.
.
c khi k t´ın hiˆe
.
ud¯u
.
o
.
.
c nguˆo
`
n sinh ra l`a
−k
J

j=1
P (a
j
) log P (a
j
).
V`a thˆong tin trung b`ınh khi nguˆo
`
n sinh ra mˆo
.
t t´ın hiˆe

.
ul`a
H(z)=−
J

j=1
P (a
j
) log P ( a
j
). (6.3)
Gi´a tri
.
H(z)go
.
il`ad¯ ˆo
.
bˆa
´
t ng`o
.
hay entropy cu
˙’
a nguˆo
`
n thˆong tin; d¯´o l`a mˆo
.
t thˆong sˆo
´
thˆo

´
ng kˆe co
.
ba
˙’
ncu
˙’
a nguˆo
`
n. N´o x´ac d¯i
.
nh sˆo
´
lu
.
o
.
.
ng thˆong tin trung b`ınh nhˆa
.
nd¯u
.
o
.
.
c
khi quan s´at mˆo
.
t nguˆo
`

n. Khi gi´a tri
.
n`ay tˇang th`ı t`ınh tra
.
ng khˆong chˇa
´
cchˇa
´
nxa
˙’
yras˜e
nhiˆe
`
uho
.
n v`a do d¯´o thˆong tin tu
.
o
.
ng ´u
.
ng v´o
.
i nguˆo
`
nc˜ung l´o
.
nho
.
n. Nˆe

´
u x´ac suˆa
´
t xuˆa
´
t
hiˆe
.
ncu
˙’
a c´ac k´yhiˆe
.
ubˇa
`
ng nhau th`ı entropy cu
.
.
cd¯a
.
i v`a nguˆo
`
n c´o thˆe
˙’
cung cˆa
´
p thˆong
tin trung b`ınh trˆen mˆo
.
tk´yhiˆe
.

u nguˆo
`
nl´o
.
n nhˆa
´
t.
154

.


.



.


.

.

.


.

.


.

.
Nguˆo
`
n
thˆong tin
Kˆenh
Ngu
.
`o
.
isu
.
˙’
du
.
ng
thˆong tin
Cˇa
.
p(A, z)
A = {a
j
}
z =[P (a
1

),P(a
2
), ,P(a
J
)]
t
Q =[q
kj
]
Cˇa
.
p(B,v)
B = {b
k
}
v =[P (b
1
),P(b
2
), ,P(b
K
)]
t
H`ınh 6.4: Mˆo
.
thˆe
.
thˆo
´
ng thˆong tin d¯o

.
n gia
˙’
n.
Kh´ai niˆe
.
m entropy d¯u
.
o
.
.
cd`ung o
.
˙’
d¯ˆay tu
.
o
.
ng tu
.
.
kh´ai niˆe
.
m entropy trong nhiˆe
.
t
d¯ ˆo
.
ng ho
.

c. Trong c´ac ´u
.
ng du
.
ng m˜a ho´a a
˙’
nh cu
˙’
ach´ung ta, entropy biˆe
˙’
udiˆe
˜
nsˆo
´
lu
.
o
.
.
ng
thˆong tin tu
.
o
.
ng ´u
.
ng v´o
.
itˆa
.

p c´ac gi´a tri
.
nguˆo
`
n v`a cho biˆe
´
tsˆo
´
bit trung b`ınh tˆo
´
i thiˆe
˙’
u
cˆa
`
n m˜a ho´a ch´ung.
V´o
.
imˆoh`ınh nguˆo
`
n trˆen ch´ung ta c´o thˆe
˙’
dˆe
˜
d`ang tr`ınh b`ay ch´u
.
c nˇang trao d¯ˆo
˙’
i
thˆong tin cu

˙’
a kˆenh thˆong tin. V`ı trong mˆo h`ınh cu
˙’
aH`ınh 6.4 t´ın hiˆe
.
ud¯u
.
av`aokˆenh
l`a mˆo
.
tbiˆe
´
n ngˆa
˜
u nhiˆen r`o
.
ira
.
cnˆen thˆong tin d¯u
.
o
.
.
c truyˆe
`
nd¯ˆe
´
nd¯ˆa
`
u ra cu

˙’
akˆenhc˜ung
l`a biˆe
´
n ngˆa
˜
u nhiˆen r`o
.
ira
.
c. Tu
.
o
.
ng tu
.
.
nhu
.
o
.
˙’
nguˆo
`
n thˆong tin, c´ac t´ın hiˆe
.
u ra nhˆa
.
n c´ac
gi´a tri

.
t`u
.
mˆo
.
ttˆa
.
ph˜u
.
uha
.
nhayd¯ˆe
´
md¯u
.
o
.
.
c c´ac k´y hiˆe
.
u B = {b
1
,b
2
, ,b
K
} m`a ta go
.
i
l`a l`a ba

˙’
ng kˆenh. X´ac suˆa
´
tcu
˙’
asu
.
.
kiˆe
.
n xuˆa
´
thiˆe
.
nk´yhiˆe
.
u b
k
nhˆa
.
nd¯u
.
o
.
.
cbo
.
˙’
i ngu
.

`o
.
isu
.
˙’
du
.
ng thˆong tin l`a P(b
k
). Cˇa
.
p(B,v), trong d¯´o vector v =[P (b
1
),P(b
2
), ,P(b
K
)]
t
,
miˆeu ta
˙’
d¯ ˆa
`
yd¯u
˙’
kˆenh ra v`a do d¯´o thˆong tin nhˆa
.
nd¯u
.

o
.
.
cbo
.
˙’
i ngu
.
`o
.
isu
.
˙’
du
.
ng.
Theo cˆong th ´u
.
c x´ac suˆa
´
t ta c´o
P (b
k
)=
J

j=1
P (b
k
|a

j
)P (a
j
),
trong d¯´o P (b
k
|a
j
) l`a x´ac suˆa
´
t nhˆa
.
nd¯u
.
o
.
.
c t´ın hiˆe
.
u b
k
v´o
.
id¯iˆe
`
ukiˆe
.
n nguˆo
`
n thˆong tin gu

.
˙’
i
t´ın hiˆe
.
u a
j
. D
-
ˇa
.
t
Q =






P (b
1
|a
1
) P (b
1
|a
2
) ··· P (b
1
|a

J
)
P (b
2
|a
1
) P (b
2
|a
2
) ··· P (b
2
|a
J
)
.
.
.
.
.
. ···
.
.
.
P (b
K
|a
1
) P (b
K

|a
2
) ··· P (b
K
|a
J
)






.
155
Khi d¯´o
v = Qz. (6.4)
Ma trˆa
.
n Q v´o
.
i c´ac phˆa
`
ntu
.
˙’
q
kj
= P(b
k

|a
j
)go
.
il`ama trˆa
.
nbiˆe
´
nd¯ˆo
˙’
i kˆenh thuˆa
.
n.
D
-
ˆe
˙’
x´ac d¯i
.
nh kha
˙’
nˇang cu
˙’
amˆo
.
tkˆenh v´o
.
i ma trˆa
.
nbiˆe

´
nd¯ˆo
˙’
i kˆenh thuˆa
.
n Q tru
.
´o
.
c
hˆe
´
tch´ung ta cˆa
`
n t´ınh entropy cu
˙’
a nguˆo
`
n thˆong tin v´o
.
i gia
˙’
thiˆe
´
t ngu
.
`o
.
isu
.

˙’
du
.
ng thˆong
tin quan s´at mˆo
.
t t´ın hiˆe
.
urab
k
. Phu
.
o
.
ng tr`ınh (6.4) x´ac d¯i
.
nh h`am phˆan bˆo
´
cu
˙’
a c´ac
k´yhiˆe
.
u nguˆo
`
n khi b
k
d¯ u
.
o

.
.
c quan s´at, nˆen mˆo
˜
i b
k
cho mˆo
.
t h`am entropy c´o d¯iˆe
`
ukiˆe
.
n.
Du
.
.
a trˆen c´ac bu
.
´o
.
cdˆa
˜
nd¯ˆe
´
nPhu
.
o
.
ng tr`ınh (6.3), h`am entropy c´o d¯iˆe
`

ukiˆe
.
n, k´yhiˆe
.
u
H(z,b
k
), c´o da
.
ng
H(z,b
k
)=−
J

j=1
P (a
j
|b
k
) log P ( a
j
|b
k
),
trong d¯´o P (a
j
|b
k
) l`a x´ac suˆa

´
t truyˆe
`
nk´yhiˆe
.
u a
j
v´o
.
id¯iˆe
`
ukiˆe
.
n ngu
.
`o
.
isu
.
˙’
du
.
ng nhˆa
.
n
d¯ u
.
o
.
.

ck´yhiˆe
.
u b
k
. K`yvo
.
ng hay gi´a tri
.
trung b`ınh cu
˙’
abiˆe
˙’
uth´u
.
c n`ay theo tˆa
´
tca
˙’
c´ac b
k
l`a
H(z, v)=
K

k=1
H(z,b
k
)P (b
k
).

hay tu
.
o
.
ng d¯u
.
o
.
ng
H(z, v)=−
J

j=1
K

k=1
P (a
j
,b
k
) log P (a
j
|b
k
). (6.5)
Trong biˆe
˙’
uth´u
.
c trˆen, P(a

j
,b
k
) l`a x´ac suˆa
´
tliˆen kˆe
´
t c´ac su
.
.
kiˆe
.
n a
j
v`a b
k
. T´u
.
cl`a
P (a
j
,b
k
) l`a x´ac suˆa
´
t khi nguˆo
`
n truyˆe
`
n a

j
v`a ngu
.
`o
.
isu
.
˙’
du
.
ng nhˆa
.
nd¯u
.
o
.
.
c b
k
.
Sˆo
´
ha
.
ng H(z, v)go
.
il`am´u
.
cd¯ˆo
.

mˆa
.
pm`o
.
cu
˙’
a z tu
.
o
.
ng ´u
.
ng v´o
.
i v. N´o biˆe
˙’
u thi
.
thˆong
tin trung b`ınh cu
˙’
ak´yhiˆe
.
u nguˆo
`
n khi d¯˜a biˆe
´
t c´ac kˆe
´
t qua

˙’
qua quan s´at. V`ı H(z)l`a
thˆong tin trung b`ınh cu
˙’
amˆo
.
tk´yhiˆe
.
u nguˆo
`
n, gia
˙’
thiˆe
´
t khˆong biˆe
´
t tru
.
´o
.
cvˆe
`
kˆe
´
t qua
˙’
cu
˙’
a
t´ın hiˆe

.
u nhˆa
.
nd¯u
.
o
.
.
c, hiˆe
.
usˆo
´
gi˜u
.
a H(z)v`aH(z, v) l`a thˆong tin trung b`ınh nhˆa
.
nd¯u
.
o
.
.
c
trong l´uc quan s´at mˆo
.
tk´yhiˆe
.
uo
.
˙’
d¯ ˆa

`
u ra. Hiˆe
.
usˆo
´
n`ay, k´yhiˆe
.
u I(z, v), go
.
il`athˆong tin
tu
.
o
.
ng hˆo
˜
cu
˙’
a z v`a v, l`a
I(z, v)=H(z) − H(z, v).
Ch´u´yrˇa
`
ng P (a
j
)=P (a
j
,b
1
)+P (a
j

,b
2
)+···+ P (a
j
,b
K
). T`u
.
d¯´o thay H(z) trong
Phu
.
o
.
ng tr`ınh (6.3) v`a H(z, v) trong (6.5) ta d¯u
.
o
.
.
c
I(z, v)=
J

j=1
K

k=1
P (a
j
,b
k

) log

P (a
j
,b
k
)
P (a
j
)P (b
k
)

.
156
T`u
.
d¯ ´o
I(z, v)=
J

j=1
K

k=1
P (a
j
)q
kj
log


q
kj

J
i=1
P (a
i
)q
ki

. (6.6)
Do d¯´o thˆong tin trung b`ınh nhˆa
.
nd¯u
.
o
.
.
c khi quan s´at mˆo
.
tt´ınhiˆe
.
urat`u
.
kˆenh truyˆe
`
n
phu
.

thuˆo
.
c v`ao phˆan bˆo
´
x´ac suˆa
´
tcu
˙’
a c´ac k´yhiˆe
.
u nguˆo
`
n z v`a ma trˆa
.
nbiˆe
´
nd¯ˆo
˙’
i kˆenh
thuˆa
.
n Q.
T´ınh chˆa
´
t 6.3.1 Ta c´o
I(z, v) ≥ 0;
dˆa
´
ubˇa
`

ng xa
˙’
yranˆe
´
u v`a chı
˙’
nˆe
´
u c´ac t´ın hiˆe
.
u v`ao v`a t´ın hiˆe
.
urad¯ˆo
.
clˆa
.
p thˆo
´
ng kˆe.
Ch´u
.
ng minh.
´
Ap du
.
ng bˆa
´
td¯ˇa
˙’
ng th´u

.
c Jensen ta c´o
−I(z, v)=
J

j=1
K

k=1
P (a
j
,b
k
) log

P (a
j
)P (b
k
)
P (a
j
,b
k
)

≤ log

J


j=1
K

k=1
P (a
j
)P (b
k
)

= log 1 = 0.
Ho
.
nn˜u
.
a, do t´ınh lˆo
`
i thu
.
.
csu
.
.
cu
˙’
a h`am log x ta c´o dˆa
´
ud¯ˇa
˙’
ng th´u

.
cnˆe
´
u v`a chı
˙’
nˆe
´
u
P (a
j
,b
k
)=P (a
j
)P (b
k
)v´o
.
imo
.
i j, k;t´u
.
c l`a c´ac t´ın hiˆe
.
u v`ao v`a t´ın hiˆe
.
u ra d¯ˆo
.
clˆa
.

p
thˆo
´
ng kˆe. ✷
Gi´a tri
.
cu
.
.
cd¯a
.
i
C := max
z
I(z, v),
trong d¯´o maximum lˆa
´
y trˆen tˆa
´
tca
˙’
c´ac x´ac suˆa
´
t c´o thˆe
˙’
c´o cu
˙’
a c´ac k´y hiˆe
.
u nguˆo

`
n, go
.
i
l`a thˆong lu
.
o
.
.
ng cu
˙’
a kˆenh. Theo d¯i
.
nh ngh˜ıa, thˆong lu
.
o
.
.
ng cu
˙’
a kˆenh l`a lu
.
o
.
.
ng thˆong tin
tˆo
´
i d¯a khi kˆenh cho d¯i qua trong mˆo
.

td¯o
.
nvi
.
th`o
.
i gian. Ho
.
nn˜u
.
a, thˆong lu
.
o
.
.
ng cu
˙’
a
kˆenh khˆong phu
.
thuˆo
.
c v`ao c´ac x´ac suˆa
´
tcu
˙’
a c´ac k´y hiˆe
.
u nguˆo
`

nm`achı
˙’
phu
.
thuˆo
.
c v`ao
c´ac x´ac suˆa
´
t c´o d¯iˆe
`
ukiˆe
.
n x´ac d¯i
.
nh kˆenh.
V´ı du
.
6.3.2 X´et nguˆo
`
n thˆong tin nhi
.
phˆan v´o
.
iba
˙’
ng ch˜u
.
A = {a
1

,a
2
} = {0, 1}
v`a c´ac x´ac suˆa
´
t nguˆo
`
nta
.
o ra c´ac k´y hiˆe
.
u a
1
v`a a
2
tu
.
o
.
ng ´u
.
ng l`a P (a
1
)=p
bs
v`a
P (a
2
)=1−p
bs

=¯p
bs
. Khi d¯´o entropy cu
˙’
a nguˆo
`
nl`a
H(z)=−p
bs
log
2
p
bs
− ¯p
bs
log
2
¯p
bs
.
157
V`ı z =(P(a
1
),P(a
2
))
t
=(p
bs
, 1 − p

bs
)
t
nˆen H(z)chı
˙’
phu
.
thuˆo
.
c v`ao tham sˆo
´
p
bs
v`a vˆe
´
bˆen pha
˙’
icu
˙’
aphu
.
o
.
ng tr`ınh trˆen go
.
il`ah`am entropy nhi
.
phˆan,k´yhiˆe
.
ul`aH

bs
(·). Do d¯´o,
trong v´ıdu
.
n`ay H
bs
(t)=−t log
2
t −
¯
t log
2
¯
t. H`ınh 6.5(a) l`a d¯ˆo
`
thi
.
cu
˙’
a h`am H
bs
(p
bs
)v´o
.
i
0 ≤ p
bs
≤ 1. Ch´u´yrˇa
`

ng H
bs
d¯ a
.
t gi´a tri
.
cu
.
.
cd¯a
.
i (1 bit) khi p
bs
=
1
2
. V´o
.
itˆa
´
tca
˙’
c´ac gi´a
tri
.
kh´ac cu
˙’
a p
bs
nguˆo

`
n cung cˆa
´
p thˆong tin ´ıt ho
.
n 1 bit.
Bˆay gi`o
.
gia
˙’
su
.
˙’
rˇa
`
ng thˆong tin d¯u
.
o
.
.
c truyˆe
`
n trˆen kˆenh nhi
.
phˆan c´o nhiˆe
˜
u v`a x´ac
suˆa
´
tlˆo

˜
i khi truyˆe
`
nmˆo
.
tk´yhiˆe
.
u nguˆo
`
nbˆa
´
tk`yl`ap
e
. Kˆenh nhu
.
vˆa
.
ygo
.
il`akˆenh d¯ˆo
´
ix´u
.
ng
nhi
.
phˆan (viˆe
´
ttˇa
´

t BSC) v`a x´ac d¯i
.
nh bo
.
˙’
i ma trˆa
.
nbiˆe
´
nd¯ˆo
˙’
i kˆenh thuˆa
.
n
Q =

1 −p
e
p
e
p
e
1 − p
e

=

¯p
e
p

e
p
e
¯p
e

.
V´o
.
imˆo
˜
ik´yhiˆe
.
u nguˆo
`
n, BSC sinh ra mˆo
.
tt´ın hiˆe
.
u b
j
∈ B = {b
1
,b
2
} = {0, 1}. X´ac suˆa
´
t
cu
˙’

a c´ac t´ın hiˆe
.
urab
1
v`a b
2
cho bo
.
˙’
i
v = Qz =

¯p
e
p
e
p
e
¯p
e

p
bs
¯p
bs

=

¯p
e

p
bs
+ p
e
¯p
bs
p
e
p
bs
+¯p
e
¯p
bs

.
Vˆa
.
y x´ac suˆa
´
t xuˆa
´
thiˆe
.
nk´yhiˆe
.
u0l`a¯p
e
p
bs

+ p
e
¯p
bs
v`a x´ac suˆa
´
t xuˆa
´
thiˆe
.
nk´yhiˆe
.
u1l`a
p
e
p
bs
+¯p
e
¯p
bs
.
Dˆe
˜
d`ang kiˆe
˙’
m tra thˆong tin tu
.
o
.

ng hˆo
˜
cu
˙’
a BSC bˇa
`
ng
I(z, v)=H
bs
(p
ps
p
e
+¯p
e
¯p
bs
) −H
bs
(p
e
),
trong d¯´o H
bs
(·) l`a h`am entropy nhi
.
phˆan c´o d¯ˆo
`
thi
.

trong H`ınh 6.5(a). V´o
.
i c´ac gi´a tri
.
p
ps
= 0 hoˇa
.
c1th`ıI(z, v)=0. Ho
.
nn˜u
.
an´od¯a
.
t gi´a tri
.
l´o
.
n nhˆa
´
t khi c´ac k´y hiˆe
.
u nguˆo
`
n
c´o x´ac suˆa
´
t xuˆa
´
thiˆe

.
nbˇa
`
ng nhau. H`ınh 6.5(b) l`a d¯ˆo
`
thi
.
cu
˙’
a I(z, v) theo p
bs
khi cˆo
´
d¯ i
.
nh lˆo
˜
i kˆenh p
e
.
Ta biˆe
´
trˇa
`
ng, thˆong lu
.
o
.
.
ng cu

˙’
a BSC nhˆa
.
nd¯u
.
o
.
.
cbˇa
`
ng c´ach lˆa
´
y maximum thˆong
tin tu
.
o
.
ng hˆo
˜
theo tˆa
´
tca
˙’
c´ac kha
˙’
nˇang cu
˙’
a x´ac suˆa
´
t nguˆo

`
n. H`ınh 6.5(b) l`a d¯ˆo
`
thi
.
cu
˙’
a
I(z, v) theo tˆa
´
tca
˙’
c´ac gi´a tri
.
cu
˙’
a h`am x´ac suˆa
´
t(t´u
.
c l`a, v´o
.
i0≤ p
bs
≤ 1 hoˇa
.
c khi z
thay d¯ˆo
˙’
it`u

.
(0, 1)
t
d¯ ˆe
´
n(1, 0)
t
). Ta thˆa
´
y I(z, v)d¯a
.
tcu
.
.
cd¯a
.
i (v´o
.
i p
e
bˆa
´
tk`y) khi p
bs
=
1
2
.
Gi´a tri
.

p
bs
n`ay tu
.
o
.
ng ´u
.
ng z =(
1
2
,
1
2
)
t
. Trong tru
.
`o
.
ng ho
.
.
p n`ay, I( z, v)=H
bs
(p
e
). Do d¯´o
thˆong lu
.

o
.
.
ng C =1−H
bs
(p
e
)cu
˙’
a BSC c´o d¯ˆo
`
thi
.
trong H`ınh 6.5(c).
Ch´u´yrˇa
`
ng khi khˆong c´o lˆo
˜
id¯u
.
`o
.
ng truyˆe
`
n(p
e
=0)c˜ung nhu
.
khi chˇa
´

cchˇa
´
nc´o
lˆo
˜
i(p
e
= 1) th`ı thˆong lu
.
o
.
.
ng cu
˙’
a kˆenh d¯a
.
t gi´a tri
.
l´o
.
n nhˆa
´
t 1bit/k´yhiˆe
.
u. Trong nh˜u
.
ng
tru
.
`o

.
ng ho
.
.
p n`ay, c´o thˆe
˙’
truyˆe
`
n thˆong tin nhiˆe
`
u nhˆa
´
tv`ıt´ınhiˆe
.
u ra cu
˙’
a kˆenh c´o thˆe
˙’
ho`an to`an d¯o´an tru
.
´o
.
c. Tuy nhiˆen, khi p
e
=
1
2
th`ı t´ın hiˆe
.
urat`u

.
kˆenh ho`an to`an khˆong
thˆe
˙’
d¯o´an tru
.
´o
.
c v`a khˆong c´o thˆong tin n`ao d¯u
.
o
.
.
c truyˆe
`
n qua n´o.
158