Mã hóa nguồn - Nguyên lý truyền thông




 
! "

#$%&'()
) *&!+,+-

*.%&)(/0
1$2! (

3+,+-4-+&56
7 
8
31296:;
)<$2&
8
3'26:;*
$6:;+=2'
8
3/>)  ?&
,(1*$,&

3) *4-+&.(
@+A7 
8
3) *'(5
7 B) *CD);!
7
8

=EF)7
 !7 +,+-
$2&;G

12
8
H2+,+-@&I

J+%&! "

J+%&&

K@L%&

#(MLN:$2GI)=
EO)=EO6GI

'M)2MP'(Q+
@L=E

$2>'/G

3! R56
56'/GS

#(T6=MU
$256GI)=E6G
IL)2M6
P
S

≥&!S≥)P
8
3))V>&%&PAS

O)
P

8
1))V>&%&PAS≥KBWC
K;%&KBWCXS≤ 1

4)<)+&)2M)<
)$

4Y@L

K@L-Z-
8
))V>&%&P
8
3&[:;

3$[:;1
))V>&%&P\)=E6];
^KBWC_`K@L)
( )
( )
[ ]
( )
( )

11
+
≥
+
XH
XH
XH
XH

#(Y@LY)=E
5)\a)bc6
( )
( )
[ ]
( )
( )
1.
.
1.
.
+
≥
+ XHj
XHj
XHj
XHj
8
d@LNb[:;
8
e1'&A56

=MU$2>/!;

4Y@LD'&

31[:;('@L
&L;<&'

W
c
56'/f\
D5GI'/S\P
S
g
c

9h
f
iP
S
>=&=E\=E
D>j!'&
56+a$25
=E\&$2:;)e
k

#G)6l
mnW)+,+-12'k+?
-KBWC\f6%&=E
D>GI/3\$2nk
ol\:;L&

k
'(]p
6SO3Xf KBWC`k$2f2$1-≥
3=E)-S KBWC`k$2≤
k
2f
2$1-
6q&G)6
8
e$2>'/1
;G%&
8
KBWC6GI];/a(
(/0! ".
:
8
@6];''(-
=E'j/$1-6

8
#G)6'(Q+$2'M
)2MP

&ir&
8
3! R#/>")G$2:;
:;
8
4<


WkUZY&!L/k
:;:;\&6
'BGI&)P'C:;:;:N
&

m5'6ls

4Z)-=25'N
h6
H./*WOt:

\:
P
:…
u
v$2:
;:;eOtl\wxyl\Pwyl\zyl\yl\luy
l\l{yl\lv
p X
0,34 X
1
0 0
0,23 X
2
1
0,19 X
3
1 0
0,1 X
4

1 0
0,07 X
5
1 0
0,06 X
6
1 0
0,01 x
7
1
W  4>
W

l\wx ll
W
P
l\Pw l
W
w
l\z l
W
x
l\ l
W
|
llu l
W
{
l\l{ l
:

u
l\l 
( ) ( ) ( )
∑
=
−=
n
i
ii
xpxpXH
1
log
KBWCOP\wx
/+A
( )
41,2
1
==
∑
=
l
k
kk
apnR
4+'
&

6U\



6GIU>
%&&

rr&)'.+kr:$'
/(B'/+A2
-k+%&C
9:I!/ZKrr&
}R:':;:;
L/K&6':;]
;=E6)l\
( ) ( ) ( )
SHxpnnSH
n
i
ii
≥=>+
∑
=
1
1
P4&:;];=E:
$=2P$kUZL/
w~+A)s)-h&
U$2l\=EI
%&5•=EAkj
=E)-+L
$./*'}Ot
l
\


\
P
\
w
\
x
v':;=M
Ul\xl\Pl\Pl\l\
0
1
0
0,2
0
1
0
0,4
0
1
0
0,6
0
1
0
1
} 44 44P 44w 44x

l
l\x l\x l\x l\{
}


l\P l\P l\x l\x
}
P
l\P l\P l\P
}
w
l\ l\P
}
x
l\
} l\x ll
} l\P l
}P l\P 
}w l\ ll
}x l\ l
( )
( )
12193,2
1,0/1log.1,01,0/1log.1,02,0/1log.2,0
2,0/1log.2,04,0/1log.4,0
)(/1log)(
2,23.1,03.1,02.2,02.2,02.4,0
1
1
=
+++
+=
==
=++++==
∑

∑
=
=
S
i
ii
S
i
ii
xpxpSH
xpnn
H<!/+ALj
2-%&k+