công thức nguyên lý truyền tin

1. Độ đo thông tin:










)(
1
)(
i
i
xp
fxI
)(log
)(
1
log)(
i
i
i
xp
xp
xI 

2. Lượng tin riêng
)(log)(

ii
xpxI  (dvtt)

3. Lượng tin riêng của nguồn


i
ii
xIxpXI )().()(

 )(log).(
ii
xpxp
(dvtt/tin)

4. Entropi của nguồn
 Rời rạc
)(log)()(
iii
xpxIxH 

 )(log).()()(
ii
xpxpXIXH

 Liên tục


x
dxxwXH )()(

5. Lượng tin đồng thời
 Rời rạc
),(log),(
iiii
yxPyxI 

);()()(),(
iiiiii
yxIyIxIyxI 


ji
iiii
yxPyxPYXHYXI
,
),(log),(),(),(

 Liên tục


yx
dxdyyxwyxwYXHYXI
,
),(log),(),(),(


6. Độ bất định có điều kiện
 Rời rạc

)/(log)/(
iiii
yxPyxI 


ji
iiii
yxPyxPYXHYXI
,
)/(log),()/()/(



ji
iiii
xyPyxPXYHXYI
,
)/(log),()/()/(

 Liên tục


yx
dxdyyxwyxwYXIYXH
,
)/(log),()/()/(



yx

dxdyxywyxwXYIXYH
,
)/(log),()/()/(

7. Quan hệ giữa các Entropi
 H(X,Y) = H(X)+H(Y/X)
= H(X)+H(X/Y)

 H(Y/X) = H(Y)
H(Y/X) = H(X)
Nếu X,Y độc lập thống kê

8. Lượng tin tương hỗ
)(
)/(
log)/()();(
i
ii
iiiii
xp
yxp
yxHxHyxI 

),()()();(
iiiiii
yxIyIxIyxI 


9. Lượng tin tương hỗ trung bình
 Nguồn rời rạc



ji
i
ji
ji
xp
yxp
yxpYXI
,
)(
)/(
log),();(



ji
ji
ji
ji
ypxp
yxp
yxp
,
)().(
),(
log),(




ji
j
ij
ji
yp
xyp
yxp
,
)(
)/(
log),(
)/()();( YXHXHYXI



),()()( YXHYHXH




)/()( XYHYH




10. Tốc độ lập tin của nguồn
)(.)(
0
XHnXR 

Nguồn rời rạc
0
n
- Tần số tạo tin của nguồn
)(.)( XHFXR


Nếu p(x
i
) = p
i


)log(. NFR


Nguồn liên tục
)(2
max
XHFR 
Nguồn có giá trị đỉnh hữu hạn










0
)
1
(
)(
maxmin
dx
N
d
wxw
xxxxX

)log(2
minmaxmax
xxFR 
Nguồn có công suất trung bình hữu hạn





tb
Pxw
xxX
)(
}{

tb
ePFR  2log.2
max

11. Thông lượng của kênh
),(.
0
YXInC 
Kênh rời rạc

max
)(. XHfC 
Kênh liên tục



)()(2 NHYHfC 
Thường là nhiễu chuẩn

eNNH  2log)(

)2log2(log2 eNePfC
y


)1log()1log(
N
S
f
N
P
f

x


1. Các công thức xác suất
B).P(B)P(A,A)|P(B


)(/),()|( BPBAPBAP
ii





n
j
jj
ii
APABP
APABP
1
)().,(
)().,(

2. Mã hóa nguồn rời rạc
Mô hình (A, p(x
i
))



L
xxX
1


))() (()(
1 L
xpxpXP 


 LxpxpXH
ii 22
log)(log)()(
L
xpxpxpXH
L
1
)( )()()(
21max


LXH
2max
log)( 

Mã hóa với từ mã có độ dài cố định

 Độ dài từ mã tối thiểu




1log
2
 LR

 Hiệu suất mã hóa

 
1
log
)()(
2

L
XH
R
XH

Hiệu suất bằng 1





k
L
XH
2
max)(

 Định lý mã hóa nguồn 1:
X: Nguồn rời rạc không nhớ, H(X) hữu hạn.
Với 0


:








J
XH
J
N
R
P
e

)(
0








J
XHR
P
e

)(
1

Mã hóa với từ mã có độ dài thay đổi
 Xây dựng bộ mã
min
R

min)(.
1



L
i
ii
xpnR

 Bất đẳng thức Kraft:
Nếu bộ mã có các từ mã có độ dài tương
ứng là n
1
<n
2

<…<n
L
điều kiện cần và đủ để
mọi bộ mã có tính Prefix:
12
1




L
i
n
i

 Định lý mã hóa nguồn 2:
Có thể xây dựng được một mã hiệu nhị
phân có tính Prefix và có độ dài từ mã trung
bình
R
thõa mãn bất đẳng thức:

1X)()(  HRXH




3. Mã hóa Huffman
Chọn n
0
















Z
m
nL
mn
1
2
0
0

n
0
-Số kí hiệu được nhóm

4. Giới hạn Hamming về độ dài từ mã chống nhiễu
Mã phát hiện sai

Điều kiện:
RN
E

1

mà









kn
t
i
ii
nE
mmR
mCN
1
1
)1.(






t
i
ii
n
kn
mCmm
1
)1.(
Mã sửa sai
Điều kiện
E
NNR
1
.



t
i
ii
n
kkn
mCmmm
1
)1(.



t

i
ii
nm
mCkn
0
)1(log

5. Giới hạn Hamming về quãng cách mã
Phát hiện sai kênh có số sai t
1


td
Sửa sai hoàn toàn kênh có có số sai t
12


td