Đề thi lí thuyết thông tin

1


NGÂN HÀNG  THI
Môn: LÝ THUYT THÔNG TIN
S tín ch : 4
S DNG CHO NGÀNH IN T - VIN THÔNG VÀ CÔNG NGH THÔNG TIN
H I HC T XA


CHNG I: NHNG VN  CHUNG VÀ KHÁI NIM C BN

1/ Chn câu đúng sau :
a Tin luôn đc biu din di dng s
b Tm nh, bn nhc, bc th . . . không phi là các tin
c Tin là mt ánh x liên tc đn ngi nhn
d Tin là dng vt cht đ biu din hoc th hin thông tin.

2/ Chn phát biu đúng trong nhng câu sau :
a Thông tin là nhng tính cht xác đnh ca vt cht mà con ngi nhn đc t th gii vt cht
bên ngoài
b Thông tin không th xut hin di dng hình nh
c Thông tin tn ti mt cách ch quan, ph thuc vào h th cm.
d Thông tin không th xut hin di dng âm thanh

3/ Môn lý thuyt thông tin bao gm vic nghiên cu:
a Vai trò ca thông tin trong k thut
b Các quá trình truyn tin và Lý thuyt mã hóa.
c Lý thuyt toán xác sut ng dng trong truyn tin.
d Cách chng nhiu phi tuyn trong vô tuyn đin

4/ Chn câu đúng nht v ngun tin
a Ngun tin là ni sn ra tin
b Ngun tin là tp hp các tin có xác sut và ký hiu nh nhau
c Ngun tin liên tc sinh ra tp tin ri rc.
d Ngun tin ri rc sinh ra tp tin liên tc.

5/ Chn câu đúng nht v đng truyn tin
a Là môi trng Vt lý, trong đó tín hiu truyn đi t máy phát sang máy thu
b Là môi trng Vt lý đm bo an toàn thông tin
c Là môi trng Vt lý trong đó tín hiu truyn đi t máy phát sang máy thu không làm mt
thông tin ca tín hiu.
d ng truyn tin chính là kênh truyn tin.

6/  bin đi mt tín hiu liên tc theo biên đ và theo thi gian thành tín hiu s, chúng ta cn
thc hin quá trình nào sau đây:
a Ri rc hóa theo trc thi gian và lng t hóa theo trc biên đ
b Gii mã d liu
c Mã hóa d liu.
d Lng t hóa theo trc thi gian và ri rc hóa theo trc biên đ
HC VIN CÔNG NGH BU CHÍNH VIN THÔNG
Km10 ng Nguyn Trãi, Hà ông-Hà Tây
Tel: (04).5541221; Fax: (04).5540587
Website: ; E-mail:

2
CHNG II: TÍN HIU VÀ NHIU

1/ Chn câu đúng v tín hiu:
a Tín hiu là mt ánh x liên tc đn ngi nhn

b Tm nh, bn nhc, bc th . . . không phi là các tin
c Tin luôn đc biu din di dng s
d Tín hiu là quá trình ngu nhiên .

2/ Chn phát biu đúng nht v đc trng thng kê :
a c trng cho các quá trình ngu nhiên chính là các quy lut thng kê và các đc trng thng
kê
b K vng, phng sai, hàm t tng quan, hàm tng quan là các quy lut thng kê
c Các hàm phân b và mt đ phân b là nhng đc trng thng kê
d Tín hiu và nhiu không phi là quá trình ngu nhiên theo quan đim thông kê

3/ Chn câu đúng nht v hàm t tng quan :
a Hàm t tng quan là quy lut thng kê th hin ca quá trình ngu nhiên.
b Hàm t tng quan
x12
R(t,t)
luôn đc tính bng biu thc sau
[]
{
}
2
12
(, ) () ()
xx
R
tt M Xt mt=−
c Hàm t tng quan
x12
R(t,t)
đc trng cho s ph thuc thng kê gia hai giá tr  hai thi

đim thuc cùng mt
d Hàm t tng quan
x12
R(t,t)
luôn bng phng sai ( )
x
Dt vi mi t

4/ Vic biu din mt tín hiu gii hp thành tng ca hai tín hiu điu biên bin thiên chm s làm
cho vic phân tích mch vô tuyn đin di tác đng ca nó tr nên phc tp
a úng
b Sai

5/ Ngi ta gi tín hiu gii rng nu b rng ph ca nó tho mãn bt đng thc sau:
0
1
Δω
≥
ω
. Các tín hiu điu tn, điu xung, điu xung ct, manip tn s, manip pha,… là các tín hiu
gii rng.
a Sai
b úng

6/ Chn câu đúng v công thc xác đnh mt đ ph công sut
a
2
2
T
TT

1
Ex(t)dt S()d
2
∞∞
•
−∞ −∞
==ωω
π
∫∫
là công thc xác đnh mt đ ph công sut ca các quá
trình ngu nhiên.
b
2
T
T
S()
G()
T
•
ω
=ω
là công thc xác đnh mt đ ph công sut ca các quá trình ngu nhiên.
c
{}
2
T
x
T
S()
G( ) M G ( ) M lim

T
•
→∞
ω
ω= ω =
là công thc xác đnh mt đ ph công sut ca các quá
trình ngu nhiên.

3
d
2
T
xT
TT
S()
G()limG()lim
T
•
→∞ →∞
ω
ω= ω=
là công thc xác đnh mt đ ph công sut ca các quá
trình ngu nhiên.

7/ Chn câu đúng v công thc quan h gia mt đ ph công sut và hàm t tng quan
a
2
T
xT
TT

S()
G() limG() lim
T
•
→∞ →∞
ω
ω= ω=

b
{}
2
T
x
T
S()
G( ) M G ( ) M lim
T
•
→∞
ω
ω= ω =

c
2
2
T
TT
1
Ex(t)dt S()d
2

∞∞
•
−∞ −∞
==ωω
π
∫∫

d
j
G( ) R( )e d
∞
−
ωτ
−∞
ω= τ τ
∫


8/ Trong trng hp h thng tuyn tính th đng có suy gim thì  nhng thi đim t >> t
0
= 0 (thi
đim đt tác đng vào), quá trình ngu nhiên  đu ra s đc coi là dng. Khi đó hàm t tng quan
và mt đ ph công sut ca quá trình ngu nhiên  đu ra s liên h vi nhau theo biu thc sau :

j
ra ra
1
R() G()e d
2
∞

ωτ
−∞
τ= ω ω
π
∫

a Sai
b úng

9/
(
)
*
a
St là hàm liên hp phc ca
(
)
a
St:
() () ()
∧
=+
a
St xt
j
xt là tín hiu gii tích.
ng bao ca tín hiu gii tích có th biu din bng công thc sau:
() () ()
=
*

aa
At S t.S t

a Sai
b úng

10/ Mt mch vô tuyn đin tuyn tính có tham s không đi và đc tính truyn đt dng ch nht
(hình di) chu tác đng ca tp âm trng dng. Tìm hàm t tng quan ca tp âm ra theo công
thc
2
0
ra
0
G
R() K()cos d
2
∞
•
τ= ω ωτω
π
∫
ta đc kt qu nào ?
G
V
(
ω
)

2N
0

ω
a.
0
ω
1

ω
0
ω
2

ω

|
K(
ω
)
|

b.


4
a

2
ra ra 0
sin
2
R() cos
2
Δωτ
τ=τ ωτ
Δωτ

b
2
2
ra ra ra v
11
R (0) G ( )d P K( ) G ( )d
22
∞∞
•
−∞ −∞
=τ = ω ω= = ω ω ω
ππ
∫∫

c
j
ra ra
1
R() G()e d
2

∞
ωτ
−∞
τ= ω ω
π
∫

d
0=
ra
R


11/ Cho quá trình ngu nhiên dng có biu thc sau:
(
)
(
)
=
π+ϕ
0
Xt Acos2ft

Trong đó A = const,
0
f = const, ϕ là đi lng ngu nhiên có phân b đu trong khong
(
)
−
ππ, .

Tính k vng
{
}
()
M
Xt theo công thc
{}
() () ( )
M
Xt Xtw d
π
π
ϕ
ϕ
−
=
∫
ta đc giá tr nào di đây
a
{
}
() 0Mxt =

b
{
}
() 2Mxt =
c
{
}

() 1Mxt =
d
{
}
() 1Mxt =−


12/ Cho quá trình ngu nhiên dng có biu thc sau:
(
)
(
)
=
π+ϕ
0
Xt Acos2ft Trong đó A =
const,
0
f = const, ϕ là đi lng ngu nhiên có phân b đu trong khong
()
−π π, . Tính hàm t
tng quan
12
(, )
R
tt theo biu thc
{
}
12
(, ) (). ( )Rt t M X t X t

τ
=+ta đc giá tr nào di đây:
a
2
12 0
(, ) cos2
R
tt A f
π
τ
=

b
12
(, ) 0Rt t =

c
2
12 0
1
(, ) cos2
2
R
tt A f
π
τ
=

d
2

12 0
(, ) cos2
R
tt A f
π
τ
=−


13/ Tín hiu đin báo ngu nhiên X(t) nhn các giá tr + a; - a vi xác sut nh nhau và bng 1/2. Còn
xác sut đ trong khong
τ
có N bc nhy là:
()
()
−λτ
λτ
τ
=τ>
N
PN, e 0
N!

(theo phân b Poisson). T các gi thit trên tính đc hàm t tng quan
22
()
x
Rae
λ
τ

τ
−
= . Khi đó
mt đ ph công sut ( )
x
G
ω
ca X(t) đc tính theo công thc
0
() 2 ()cos
xx
GR d
ω
τωττ
∞
=
∫
ta đc giá
tr nào sau đây:

a
2
22
4
()
4
x
a
G
λ

ω
λ
ω
=
+


b
2
22
4
()
4
x
a
G
λ
ω
λ
ω
+
=
+


c () 0
x
G
ω
=

5

d
2
22
4
()
4
x
a
G
λ
ω
λ
ω
=
−


14/ Mt quá trình ngu nhiên dng có hàm t tng quan:
2
0
() cos
x
Re
ατ
τ
δωτ
−

=
Khi đó mt đ ph công sut ca các quá trình ngu nhiên trên là

a
2
22
00
22
()
() ()
x
G
ωατ
αωωαωω
⎡⎤
=+
⎢⎥
+− ++
⎣⎦


b
2
22
00
22
()
() ()
x
G

ωατ
αωωαωω
⎡⎤
=−
⎢⎥
+− ++
⎣⎦


c
2
22
00
11
()
() ()
x
G
ωατ
αωωαωω
⎡⎤
=−
⎢⎥
+− ++
⎣⎦


d
2
22

00
11
()
() ()
x
G
ωατ
αωωαωω
⎡⎤
=+
⎢⎥
+− ++
⎣⎦

6
CHNG 3: C S LÝ THUYT THÔNG TIN THNG KÊ


1/ Khái nim lng tin đc đnh ngha da trên:

a Nng lng ca tín hiu mang tin

b  bt đnh ca tin

c Ý ngha ca tin

d Nng lng ca tín hiu mang tin và ý ngha ca tin


2/ Chn phát biu đúng nht v Entropy ca ngun tin, H(X):

a Là đi lng đc trng cho đ bt đnh trung bình ca ngun tin

b c tính theo công thc () ()log()
xX
H
XPXPx
∈
=
∑


c t cc tiu khi ngun là đng xác sut

d t cc đi khi ngun là đng xác sut


3/ Chn phát biu sai v đ bt đnh

a  bt đnh ca phép chn t l nghch vi xác sut chn mt phn t

b  bt đnh gn lin vi bn cht ngu nhiên ca phép chn

c  bt đnh ca mt phn t có giá tr 1 bit khi xác sut chn phn t đó là 1

d  bt đnh còn đc gi là lng thông tin riêng ca bin c tin

4/ Entropy ca ngun ri rc nh phân
(
)
(
)
H(A) plogp 1 p log 1 p
=
−−− −
Khi p=1/2 thì H(A) đt max Chn câu đúng v
ax
()
m
HA

a
ax
()
m
HA =3/2 bít;

b
ax
()
m
HA =1/2 bít;

c
ax
()
m
HA =1 bít ;

d
ax
()
m
HA =0

5/ Trong mt trn thi đu bóng đá Quc t, đi tuyn Vit Nam thng đi tuyn Brazin, thông tin này
có đ bt đnh là

a bng 0 ;

b Vô cùng ln

c nh hn 0;

d ln hn 0

6/ Hc sinh A có thành tích 12 nm lin đt danh hiu hc sinh gii, hc sinh B lc hc kém Thi tt
nghip ph thông trung hc, hc sinh A trt, hc sinh B đ th khoa Thông tin v hc sinh B đ th
khoa, hc sinh A trt có đ bt đnh là:

a bng 0 ;

b Vô cùng ln

c nh hn 0;

d ln hn 0


7/ Chn ngu nhiên mt trong các s t 0 đn 7 có xác sut nh nhau Khi đó xác sut ca s đc
chn ngu nhiên là:

a 7

b 1/8

c 8

d -7


7
8/ Mt thit b vô tuyn đin gm 16 khi có đ tin cy nh nhau và đc mc ni tip Gi s có mt
khi nào đó b hng, khi đó xác sut ca mt khi hng là:

a 1/16

b 16

c -16

d -1/16

9/ B tú l kh 52 quân (không k fng teo), A rút ra mt quân bài bt k Xác sut v quân bài mà A
đã rút là:

a Bng 1/52

b Nh hn 5

c Ln hn 5 nh hn 6

d Bng 1/52


10/ Chn câu sai trong các câu sau :

a  bt đnh s tr thành thông tin khi nó b th tiêu

b  bt đnh chính là thông tin

c Lng thông tin = đ bt đnh tiên nghim + đ bt đnh hu nghim

d Lng thông tin = đ bt đnh tiên nghim - đ bt đnh hu nghim


11/ Chn câu đúng sau :

a Lng thông tin = thông tin tiên nghim - thông tin hu nghim

b Thông tin hu nghim chính là thông tin riêng

c Lng thông tin = thông tin hu nghim - thông tin tiên nghim

d Lng thông tin = thông tin tiên nghim + thông tin hu nghim


12/ Chn câu sai trong các câu sau :

a Thông tin tiên nghim (ký hiu I(
k
x
)) đc xác đnh theo công thc sau:I(
k
x
) = log P(
k
x
);

b Thông tin tiên nghim còn gi là lng thông tin riêng;

c Thông tin tiên nghim (ký hiu I(
k
x
)) đc xác đnh theo công thc sau:I(
k
x
) =- log P(
k
x
);

d Thông tin tiên nghim còn gi là lng thông tin riêng đc xác đnh theo công thc sau :
I(
k
x
) =
1
log
()
k
Px
;


13/ ( , )
kl
I
xylà lng thông tin chéo v
k
x
do
l
y
mang li đc tính bng công thc nào sau đây :

a
11
log log
() ( /)
kkl

Px Px y
−


b () ( /)
j
jk
I
yIyx−

c
1
log log ( / )
()
kl
k
Px y
Px
−

d
(/)
log
()
lk
l
Py x
Py

14/ (/) log(/)
kl kl
I
xy pxy=− là thông tin hu nghim v
k
x
(/)1
kl
px y
=
khi vic truyn tin không
b nhiu. Chn câu sai trong nhng câu v (/)
kl
I
xy di đây:

a (/)
kl
I
xy=0 khi kênh không có nhiu

b (/)
kl
I
xy là lng tin b mt đi do nhiu

c (/)
kl
I
xy là lng tin có điu kin

d (/)
kl
I
xy=1/2 khi kênh không có nhiu

8

15/ ( / )
kl
I
xylà thông tin hu nghim v
k
x
(/)1
kl
px y
=
khi vic truyn tin không b nhiu Chn câu
sai trong nhng câu v (/)
kl
I
xy di đây:

a (/)
kl
I
xy là lng tin b tn hao do nhiu

b (/)

kl
I
xy= 0 khi kênh không có nhiu

c (/)
kl
I
xy>1/2 khi kênh không có nhiu

d (/)
kl
I
xy là lng thông tin v
k
x
khi đã bit
l
y

16/ ( / )
kl
I
xy là lng thông tin riêng ca
k
x
khi đã bit
l
y
và ( / )
kl

I
xy = 0 khi không có nhiu Câu
này đúng hay sai ?
a úng

b Sai


17/ Chn câu sai trong nhng câu sau:

a Lng tin còn li ca
k
x
sau khi đã nhn đc
l
y
ký hiu là ( / )
kl
I
xy

b (,)
kl
I
xylà lng tin riêng ca
k
x
và
l
y

c Lng tin ( )
k
I
x là lng tin ban đu ca
k
x


d Lng tin ( )
k
I
x là lng tin ban đu ca
k
x
, Lng tin còn li ca
k
x
sau khi đã nhn đc
l
y
ký hiu là ( / )
kl
I
xy

18/ Cho tin
i
x

có xác sut là ( ) 0,5
i
Px = , lng tin riêng ( )
i
I
x ca tin này bng các đi lng nào
di đây :
a 4 bít

b 1 bít

c 1/4 bít

d 2 bít

19/ Cho tin
i
x
có xác sut là ( ) 1/ 4
i
Px = , lng tin riêng ( )
i
I
x ca tin này bng các đi lng nào
di đây :
a 2 bít

b 4 bít

c 3 bít

d 1/2 bít

e 1/4 bít

20/ Cho tin
i
x
có xác sut là ( ) 1/ 8
i
Px = , lng tin riêng ( )
i
I
x ca tin này bng các đi lng nào
di đây :
a 5 bít

b 3 bít

c 4 bít

d 1/4 bít

21/ Cho tin
i
x
có xác sut là ( ) 1/16
i
Px = , lng tin riêng ( )
i

I
x ca tin này bng các đi lng nào
di đây:
a 1/4 bít

b 2 bít

c 3 bít

d 4 bít


9
22/ Cho tin
i
x
có xác sut là ( ) 1/ 27
i
Px = , lng tin riêng ( )
i
I
x ca tin này bng các đi lng nào
di đây:
a 2log7 bít

b Log1/9 bít;

c Log27 bít;

d Log1/27 bít;

23/ Cho tin
i
x
có xác sut là ( ) 1/9
i
Px = , lng tin riêng ( )
i
I
x ca tin này bng các đi lng nào
di đây :
a Log9 bít

b Log1/3 bít

c 2log3 bít

d Log1/9 bít

24/ Cho tin
i
x
có xác sut là ( ) 1/ 25
i
Px = , lng tin riêng ( )
i
I
x ca tin này bng các đi lng nào
di đây :
a Log2/5 bít

b 2log5 bít

c Log1/25 bít

d - Log25 bít

25/ Tìm câu sai trong nhng câu di đây

a  bt ng ca tin
i
x
trong ngun tin
N
X
đc tính bng entropy ca lp tin
i
x
trong ngun
tin
N
X


b  bt đnh ca tin và lng tin v ý ngha trái ngc nhau nhng v giá tr li bng nhau

c  bt đnh ca tin và lng tin có ý ngha nh nhau nhng giá tr khác nhau
d Lng tin trung bình đc hiu là lng tin trung bình trong mt tin bt k ca ngun tin đã
cho

26/ Lng thông tin riêng (đ bt đnh) ca mt bin ngu nhiên
k
x
là
(
)
k
I
x

Chn biu thc sai trong các biu thc di đây

a
(
)
(
)
kk
Ilnp
x
x= đn v đo là bit;

b
(
)
(
)
kk
Ilgp
x

x=− đn v đo là hart;

c
(
)
(
)
kk
Ilnp
x
x=− đn v đo là nat;

d
(
)
(
)
k2k
Ilogp
x
x=− đn v đo là bít

27/ Lng thông tin riêng (đ bt đnh) ca mt bin ngu nhiên
k
x
là
(
)
k
I

x
đc tính bng biu thc
nào di đây :

a
(
)
(
)
kk
Iklnp
x
x= ;

b
(
)
(
)
kk
Ilnp
x
x=− đn v đo là bit;

c
(
)
(
)
k2k

Ilogp
x
x=− đn v đo là nat;

d
(
)
(
)
kk
Ilgp
x
x= đn v đo là hart;

28/ Lng thông tin riêng (đ bt đnh) ca mt bin ngu nhiên
k
x
là
(
)
k
I
x
đc tính nh sau
(
)
(
)
kk
Iklnp

x
x= , trong đó k là h s t l Tìm câu sai v cách chn k trong các câu di đây :

a Chn k = 1 ta có
(
)
(
)
kk
Ilnp
x
x=

10

b Chn k =-1 ta có
(
)
(
)
kk
Ilnp
x
x=− ;

c Chn
1
k
ln10
=−

ta có
(
)
(
)
kk
Ilgp
x
x=− ;
d Chn
1
k
ln 2
=−
ta có
()
(
)
k2k
Ilogp
x
x=−

29/ Entropy ca ngun tin ri rc A là trung bình thng kê ca lng thông tin riêng ca các tin thuc
A Ký hiu:

(
)
1
HA;

() ()
1i
HA MIa
Δ
=
⎡⎤
⎣⎦
vi
() ()
()
12 s
12 s
aa a
A
pa pa pa
⎛⎞
=
⎜⎟
⎝⎠

(
)
i
0pa 1≤≤;
()
s
i
i1
pa 1
=

=
∑
;
()
1
HAđc tính bng biu thc nào di đây:

a
() () ()
s
1ii
i1
HA palogpa
=
=
∑
(bít) ;

b
() () ()
s1
1ii
i1
HA palogpa
−
=
=
∑
(bít) ;

c
() () ()
s
1ii
i0
HA palogpa
=
=
∑
(bít) ;

d
() () ()
s
1ii
i1
HA palogpa
=
=−
∑
(bít) ;

30/ Entropy ca ngun tin ri rc A là trung bình thng kê ca lng thông tin riêng ca các tin thuc
A
Ký hiu:
(
)
1
HA;
() ()

1i
HA MIa
Δ
=
⎡⎤
⎣⎦
vi
() ()
()
12 s
12 s
aa a
A
pa pa pa
⎛⎞
=
⎜⎟
⎝⎠

(
)
i
0pa 1≤≤;
()
s
i
i1
pa 1
=
=

∑

(
)
1
HA đc tính bng biu thc nào :

a
() () ()
s
1ii
i1
HA palogpa
=
=
∑
(bít) ;

b
() () ()
s
1ii
i0
HA palogpa
=
=
∑
(bít)

c

() ()
()
s
1i
i1
i
1
HA palog
pa
=
=
∑
(bít)
d
() () ()
s1
1ii
i1
HA palogpa
+
=
=
∑
(bít) ;

31/ Entropy ca ngun tin ri rc A là trung bình thng kê ca lng thông tin riêng ca các tin thuc
A

11
Ký hiu:

(
)
1
HA;
() ()
1i
HA MIa
Δ
=⎡ ⎤
⎣⎦
vi
()
()
()
01 s1
01 s1
aa a
A
pa pa pa
−
−
⎛⎞
=
⎜⎟
⎝⎠

(
)
i
0pa 1≤≤;

()
s1
i
i0
pa 1
−
=
=
∑

(
)
1
HA đc tính nh sau:

a
() () ()
s
1ii
i0
HA palogpa
=
=
∑
(bít)

b
() () ()
s1
1ii

i1
HA palogpa
−
=
=
∑
(bít)

c
() () ()
s
1ii
i1
HA palogpa
=
=
∑
(bít) ;

d
() () ()
s1
1ii
i0
HA palogpa
−
=
=−
∑
(bít);

32/ A và B là hai trng bin c bt k, Entropy ca 2 trng bin c đng thi C=AB là H(AB)
Trong các tính cht ca H(AB) di đây, tính cht nào sai:

a
(
)
(
)
(
)
HAB HA HBA=+ ;

b
(
)
(
)
(
)
HAB HB HAB=+ ;

c
() () ()
s
1ii
i1
HA palogpa
=
=

∑
(bít) ;

d
() () ()
s1
1ii
i0
HA palogpa
−
=
=−
∑
(bít);

33/ Entropy có điu kin v 1 trng tin A khi đã rõ trng tin B là H(A/B)
Trong các tính cht ca H(A/B) di đây, tính cht nào sai

a
(
)
(
)
HAB HB/A≤ ;

b
(
)
0HAB≤ ;

c
(
)
(
)
HA HAB≥

d
(
)
(
)
HAB HA≤ ;

34/ Entropy có điu kin v 1 trng tin B khi đã rõ trng tin A là
(
)
HB/A, Tính cht nào ca
(
)
HB/A di đây là đúng

a
(
)
0HB/A≥ ;

b
(
)

0HB/A≤ ;

c
(
)
(
)
HAB HB/A≤ ;

d
(
)
(
)
HB/A HA≤ ;


35/ Entropy ca trng bin c đng thi H(AB) đc tính bng công thc nào sau đây

a H(A) + H(A/B);

b H(A) + H(B)

c H(A) + H(B) - H(A/B) - H(B/A);

d H(B) + H(A/B);

12

36/ Lng thông tin chéo trung bình (ký hiu là I(A,B) có các tính cht nào sau đây

a
(
)
(
)
IA,B HA=− khi kênh có nhiu;

b
(
)
(
)
0IA,B HA≤≤;

c
(
)
(
)
HA IA,B 0≤≤;

d
(
)
(
)
IA,B HA= khi kênh có nhiu;

37/ Lng thông tin chéo trung bình (ký hiu là I(A,B) Trong các tính cht di đây, tính cht nào
sai:

a
(
)
(
)
IA,B HA≤ ;

b
(
)
(
)
IA,B HA= khi kênh có nhiu;

c
(
)
0IA,B≤ ;

d
(
)
(
)
IA,B HA= khi kênh không có nhiu;

38/ Lng thông tin chéo trung bình (ký hiu là I(A,B) có các tính cht nào sau đây

a
(
)
IA,B 1= khi kênh b đt;

b
(
)
0IA,B≤ v à
()
IA,B 0= khi kênh b đt;

c
()
0IA,B≥

d
()()
IA,B HA= khi kênh có nhiu;


39/ Lng thông tin chéo trung bình (ký hiu là I(A,B) ), trong các tính cht di đây ca I(A,B), tính
cht nào sai

a
()()
IA,B HA= khi kênh không có nhiu;

b
()
IA,B 0= khi kênh b đt;

c
(
)
(
)
HA IA,B≤ ;

d
()
IA,B 1≥ khi kênh b đt;

40/ Lng thông tin chéo trung bình (ký hiu là I(A,B)) , tìm biu thc sai trong các biu thc di
đây

a I(A,B) = H(A) - H(A/B);
b I(A,B) =
()
(
)
()
st
ij
ij
i1 j1
i

pa b
pab log
pa
==
∑∑


c I(A,B) = H(A) - H(B/A);

d I(A,B) = H(B) - H(B/A) ;


41/ Mnh đ nào sau đây sai

a H(A/B) ≤ H(A) ;

b H(A,B) ≤ H(A) + H(B)

c I(A,B) = H(A) + H(B) + H(AB);

d I(A,B) = H(A) + H(B) - H(AB);

42/ Chn ngu nhiên mt trong các s t 0 đn 7 có xác sut nh nhau  bt đnh ca s đc
chn ngu nhiên là

a 1/8 bít;

13

b -3 bít;

c 3 bít;

d 8 bít;

43/ Mt thit b vô tuyn đin gm 16 khi có đ tin cy nh nhau và đc mc ni tip Gi s có
mt khi nào đó b hng, đ bt đnh ca khi hng là:

a 1/16 bít;

b 16 bít;

c 1/4 bít;

d 4 bít;

44/ B tú l kh 52 quân (không k fng teo), A rút ra mt quân bài bt k  bt đnh v quân bài
mà A đã rút là:

a Nh hn 5 bít;

b Ln hn 5 nh hn 6 bít;

c Bng 6 bít

d Ln hn 6 bít ;

45/ Mt hp có 8 đng tin kim loi , trong đó có 02 đng tin 500 đng; 02 đng tin 1000 đng, 2
đng tin 2000 và 2 đng tin 5000 đng Chn ngu nhiên 1 trong 8 đng tin đó Khi đó xác sut ca
đng tin đc chn ngu nhiên là:

a 8 bít ;

b -1/2 bít;

c 1/8 bít;

d 1/4 bít ;

46/ Mt hp có 8 đng tin kim loi , trong đó có 02 đng tin 500; 02 đng tin 1000, 2 đng tin
2000 và 2 đng tin 5000 Chn ngu nhiên 1 trong 8 đng tin đó
Khi đó đ bt đnh ca đng tin
đc chn ngu nhiên là:

a 1/4 bít;

b 8 bít ;

c -1/2 bít;

d 2 bít;

47/ Cho ngun tin X = {x1, x2, x3} vi các xác sut ln lt là {1/2, 1/4, 1/4}, Entropy ca ngun tin
H(X) đc tính là:

a
111
log2 + log4 + log8
244

b
111
log2 + log4 + log4
242

c
111
log2 + log4 + log4
244
;

d
111
log2 + log4 + log4
224


48/ Cho ngun tin X = {x1, x2, x3, x4, x5, x6, x7, x8, x9} vi các xác sut ln lt là {1/4, 1/8, 1/8,
1/8, 1/16, 1/16, 1/8, 1/16, 1/16}. Trong các kt qu tính Entropy di đây, kt qu nào sai:

a
111
log4 + 4 log8 + 4 log16
488


b
13
log4 + log2 + log2

22


c
11 1
log4 + 4 log8 + 4 log16
4816


d
13
log4 + log2 + log2
42


14


49/ Entropy
()
1
HA ca ngun ri rc
() ()
()
12 s
12 s
aa a
A
pa pa pa
⎛⎞

=
⎜⎟
⎝⎠
vi
(
)
i
0pa 1
≤
≤ ;
()
s
i
i1
pa 1
=
=
∑

Trong các tính cht ca H(A) di đây tính cht nào là sai

a Khi
()
k
pa 1= ,
(
)
i
pa 0= vi ik
∀

≠ thì
(
)
(
)
11
min
HA HA 1
=
=

b Ngun tin ri rc A có s du đng xác sut cho entropy cc đi
(
)
1
max
HA logs=

c Khi
()
k
pa 1= ,
(
)
i
pa 0= vi
ik
∀
≠
thì

(
)
(
)
11
min
HA HA 0
=
=

d Entropy ca ngun ri rc A là mt đi lng gii ni
(
)
1
0Ha logs
≤
≤

50/ Cho ngun ri rc A
() ()
()
12 s
12 s
aa a
A
pa pa pa
⎛⎞
=
⎜⎟
⎝⎠

vi
(
)
i
0pa 1
≤
≤ ;
()
s
i
i1
pa 1
=
=
∑

Gi entropy ca ngun A là
()
1
HA, trong các biu thc tính
(
)
1max
HA logs− di đây, biu
thc nào sai:

a
(
)
1max

HA logs− =
()
s
i
i1
i
1
pa log logs
p(a )
=
+
∑


b
(
)
1max
HA logs− =
()
s
i
i1
i
1
pa log logs
p(a )
=
⎡⎤
−

⎢⎥
⎣⎦
∑
;
c
(
)
1max
HA logs− =
()
ss
ii
i1 i1
i
1
pa log p(a)logs
p(a )
==
−
∑∑
;

d
(
)
1max
HA logs− =
()
s
i

i1
i
1
pa log logs
p(a )
=
−
∑
;


51/ Cho ngun ri rc A
() ()
()
12 s
12 s
aa a
A
pa pa pa
⎛⎞
=
⎜⎟
⎝⎠
vi
(
)
i
0pa 1
≤
≤ ;

()
s
i
i1
pa 1
=
=
∑

Nu ngun A có s du đng xác sut , khi đó biu thc nào di đây là sai

a
()
ss
i
i1 i1
1
pa 0
s
==
+=
∑∑

b
i
1
p(a )
s
=
∀ 1is≤≤ ;

c
()
ss
i
i1 i1
1
pa 0
s
==
−=
∑∑
;

d
11
H(A) logs 0 H(A) logs−≤⇒ ≤



52/ Kh nng thông qua ca kênh ri rc C’ là giá tr cc đi ca lng thông tin chéo trung bình
truyn qua kênh trong mt đn v thi gian ly theo mi kh nng có th có ca ngun tin A
() ()
''
k
AA
C max I A,B v max I A,B
Δ
== (bps);
K

A
C' .C v m I(A,B)íi C = ax
=
υ


15
K
υ
biu th s du mà kênh đã truyn đc (đc truyn qua kênh) trong mt đn v thi gian
I’(A,B) là lng thông tin đã truyn qua kênh trong mt đn v thi gian C đc gi là kh nng
thông qua ca kênh đi vi mi du
C’ có các tính cht nào di đây :

a C’
≥
0, C’ = 0 khi A và B đc lp ; C’
K
logs
≤
υ
,
'
k
Cvlogs= khi kênh không nhiu

b C’ = 0 khi và ch khi A và B có nhiu

c
'

k
Cvlogs= khi kênh có nhiu

d
'
k
Cvlogs= khi các kênh đc lp


53/ I(A,B) là lng thông tin trung bình đc truyn qua kênh ri rc có tính cht : I(A,B)
≤
H(A)
Và mt s đnh ngha :
() ()
''
k
AA
C max I A,B v max I A,B
Δ
== ,
K
A
C' .C v m I(A,B)íi C = ax
=
υ

K
υ
biu th s du mà kênh đã truyn đc trong mt đn v thi gian. T các tính cht và đnh
ngha trên cho bit các biu thc di đây, biu thc nào sai

a
K
υ
I(A,B)
≥
K
υ
H(A);

b
K
υ
I(A,B)
≤
K
υ
H(A);

c
K
υ
maxI(A,B)
≤
K
υ
maxH(A)

d max(
K

υ
I(A,B))
≤
max(
K
υ
H(A));


54/ Cho ngun ri rc ch có hai du:
12
12
aa
A
p(a ) p(a )
⎛⎞
=
⎜⎟
⎝⎠

Ngun ri rc nh phân là ngun A trên tho mãn điu kin sau
1
2
a"0" v )p
a"1" v )1p
1
2
íi x¸c suÊt p(a
íi x¸c suÊt p(a
⇔=

⎧
⎨
⇔=−
⎩

Khi đó ngun ri rc nh phân A có th vit biu thc nào

a
12
p1p
A
aa
−
⎛⎞
=
⎜⎟
⎝⎠

b
1
2
ap
A
a1p
⎛⎞
=
⎜⎟
−
⎝⎠

c
10
A
p1p
⎛⎞
=
⎜⎟
−
⎝⎠


d
12
aa
A
p1p
⎛⎞
=
⎜⎟
−
⎝⎠


55/
12
aa
A
p1p
⎛⎞

=
⎜⎟
−
⎝⎠
là ngun ri rc nh phân Tho mãn điu kin
1
2
a"0" v )p
a"1" v )1p
1
2
íi x¸c suÊt p(a
íi x¸c suÊt p(a
⇔=
⎧
⎨
⇔=−
⎩

Khi đó Entropy
(
)
1
HA đc tính bng công thc nào sau đây

16

a
() ()
plog p 1 p log 1 p−−−−−

b
()
(
)
plog p 1 p log 1 p−− − ;

c
()()
p 1 p log 1 p plog−−−
;

d
()()
plog p 1 p log 1 p−−− −

56/
(
)
l
HA/b là lng thông tin tn hao trung bình ca mi tin  đu phát khi đu thu đã thu đc
j
b

() ()()
s
lilil
i1
HA/b pa/b logpa b
=
=−

∑
;
i
H(B/a )

là lng thông tin riêng trung bình cha trong mi tin  đu thu khi đu phát đã phát đi mt tin
i
a
đc tính theo công thc

t
iii
j1
H(B/a) /a)logp /a)
jj
p(b (b
=
=−
∑

Trong trng hp kênh b đt (b nhiu tuyt đi) ta có biu thc nào di đây là sai :

a
(
)
(
)
j
HAb HA H(B)=+

b
(
)
(
)
i
HBa HB= ;

c
(
)
(
)
HBA HB=

d
(
)
(
)
j
HAb HA= =
(
)
HAB

57/
(
)
l

HA/b là lng thông tin tn hao trung bình ca mi tin  đu phát khi đu thu đã thu đc
j
b

() ()()
s
lilil
i1
HA/b pa/b logpa b
=
=−
∑
;
i
H(B/a )
là lng thông tin riêng trung bình cha
trong mi tin  đu thu khi đu phát đã phát đi mt tin  đc tính theo công thc:

t
iii
j1
H(B/a ) /a )logp /a )
jj
p(b (b
=
=−
∑

Trong trng hp kênh không nhiu biu thc nào di đây là đúng :

a
(
)
k
HAb H(A/A) 0==;

b
(
)
k
HAb H(B/A) 0==

c
(
)
k
HAb H(B/B) 0==;

d
(
)
k
HAb H(A/B) 0== ;

58/
(
)
l
HA/b là lng thông tin tn hao trung bình ca mi tin  đu phát khi đu thu đã thu đc
b

j
.
() ()()
s
lilil
i1
HA/b pa/b logpa b
=
=−
∑
;
i
H(B/a )
là lng thông tin riêng trung bình cha
trong mi tin  đu thu khi đu phát đã phát đi mt tin
a
i
đc tính theo công thc sau:

t
iii
j1
H(B/a ) /a )logp /a )
jj
p(b (b
=
=−
∑

Trong trng hp b nhiu tuyt đi, A và B là đc lp nhau suy ra :

17
ij i
p
(a / b ) p(a )=
;
ji j
p
(b /a ) p(b )=
ij i j
p
(a b ) p(a )p(b )⇒=
, khi đó ta có biu thc nào sau
đây là đúng:

a
()
() ()
s
jii
i1
HA/b pa logpa
=
=−
∑
và
()
() ()
t
ijj

j1
HB/a pb logpb
=
=−
∑

b
()
() ()
t
ijj
j1
HB/a pb logpa
=
=−
∑

c
()
() ()
s
jii
i1
HA/b pa logpb
=
=−
∑
và
()
() ()

t
ijj
j1
HB/a pb logpa
=
=−
∑

d
()
() ()
s
jii
i1
HA/b pa logpb
=
=−
∑


59/ Entropy có điu kin v 1 trng tin A khi đã rõ trng tin B là
(
)
HAB, đc xác đnh theo
công thc sau:

()
() ()
st
ij i j

i1 j1
HAB pab logpa b
==
=−
∑∑

Trong trng hp b nhiu tuyt đi, A và B là đc lp nhau, suy ra :
ij i
p
(a / b ) p(a )=
;
ji j
p
(b /a ) p(b )=
ij i j
p
(a b ) p(a )p(b )⇒=
, khi đó biu thc nào sau đây là
đúng:

a
()
() ( )
st
ij ij
i1 j1
HAB pab logpab
==
=−
∑∑

b
()
()
() ()
ts
ji i
j1 i1
HAB pb pa logpa
==
=
∑∑

c
()
()()
st
ij ij
i1 j1
HAB pa/b logpa b
==
=−
∑∑

d
()
()
() ()
ts
ji i

j1 i1
HAB pb pa logpa
==
=−
∑∑


60/ Entropy có điu kin v 1 trng tin B khi đã rõ trng tin A là
(
)
HBA, đc xác đnh theo
công thc sau:
()
() ()
st
ji j i
i1 j1
HB/A pba logpb a
==
=−
∑∑

Trong trng hp b nhiu tuyt đi, A và B là đc lp nhau, suy ra :
ij i
p
(a / b ) p(a )=
;
ji j
p
(b /a ) p(b )=

ij i j
p
(a b ) p(a )p(b )⇒=

Khi đó biu thc nào sau đây là đúng

a
() ()
() ()
st
ij j
i1 j1
HB/A pa pb logpb
==
=−
∑∑
;
b
()
()
() ()
ts
ji i
j1 i1
HB/A pb pa logpa
==
=−
∑∑
;

18

c
()
() ( )
st
ij ij
i1 j1
HB/A pab logpab
==
=−
∑∑
;
d
()
()()
st
ij ij
i1 j1
HB/A pa/b logpa b
==
=−
∑∑


61/ Entropy có điu kin v 1 trng tin A khi đã rõ trng tin B là
(
)
HAB, đc xác đnh theo
công thc sau:

()
() ()
st
ij i j
i1 j1
HAB pab logpa b
==
=−
∑∑

Trong trng hp b nhiu tuyt đi, A và B là đc lp nhau, suy ra :
ij i
p
(a / b ) p(a )=
;
ji j
p
(b /a ) p(b )=
ij i j
p
(a b ) p(a )p(b )⇒=
, khi đó biu thc nào sau đây là
đúng:

a
()
()
() ()
ts
ji i

j1 i1
H A B p b p a logp a H(A)
==
=− =
∑∑


b
()
() ( )
st
ij ij
i1 j1
H A B p a b logp a b H(A)
==
=− =
∑∑
;

c
()
()()
st
ij ij
i1 j1
HAB pa/b logpa b H(A)
==
=− =
∑∑

d
()
()
() ()
ts
ji i
j1 i1
H A B p b p a logp a H(A)
==
==
∑∑


62/ Entropy có điu kin v 1 trng tin B khi đã rõ trng tin A là
(
)
HBA, đc xác đnh theo
công thc sau:

()
() ()
st
ji j i
i1 j1
HB/A pba logpb a
==
=−
∑∑

Trong trng hp b nhiu tuyt đi, A và B là đc lp nhau, suy ra :

ij i
p
(a / b ) p(a )=
;
ji j
p
(b /a ) p(b )=
ij i j
p
(a b ) p(a )p(b )⇒=
, khi đó biu thc nào sau đây là
đúng:

a
()
()()
st
ij ij
i1 j1
HB/A pa/b logpa b H(B)
==
=− =
∑∑

b
()
()
() ()
ts
ji i

j1 i1
HB/A pb pa logpa H(B)
==
=− =
∑∑

c
() ()
() ()
st
ij j
i1 j1
HB/A pa pb logpb H(B)
==
=− =
∑∑

d
()
() ( )
st
ij ij
i1 j1
HB/A pab logpab H(B)
==
=− =
∑∑


63/ Entropy có điu kin v 1 trng tin A khi đã rõ trng tin B là

(
)
HAB, đc xác đnh theo
công thc sau:

19

()
() ()
st
ij i j
i1 j1
HAB pab logpa b
==
=−
∑∑
vi
ij
ij
j
p(a b )
p(a /b )
p(b )
=

T công thc này có th khai trin
(
)
HABthành công thc nào sau đây:

a
() ()
st
ij i j
i1 j1
pab logpb a
==
−
∑∑



b
()()
st
ij ij
i1 j1
pa/b logpa,b
==
∑∑


c
()()
ts
jijij
j1 i1
p(b ) p a /b logp a b
==
⎡⎤

−
⎢⎥
⎣⎦
∑∑
;
d
()()
st
ij ij
i1 j1
pa/b logpa b
==
−
∑∑
;

64/ Lng thông tin chéo trung bình (ký hiu là I(A,B)) :
ij
I(A,B) M I(a ,b )
Δ
⎡⎤
=
⎣⎦
vi
()
(
)
()
ij
ij

i
pa b
Ia,b log
pa
= Xác sut đ có thông tin
ij
I(a ,b )
là
ij
p
(a b )

Do đó có th vit I(A,B)) bng công thc nào sau đây:

a
()
(
)
()
st
ij
ij
i1 j1
i
pab
pab log
pa
==
∑∑
;

b
()
(
)
()
st
ij
ij
i1 j1
i
pa b
pab log
pa
==
∑∑
;
c
()
(
)
()
st
ij
ij
i1 j1
i
pa b
pa/b log
pa

==
∑∑
;

d
()
(
)
()
st
ij
ij
i1 j1
ij
pa b
pab log
pab
==
∑∑


65/ Lng thông tin chéo trung bình (ký hiu là I(A,B)) đc vit thành :
()
()
(
)
()
st
ij
ij

i1 j1
i
pa b
IA,B pab log
pa
==
=
∑∑
Khi đó có th khai trin I(A,B) thành
I(A,B)=
() ()
()
st
ij i j i
i1 j1
p a b logp a b logp a
==
⎡
⎤
−
⎣
⎦
∑∑


a Sai

b úng

66/ Lng thông tin chéo trung bình (ký hiu là I(A,B)) đc vit thành :

20
()
()
(
)
()
st
ij
ij
i1 j1
i
pa b
IA,B pab log
pa
==
=
∑∑
Khi đó có th khai trin I(A,B) thành
I(A,B)=
() () ()
()
st st
ij i j ij i
i1 j1 i1 j1
pab logpa b pab logpa
== ==
−
∑∑ ∑∑

a úng

b Sai

67/ Lng thông tin chéo trung bình (ký hiu là I(A,B)) đc vit thành :
()
()
(
)
()
st
ij
ij
i1 j1
i
pa b
IA,B pab log
pa
==
=
∑∑
Khi đó có th khai trin I(A,B) thành
I(A,B)=
() ()
()
st
ij i j i
i1 j1
pab logpa b pb

==
⎡
⎤
−
⎣
⎦
∑∑


a Sai

b úng

68/ Lng thông tin chéo trung bình (ký hiu là I(A,B)) đc vit thành :
()
()
(
)
()
st
ij
ij
i1 j1
i
pa b
IA,B pab log
pa
==
=
∑∑

Trong các biu thc khai trin I(A,B) di đây, biu thc
nào sai

a I(A,B) =
()
()
()
st
ij i i j
i1 j1
pab logpa logpa b
==
⎡⎤
−−
⎣⎦
∑∑
;
b I(A,B) =
() ()
()
st
ij i j i
i1 j1
p a b logp a b logp b
==
⎡⎤
+
⎣⎦
∑∑
;

c I(A,B) =
() () ()
()
st st
ij i j ij i
i1 j1 i1 j1
pab logpa b pab logpa
== ==
−
∑∑ ∑∑
;
d I(A,B) =
() ()
()
st
ij i j i
i1 j1
p a b logp a b logp a
==
⎡⎤
−
⎣⎦
∑∑
;


69/ Lng thông tin chéo trung bình (ký hiu là I(A,B)) đc vit thành :

()
()

(
)
()
st
ij
ij
i1 j1
i
pa b
IA,B pab log
pa
==
=
∑∑

Entropy có điu kin v 1 trng tin A khi đã rõ trng tin B là
(
)
HAB, đc xác đnh theo công
thc sau:

()
() ()
st
ij i j
i1 j1
HAB pab logpa b
==
=−
∑∑

Khi đó trong các kt qu tính I(A,B), kt qu nào sai

a I(A,B) = H(A) - H(A/B) ;

b I(A,B) = H(A)+ H(A/B) ;

c I(A,B) = H(A) + H(B) - H(AB);

d I(A,B) = H(B) - H(B/A);


21
70/ Xét 2 trng s kin A và B sau :
()
()
j
i
i
j
b
a
Ai1,s;B j1,t
pa
pb
⎧⎫
⎧⎫
⎪⎪
=
== =

⎨⎬ ⎨⎬
⎩⎭
⎪⎪
⎩⎭

Khi đó, trng s kin đng thi
CA.B= Nu A và B là đc lp thì C có th vit thành biu thc
nào di đây:

a
()
()
ij
ij
a/b
C
pa /pb
⎧⎫
⎪⎪
=
⎨⎬
⎪⎪
⎩⎭
;

b
()
()
ij
ij

ab
C
pa pb
+
⎧⎫
⎪⎪
=
⎨⎬
+
⎪⎪
⎩⎭


c
j
i
j
i
b
a
C
p(b )
p(a )
⎫
⎧
⎪
=
⎨⎬
⎪
⎩

⎭
;

d
()
()
ij
ij
ab
C
pa pb
⎧⎫
⎪⎪
=
⎨⎬
⎪⎪
⎩⎭
;


71/ Xét 2 trng s kin A và B sau :
()
()
j
i
i
j
b
a
Ai1,s;B j1,t

pa
pb
⎧⎫
⎧⎫
⎪⎪
=
== =
⎨⎬ ⎨⎬
⎩⎭
⎪⎪
⎩⎭

Trng s kin đng thi
CA.B= có entropy H(C) đc tính bng công thc nào di đây:

a
()
() ()
st
ij ij
i1 j1
HC pab logpab
==
=
∑∑


b
()
() ()

st
ij ij
i0j0
HC pab logpab
==
=−
∑∑


c
()
() ()
s1t1
ij ij
i1 j1
HC pab logpab
−−
==
=−
∑∑
;

d
()
() ()
st
ij ij
i1 j1
HC pab logpab
==

=−
∑∑
;


72/ Chn câu sai :

a Xác sut xut hin càng ln, “lng tin “ thu đc càng ln

b Mt tin x có xác sut xut hin là p(x), nu p(x) càng nh thì “lng tin” khi nhn đc tin này
cng s càng ln

c Nu p(x) càng ln thì 1/p(x) càng nh

d Mt tin x có xác sut xut hin là p(x), nu p(x) càng ln thì “lng tin” khi nhn đc tin này
cng s càng nh


73/ Chn câu sai sau :

a Xác sut xut p(x) càng ln thì “lng tin” khi nhn đc tin này cng s càng ln

b Xác sut xut hin ca mt tin t l nghch vi đ bt ng khi nhn đc mt tin

c Xác sut xut p(x) càng ln thì “lng tin” khi nhn đc tin này cng s càng nh

d “Lng tin” ca mt tin t l thun vi s kh nng ca mt tin và t l nghch vi xác sut
xut hin ca tin đó

22
74/ Lng tin có điu kin hu nghim v
K
x
( thông tin riêng v
K
x
sau khi có
y

) đc đnh ngha
là (/) log(/)
kl kl
I
xy pxy=−
Chn câu sai trong các câu sau :

a Xác sut ( / ) 1
kl
Px y = ch xy ra khi kênh truyn không có nhiu

b Khi ( / ) 1
kl
Px y → thì ( / ) 1
kl
Ix y →− và ngc li

c Xác sut ( / ) 1/ 2
kl
Px y =→ (/)1

kl
Ix y
=
bít ,

d Khi ( / ) 1
kl
Px y → thì ( / ) 0
kl
Ix y → và ngc li


75/ Lng thông tin v
K
x
khi đã rõ tin
y

là
(/)
(,)log
()
kl
kl
k
p
xy
Ix y
px
=

Chn câu sai sau :

a (/)1
kl
px y = tc là là lng tin ca
K
x
đc truyn nguyên vn

b Nu ( / ) 0
kl
px y = suy ra
1
(,)log
()
kl
k
Ix y
p
x
=

c Nu ( / ) 1
kl
px y = suy ra
1
(,)log
()
kl
k

Ix y
p
x
=


d Nu ( / ) 1
kl
px y = , có ngha là khi
y

đã nhn đc tin thì chc chn
K
x
đã phát

76/ Lng thông tin hu nghim v
K
x
( thông tin riêng v
K
x
sau khi cã
y

) đc vit là :
1
(/)log
(/)
kl

kl
Ix y
p
xy
=
. Lng thông tin riêng v
K
x
là
1
()log
()
k
k
Ix
p
x
=

Lng thông tin chéo v
K
x
do
y

mang li là :
11
(,)log log
() (/)
kl

kkl
Ix y
p
xpxy
=−
Tìm câu sai sau :

a Lng thông tin riêng bng tng lng thông tin chéo và lng thông tin hu nghim

b Lng thông tin riêng có th âm

c Tng lng thông tin chéo và lng thông tin hu nghim bng lng thông tin riêng

d Lng thông tin riêng luôn dng

77/ Cho 2 ngun tin A và B có các xác sut tng ng là :
1234
aaaa
A
1/2 1/4 1/8 1/8
⎛⎞
=
⎜⎟
⎝⎠
;
12 3 4
bb b b
B
0,5 0,25 0,125 0,125
⎛⎞

=
⎜⎟
⎝⎠

Entropy ca ngun A ( ký hiu là H(A)), entropy ca ngun B ( ký hiu là H(B)) có quan h theo các
h thc nào di đây

a H(A)=H(B);

b H(A) > H(B);

c H(B)>H(A);

d H(A)=2H(B)


78/ Cho ngun tin A có các xác sut tng ng là :
1234
aaaa
A
1/2 1/4 1/8 1/8
⎛⎞
=
⎜⎟
⎝⎠
; Khi đó Entropy ca ngun A ( ký hiu là H(A)) bng các đi lng
nào di đây

a H(A) = 1,85 bít;

b H(A) = 1,75 bít ;

23

c H(A) = 1,7 bít;

d H(A) = 1,65 bít ;

79/ Cho ngun tin A có các xác sut tng ng là :
12345
aaaaa
A
0.45 0.2 0.15 0.1 0.1
⎛⎞
=
⎜⎟
⎝⎠
;
Khi đó Entropy ca ngun A ( ký hiu là H(A)) gn bng các đi lng nào di đây

a H(A) = 2,75 bít;

b H(A) = 2,06 bít;

c H(A) = 2,7 bít;

d H(A) = 2,85 bít;

80/ Cho ngun tin A có các xác sut tng ng là :
12 345

aa aaa
A
0.4 0.25 0.15 0.1 0.1
⎛⎞
=
⎜⎟
⎝⎠
;
Khi đó Entropy ca ngun A ( ký hiu là H(A)) gn bng các đi lng nào di đây

a H(A) = 2,85 bít;

b H(A) = 2,7 bít;

c H(A) = 2,75 bít;

d H(A) = 2,1 bít;

81/ Cho ngun tin A có các xác sut tng ng là :
1234 5
aa a a a
A
0.4 0.25 0.15 0.15 0.05
⎛⎞
=
⎜⎟
⎝⎠
;
Khi đó Entropy ca ngun A ( ký hiu là H(A)) gn bng các đi lng nào di đây

a H(A) = 2,85 bít;

b H(A) = 2,7 bít;

c H(A) = 2,06 bít;

d H(A) = 2,07 bít;

82/ Cho ngun tin A có các xác sut tng ng là :
1234 5
aaaa a
A
0.4 0.25 0.2 0.1 0.05
⎛⎞
=
⎜⎟
⎝⎠
;
Khi đó Entropy ca ngun A ( ký hiu là H(A)) gn bng các đi lng nào di đây

a H(A) = 2,06 bít;

b H(A) = 2,85 bít;

c H(A) = 2,04 bít;

d H(A) = 2,07 bít;

83/ Cho ngun tin A có các xác sut tng ng là :
12 3 4 5

aa a a a
A
0.4 0.3 0.15 0.1 0.05
⎛⎞
=
⎜⎟
⎝⎠
;
Khi đó Entropy ca ngun A ( ký hiu là H(A)) gn bng các đi lng nào di đây

a H(A) = 2,04 bít;

b H(A) = 2,07 bít;

c H(A) = 2,06 bít;

d H(A) = 2,01 bít;


24
84/ Gi s ngun tin A có các xác sut tng ng là :
123 4 5
aaa a a
A
0.4 0.3 0.2 0.05 0.05
⎛⎞
=
⎜⎟
⎝⎠
;

Khi đó Entropy ca ngun A ( ký hiu là H(A)) gn bng các đi lng nào di đây

a H(A) = 1,95 bít;

b H(A) = 2,07 bít;

c H(A) = 2,01 bít;

d H(A) = 2,04 bít;

85/ Gi s ngun tin A có các xác sut tng ng là :
1234 5
aaaa a
A
0.35 0.35 0.2 0.05 0.05
⎛⎞
=
⎜⎟
⎝⎠
;
Khi đó Entropy ca ngun A (ký hiu là H(A)) gn bng các đi lng nào di đây

a H(A) = 2,04 bít;

b H(A) = 2,01 bít;

c H(A) = 2,07 bít;

d H(A) = 1,96 bít;

86/ Gi s ngun tin A có các xác sut tng ng là :
123 4 5
aaa a a
A
0.35 0.3 0.25 0.05 0.05
⎛⎞
=
⎜⎟
⎝⎠
;
Khi đó Entropy ca ngun A ( ký hiu là H(A)) gn bng các đi lng nào di đây

a H(A) = 2,01 bít;

b H(A) = 1,9 bít;

c H(A) = 1,98 bít;

d H(A) = 2,04 bít;

87/ Gi s ngun tin A có các xác sut tng ng là :
1234 5
aaaa a
A
0.35 0.3 0.2 0.1 0.05
⎛⎞
=
⎜⎟
⎝⎠
;

Khi đó Entropy ca ngun A ( ký hiu là H(A)) gn bng các đi lng nào di đây

a H(A) = 2,06 bít;

b H(A) = 1,98 bít;

c H(A) = 2,01 bít;

d H(A) = 1,9 bít;

88/ Gi s ngun tin A có các xác sut tng ng là :
1234 5
aaaa a
A
0.3 0.3 0.2 0.1 0.1
⎛⎞
=
⎜⎟
⎝⎠
;
Khi đó Entropy ca ngun A ( ký hiu là H(A)) gn bng các đi lng nào di đây

a H(A) = 1,9 bít;

b H(A) = 2,06 bít;

c H(A) = 2,17 bít;

d H(A) = 1,98 bít;

89/ Gi s ngun tin A và B có các xác sut tng ng là :

25
12345678
aa a a aa a a
A
1/4 1/8 1/16 1/16 1/4 1/8 1/16 1/16
⎛⎞
=
⎜⎟
⎝⎠
;
12345678
bb b b bb b b
B
0,25 0,125 0,0625 0,0625 0,25 0,125 0,0625 0,0625
⎛⎞
=
⎜⎟
⎝⎠

Entropy ca ngun A ( ký hiu là H(A)), entropy ca ngun B ( ký hiu là H(B)) có quan h theo các
h thc nào di đây

a H(A) = 2H(B)

b H(A)=H(B) ;

c H(B)>H(A);

d H(A) > H(B);

90/ Gi s ngun tin A có các xác sut tng ng là :
12345678
aa a a aa a a
A
1/4 1/8 1/16 1/16 1/4 1/8 1/16 1/16
⎛⎞
=
⎜⎟
⎝⎠
;
Khi đó Entropy ca ngun A ( ký hiu là H(A)) bng các đi lng nào di đây

a H(A) = 2,7 bít;

b H(A) = 2,75 bít;

c H(A) = 2,85 bít;

d H(A) = 2,80 bít;

91/ Gi s ngun tin B có các xác sut tng ng là :
12345678
bb b b bb b b
B
0,250,1250,06250,06250,250,1250,06250,0625
⎛⎞
=
⎜⎟

⎝⎠
;
Khi đó Entropy ca ngun B ( ký hiu là H(B)) bng các đi lng nào di đây

a H(B) = 2,80 bít;

b H(B) = 2,7 bít;

c H(B) = 2,75 bít;

d H(B) = 2,85 bít;

92/ Cho mt kênh nh phân nh hình bên:




p(b
1
/a
1
) = p
d

a
1
b
1

a
2
b
2

p(b
2
/a
2
) = p
d
p(b
1
/a
2
)
= p
s


Trong đó:
Phân b xác sut ca tin  đu ra p(
1
b )đc tính theo công thc sau :

2
11
1
() ()( / )

ii
i
p
bpapba
=
=
∑

T công thc này, có th khai trin p(
1
b ) thành công thc nào di đây:

a
(
)
(
)
(
)
(
)
(
)
1111112
pb pa .pb a pa .pb a=+ ;

b
(
)
(

)
(
)
(
)
(
)
1211212
pb pa .pb a pa .pb a=+;

c
(
)
(
)
(
)
(
)
(
)
1111212
p b p a .p b a p a .p b a=+ ;