Bài tập và gợi ý giải môn học Lý thuyết thông tin

1
đáp án


Ngành đào tạo:
Điện tử viễn thông
Hệ đào tạo :
Đại học
Môn học :
Lý thuyết thông tin
Mã số
411 LTT 340A
Số ĐVHT: 4


Phần 1: lý thuyết thông tin
Câu 1:
(1 điểm): Định nghĩa lợng thông tin riêng (độ bất định) của một biến
ngẫu nhiên. Xác định các đơn vị đo
- Định nghĩa lợng thông tin riêng (độ bất định)
Lợng thông tin riêng là độ bất định tiềm năng chứa trong một biến cố ngẫu
nhiên
k
x
.
Ký hiệu
( )
k
I x

( ) ( )
kk
Iklnpx x=

-
Các đơn vị đo
k1
=

() ( )
kk
Ilnpx x
= (nat)
1
k
ln 2
=

() ( )
k2k
Ilogp
x x
=
(bít)
1
k
ln10
=

( ) ( )
kk
Ilgp
x x
=
(hart)
1 nat = 1,443 bít
1 hart = 3,322 bít

Câu 2:
(1 điểm) Định nghĩa entropy của nguồn rời rạc
Entropy của nguồn tin rời rạc A là trung bình thống kê của lợng thông tin
riêng của các tin thuộc A
Ký hiệu:
()
1
HA


() ()
1i
HA MIa

=



() () ()
12 s
12 s

aa...a
A
pa pa ... pa

=




( )
i
0pa 1

()
s
i
i1
pa 1
=
=


() () ()
s'
1ii
i1
HA palogpa
=
=

(bít)

2
Câu 3: (1 điểm) Nêu các tính chất của entropy của nguồn rời rạc
Các tính chất của
()
1
HA

-
Khi
()
k
pa 1=
,
()
i
pa 0=
với
ik
thì
( ) ( )
11
min
HA HA 0= =

-
Một nguồn tin rời rạc gồm s dấu đồng xác suất cho entropy cực đại. Ta có
( )

1
max
HA logs=

-
Entropy của nguồn rời rạc là một đại lợng giới nội
( )
1
0 H a logs


Câu 4:
(1 điểm) Định nghĩa khả năng thông qua kênh rời rạc, nêu các tính chất?
-
Định nghĩa: Khả năng thông qua của kênh rời rạc là giá trị cực đại của lợng
thông tin chéo trung bình truyền qua kênh trong một đơn vị thời gian lấy theo
mọi khả năng có thể có của nguồn tin A.
() ()
''
k
AA
C max I A,B v max I A,B

==
(bps)
-
Các tính chất:
+
'
C0

'
C0=
khi A và B là độc lập (kênh bị đứt)
+
'
k
Cvlogs

'
k
Cvlogs=
khi kênh không nhiễu

Câu 5
: (2 điểm) Entropy của nguồn rời rạc nhị phân. ý nghĩa của dơn vị đo bít?
-
Entropy của nguồn rời rạc nhị phân.
12
aa
A
p1p

=





( ) ( ) ( )

1
max
H A plog p 1 p log 1 p=


Khi
1
p1p
2
= =


( ) ( )
11
max
HA HA 1bit= =

-
ý nghĩa: 1 bít là lợng thông tin riêng trung bình chứa trong một biến cố của
một nguồn rời rạc 2 phân đồng xác suất.


()
1
HA
(bits)
p
0,5
1
1

3
Câu 6: (2 điểm) Xác định hai trạng thái cực đoan của kênh rời rạc.
-
Kênh bị đứt:
Các nguồn tin A và B ở hai đầu thu và phát là độc lập.

()
( )
ij i
pa b pa=


( )
( )
ji i
pb a pa=


( )
( )
( )
ij i j
pab pa pb=

Ta có:
( )
( )
j
HAb HA=

()( )
HAB HA=

Nhận xét: Lợng thông tin tổn hao trung bình đúng bằng entropy của
nguồn. Kênh không thể truyền tin đợc
-
Kênh không nhiễu:
AB

()
kk
pa b 1=

( )
k
HAb 0=

()
HAB 0=

Nhận xét: Lợng thông tin tổn hao trên kênh bằng 0

Câu 7:
(2 điểm) Entropy có điều kiện
( )
HAB
: định nghĩa và nêu các tính chất
-

Định nghĩa: Entropy có điều kiện về 1 trờng tin A khi đã rõ trờng tin B đợc
xác định theo công thức sau:
()
() ()
st
ij i j
i1 j1
HAB pab logpa b
==
=


-
Các tính chất:
+
( ) ( ) ( ) ( ) ( )
HAB HA HBA HB HAB=+ =+

+
( ) ( )
0HAB HA

+
( ) ( ) ( )
HAB HA HB=+


Câu 8:
(2 điểm) Lợng thông tin chéo trung bình truyền qua kênh rời rạc: định
nghĩa và tính chất

-
Định nghĩa:
()
( )
ij
IA,B MIa,b


=


với
()
( )
()
ij
ij
i
pa b
Ia,b log
pa
=


4
()
()
( )
()
st

ij
ij
i1 j1
i
pa b
IA,B pab log
pa
==
=


( ) ( ) ( ) ( ) ( )
IA,B HA HAB HB HBA= =

-
Tính chất:
+
( )
IA,B 0

+
( ) ( )
IA,B HA


Câu 9:
(3 điểm) Cho kênh đối xứng nhị phân sau
()
1
p ap

=


( )
2
1
p ap
=

( ) ( )
12 21
1
s d
p ba pb a p p
==

Cho tốc độ truyền tin của kênh
1
k
vT=

Tính khả năng thông qua
'
C
của kênh này.
Giải:

Ta có
() () ()
'

AA
11
CmaxIA,B maxHBHBA
TT
==



Trong đó:
() ()
()()
() ()()()()
()
()()()()
()() () ()()
()()
2t
iji ji
i1 j1
111 11 21 21
212 12 22 22
s sss ss s s
ss s s
HBA pa pb a logpb a
pa pbalogpba pbalogpba
pa pbalogpba pbalogpba
p 1 p log 1 p p logp 1 p p log p 1 p log 1 p
plogp 1 p log1 p
==
=

= +

+


=+ +


= +




Ta thấy
( )
HBA
không phụ thuộc vào xác suất tiên nghiệm của các tin thuộc
nguồn A. Do đó:

() ()
'
A
11
C maxHB HBA
TT
=

Ta có
( ) ( )
max

A
max H B H B log 2 1bit===

'
max
1
C
T
=
khi
s
p0=
(kênh không nhiễu)
()()
'
ss s s
'
max
C
1 p log p 1 p log 1 p
C
=+ +


2
b
1
b
2
a

1
a
s
p

s
p
( )
21 d
pb a p=

( )
12 d
pb a p=

A

B

''
max
CC
s
p
0,5
1
1

5
Câu 10: (3 điểm) A chọn ngẫu nhiên một trong các số từ 0 đến 7. Tính số câu

hỏi trung bình tối thiểu mà B cần đặt cho A để xác định đợc số mà A đã chọn.
Nêu thuật toán hỏi? Giả sử A đã chọn số 3, hãy đặt các câu hỏi cần thiết?
Độ bất định của số đợc chọn ngẫu nhiên:

() ()
ii
1
Ia logpa log 3bit
8
= = =

Để tìm đợc số đã chọn của A, B phải đặt các câu hỏi cho A để thu đợc đủ
một lợng thông tin cần thiết là 3 bít.
Mỗi câu hỏi của B (dạng lựa chọn) có thể xem là nguồn rời rạc nhị phân, bởi
vậy lợng thông tin nhận đợc sau mỗi câu trả lời tơng ứng là:

( ) ( ) ( )
HB plogp 1 plog1 p=

Với p : xác suất nhận câu trả lời

đúng



1p
: xác suất nhận câu trả lời

sai

Vậy số câu hỏi cần thiết n là :
( )
()
i
Ia
n
HB
=

Số câu hỏi trung bình tối thiểu là:
( )
()
i
min
max
Ia
n
HB
=


( )
max
HB

khi
1
p1p
2

= =


min
3bit
n3
1bit
==
lần hỏi
Giả sử A chọn số B. Các câu hỏi b có thể đặt cho A là:
-
Câu 1 - Số A chọn lớn hơn 3? Trả lời: Sai
-
Câu 2 - Số A chọn lớn hơn 1? Trả lời: Đúng
-
Câu 3 - Số A chọn lớn hơn 2? Trả lời: Sai
Vậy số A chọn là 3

Câu 11:
(4 điểm) Một thiết bị vô tuyến điện gồm 16 khối có độ tin cậy nh nhau
và đợc mắc nối tiếp. Ta sử dụng một thiết bị đo để đo tín hiệu ra của các khối.
Giả sử có một khối nào đó bị hỏng. Hãy tính số lần đo trung bình tối thiểu để tìm
đợc khối bị hỏng. Nêu thuật toán đo? Giả sử khối hỏng là khối thứ 6, tìm vị trí
các điểm đo cần thiết?
Theo giả thiết độ bất định của khối hỏng là:

() ()
ii
1
Ia logpa log 4bit

16
= = =

Lợng thông tin nhận đợc sau mỗi phép đo:

( ) ( ) ( )
HB plogp 1 plog1 p=


6
Với p : xác suất có tín hiệu

1p
: xác suất không có tín hiệu
Để xác định đợc khối hỏng (khử hết độ bất định) số phép đo cần thiết n là:

( )
()
i
min
max
Ia
n
HB
=


( )
HB max

khi
1
p1p
2
= =


( )
max
HB 1bit=


min
4bit
n4
1bit
==
lần đo
Để n
min
thuật toán đo phải đảm bảo
( )
HB max


Mỗi lần đo phải đo ở
điểm giữa của các khối cần xác định nhằm đảm bảo
1
p1p
2

= =
.
Giả sử khối hỏng là khối 6. Các phép đo cần thiết là:
-
Lần 1: Đo ở đầu ra khối 8: Không có tín hiệu, khối hỏng nằm trong các
khối từ 1

8.
-
Lần 2: Đo ở đầu ra khối 4: Không có tín hiệu, khối hỏng nằm trong các
khối từ 5

8.
-
Lần 3: Đo ở đầu ra khối 6: Không có tín hiệu, khối hỏng nằm trong khối 5
hoặc 6.
-
Lần 4: Đo ở đầu ra khối 5: Có tín hiệu. Vậy khối hỏng là khối 6

Câu 12:
(4 điểm) Trong bộ tú lơ khơ 52 quân (không kể făng teo), A rút ra một
quân bài bất kỳ. Tính số câu hỏi trung bình tối tiểu mà B cần đặt cho A để xác
định đợc quân bài mà A đã rút. Nêu thuật toán hỏi? Giả sử A rút ra 7 quân rô,
hãy nêu các câu hỏi cần thiết?
Độ bất định về quân bài mà A đã rút:

() ()
ii
1
Ia logpa log 6bit

52
= = <

Giả sử B đặt cho A câu hỏi dạng lựa chọn, khi đó lợng thông tin nhận đợc
sau mỗi câu trả lời của A là:

( ) ( ) ( )
HB plogp 1 plog1 p=

Với p : xác suất nhận câu trả lời là

đúng



1p
: xác suất nhận câu trả lời là

sai


Số câu hỏi cần thiết để xác định đợc quân bài A đã rút là:
( )
()
i
Ia
n
HB
=

7
Ta thấy
nmin
khi
( )
HB max

( ) ( )
max
HB HB 1bit==
khi
1
p1p
2
= =

Số câu hỏi trung bình tối thiểu là:
min
log 52 bit
n6
1bit
= <
lần
Thuật toán phải đảm bảo
1
p1p
2
= =
.

Giả sử A rút ra 7 rô. Các câu hỏi cần thiết có thể nh sau:
-
Câu 1: Quân A rút là quân đỏ? Đúng
-
Câu 2: Quân A rút là quân cơ? Sai
-
Câu 3: Quân A rút có giá trị

7? Đúng (giả sử J = 11, Q = 12, K = 13,
At=1)
-
Câu 4: Quân A rút có giá trị

3? Sai
-
Câu 5: Quân A rút có giá trị

5? Sai
-
Câu 6: Quân A rút là 6 rô? Sai
Vậy quân A rút là 7 rô

Câu 13
:(4 điểm) Trong 27 đồng xu có 1 đồng xu giả nhẹ hơn. Để tìm đợc
đồng xu giả ngời ta sử dụng một cân đĩa thăng bằng. Hãy tính số lần cân
trung bình tối thiểu để xác định đợc đồng xu giả. Nêu thuật toán cân ?
Theo giả thiết độ bất định chứa trong sự kiện đồng xu giả là :
I(x
i
) = - log p(x

i
) = - log 1/27 = log 27 bit
Khi sử dụng cân đĩa thăng bằng, sau mỗi lần cân các sự kiện có thể có là :
-
Cân thăng bằng với xác suất p
-
Cân lệch trái với xác suất q
-
Cân lệch phải với xác suất 1-p-q
Lợng thông tin nhận đợc sau mỗi lần cân :
H(B) = -plog p qlog q (1-p-q)log (1-p-q)
Để xác định đợc đồng xu giả tổng lợng thông tin nhận đợc sau các lần cân
phải không nhỏ hơn độ bất định của đông xu giả. Nh vậy số lần cân cần thiết
là : n = I(x
i
)/H(B)
Để n có giá trị nhỏ nhất thì H(B) phải đạt giá trị cực đại.
Ta có H(B) = H(B)
max
= log 3 khi p = q = 1-p-q = 1/3.
Khi đó n
min
= I(x
i
)/H(B)
max
= log27/log 3 = 3 lần cân.
Thuật toán cân nh sau( đảm bảo p = q = 1-p-q )
-
Lần 1 : Chia 27 đồng xu thành 3 phần, mỗi phần có 9 đồng xu. Lấy 2 phần

bất kỳ đặt lên mỗi bàn cân 1 phần . Nếu cân thăng bằng thì đồng xu giả