Bài tập Lý thuyết thông tin

Bài 1: Cho ma trận kênh Q của kênh truyền nhị phân DMC:
Q=

1/2 1/3 1/6
1/6 1/2 1 /3
1/3 1/6 1 /2

với phân bố xs của nguồn p(X)={1/2;1/4;1/4}

a) Vẽ mơ hình kênh truyền với nguồn đầu vào X={x1,x2,x3}, đầu ra
Y={y1,y2,y3}

b) Xác định bảng ppxs P(X,Y)
Từ ct p(y/x)=

p (x , y )
p( x)

 p(x1,y1)=p(y1/x1).p(x1)
p(x1,y2)=p(y2/x1).p(x1) ….
 bảng P(X,Y)


c) Giả thiết phía thu nhận được bản tin y3. Hãy xác định bản tin nào được
phía phát gửi đi
p(y1)=p(x1,y1)+p(x2,y1)+p(x3,y1)
p(y2), p(y3)
Tính:

p(x1/y3) =

So sánh giữa

p (x 1/ y 2)
p( x 1)

p (x 1 , y 3)
p ( y 3)

,

, p(x2/y3) =

p (x 2/ y 3)
p( x 2)

với

p (x 3 / y 3)
p(x 3)

p (x 2 , y 3)
p ( y 3)

, p(x3/y3) =

 Tỉ số lớn nhất

p (x 3 , y 3)
p ( y 3)

Bài 2: Cho kênh truyền có mơ hình sau;

với pbxs của nguồn X, p(X) = {0,3;0,4;0,3}
a) Xác định pbxs đồng thời giữa X,Y
Q=

(

0,8 0,2 0
0,3 0,7 0
0
0 0,7

)

Tính p(x1,y1)=p(y1/x1).p(x1);….;p(x3,y3)=p(y3/x3).p(x3) bảng
b) Tính H(X),H(Y),I(X,Y)
p(y)=∑ p ( xk ) . p ( y , xk ) H(X),H(Y)
I(X,Y)=H(X)+H(Y)-H(X,Y)
c) tính xác suất truyền lỗi Pe


Pe=P[X#Y]=P(y#x,x).P(x)
Bài 3: Cho kênh truyền BSC với xác suất truyền thành công bit thông tin
là 0,9 và pbxs của nguồn phát X là p(x0)=0,1; p(x1)=0,9
a) Xđ ma trận Q và vẽ mơ hình kênh truyền
Xs lỗi trung bình p=1-0,9=0,1
Q = [ 0,9
0,1

0,1
0,9

]


Bài 4:
*Mã hoá Huffman


*Mã hoá Fano


Bài 5: Cho mã khối có ma trận sinh như sau:

G4x7 =

 11 01 000 
 01 01100 


 1 010110 


 1 001 011 

a) Xác định từ mã tương ứng với bản tin m = ( 0 1 1 1 )
Từ mã tính được:
U m.G (0111)  G   u 0...u 6 

 u 0 0.1  1.0  1.1  1.1 0
u1 0.1  1.1  1.0  1.0 1
u 2 1, u3 0, u 4 0, u5 0, u 6 1
 U (0110001)


b) Xác định bản tin ở phía thu nếu nhận được từ mã: U=(1 0 0 0 1 0 0)
U m.G  m0...m3 .G  1000100
 m0.1  m1.0  m 2.1  m3.1 1
 m0.1  m1.1  m2.0  m3.0 0

 m0.0  m1.0  m 2.1  m3.0 0

 m0.1  m1.1  m2.0  m3.1 0
 m0.0  m1.1  m 2.1  m3.0 1

 m0.0  m1.0  m 2.1  m3.1 0
 m0.0  m1.0  m 2.0  m3.1 0


m0  m 2  m3 1
m0  m1 0

m2 0

m0  m1  m3 0
m1  m2 1

m2  m3 0
m3 0

=> 

m0 1
m3 0


m1 1
m2 0
=>
. Vậy bản tin nhận được m=(1 1 0 0)


c) Xác định ma trận H của mã khối
H .G T 0   h0...h6 .G T 0
1
1

0

G T  1
0

0
0


0
1
0
1

1
0
0

1
0
1
0
1
1
0

1
0 
0

1
0

1
1

h0.1  h1.1  h 2.0  h3.1  h4.0  h5.0  h6.0 0
h0.0  h1.1  h 2.0  h3.1  h 4.1  h5.0  h6.0 0

 
h0.1  h1.0  h 2.1  h3.0  h 4.1  h5.1  h6.0 0
h0.1  h1.0  h 2.0  h3.1  h 4.0  h5.1  h6.1 0
h0  h1  h3 0
h1  h3  h 4 0



h0  h 2  h 4  h5 0
h0  h3  h5  h6 0

Giả thiết h1=(001), h2=(010), h3=(100)


 h0 h1  h3 (001)  (010) (011)
h 4 h1  h3 (011)
h 2 h0  h 4  h5 (100)
h6 h0  h3  h5 (101)
 0 0 1 00 1 1
 H  1 0 0 11 0 0 
 1 1 0 01 0 1 

Bài 5: Cho mạch mã hố xoắn có cấu trúc:


Giả thiết: Trong 1 chu kì chỉ có 1 bit dc dịch vào
a) Xđ giản đồ chuyển trạng thái của mạch và mơ tả q trình mã hố theo
giản đồ mắt lưới với chuỗi bit đầu bào m = (1011)
b) Phân tích q trình giải mã hố ở phía thu nếu nhận được chuỗi thông
tin ( 000 011 011 101 101)
Giải
a) V1=m(t)+R2(t-1)
V2=R1(t-1)+R2(t-1), V3=m(t)+R1(t-1)


 V=(101 011 011 110 101 110)

Bài 1: Tín hiệu thuộc loại nào? Tính cơng suất trung bình hoặc năng
lượng trung bình (nếu có)
a) x(t) = 3cos6t (    t   )
Tín hiệu: xác định, tuần hồn, tương tự, là tín hiệu cơng suất
T /2

1
Px lim  x 2 (t )dt
T  T
 T /2
Cơng suất của tín hiệu:
1
Px 
To

T /2

 /6

3
2
x (t )dt  18(1  cos12t ) dt 18W

   /6
 T /2


4e(  5/2) t

y (t ) 
0
b)

t 0
t 0

Tín hiệu: xác định, tương tự, năng lượng


T /2

Năng lượng của tín hiệu:


E y lim

T 

2
y
 (t )dt

 T /2



16
E y  y (t )dt 16e dt  ( J )
6


0

2

 5t

Bài 2: Cho kênh truyền nhị phân DMC có bảng ppxs chuyển đổi
P(Y/X) X1 X2 X3
Y1 0,8 0 0
Y2 0,2 1 0,3
Y3
0 0 0,7
Với p(x1)=0,2; p(x2)=0,3; p(x3)=0,5
a) H(X), H(Y) và I(X,Y)
b)Giả sử phía thu nhận được bản tin y2.Hãy xđ bản tin đã được phát đi
So sánh giữa

p (xi/ y 2)
p( xi)

 tỉ số lớn nhất là bản tin tương ứng


Bài 3: Cho mơ hình kênh truyền:

Biết pbxs đồng thời giữa X,Y là P(x,y)
X0 X1
Y0 2/15 2/5
Y1 1/15 2/5

Và kênh truyền BSC có xs thành cơng là 0,75
Giải
Mơ hình kênh truyền tương đương với ma trận kênh là Q
Tính được Q=QDMC1*QBSC
Đối với DMC1, ta phải xác định ma trận kênh P(Y/X)


Và BSC có xs thành cơng là 0,75xs truyền lỗi là p=0,25

1  p p 
Q 

p
1

p


Bài 4: Cho khối xử lí mã hố xoắn có giản đồ chuyển trạng thái sau:


Giả thiết trong 1 chu kì xử lí có 1 bit thơng tin được dịch vào tuần tự,
trong đó bit trái cùng của chuỗi bit thông tin được dịch vào trước.
a) Vẽ chuỗi chuyển trạng thái thông qua giản đồ mắt lưới và xác định
thông tin được xuất ra mạch mã hố nếu thơng tin đầu vào m=(1110)?
m

1

1

1

0

0

0

S0
S2
S1
S3
Xác định được chuỗi bit: 11 01 10 01 11 00
(Nếu giả thiết bit phải cùng là bit trọng số cao (MSB), được dịch vào
trước, đồng thời sẽ được dịch ra trước => 00 11 10 01 10 11


b) Vẽ cấu trúc mạch mã hoá tương ứng

V 1 m  R1  R 2
Giả thiết: V 2 m  R1  R 2


Xét trạng thái ban đầu S0:
m R1R2
0

00
00

S0
S0

V1V2 m R1R
V1V2
2
1 0 0 S0
00
10
11
S1

V 1 m  R1  R 2
V 2 m  R1  R 2
Xét trạng thái S1:
m R1R2
0

01
00

S1
S0

V1V2 m R1R
V1V2
2
1 0 1 S1
11

10
00
S2


V 1 m  R1  R 2
Ta có: V 2 m  R1  R 2
Xét trạng thái S2:
m R1R2

V1V2 m R1R
V1V2
2
0 1 0 S2
1 1 0 S2
01
10
11
01
S1
S3
Ta có: V 1 m  R1  R 2

V 2 m  R 2
V 2 m
Với V 2 R 2