bài tập lý thuyết thông tin

CHƯƠNG 3
Bài 1: Giải sử có 3 thành phố A, B, C. Biết rằng dân thành phố A luôn nói thật, dân
thành phố B luôn nói dối, còn dân thành phố C thì cứ một lần nói thật lại một lần
nói dối xen kẽ nhau. Du khách D muốn xác minh đồng thời xem anh ta đang ở
thành phố nào và người anh ta gặp là dân thành phố nào. D cần phải đặt ít nhất bao
nhiêu câu hỏi, nếu người nói chuyện với D chỉ có thể trả lời là “Phải” hoặc
“Không”.
Bài 2: Có 25 đồng tiền (đúc bằng kim loại) cùng một giá trị, trong đó có 24 đồng
có khối lượng như nhau, cũn một đồng là tiền giả, có khối lượng nhẹ hơn các đồng
khác. Hỏi phải cân ít nhất bao nhiêu lần thì có thể tìm ra được đồng tiền giả này?
Bài 3: Khảo sát về tình hình thi tuyển sinh vào đại học, cao đẳng cho biết tỷ lệ thí
sinh đạt điểm trên điểm sàn là
8
10
, số thí sinh dưới điểm sàn là
2
10
. Trong số thí
sinh đạt điểm trên điểm sàn có 30% là học sinh thuộc vùng nông thôn, 70% thuộc
khu vực thành phố. Trong số thí sinh đạt điểm dưới điểm sàn có 60% học sinh
thuộc khu vực thành phố. Tìm lượng tin về năng lực học tập của thí sinh khi biết
khu vực cư trú?
Bài 4: Nêu ý nghĩa và chứng minh các công thức sau:
1.
)|()(),( YXIXIYXI
−=
2.
),()()(),( YXHYHXHYXI
−+=
3.
( , ) ( ) ( | )H X Y H X H Y X

= +
Bài 5: Cho cấu trúc thống kê của nguồn X={x
1
, x
2
, x
3
}.
x
i
x
1
x
2
x
3
P(x
i
) 0.2
5
0.2
5
0.5
Cho ma trận nhiễu trên kênh:
P(y
j
|x
i
) y
1

y
2
y
3
1
x
1
0.2
5
0.5 0.25
x
2
0.5 0.2
5
0.25
x
3
0.2
5
0.2
5
0.5
- Tại đầu ra kênh nhận được tin y
j
do nguồn X phát. Hãy cho biết tin nào
thuộc nguồn X có khả năng nhiều nhất chuyển thành tin y
j
. (i=1,2,3).
X
Kênh tin

Y
Bài 6: Cho hệ thống truyền tin.
Trong đó X={x
1
, x
2
, x
3
} là nguồn tin tại đầu vào kênh thông qua sự truyền lan trong
kênh trở thành nguồn Y={y
1
, y
2
, y
3
}. Cho biết phân bố sau:
P(x
i
,y
j
) y
1
y
2
y
3
x
1
0 1/8 1/8
x

2
1/8 1/1
6
1/16
x
3
1/4 1/8 1/8
- Hãy cho biết cấu trúc thống kê của nguồn X, Y. Entopi của nguồn X, nguồn
Y, Ma trận nhiễu trên kênh, H(X,Y), I(X,Y).
Bài 7: Cho cấu trúc thống kê của nguồn X={x
1
, x
2
, x
3
, x
4
}.
x
i
x
1
x
2
x
3
x
4
2
P(x

i
) 3/8 2/
8
1/8 2/8
Ma trận nhiễu trên kênh.
P(y
j
|x
i
) y
1
y
2
y
3
y
4
x
1
3/8 2/8 1/
8
2/8
x
2
2/8 2/8 3/
8
1/8
x
3
1/8 3/8 2/

8
2/8
x
4
2/8 1/8 2/
8
3/8
- Tính entropi đầu vào kênh tin H(X); Entropi đầu ra kênh H(Y); I(X|Y), I(Y|
X), H(X,Y).
Bài 8: Cho cấu trúc thống kê của đích Y={y
1
, y
2
, y
3
}.
y
i
y
1
y
2
y
3
P(y
i
) 1/2 1/
4
1/4
Ma trận nhiễu trên kênh.

P(x
i
|y
j
) y
1
y
2
y
3
x
1
1/4 1/2 1/4
x
2
1/2 1/4 1/4
x
3
1/4 1/4 1/2
3
- Tính tốc độ lập tin tại đầu ra kênh tin, đầu vào kênh tin, thông lượng kênh,
độ dư tương đối của nguồn. Biết rằng số ký hiệu lập được trong một đơn vị
thời gian là n
0
.
4
CHƯƠNG 4
Bài 1: Cho các từ mã x = ‘101010’, y = ‘110101’, z = ‘000110101’. Hãy biểu diễn
các từ mã trên bằng phương pháp tọa độ mã và đồ hình mã.
Bài 2: Cho bộ mã có các từ mã sau: 10 110 1110 01 001 0001. Hãy xác định tính

phân tách được và độ chậm phân giải của bộ mã bằng phương pháp dùng bảng thử.
Bài 3: Hãy giải thích tại sao 3 bộ mã Fano, Huffman, Shannon phân tách được.
Bài 4. Để làm giảm sai lầm khi nhận tin bằng cách truyền lặp lại một bit 5 lần. khi
nhận 5 bit liền nhau ở cuối kênh được xem như là 1 bit. Giá trị bit này là 0 nếu số
bit 0 trong dãy lớn hơn số bit 1, ngược lại nếu số bit 1 nhiều hơn thì giá trị bit là 1.
Biết xác suất nhiễu 1 bit là p=0.2; tổng số bit nhận sai sau 5 lần lặp tuân theo luật
phân phối nhị thức B(p,5). Hãy tính xác suất truyền sai.
Bài 5: Cho xâu x = ‘KHOA_CONG_NGHE_THONG_TIN’.
- Để thỏa mãn điều kiện của bộ mã thống kê tối ưu thì độ dài trung bình từ mã
phải thỏa mãn giới hạn nào? (Tính giới hạn trên, giới hạn dưới của bộ mã).
- Sử dụng thuật toán mã hóa Fano, Shanon, Huffman để mã hóa xâu x với cơ
số mã m = 2.
- Tính trị số kinh tế, vẽ cây mã của từng bộ mã. Có nhận xét gì về 3 phương
pháp mã hóa?
- Mở rộng cho cơ số mã m = 3 cho ba phương pháp.
o Viết lại thuật toán mã hóa
o Áp dụng mã hóa xâu x
o Tính trị số kinh tế của mỗi bộ mã.
Bài 6: Cho nguồn U = {u
1
, u
2
, u
3
, u
4
} với xác suất xuất hiện tương ứng
P(u
i
) = {0,4; 0,25; 0,2; 0,15}. Xét nguồn mới U

2
= { u
i
u
j
, với
1 , 4i j
≤ ≤
} có tập
phân bố xác suất là U
2
= {0,16; 0,1; 0,08; 0,06; 0,1; 0,0625; 0,05; 0,0375; 0,08;
0,05; 0,04; 0,03; 0,06; 0,0375; 0,03; 0,0225} .
- Hãy mã hóa nguồn U và U
2
bằng phương pháp mã hóa Huffman.
- Đưa ra nhận xét về hiệu suất mã hóa của hai nguồn U và U
2
.
Bài 7: Cho xâu x = ‘0101020102110122’. Sử dụng thuật toán mã hóa Lempel –
Ziv để lập mã và giải mã cho xâu x.
5
Bài 8:
Cho bộ mã: a
1
= 0101001, a
2
= 1111101, a
1
= 0101001, a

3
= 1100011, a
4
= 1010001.
- Sử dụng phương pháp phát hiện sai bằng quãng cách Hamming, bộ mã này
có thể sửa sai được mấy ký hiệu?
- Nếu tại đầu ra kênh tin nhận được tin b
1
= 0011010 và b
2
= 1101101 có thể
sửa sai được cho 2 tin b
1
, b
2
được không? Nếu được sửa lại về tin chính xác.
Bài 9: Cho các bộ mã:
a
1
0 1 0 1 1 0 0
a
2
1 1 0 1 0 0 0
a
3
1 0 0 1 1 1 0
a
4
0 1 1 0 1 0 1
- Xây dựng bộ mã phát hiện sai bằng phương pháp parity chẵn/ lẻ và phương

pháp dùng mã khối.
- Xây dựng bộ mã phát hiện sai bằng phương pháp mã thuận nghịch.
- Bộ mã trên có hệ số tỷ lệ là bao nhiêu?
Bài 10: Xác định mã V(6,4) từ ma trận sinh
111000
101010
000111
010101
G
 
 
 
=
 
 
 
Bài 11: Cho biết ma trận sinh
1011
0100
G
 
=
 
 
, các vec tơ nhiễu: 0010, 1000, 1001. Bằng
phương pháp tính Syndrom hãy sửa sai cho dãy mã sau: 10100101. Bộ mã trên sửa
sai được tối đa bao nhiêu bit?
Bài 9: Ma trận thử
Bài 10: Mã vòng
6

CHƯƠNG 5
Bài 1: Giả sử có phép dịch chuyển
A B C D E F G H I J K L M
1 2 3 4 5 6 7 8 9 1
0
11 12 13
N O P Q R S T U V W X Y Z
1
4
15 16 17 1
8
19 2
0
21 22 23 2
4
25 26 27
Cho bản rõ x = ‘BAI_TAP_LY_THUYET_THONG_TIN’
a. Sử dụng mã hóa vị (MHV), hãy tìm bản mã của bản rõ x.
b. Cho mã dịch vòng được định nghĩa
( ) ( )
( ) ( )
k
k 26
e x x k mod 26
d x y k mod 26 ( , )x y Z
= +


= − ∈



Cho k = 4, hãy tìm bản mã của bản rõ x.
Bài 2: Cho a = 5, b = 3, y = 5x + 3 (mod 26), sử dụng mã Affine mã hóa bản rõ
sau:
‘DUNG_XAU_HO_KHI_KHONG_BIET_CHI_XAU_HO_KHI_KHONG_HOC’
‘Đừng xấu hổ khi không biết, chỉ xấu hổ khi không học’
Bài 3: Cho m = 8 và từ khóa là: SINHVIEN. Sử dụng mã Viegenère để mã hóa
cho bản rõ: ‘HOC_MA_KHONG_KHO_KHAN_SE_CHONG_QUEN’
’ Học mà không khó khăn sẽ chóng quên’
Bài 4:
7