đề thi Lý thuyết thông tin k56

Đề thi cuối kỳ môn Lý thuyết thông tin - 20132
Thời gian 60 phút – Không sử dụng tài liệu

Câu 1: Xét một bản tin bao gồm họ và tên của bạn, nơi sinh của bạn (nơi sinh của bạn gồm 3
thông tin: phường/xã, quận/huyện, tỉnh/TP), bao gồm các chữ cái không dấu, không phân biệt
chữ hoa chữ thường, không có khoảng trắng. Nguồn X gồm các tin là các chữ cái khác nhau
trong bản tin, xác suất của mỗi tin trong nguồn là tần suất xuất hiện của từng chữ cái trong bản
tin.
a) Viết bản tin ứng với thông tin của bạn.
b) Xác định mô hình nguồn X (bộ giá trị X, P(X)).
c) Tính entropy của nguồn X.
Câu 2: Cho bộ mã: 10, 110, 101, 1011, 1110. Hãy lập bảng thử mã để kiểm tra tính phân tách
được của bộ mã này.
Câu 3: Nguồn X gồm 2 tin là chữ cái đầu của họ và tên của bạn, với xác suất xuất hiện lần lượt
là p và (1-p), với p = 1/q, q là giá trị ứng với từng chữ cái được cho dưới đây:
a–1

b–2

c–3

d–4

e–5

f–6

g–7

h–8

i–9

j – 10

k – 11

l – 12

m – 13

n – 14

o – 15

p – 16

q – 17

r – 18

s – 19

t – 20

u – 21

v – 22

w – 23

x – 24

y – 25

z – 26

Ví dụ: Bạn tên là Nguyễn Văn An, chữ cái đầu của họ và tên của bạn là N và A, nguồn X = (N,
A), xác suất P(N) = p = 1/14 (giá trị của N là 14), P(A) = 1-p = 13/14, hay P(X) = (1/14; 13/14)
X là nguồn vào của một kênh có ma trận kênh là: ( | ) =

3/4 1/4
.
1/4 3/4

a) Xác định mô hình nguồn X.
b) Tính H(X), H(X, Y), I(X; Y).
Câu 4: Xét một bản tin là các kí tự trong tên của bạn, viết ở dạng tiếng việt không dấu, không
có khoảng trắng, không phân biệt chữ hoa/thường. Mã hóa mỗi kí tự trong bản tin thành một
mã nhị phân có độ dài 5 bit tương ứng với giá trị thập phân của kí tự đã trình bày ở câu 3. Mỗi
mã nhị phân 5 bit này lại được làm tổ hợp vào của mã Parity. Hãy viết các từ mã Parity ứng với
mỗi kí tự trong bản tin.