Đề thi lí thuyết thông tin DUT

TRƯỜNG ĐẠI HỌC BÁCH KHOA
KHOA CƠNG NGHỆ THƠNG TIN

CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập - Tự do- Hạnh phúc

ĐỀ THI HỌC PHẦN
Học phần: LÝ THUYẾT THÔNG TIN
Số tín chỉ: 02
Phương pháp đánh giá: Tự luận
Đề số: 01
Sinh viên được sử dụng tài liệu khi làm bài.

Thời gian làm bài: 60 phút

Câu 1 (2 điểm):
!! !" !# !$
Cho một nguồn rời rạc không nhớ như sau: X = !"/$
"/% "/& "/$#

a. Tính lượng tin chứa trong tin x2.
b. Tính entropy của nguồn X.
c. Có thể xây dựng được bộ mã hố nguồn khơng mất thơng tin cho nguồn X sao
cho bộ mã có độ dài trung bình của từ mã bằng 1,5 bit khơng? Vì sao?
Câu 2 (4 điểm):
Cho một kênh rời rạc không nhớ trong đó nguồn phát X gồm 2 tin x1 và x2, nguồn thu
Y gồm 2 tin y1 và y2.
Biết các xác suất sau: p(x1) = 1/2, p(y1|x1) = 1, p(y1|x2) = e, p(y2|x1) = 0, p(y2|x2) = 1-e.
a. Tính các entropy H(X), H(Y) và H(X,Y).
b. Tìm giá trị của e để H(Y) đạt giá trị cực đại. Khi đó giá trị của lượng thông tin
tương hỗ I(X,Y) bằng bao nhiêu (diễn giải chi tiết cách làm dẫn đến kết quả).

Câu 3 (4 điểm):
a. Hãy thực hiện mã hoá Huffman cho ngun ri rc A sau :
ổ a1 a2
A=ỗ 1 1
ỗỗ
ố4 4

a3
1
8

a4
1
8

a5 a6
1 1
16 16

a7
1
32

a8
1
32

a9
1
32

a10
1
64

a11 ư
÷
1 ÷
÷
64 ø

b. Đánh giá hiệu quả của phép mã hoá dựa trên độ dài từ mã trung bình và entropy
của nguồn.
c. Hãy thực hiện giải mã cho dãy bit nhận được có dạng: 1 0 1 1 0 0 1 1 1 0 1 0 1...
Tổng cộng có: 03 câu
Đà Nẵng, ngày 06 tháng 12 năm 2021

GIẢNG VIÊN BIÊN SOẠN ĐỀ THI

TS. Ninh Khánh Duy

TRƯỞNG BỘ MÔN

TS. Ninh Khánh Duy