đề cương môn học lý thuyết thông tin

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH
TRƯỜNG ĐẠI HỌC
CÔNG NGHỆ THÔNG TIN
CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh Phúc
ĐỀ CƯƠNG MÔN HỌC
NT104 – Lý thuyết thông tin
1. THÔNG TIN CHUNG
Tên môn học (tiếng Việt): Lý thuyết thông tin
Tên môn học (tiếng Anh): Information Theory
Mã môn học: NT104
Thuộc khối kiến thức: Kiến thức ngành
Khoa/Bộ môn phụ trách: Mạng máy tính và Truyền thông
Website môn học
Giảng viên phụ trách môn: ThS. Tô Nguyễn Nhật Quang
Email:
Giảng viên: ThS. Bùi Văn Thành
Email:
Số tín chỉ: 3
TC lý thuyết : 3 TC thực hành : 0
Lý thuyết: 45 tiết
Thực hành: 0 tiết
Tự học:
Tính chất của môn Bắt buộc đối với sinh viên ngành Mạng máy tính và
Truyền thông
Điều kiện đăng ký: (môn học
tiên quyết, học trước, song
hành…)
Toán cao cấp, Xác suất thống kê, Lập trình căn bản
2. MỤC TIÊU MÔN HỌC
1. Giúp cho sinh viên nhận thức được các hệ thống thông tin ngày nay là hệ thống có

độ phức tạp cấu trúc rất lớn và chịu tác động của nhiều loại nhiễu khác nhau.
2. Giúp cho sinh viên có thể xây dựng được các hệ thống thông tin ổn định và tin cậy,
đáp ứng được các yêu cầu khác nhau trong việc lưu trữ, chuyển tải, bảo mật và chia
sẻ thông tin.
1
1
3. TÓM TẮT NỘI DUNG MÔN HỌC
Môn học trình bày các vấn đề lý thuyết thông tin rời rạc như lượng tin, entropy, nguồn
rời rạc và kênh rời rạc; các phương pháp mã hoá và giải mã, mã hoá tối ưu về kích
thước, mã hoá chống nhiễu thông tin trên đường truyền, mã hoá bảo mật thông tin
4. CHUẨN ĐẦU RA
Cấp độ Nội dung
1 1 Kiến thức
2
3
1.3 Kiến thức cơ sở ngành Mạng máy tính và Truyền thông
1.3.7 Xử lý thông tin và tín hiệu
1 2 Kỹ năng
2
3
3
3
3
3
2.1 Lập luận phân tích và giải quyết vấn đề
2.1.1 Xác định và nêu vấn đề
2.1.2 Mô hình hóa
2.1.3 Ước lượng và phân tích định tính
2.1.4 Phân tích với các yếu tố bất định
2.1.5 Đánh giá giải pháp và nêu khuyến nghị

5. NỘI DUNG CHI TIẾT
Tuần/
Thời
lượng
Nội dung Ghi chú/Mô tả hoạt động Chuẩn
đầu ra
3 tiết
LT
Chương 1 : Giới thiệu
1. Khái niệm thông tin và ý nghĩa
2. Nội dung nghiên cứu của Lý thuyết
thông tin
3. Ứng dụng của Lý thuyết thông tin
4. Lịch sử hình thành ngành Lý thuyết
thông tin
Giảng dạy lý thuyết trên lớp
1.3.7
2.1.1
3 tiết
LT
Chương 2: Một số kiến thức cơ sở
1. Xác suất và các nguyên lý xác suất
2. Xác suất có điều kiện và xác suất đầy đủ
3. Công thức Bayes
4. Biến ngẫu nhiên và quá trình ngẫu nhiên
5. Thông tin và mô hình của một quá trình
truyền thông tin
6. Các hệ thống liên tục và rời rạc
Giảng dạy lý thuyết trên lớp
1.3.7

2.1.2
3 tiết
Chương 3: Lượng tin và Entropy
1. Lượng tin, lượng tin trung bình, lượng
tin tương hỗ
2. Entropy và các đặc tính của Entropy
3. Entropy và các dãy của một biến ngẫu
Giảng dạy lý thuyết trên lớp
1.3.7
2.1.3
2
2
LT nhiên
4. Entropy của biến cố hợp và entropy có
điều kiện
3 tiết
LT
Chương 4: Nguồn rời rạc và kênh rời rạc
1. Nguồn rời rạc và mô hình tổng quát
2. Kênh rời rạc không nhớ và ma trận kênh
3. Kênh rời rạc có nhớ
4. Dung lượng kênh
Giảng dạy lý thuyết trên lớp
1.3.7
2.1.3
3 tiết
LT
Chương 5: Mã hiệu
1. Các thông số cơ bản
2. Các phương pháp biểu diễn mã

3. Điều kiện phân tách mã
Giảng dạy lý thuyết trên lớp
1.3.7
2.1.3
6 tiết
LT
Chương 6: Mã hoá nguồn rời rạc không
nhớ
1. Một số thuật ngữ và định lý giới hạn
2. Phương pháp mã hoá Shannon
3. Phương pháp mã hoá Fano
4. Phương pháp mã hoá Huffman
Giảng dạy lý thuyết trên lớp
1.3.7
2.1.4
3 tiết
LT
Chương 7: Mã hoá nguồn phổ quát
1. Khái niệm
2. Vectơ tần suất và tựa Entropy
3. Mã hoá nguồn phổ quát
Giảng dạy lý thuyết trên lớp
1.3.7
2.1.4
3 tiết
LT
Chương 8: Mã hoá chống nhiễu
1. Bài toán chống nhiễu
2. Định lý kênh
Giảng dạy lý thuyết trên lớp

Bài tập nhóm
1.3.7
2.1.4
6 tiết
LT
Chương 9: Mã khối tuyến tính
1. Khái niệm
2. Phát hiện sai và sửa sai
3. Các giới hạn
Giảng dạy lý thuyết trên lớp
Bài tập nhóm
1.3.7
2.1.5
6 tiết
LT
Chương 10: Mã vòng
1. Mã vòng và các tính chất của mã
vòng
2. Ma trận sinh và ma trận kiểm tra
3. Mã tuần hoàn
4. Mã BCH
Giảng dạy lý thuyết trên lớp
Bài tập nhóm
1.3.7
2.1.5
6 tiết
LT
Chương 11: Mật mã
1. Giới thiệu
2. Các kiến thức cơ sở

3. Một số phép mật mã hoá đơn giản
4. Mật mã hoá bằng phương pháp từ
khoá
5. Mật mã DES
6. Mật mã khoá công khai và RAS
Giảng dạy lý thuyết trên lớp
Bài tập nhóm
1.3.7
2.1.4
2.1.5
3
3
7. Chữ ký điện tử
6. PHƯƠNG PHÁP GIẢNG DẠY VÀ HỌC TẬP
Giảng viên giảng dạy lý thuyết trên lớp, giới thiệu tài liệu tham khảo, hướng dẫn sinh
viên chia nhóm để làm bài tập nhóm. Mỗi nhóm từ 3-4 sinh viên sẽ thực hiện bài tập
nhóm với nội dung là viết các ứng dụng minh hoạ các chủ đề chính trong chương trình
học. Thời gian trình bày và nộp báo cáo là các buổi học cuối của môn học.
7. HÌNH THỨC ĐÁNH GIÁ KẾT QUẢ HỌC TẬP
Hình thức Tỷ lệ % Đánh giá so với
chuẩn đầu ra
Bài tập nhóm 20 2.1
Thi lý thuyết giữa kỳ 30 1.3.7
Thi lý thuyết cuối kỳ 50 1.3.7
8. TÀI LIỆU HỌC TẬP, THAM KHẢO
1. Thomas M. Cover, Joy A. Thomas, Elements of Information Theory, New York,
Wiley & Sons, 2006.
2. Roth, R.M., Introduction to Coding Theory, Cambridge University Press,
Cambridge, UK, 2006.
3. George J. Klir, Uncertainty and Information Foundations of Generalized

Information Theory, Wiley & Sons, 2006.
4. William Stallings, Cryptography and Network Security Principles and
Practices, Prentice Hall, 2005.
5. Hồ Văn Quân, Lý thuyết thông tin, Nhà xuất bản Đại Học Quốc Gia Tp.HCM,
2005.
9. PHẦN MỀM HAY CÔNG CỤ HỖ TRỢ THỰC HÀNH
• Các ngôn ngữ lập trình như C++, C# dùng để viết các ứng dụng minh hoạ phần lý
thuyết.
• Phần mềm Cryptool.
Trưởng khoa/ bộ môn
(Ký và ghi rõ họ tên)
Giảng viên
(Ký và ghi rõ họ tên)
4
4