LÝ THUYẾT THÔNG TIN

LÝ THUYẾT THÔNG TIN

Nguyễn Thị Hậu


TÀI LIỆU THAM KHẢO
Giáo trình Lý thuyết thông tin, Đặng Văn Chiết, Hà
Quốc Trung, NXB Bách Khoa Hà Nội
 Giáo trình Lý thuyết thông tin, Hồ Văn Quân, NXB
Đại học Quốc gia Tp.Hồ Chí Minh
 Schaum’s Outline Theory and Problems of Analog
and Digital communications, Hwei P.Hsu, McGrawHill
 Digital communications, John G.Proakis, McGrawHill





HÌNH THỨC ĐÁNH GIÁ
Chuyên cần:10%
 Điểm kiểm tra (4 bài kiểm tra):40%
 Điểm thi cuối kì (tự luận):50%
(SV không đƣợc sử dụng tài liệu)



HỌC PHẦN LIÊN QUAN



NỘI DUNG HP

Những khái niệm chung
 Lý thuyết mã
 Mã hóa nguồn-Mã thống kê tối ƣu
 Mã hóa kênh-Mã phát hiện và sửa sai



CHƢƠNG 1: NHỮNG KHÁI NIỆM
CHUNG


CHƢƠNG 1. GIỚI THIỆU CHUNG
1.1. Thông tin và vai trò của thông tin
 1.2. Mô hình Hệ thống truyền tin
 1.3. Rời rạc hóa nguồn tin liên tục
 1.4. Độ đo thông tin và lƣợng tin
 1.5. Entropy và các tính chất của entropy
 1.7. Dung lƣợng của kênh truyền



THÔNG TIN LÀ GÌ?


THÔNG TIN LÀ GÌ?


Một số ví dụ:

THÔNG TIN LÀ GÌ?
Hai ngƣời nói chuyện với nhau. Cái mà trao đổi
giữa họ đƣợc gọi là thông tin
 Một ngƣời đang xem tivi/nghe đài/đọc báo, ngƣời
đó đang nhận thông tin từ đài phát/báo
 Quá trình giảng dạy trên lớp
 Máy tính nối mạng và trao đổi dữ liệu với nhau
 Máy tính nạp chƣơng trinh dữ liệu từ đĩa cứng vào
RAM để thực thi
 Sử dụng điện thoại di động để gọi/nghe/gửi tin
nhắn ….



THÔNG TIN LÀ GÌ?
Thông tin là cái đƣợc truyền từ đối tƣợng này đến
đối tƣợng khác để báo một “điều” gì đó. Thông tin
chỉ có ý nghĩa khi “điều” đó bên nhận chƣa biết.
 Thông tin xuất hiện dƣới nhiều dạng âm thanh,
hình ảnh, …. Những dạng này chỉ là “vỏ bọc” vật
chất chứa thông tin. “vỏ bọc” là phần xác, thông tin
là phần hồn.
 Ngữ nghĩa của thông tin chỉ có thể hiểu đƣợc khi
bên nhận hiểu đƣợc cách biểu diễn ngữ nghĩa của
bên phát.
 Một trong những phƣơng tiện để diễn đạt thông tin
là ngôn ngữ


THÔNG TIN LÀ GÌ?









Vậy thông tin là một hiện tƣợng vật lý, nó thƣờng đƣợc
tồn tại và đƣợc truyền đi dƣới dạng một vật chất (tín
hiệu) nào đó.
Có hai trạng thái của thông tin: truyền và lƣu trữ. Môi
trƣờng truyền/lƣu trữ đƣợc gọi chung là môi trƣờng
chứa tin hay kênh tin.
Những thông tin khi truyền đi đƣợc mang dƣới những
dạng năng lƣợng (vật mang-carrier) khác nhau nhƣ: âm
điện, sóng điện từ, sóng ánh sáng…
Vật mang – carrier đã chứa thông tin trong nó là một đại
diện của thông tin (tín hiệu – signal)
Thông tin là một quá trình ngẫu nhiên vì vậy LTTT là lý
thuyết ngẫu nhiên của tin tức có nghĩa là nó xét tính bất
ngờ của tin tức đối với nơi nhận tin.


VAI TRÒ CỦA THÔNG TIN
Trong cuộc sống con ngƣời luôn có nhu cầu trao
đổi thông tin với nhau (truyền tin-communication).
 Thông tin trở thành một nhu cầu cơ bản, một điều

kiện cần cho sự tồn tại và phát triển.
 Khi KHKT-XH ngày càng phát triển, thông tin càng
thể hiện đƣợc vai trò quan trọng của nó đối với
chúng ta.



HP LÝ THUYẾT THÔNG TIN NGHIÊN CỨU
NHỮNG GÌ?
Ở góc độ khoa học kỹ thuật, LTTT nghiên cứu
nhằm tạo ra một “cơ sở hạ tầng” tốt cho việc truyền
thông tin chính xác, nhanh chóng và an toàn; lƣu
trữ thông tin 1 cách hiệu quả.
 Ba lĩnh vực nghiên cứu cơ bản:


Mã hóa chống nhiễu
 Mã hóa tối ƣu (mã hóa nguồn hay nén dữ liệu)
 Mật mã hóa



ỨNG DỤNG
Cuộc cách mạng công nghệ thông tin đang xảy ra,
sự phát triển mạnh mẽ của các phƣơng tiện mới về
truyền thông, lƣu trữ thông tin làm thay đổi xã hội
ngày càng sâu sắc.
 Những ứng dụng phổ biến của lý thuyết thông tin là
truyền thông và xử lý thông tin: truyền thông, bảo
mật, nén, lƣu trữ, phục hồi, dự đoán thông tin….




MÔ HÌNH CỦA HỆ THỐNG TRUYỀN TIN



Sự Truyền tin:




Là sự dịch chuyển thông tin từ điểm này (nguồn phát) đến điểm
khác (nguồn nhận) trong một môi trƣờng xác định (kênh truyền).

Nguồn phát (nguồn tin):
Nơi sản sinh ra hay chứa các tin cần truyền đi.
Là tập hợp các tin mà hệ thống truyền tin dùng để lập các bản tin
hay thông báo (Message) để truyền tin.
 Message là một dãy các tin của nguồn đƣợc truyền đi với một
phân bố xác suất nào đó.






Nếu tập hợp tin là hữu hạn thì nguồn sinh ra nó đƣợc gọi là
nguồn rời rạc
Nếu tập tin là vô hạn thì nguồn sinh ra nó đƣợc gọi là nguồn

liên tục


MÔ HÌNH CỦA HỆ THỐNG TRUYỀN TIN


Thông tin có thể gồm nhiều loại nhƣ:
1.

2.
3.

4.



Một dãy kí tự nhƣ trong điện tín của các hệ thống gửi điện
tín
Một hàm theo biến thời gian f(t)nhƣ trong radio, điện thoại
Một hàm theo thời gian và các biến khác f(t,x,y…) ví dụ nhƣ
trong tivi trắng đen ở đây thông tin có thể đƣợc nghĩ nhƣ
một hàm f(x,y,t) của tọa độ hai chiều và thời gian biểu diễn
cƣờng độ ánh sáng tại điểm (x,y) trên màn hình và thời
gian t.
Một vài hàm của một vài biến nhƣ trong trƣờng hợp tivi
màu ở đây thông tin bao gồm 3 hàm f(x,y,t); h(x,y,t); g(x,y,t)
biểu diễn cƣờng độ ánh sáng của 3 thành phần màu cơ
bản RGB (Red (đỏ), Green (xanh lá cây), Blue (xanh lam))

Thông tin trƣớc khi truyền đi có thể đƣợc yêu cầu mã

hóa để nén, chống nhiễu, bảo mật….


MÔ HÌNH CỦA HỆ THỐNG TRUYỀN TIN









Kênh truyền: là môi trƣờng truyền tin từ nơi phát đến
nơi nhận
Là một khái niệm trừu tƣợng đại diện cho hỗn hợp tín
hiệu và tạp nhiễu, trong kênh diễn ra sự lan truyền của
tín hiệu mang tin và chịu tác động của tạp nhiễu.
Khi tín hiệu đi qua kênh tin thì năng lƣợng và dạng
của tín hiệu cũng bị thay đổi do tác dụng của tạp
nhiễu hoặc do phƣơng thức lan truyền đã tác động
lên các thông số vật lý của kênh truyền
Tạp nhiễu là đặc tính chung của kênh truyền
Phân tích, phân loại kênh truyền dựa vào sự phân tích
và phân loại tạp nhiễu.
2 loại nhiễu hay gặp:



Nhiễu cộng

Nhiễu nhân


MÔ HÌNH CỦA HỆ THỐNG TRUYỀN TIN


Các dạng cơ bản của kênh truyền phân loại theo
tạp nhiễu:
Kênh truyền có tác động nhiễu cộng là chủ yếu
 Kênh truyền có tác động nhiễu nhân là chủ yếu
 Kênh truyền có tác động nhiễu cộng và nhiễu nhân




Kênh có hiệu ứng Doppler


MÔ HÌNH CỦA HỆ THỐNG TRUYỀN TIN


Đánh giá kênh truyền thông qua các đại lƣợng:








Băng thông
Độ trễ/sự thay đổi độ trễ
Độ suy hao
Méo
Nhiễu

Các loại môi trƣờng truyền tin trong thực tế:
Dây dẫn đôi
 Dây dẫn đồng trục
 Cáp quang
 Môi trƣờng truyền tin không dây



VẤN ĐỀ CƠ BẢN CỦA HỆ THỐNG TRUYỀN TIN


Vấn đề cơ bản của hệ thống truyền tin:




Hiệu suất truyền tin: tốc độ truyền tin của hệ thống
chính là lƣợng thông tin hệ thống cho phép truyền đi
trong một đơn vị thời gian.
Độ chính xác truyền tin: chính là khả năng chống nhiễu
của hệ thống.


RỜI RẠC HÓA NGUỒN TIN LIÊN TỤC

Lấy mẫu (rời rạc hóa theo thời gian)
 Lƣợng tử hóa (rời rạc hóa theo biên độ)


Lấy mẫu tín hiệu tương tự: là quá trình biến đổi tín hiệu
tương tự thành 1 dãy các xung tuần hoàn ,cách đều nhau
và có độ rộng bằng nhau,có biên độ xung bằng với giá trị
của tín hiệu tương tự tại thời điểm lấy mẫu.
 Lượng tử hóa:là quá trình xấp xỉ hóa các giá trị của các
mẫu tương tự về 1 số mức nhất định,khoảng cách giữa 2
mức biên độ đó gọi là bước lượng tử.
