LÝ THUYẾT THÔNG TIN CHƯƠNG I: CƠ SỞ LÝ THUYẾT THÔNG TIN

CHƯƠNG I: CƠ SỞ LÝ THUYẾT THÔNG TIN
1.1. Khái niệm chung về tin tức và hệ thống truyền tin
1.1.1. Một số khái niệm cơ bản
- Thông tin: Thông tin là những tính chất xác định của vật chất mà con người (Hoặc hệ
thống kỹ thuật) nhận được từ thế giới vật chất bên ngoài hoặc từ những quá trình xảy ra
trong bản thân nó.
- Tin: Tin là dạng vật chất cụ thể để biểu diễn hoặc thể hiện thông tin.
- Tín hiệu: Tín hiệu là các đại lượng vật lý biến thiên, phản ánh tin cần truyền. Không
phải bản thân quá trình vật lý là tín hiệu, mà sự biến đổi các tham số riêng của quá trình
vật lý mới là tín hiệu
- Vật mang: Trong cuộc sống, con người luôn có nhu cầu trao đổi thông tin với nhau,
có nghĩa là có nhu cầu truyền tin (Communication) với nhau. Những thông tin khi
truyền được mang dưới những dạng năng lượng khác nhau như âm điện, sóng điện từ,
sóng ánh sáng…Những dạng năng lượng được dùng để mang tin này gọi là vật mang
(Carrier). Nó là một quá trình vật lý cụ thể.
1.1.2. Hệ thống truyền tin
- Sơ đồ khối của một hệ thống truyền tin tổng quát gồm có ba khâu chính: nguồn tin,
kênh tin và nhận tin
Nguồn tin

Nhận tin

Kênh tin

- Sơ đồ khối hệ thống truyền tin cụ thể
Tin tức

Mã
nguồn

Mã

kênh

Điều
chế
Nhiễu

Tin tức

Giải mã
nguồn

Giải
mã
kênh

Kên
h

Giải
điều
chế

Nguồn tin là nơi sản xuất ra thông tin
+ Mã nguồn: Nhằm thay đổi cấu trúc thống kê của nguồn tin làm cho cấu trúc thống kê
của nguồn tin trở lên hợp lý hơn.
+ Mã kênh: Là phương pháp mã hóa sử dụng những mã có thể truyền thông nhanh
chóng, chứa đựng nhiều mã kí hợp lệ có thể sửa lỗi hoặc có thể phát hiện các lỗi xảy ra.
+ Điều chế: Biến tập tin đã được mã hóa hoặc chưa thành các tín hiệu để bức xạ vào
không gian dưới dạng sóng cao tần. (Sóng cao tần: Là sóng điện từ có tần số từ 3 MHz
đến 300 MHz)

- Kênh: Là môi trường vật lý trong đó tín hiệu truyền từ máy phát đến máy thu. Phân
loại kênh truyền theo phương thức truyền lan (Kênh truyền sử dụng hiện tượng phản
xạ, khúc xạ, nhiễu xạ, kênh truyền sử dụng ống dẫn sóng, cáp đồng trục, dây song
hành) và tác động của nhiễu
- Nhận tin: Tương đương như một nguồn tin, yêu cầu đặt ra với khối nhận tin phải thu


nhận thông tin với độ chính xác cao nhất.
- Nhiễu: Là mọi yếu tố ngẫu nhiên ảnh hưởng xấu đến việc thu tin. Chia làm 2 loại là
nhiễu cộng và nhiễu nhân:
+ Nn(t): Nhiễu nhân. Nhiễu nhân tác động nhân vào tín hiệu gây ra do phương thức
truyền lan của tín hiệu hay là sự thay đổi thông số vật lý của bộ phận môi trường truyền
lan khi tín hiệu đi qua.
+ Nc(t): Nhiễu cộng. Nhiễu cộng sinh ra một tín hiệu ngẫu nhiên không mong muốn và
tác động cộng thêm vào tín hiệu ở đầu ra.
 Nguồn tin:
-

Nguồn tin nguyên thủy là tập hợp những tin nguyên thủy (chưa qua một phép
biến đổi nhân tao nào) ví dụ như tiếng nói, âm nhạc, hình ảnh, các biến đổi khí
tượng… Các tin nguyên thủy phần nhiều là những hàm liên tục theo thời gian
f(t) hoặc là những hàm biến đổi theo thời gian và một hoặc nhiều thông số khác
nhau như hình ảnh đen trắng h(x,y,t), trong đó x, y là các tọa độ không gian của
hình, hoặc như các thông tin khí tượng: g( i ,t) trong đó i , (i=1,2,…,n) là các
thông số khí tượng như nhiệt độ, độ ẩm, tốc độ gió…

Thông tin nguyên thủy cũng có thể là các hệ hàm theo thời gian và các thông số như
trường hợp thông tin hình ảnh màu:
�f ( x, y, z )
�

�g ( x, y, z )
�h( x, y, z )
�

Thông thường các tin ngyên thủy mang tính chất liên tục theo thời gian và mức; nghĩa
là có thể biểu diễn một thông tin nào đó dưới dạng một hàm s(t) tồn tại trong quãng
thời gian T và lấy các giá trị bất kỳ trong phạm vi ( smin , smax ).
Những tin nguyên thủy có thể được đưa trực tiếp vào kênh để truyền đi. Cũng có
thể bằng những phép biến đổi nhân tạo như rời rạc hóa theo thời gian và theo mức rồi
đưa vào kênh truyền. Lúc này tin trước khi vào kênh đã trở thành tin rời rạc. Nguồn tin
lúc này gọi là nguồn tin rời rạc và kênh tin được gọi là kênh tin rời rạc để phân biệt với
trường hợp đưa tin liên tục vào kênh gọi là nguồn liên tục và kênh liên tục.
Để nghiên cứu định lượng nguồn tin cũng như hệ thống truyền tin, chúng ta có thể mô
hình hoá toán học nguồn tin bằng bốn quá trình sau :
- Quá trình ngẫu nhiên liên tục: Nguồn tiếng nói, âm nhạc, hình ảnh là tiêu biểu cho
quá trình này. Trong các hệ thống thông tin thoại, truyền thanh truyền hình với các tín
hiệu điều biên, điều tần thông thường chúng ta gặp các nguồn như vậy.
- Quá trình ngẫu nhiên rời rạc: Một quá trình ngẫu nhiên liên tục sau khi được lượng
tử hoá theo mức sẽ trở thành quá trình này. Một ngôn ngữ, tín hiệu điện tín, các lệnh
điều khiển là nguồn rời rạc loại này.
- Dãy ngẫu nhiên liên tục: Đây là trường hợp một nguồn liên tục đã được gián đoạn
hoá theo thời gian, như thường gặp trong các hệ thông tin xung điều biên xung (PAM Pulse Amplitude Modulation), điều pha xung (PPM), điều tần xung (PFM)…
- Dãy ngẫu nhiên rời rạc: Trong các hệ thống thông tin xung có lượng tử hoá như điều
biên (pha , tần) xung lượng tử hoá, điều xung mã (PCM).


Sau đây chúng ta sẽ giới thiệu sơ lược về hai nguồn tin khá điển hình. Đó là nguồn
Markow và nguồn gaussian:
Nguồn Markov: nguồn Markov giữ một vai trò quan trọng trong lĩnh vực truyền
thông. Nguồn Markov có độ nhớ 1 được đặc trưng bởi quan hệ:

p ( xin / x jn1 , xkn2 ...)  p( xin / x jn1 )

   1 2 L  , có nghĩa là xác suất tạo ra một ký hiệu nào đó
với i j k
tại thời điểm n chỉ phụ thuộc vào ký hiệu đã tạo ra ở thời điểm n  1 và không phụ
thuộc vào các ký hiệu đã tạo ra ở các thời điểm n  2, n  3.... Tương tự chúng ta có thể
xây dựng mô hình nguồn Markov có độ nhớ lớn hơn.
Nguồn gaussian: nguồn gaussian là một nguồn tin có biên độ liên tục và độ lớn của
biên độ tuân theo luật phân bố gaussian (hay còn gọi là phân bố chuẩn)
x n , x n1 , x n2 ,... � X  x , x ,..., x

p ( x) 

2
2
1
e  ( x mx ) / 2
2

trong đó  là sai phương của giá trị biên độ, mx là giá trị trung bình của biên độ nhiễu.
Nguồn gaussian là một trong những mô hình nguồn quan trọng nhất trong việc mô hình
hoá và tính toán trong các hệ thống truyền thông.
Những vấn đề cơ bản của hệ thống truyền tin
- Hiệu suất truyền tin, hay là tốc độ truyền tin của hê thống. Đó là lượng thông tin hệ
thống cho phép (hay có thể) truyền đi trong một đơn vị thời gian.
- Độ chính xác truyền tin, nói cách khác là khả năng chống nhiễu của hê thống.
Yêu cầu tối đa với bất kỳ một hệ thống truyền tin nào là thực hiện được sự truyền tin
nhanh chóng và chính xác.
2

1.2. Lượng tin và Entropy của nguồn tin
1.2.1. Lượng tin riêng, lượng tin tương hỗ, lượng tin có điều kiện và lượng tin
trung bình.
- Một tin gồm có hai thuộc tính:
 Độ bất ngờ: Chính là xác suất xuất hiện của tin. Tin có xác suất xuất hiện càng
nhỏ thì độ bất ngờ càng cao.
 Ý nghĩa của tin: Tin có độ chính xác càng cao thì ý nghĩa càng lớn.
a. Lượng tin riêng
- Lượng tin riêng của 1 tin
trong tin

xi

xi

kí hiệu I ( xi ) là đại lượng đặc trưng cho thông tin chứa

của một nguồn tin được xác định theo biểu thức

I ( xi )  log

1
p ( xi )
a

  log ap ( xi )

p ( xi )
x

+
: Xác suất xuất hiện tin i
+ a>1

 a = 2: I ( xi ) đo bằng bit
 a = 10: I ( xi ) đo bằng Hart
 a = e: I ( xi ) đo bằng Nat
b. Lượng tin tương hỗ và lượng tin có điều kiện
- Lượng tin có điều kiện là đại lượng đặc trưng cho thông tin bị nhiễu phá hủy được
xác định theo biểu thức sau:

I ( xi | y j )  log
+

p ( xi | y j )

1
p ( xi | y j )
a

: Là xác suất chuyển đổi từ tin

xi

- Lượng tin tương hỗ là đại lượng thể hiện tin
xi

p ( xi | y j )

  log a

sang
xi

yj

chứa trong

yj

hoặc

yj

chứa trong

được xác định theo biểu thức sau:
p ( xi | y j )

I ( xi , y j )  log a p ( xi |)  I ( xi )  I ( xi | y j )
p( x i )  �p( y j ) p( xi | yi )
j

- Tính chất:
+ Lượng tin tương hỗ luôn nhỏ hơn lượng tin riêng
+ Lượng tin riêng là đại lượng không âm
+ Lượng tin của một cặp (

xi y j

) bằng tổng lượng tin riêng của từng tin trừ đi lượng

1.2.2. Khái niệm Entropy thông tin
a. Khái niệm
- Khi chúng ta nhận được một tin chúng ta sẽ nhận được một lượng tin trung bình, đồng
thời độ bất ngờ về tin đó cũng đã được giải thoát. Như vậy độ bất ngờ và lượng tin về ý
nghĩa vật lý trái ngược nhau nhưng về biểu thức lại giống nhau
- Định nghĩa: Entroy là đại lượng đặc trưng cho độ bất định của nguồn tin. Về biểu
thức nó giống hệt lượng tin trung bình nhưng về ý nghĩa vật lý là trái ngược nhau.

H ( xi )  log

1
p ( xi )
a

  log ap ( xi )

n

H ( X )  �p ( xi ) log
i 1

1
p ( xi )
a

b. Tính chất của Entropy

- Entropy là đại lượng không âm ( H ( X ) �0 )

- Entropy của nguồn bằng 0 khi nguồn có một ký hiệu bất kỳ có xác suất xuất hiện
bằng 1 và xác suất xuất hiện tất cả các ký hiệu còn lại bằng 0.
- Entropy của nguồn cực đại khi xác suất xuất hiện các ký hiệu của nguồn bằng nhau,
lúc đó độ bất định của một tin trong nguồn là lớn nhất.
1.2.3. Entropy của nguồn tin rời rạc và nguồn tin liên tục
a. Entropy của nguồn tin rời rạc
- Nguồn tín hiệu đầu vào [X]=[ x1 x2 … xn ]. Giả sử mỗi ký hiệu xi được sử dụng với
xác suất pi [Px]=[p( x1 ) p( x2 ) … p( xn )]
- Tập hợp tất cả các ký hiệu ở đầu ra của kênh [Y]= [ y1 y2 … ym ] với xác suất của các
ký hiệu [Py] = [p( y1 ) p( y2 )…p( ym )]
- Do tính chất của nhiễu trên kênh không gian [Y] có thể khác với không gian [X] cũng
như xác suất [Py]#[Px]. Với không gian các ký hiệu ở đầu vào và đầu ra kênh ta có thể
định nghĩa một trường tích

�x1 y1 x1 y2
�
x2 y1 x2 y2
 X .Y   �
�...
....
�
xn y1 xn y2
�

... x1 ym �
... x2 ym �
�
... ... �
�
... xn ym �

 xiyj là sự xuất hiện đồng thời hai sự kiện xi và yj. Ma trận trên tương ứng với
ma trận xác suất

�p( x1 y1 ) p ( x1 y2 )
�p( x y ) p ( x y )
2 1
2 2
 P( X , Y )  �
� ...
....
�
�p( xn y1 ) p ( xn y2 )
- Từ ma trận xác suất ta có:
m

p(x i )  �p(x i , y j )
j 1

... p( x1 ym ) �
... p ( x2 ym ) �
�
...
... �
�
... p( xn ym ) �


n

p(y j )  �p(x i , y j )
i 1

- Vậy:
n

 Entropy đầu vào kênh

H ( X )  �p(x i ) log ap(xi )
i 1

m

 Entropy đầu ra kênh

H (Y )  �p (y j ) log a

p( y j )

j 1

n

 Entropy giữa đầu vào và đầu ra kênh
n

 Entropy có điều kiện


m

H ( X , Y )  ��p (x i , y j ) log a

p(x i ,y j )

i 1 j 1

m

H ( X | Y )  ��p(x i , y j ) log a

p(x i |y j )

i 1 j 1

H ( X , Y )  H (Y )  H ( X | Y )

b. Entropy của nguồn tin liên tục
- Giả thiết nguồn liên tục có các mẫu x(ti) độc lập thống kê với nhau và cùng một quy
luật phân bố xác suất p(x), entropy của nguồn liên tục sẽ là :
�

H(X )   �
p(x) log p(x)
dx
a
�

- Entropy có điều khiện của nguồn liên tục:
� �

p(x|y)
H(X |Y)   �
�p(x, y) log a dxdy
��

- Entropy giữa đầu vào và đầu ra là:

H ( X , Y )  H (Y )  H ( X | Y )

c. Ví dụ:


1.3. Thông lượng của kênh thông tin
1.3.1. Khái niệm
Tốc độ thiết lập tin R: là đại lượng đặc trưng cho độ nhanh hay chậm của tin được xác
định bằng số tin lập được trong 1 đơn vị thời gian nhân với entropy của nguồn
R  n0 .H (X) (bit/sec)

- Thông lượng của kênh là lượng tin tối đa mà kênh cho đi qua trong một đơn vị thời
gian mà không gây sai nhầm, ký hiệu bằng C (bit/sec).
1.3.2. Thông lượng kênh rời rạc
Thông số thống kê cơ bản thứ nhất của nguồn tin là entropy, tuỳ thuộc vào cấu
trúc thống kê của nguồn. Nhưng sự hình thành tin nhanh hay chậm để đưa vào kênh lại
tuỳ thuộc vào tính chất vật lý khác của nguồn như quán tính, độ phân biệt, v.v..., cho
nên số ký hiệu lập được trong một đơn vị thời gian rất khác nhau.
Thông số cơ bản thứ hai của nguồn là tốc độ tạo thông tin:
R= n0H(X) (bit/sec)
Độ dư tương đối của nguồn là tỉ số giữa độ dư của nguồn và giá trị cực đại của
entropy:

rs = 1- H(X)/H(X)max
Tốc độ lập tin ở đầu ra của kênh có nhiễu khác với tốc độ lập tin ở đầu vào của
kênh và bằng
R  n0 I ( X , Y )  n0 [H(X)-H(X|Y)]

Thông thường R<là thay đổi tốc độ lập tin của nguồn bằng cách thay đổi entropy để tốc độ lập tin có thể
sánh được với thông lượng kênh. Đối với mã hóa chống nhiễu thì do R<thể truyền thêm thông tin điều khiển để chống nhiễu.
Nếu các thông số của kênh xác định thì muốn nâng cao tốc độ lập tin ở đầu ra của
kênh ta phải thay đổi các thông số của nguồn tức là entropy của nguồn nhằm làm cho
entropy của nguồn tăng tới giá trị cực đại. Khi đó lượng tin tối đa mà kênh cho đi qua
sẽ là tốc độ lập tin cực đại:
C  Rmax  n0 [H(X)-H(X|Y)]

Độ dư tương đối của kênh được định nghĩa là:
và hiệu quả sử dụng kênh: c  1  rc

rc  1 

R
C

1.3.3. Thông lượng kênh liên tục
Giả thiết ở đầu ra của kênh y(t) tương ứng là hỗn hợp của x(t) và nhiễu cộng n(t) :
y t  x t  n t

y(t)  Y, x(t)  X và n(t)  N với X là tập nguồn, Y là tập đích và N là tập nhiễu,
H(X), H(Y) và H(N) là entropy các tập tương ứng. Giữa nguồn X và nguồn nhiễu N
không có sự liên hệ thống kê nào, ta có thể viết entropy đồng thời của X và Y như sau:

H  X ,Y   H  X , X  N   H  x , N   H  X   H (N )

Mặt khác, entropy đồng thời có thể viết lại như sau :
H  X ,Y   H  X   H (Y | X )
H (Y | X )  H  N 


R  n0 [H  Y   H (Y | X )�
H Y   H  N�
� n / Ts �
�H /  Y   H  N  ]  2Df �
�
�

1.4. Các định lý Shannon
1.4.1. Định lý thứ nhất
Định lý mã hóa thứ nhất của Shannon (đối với mã nhị phân): Luôn luôn có thể xây
C  R

max
dựng được một phép mã hóa các tin rời rạc có hiệu
quả mà n có thể nhỏ tùy ý nhưng
không nhỏ hơn entropy H(X) được xác định bởi đặc tính thống kê của nguồn A.

n �H (xX t)

n t

Chứng minh:
Nếu gọi m là cơ số của bộ mã thì lượng thông tin riêng cực đại chứa trong mỗi dấu mã

là log m
n
Gọi ni là độ dài của từ mã  i ứng với tin ai , khi đó lượng thông tin riêng cực đại

chứa trong từ mã này là ni log m
Lượng thông tin riêng trung bình của mỗi từ mã là:
s

�p(a )n log m  n log m
i 1

i

i

Để phép mã hóa không làm tổn hao thông tin thì lượng thông tin riêng trung bình cực
đại chứa trong mỗi từ mã phải không nhỏ hơn lượng thông tin riêng trung bình chứa
trong mỗi tin thuộc nguồn. Tức là:
n log m �H ( X )
H (X )
n�
log m
hay:

Với mã nhị phân (m=2) ta có: n �H ( X )
1.4.2. Định lý thứ 2
'
Định lý mã hóa thứ hai của Shannon cho kênh rời rạc: Nếu khả năng phát H ( X ) của

nguồn tin rời rạc X bé hơn khả năng thông qua của kênh H ( X )  C thì tồn tại một

phép mã hóa và giải mã sao cho việc truyền tin có xác suất gặp lỗi bé tùy ý (nếu
'

'

H ' ( X )  C ' thì không tồn tại phép mã hóa và giải mã như vậy) khi độ dài từ mã đủ lớn.

Định lý mã hóa thứ hai của Shannon cho kênh liên tục: Các nguồn tin rời rạc có thể mã
hóa và truyền theo kênh liên tục với xác suất sai bé tùy ý khi giải mã các tín hiệu nhận
được nếu khả năng phát của nguồn nhỏ hơn khả năng thông qua của kênh. Nếu khả
năng phát của nguồn lớn hơn khả năng thông qua của kênh thì không thể thực hiện
được mã hóa và giải mã với xác suất sai bé tùy ý được.