Giáo trình Lỹ thuyết tín hiệu và truyền tin

Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
L i nói đ uờ ầ
Ngay nay, các lĩnh v c khoa h c máy tính và truy n thông đãự ọ ề
thâm nh p l n nhau và g n k t d n đ n làm thay đ i r t nhi u lĩnhậ ẫ ắ ế ẫ ế ổ ấ ề
v c công ngh và s n xu t. Chính đi u này đã làm cho r t nhi uự ệ ả ấ ề ấ ề
lĩnh v c khoa h c công ngh có nh ng đi u ki n c s đ phátự ọ ệ ữ ề ệ ơ ở ể
tri n m nh m . Trong hoàn c nh đó, vi c nghiên c u tìm hi u v lýể ạ ẽ ả ệ ứ ể ề
thuy t tín hi u và truy n tin ngày càng tr nên quan tr ng và c nế ệ ề ở ọ ầ
đ c đ t trong m t tình hình m i.ượ ặ ộ ớ
V i yêu c u c n có m t giáo trình cho sinh viên ngành Đi n tớ ầ ầ ộ ệ ử
- Vi n thông, giáo trình Lý thuy t tín hi u và truy n tin đã đ cễ ế ệ ề ượ
biên so n. Trong quá trình biên so n không tránh kh i thi u sótạ ạ ỏ ế
mong đ c gi góp ý đ giáo trình ngày càng hoàn thi n h n.ọ ả ể ệ ơ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
3
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
Ch ng 1ươ
Các khái ni m c b n c a lý thuy t tín hi u và truy n tinệ ơ ả ủ ế ệ ề
1.1. V trí, vai trò và l ch s phát tri n ị ị ử ể
1.1.1. V trí, vai trò c a lý thuy t thông tinị ủ ế
Trong cu c s ng con ng i luôn có nhu c u trao đ i, giao ti pộ ố ườ ầ ổ ế
v i nhau, cái mà m i ng i trao đ i v i nhau g i là thông tin. Nhớ ỗ ườ ổ ớ ọ ờ
s phát tri n c a khoa h c công ngh , con ng i cũng có th nh nự ể ủ ọ ệ ườ ể ậ
thông tin t đài, báo, m ng internet, truy n hình ... v.v. Hay đ n gi nừ ạ ề ơ ả
nh các b n sinh viên nh n thông tin t gi ng viên và ph c t p h nư ạ ậ ừ ả ứ ạ ơ
n a là s liên l c, thông tin gi a các m ng máy tính v i nhau. Đi uữ ự ạ ữ ạ ớ ề
đó có nghĩa là thông tin là cái gì đó đ c truy n t đ i t ng này t iượ ề ừ ố ượ ớ
đ i t ng khác đ chuy n, thông báo m t đi u gì đó. Thông tin số ượ ể ể ộ ề ẽ
ch có ý nghĩa khi đi u gì đó mà bên nh n ch a bi t.ỉ ề ậ ư ế
Nh nh ng ví d trên trình bày, thông tin có th đ c ch aư ữ ụ ể ượ ứ
trong nhi u d ng nh hình nh, âm thanh, văn b n. Nh ng d ng nàyề ạ ư ả ả ữ ạ

là v b c v t ch t c a thông tin. V b c có th hi u là ph n xác,ỏ ọ ậ ấ ủ ở ọ ể ể ầ
thông tin là ph n h n.ầ ồ
M t trong nh ng ph ng ti n đ di n đ t thông tin là ngônộ ữ ươ ệ ể ễ ạ
ng , thông tin ch có th đ c truy n đ t, hi u n u c hai bênữ ỉ ể ượ ề ạ ể ế ả
truy n và nh n hi u đ c ng nghĩa c a nhau.ề ậ ể ượ ữ ủ
Thông tin có th đ c truy n ho c l u tr . Môi tr ng th cể ượ ề ặ ư ữ ườ ự
hi n vi c đó đ c g i là môi tr ng ch a tin hay kênh tin.ệ ệ ượ ọ ườ ứ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
4
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
Các đ i t ng s ng luôn có nhu c u tìm hi u v th gi i xungố ượ ố ầ ể ề ế ớ
quang đ thích nghi t n t i và phát tri n. Thông tin tr thành m tể ồ ạ ể ở ộ
nhu c u c b n, m t đi u ki n c n cho s t n t i và phát tri n.ầ ơ ả ộ ề ệ ầ ự ồ ạ ể
Ngày nay, khi khoa h c phát tri n m nh m thì thông tin ngày càngọ ể ạ ẽ
tr nên quan tr ng đ i v i m i con ng i. M i hành đ ng c a conở ọ ố ớ ỗ ườ ỗ ộ ủ
ng i đ u xu t phát t nh ng suy nghĩ c a ng i đó. M i suy nghĩườ ề ấ ừ ữ ủ ườ ỗ
đó l i ch u s nh h ng c a nh ng thông tin mà ng i đó cóạ ị ự ả ưở ủ ữ ườ
đ c, do v y hành đ ng c a con ng i ch u s nh h ng c aượ ậ ộ ủ ườ ị ự ả ưở ủ
thông tin.
Đ ng v khía c nh khoa h c lý thuy t tín hi u và truy n tinứ ề ạ ọ ế ệ ề
nghiên c u nh m t o ra m t đi u ki n t t cho vi c x lý phân tíchứ ằ ạ ộ ề ệ ố ệ ử
tín hi u và truy n tin nhanh chóng, an toàn và l u tr hi u qu . M tệ ề ư ữ ệ ả ộ
cách t ng quát lý thuy t tín hi u và truy n tin nghiên c u các v nổ ế ệ ề ứ ấ
đ v x lý thông tin.ề ề ử
M t s lĩnh v c nghiên c u c a môn h c:ộ ố ự ứ ủ ọ
- Phân tích, t ng h p tín hi uổ ợ ệ
- Mã hoá ch ng nhi uố ễ
- Nén d li uữ ệ
- M t mã hoáậ
Lý thuy t thông tin đã có nhi u ng d ng trong cu c s ng vàế ề ứ ụ ộ ố

khoa h c k thu t. S bùng n v thông tin đang làm thay đ i di nọ ỹ ậ ự ổ ề ổ ệ
m o cu c s ng c a con ng i, t o ra s phát tri n m nh m c aạ ộ ố ủ ườ ạ ự ể ạ ẽ ủ
các ph ng th c truy n thông, truy n tin và l u tr thông tin. Cũngươ ứ ề ề ư ữ
chính nh thông tin mà con ng i đ c cung c p nh ng c s lýờ ườ ượ ấ ữ ơ ở
thuy t và cái nhìn tri t h c sâu s c h n v các v n đ con ng iế ế ọ ắ ơ ề ấ ề ườ
g p ph i hôm nay và trong t ng lai. Lý thuy t thông tin đã đ c ápặ ả ươ ế ượ
d ng trong h u h t các lĩnh v c công ngh nh truy n thông, nén,ụ ầ ế ự ệ ư ề
b o m t, đ c bi t đã đ c áp d ng vào trong lĩnh v c giáo d c ả ậ ặ ệ ượ ụ ự ụ ở
nhi u khía c nh nh đào t o, nghiên c u và phát tri n công ngh .ề ạ ư ạ ứ ể ệ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
5
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
V y lý thuy t tín hi u và thông tin đã có l ch s hình thànhậ ế ệ ị ử
phát tri n nh th nào?ể ư ế
1.1.2. L ch s hình thành và phát tri nị ử ể
Ng i đ t viên g ch đ u tiên đ xây d ng lý thuy t thông tinườ ặ ạ ầ ể ự ế
là Hartley R.V.L. Năm 1928, ông đã đ a ra s đo l ng thông tin làư ố ượ
m t khái ni m trung tâm c a lý thuy t thông tin. D a vào khái ni mộ ệ ủ ế ự ệ
này, ta có th so sánh đ nh l ng các h truy n tin v i nhau. Nămể ị ượ ệ ề ớ
1933, V.A Kachenhicov ch ng minh m t lo t nh ng lu n đi m quanứ ộ ạ ữ ậ ể
tr ng c a lý thuy t thông tin trong bài báo “V kh năng thông quaọ ủ ế ề ả
c a không trung và dây d n trong h th ng liên l c đi n”.ủ ẫ ệ ố ạ ệ
Năm 1935, D.V Ageev đ a ra công trình “Lý thuy t tách tuy nư ế ế
tính”, trong đó ông phát bi u nh ng nguyên t c c b n v lý thuy tể ữ ắ ơ ả ề ế
tách các tín hi u. ệ
Năm 1946, V.A Kachenhicov thông báo công trình “Lý thuy tế
th ch ng nhi u’ đánh d u m t b c phát tri n r t quan tr ng c aế ố ễ ấ ộ ướ ể ấ ọ ủ
lý thuy t thông tin. ế
Trong hai năm 1948 – 1949, Shanon C.E công b m t lo t cácố ộ ạ
công trình vĩ đ i, đ a s phát tri n c a lý thuy t thông tin lên m tạ ư ự ể ủ ế ộ

b c ti n m i ch a t ng có. Trong các công trình này, nh vi c đ aướ ế ớ ư ừ ờ ệ ư
vào khái ni m l ng thông tin và tính đ n c u trúc th ng kê c a tin,ệ ượ ế ấ ố ủ
ông đã ch ng minh m t lo t đ nh lý v kh năng thông qua c a kênhứ ộ ạ ị ề ả ủ
truy n tin khi có nhi u và các đ nh lý mã hoá. Nh ng công trình nàyề ễ ị ữ
là n n t ng v ng ch c c a lý thuy t thông tin. Ngày nay, lý thuy tề ả ữ ắ ủ ế ế
thông tin phát tri n theo hai h ng ch y u sau:ể ướ ủ ế
Lý thuy t thông tin toán h c: ế ọ Xây d ng nh ng lu n đi mự ữ ậ ể
thu n tuý toán h c và nh ng c s toán h c ch t ch c a lý thuy tầ ọ ữ ơ ở ọ ặ ẽ ủ ế
thông tin. C ng hi n ch y u trong lĩnh v c này thu c v các nhàố ế ủ ế ự ộ ề
bác h c l i l c nh : N.Wiener, A. Feinstain, C.E Shanon, A.N.ọ ỗ ạ ư
Kanmôgorov, A.JA Khintrin.
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
6
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
Lý thuy t thông tin ng d ng: ế ứ ụ (lý thuy t truy n tin) Chuyênế ề
nghiên c u các bài toán th c t quan tr ng do k thu t liên l c đ tứ ự ế ọ ỹ ậ ạ ặ
ra có liên quan đ n v n đ ch ng nhi u và nâng cao đ tin c y c aế ấ ề ố ễ ộ ậ ủ
vi c truy n tin. Các bác h c C.E Shanon, S.O RiCe, D. Midleton, W.ệ ề ọ
Peterson, A.A Khakevich, V. Kachenhicov đã có nh ng công trìnhữ
quý báu trong lĩnh v c này.ự
1.2. Tin t c và các khái ni m c b nứ ệ ơ ả
1.2.1. Các đ nh nghĩaị
1.2.1.1. Thông tin
Thông tin là m t khái ni m tr u t ng, phi v t ch t và r t khóộ ệ ừ ượ ậ ấ ấ
đ nh nghĩa. Có nhi u cách đ nh nghĩa v thông tin. D i đây là m tị ề ị ề ướ ộ
s đ nh nghĩa:ố ị
Thông tin là s c m hi u c a con ng i v th gi i xungự ả ể ủ ườ ề ế ớ
quanh thông qua vi c ti p xúc v i nó.ệ ế ớ
Thông tin là m t h th ng nh ng tin báo và m nh l nh giúpộ ệ ố ữ ệ ệ
lo i tr s không ch c ch n c a n i nh n tin. Nói m t cách ng nạ ừ ự ắ ắ ủ ơ ậ ộ ắ

g n, thông tin là cái mà lo i tr s không ch c ch n.ọ ạ ừ ự ắ ắ
Đ nh nghĩa đ u tiên ch a nêu rõ b n ch t c a thông tin, đ nhị ầ ư ả ấ ủ ị
nghĩa th hai nói rõ h n v b n ch t c a thông tin và đ c dùng đứ ơ ề ả ấ ủ ượ ể
đ nh l ng thông tin trong k thu t.ị ượ ỹ ậ
Ngoài ra có ng i còn đ nh nghĩa thông tin là nh ng tính ch t xácườ ị ữ ấ
đ nh c a v t ch t mà con ng i (ho c h th ng k thu t) nh nị ủ ậ ấ ườ ặ ệ ố ỹ ậ ậ
đ c t th gi i v t ch t bên ngoài ho c t nh ng quá trình x y raượ ừ ế ớ ậ ấ ặ ừ ữ ả
trong b n thân nó.ả
V i đ nh nghĩa này, m i ngành khoa h c là khám phá ra cácớ ị ọ ọ
c u trúc thông qua vi c thu th p, ch bi n, x lý thông tin. đâyấ ệ ậ ế ế ử Ở
“thông tin” là m t danh t ch không ph i là đ ng t đ ch m tộ ừ ứ ả ộ ừ ể ỉ ộ
hành vi tác đ ng gi a hai đ i t ng (ng i, máy) liên l c v i nhau.ộ ữ ố ượ ườ ạ ớ
Theo quan đi m tri t h c, thông tin là m t qu ng tính c a th gi iể ế ọ ộ ả ủ ế ớ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
7
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
v t ch t (t ng t nh năng l ng, kh i l ng). Thông tin khôngậ ấ ươ ự ư ượ ố ượ
đ c t o ra mà ch đ c s d ng b i h th c m.ượ ạ ỉ ượ ử ụ ở ệ ụ ả
Thông tin t n t i m t cách khách quan, không ph thu c vàoồ ạ ộ ụ ộ
h th c m. Trong nghĩa khái quát nh t, thông tin là s đa d ng. Sệ ụ ả ấ ự ạ ự
đa d ng đây có th hi u theo nhi u nghĩa khác nhau: Tính ng uạ ở ể ể ề ẫ
nhiên, trình đ t ch c,…ộ ổ ứ
1.2.1.2. Tin
Tin là d ng v t ch t c th đ bi u di n ho c th hi n thôngạ ậ ấ ụ ể ể ể ễ ặ ể ệ
tin. Có hai d ng là tin r i r c và tin liên t c.ạ ờ ạ ụ
Ví d các b c nh, b n nh c, bài nói, b ng s li u, ...v.v làụ ứ ả ả ạ ả ố ệ
các tin.
1.2.1.3. Tín hi uệ
Thông tin là m t hi n t ng v t lý, nó th ng t n t i và đ cộ ệ ượ ậ ườ ồ ạ ượ
truy n đi d i d ng v t ch t nào đó.ề ướ ạ ậ ấ

Nh ng d ng v t ch t đ mang thông tin đ c g i là tín hi u.ữ ạ ậ ấ ể ượ ọ ệ
Trong k thu t có th hi u, tín hi u là các đ i l ng v t lýỹ ậ ể ể ệ ạ ượ ậ
bi n thiên, ph n ánh tin c n truy n.ế ả ầ ề
C n chú ý r ng không ph i b n thân quá trình v t lý là tín hi uầ ằ ả ả ậ ệ
mà s bi n đ i các tham s riêng c a quá trình v t lý m i là tínự ế ổ ố ủ ậ ớ
hi u. Các đ c tr ng v t lý có th là dòng đi n, đi n áp, ánh sáng,ệ ặ ư ậ ể ệ ệ
âm thanh, ...v.v.
1.2.2. S đ kh i h th ng thông tinơ ồ ố ệ ố
Ngay nay, v i s phát tri n m nh m c a công ngh đi n tớ ự ể ạ ẽ ủ ệ ệ ử
vi n thông, có r t nhi u các h th ng thông tin khác nhau đã đ cễ ấ ề ệ ố ượ
hình thành và phát tri n. Khi đó vi c phân lo i các h th ng thôngể ệ ạ ệ ố
tin có th đ c d a trên nhi u c s khác nhau. Ví d nh d a trênể ượ ự ề ơ ở ụ ư ự
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
8
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
c s v năng l ng mang tin có th chia các h th ng truy n tinơ ở ề ượ ể ệ ố ề
thành các lo i nh :ạ ư
- H th ng thông tin vô tuy n dùng sóng đi n tệ ố ế ệ ừ
- H th ng thông tin quang h u tuy n dùng ánh sángệ ố ữ ế
- H th ng thông tin dùng sóng âm, siêu âm (năng l ng cệ ố ượ ơ
h c)...ọ
Hay d a vào các bi u hi n bên ngoài mà ta chia thành các hự ể ệ ệ
th ng nh :ố ư
- H th ng truy n s li uệ ố ề ố ệ
- H th ng truy n hìnhệ ố ề
- H th ng đi n tho i c đ nh công c ngệ ố ệ ạ ố ị ộ
- H th ng thông tin di đ ng,...v.v.ệ ố ộ
Chúng ta cũng có th chia h th ng thông tin thành hai lo i hể ệ ố ạ ệ
th ng:ố
- H th ng truy n tin r i r cệ ố ề ờ ạ

- H th ng truy n tin liên t cệ ố ề ụ
Tuy nhiên, m t cách t ng quát h th ng thông tin có th đ cộ ổ ệ ố ể ượ
bi u di n b i s đ kh i sau:ể ễ ở ơ ồ ố
1.2.2.1. Ngu n tinồ
Ngu n tin là n i s n sinh ra hay ch a các tin c n truy n đi.ồ ơ ả ứ ầ ề
Khi m t đ ng truy n tin đ c thi t l p đ truy n tin t ngu n tinộ ườ ề ượ ế ậ ể ề ừ ồ
đ n n i nh n tin, m t dãy các ph n t c s (các tin) c a ngu n sế ơ ậ ộ ầ ử ơ ở ủ ồ ẽ
đ c truy n đi v i m t phân b xác su t nào đó. Dãy này đ c g iượ ề ớ ộ ố ấ ượ ọ
là m t b n tin. Do đó có th đ nh nghĩa:ộ ả ể ị
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
9
Ngu n tinồ Kênh tin Nh n tinậ
Nhi uễ
Hình 1.1. S đ kh i h th ng thông tinơ ồ ố ệ ố
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
Ngu n tin là t p h p các tin mà h th ng truy n tin dùng đồ ậ ợ ệ ố ề ể
l p các b n tin khác nhau đ truy n tin.ậ ả ể ề
N u t p tin là h u h n thì ngu n sinh ra nó đ c g i là ngu nế ậ ữ ạ ồ ượ ọ ồ
r i r c. N u t p tin là vô h n thì ngu n sinh ra nó đ c g i làờ ạ ế ậ ạ ồ ượ ọ
ngu n liên t c.ồ ụ
Ngu n tin có hai tính ch t: Tính th ng kê và tính hàm ý.ồ ấ ố
V i ngu n r i r c, tính th ng kê bi u hi n ch xác su tớ ồ ờ ạ ố ể ệ ở ỗ ấ
xu t hi n các tin là khác nhau.ấ ệ
Tính hàm ý bi u hi n ch xác su t xu t hi n c a m t tinể ệ ở ỗ ấ ấ ệ ủ ộ
nào đó sau m t dãy tin khác nhau nào đó là khác nhau.ộ
Ví d : ụ P(x/ta) ≠ P(x/ba)
Thông tin tr c khi truy n đi có th đ c x lý mã hoá đướ ề ể ượ ử ể
nén, ch ng nhi u và b o m t.ố ễ ả ậ
1.2.2.2. Kênh tin
Kênh tin là n i hình thành, truy n hay l u tr tín hi u mang tinơ ề ư ữ ệ

đ ng th i đó x y ra các t p nhi u phá hu tin t c.ồ ờ ở ả ạ ễ ỷ ứ
Trong lý thuy t tín hi u và truy n tin, kênh tin là m t kháiế ệ ề ộ
ni m tr u t ng đ i bi u cho h n h p tín hi u và t p nhi u.ệ ừ ượ ạ ể ỗ ợ ệ ạ ễ
Đ truy n tin, ta th ng s d ng m t môi tr ng nào đó để ề ườ ử ụ ộ ườ ể
truy n. Môi tr ng truy n tin th ng r t đa d ng. Môi tr ngề ườ ề ườ ấ ạ ườ
không khí, ta có th truy n tin d i d ng âm thanh, ti ng nói hayể ề ướ ạ ế
b ng l a (ánh sáng). Môi tr ng t ng đi n ly th ng là n i x y raằ ử ườ ầ ệ ườ ơ ả
s truy n tin gi a các v tinh nhân t o và các tr m rada m t đ t.ự ề ữ ệ ạ ạ ở ặ ấ
Hay có th truy n tin b ng ánh sáng qua các môi tr ng truy n làể ề ằ ườ ề
s i d n quang trong đó tín hi u mang tin đ c truy n d i d ngợ ẫ ệ ượ ề ướ ạ
ánh sáng,...v.v.
Cho dù truy n tin d i b t kỳ môi tr ng nào cũng đ u b nhề ướ ấ ườ ề ị ả
h ng b i nhi u. Nhi u r t phong phú và đa d ng, ph thu c vàoưở ở ễ ễ ấ ạ ụ ộ
b n ch t c a môi tr ng truy n tin. Ví d khi truy n tin b ng âmả ấ ủ ườ ề ụ ề ằ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
10
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
thanh thì nh ng ti ng n xung quanh chính là nhi u hay khi truy nữ ế ồ ễ ề
b ng sóng đi n t qua nh ng n i có đi n t tr ng m nh thì cũngằ ệ ừ ữ ơ ệ ừ ườ ạ
s b nh h ng. Nhi u có nhi u lo i nh nhi u c ng tính hayẽ ị ả ưở ễ ề ạ ư ễ ộ
nhi u nhân.ễ
1.2.2.3. Nh n tinậ
N i nh n tin là n i ti p nh n thông tin t kênh truy n và khôiơ ậ ơ ế ậ ừ ề
ph c l i thông tin ban đ u nh ngu n tin đã phát đi. Tin đ n đ cụ ạ ầ ư ồ ế ượ
n i nh n tin th ng không thu đ c nh tin ban đ u truy n đi vì đãơ ậ ườ ượ ư ầ ề
ch u s tác đ ng c a nhi u. Vì th , n i nh n ph i th c hi n vi cị ự ộ ủ ễ ế ơ ậ ả ự ệ ệ
phát hi n sai và s a sai. H n th n a, n u ngu n tin đ c th c hi nệ ử ơ ế ữ ế ồ ượ ự ệ
mã hoá nén hay b o m t thì n i nh n tin cũng ph i th c hi n vi cả ậ ơ ậ ả ự ệ ệ
gi i nén hay gi i mã b o m t đ nh n l i tin.ả ả ả ậ ể ậ ạ
N i nh n tin th ng có ba ch c năng c b n:ơ ậ ườ ứ ơ ả

- L u gi tin, ví d nh b nh máy tính, băng ghi âm, ghiư ữ ụ ư ộ ớ
hình,...
- Bi u th tin làm cho các giác quan c a con ng i hay các bể ị ủ ườ ộ
c m bi n c m th đ c đ x lý tin, ví d nh băng ghi âm, hìnhả ế ả ụ ượ ể ử ụ ư
nh,...ả
- X lý tin đ a tin v d ng d s d ng. Ch c năng này có thử ư ề ạ ễ ử ụ ứ ể
th c hi n b i con ng i hay b ng các thi t b máy móc.ự ệ ở ườ ằ ế ị
1.2.3. H th ng thông tin sệ ố ố
Các h th ng thông tin t ng t đ c ti p t c phát tri n tệ ố ươ ự ượ ế ụ ể ừ
th k tr c và đ t đ c nhi u thành t u. Tuy nhiên, h th ngế ỷ ướ ạ ượ ề ự ệ ố
thông tin t ng t có nh ng nh c đi m c h u không th kh cươ ự ữ ượ ể ố ữ ể ắ
ph c. Các h th ng này th ng r t c ng k nh, không hi u qu vàụ ệ ố ườ ấ ồ ề ệ ả
chi phí r t cao. Ví d v n đ v nhi u trong h th ng thông tinấ ụ ấ ề ề ễ ệ ố
t ng t luôn làm đau đ u các nhà khoa h c.ươ ự ầ ọ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
11
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
Các h th ng r i r c (s ) có nhi u u đi m và kh c ph cệ ố ờ ạ ố ề ư ể ắ ụ
đ c nh ng nh c đi m c a h th ng liên t c. Ngày nay, các hượ ữ ượ ể ủ ệ ố ụ ệ
th ng r i r c ngày càng đ c phát tri n m nh m và thu đ cố ờ ạ ượ ể ạ ẽ ượ
nh ng thành t u v t c ngoài s mong đ i.ữ ự ượ ả ự ợ
Đ th c hi n đ c các h th ng r i r c tr c h t ph i r iể ự ệ ượ ệ ố ờ ạ ướ ế ả ờ
r c hoá tín hi u mang tin. Có hai lo i r i r c hoá: R i r c hoá theoạ ệ ạ ờ ạ ờ ạ
tr c th i gian hay còn g i là l y m u và r i r c hoá theo biên đụ ờ ọ ấ ẫ ờ ạ ộ
hay còn g i là l ng t hoá.ọ ượ ử
L y m u tín hi u là t m t hàm ban đ u ta l y ra nh ng m uấ ẫ ệ ừ ộ ầ ấ ữ ẫ
nh ng th i đi m nh t đ nh. Đi u quan tr ng là làm th nào đ cóở ữ ờ ể ấ ị ề ọ ế ể
th thay th t ng đ ng các m u l y đ c v i tín hi u g c. Đi uể ế ươ ươ ẫ ấ ượ ớ ệ ố ề
này đ c gi i quy t b i đ nh lý l y m u c a Shannon. Shannonượ ả ế ở ị ấ ẫ ủ
chính là cha đ c a lý thuy t tín hi u và truy n tin.ẻ ủ ế ệ ề

Đ nh lý l y m u Shannon đ c phát bi u nh sau:ị ấ ẫ ượ ể ư
M t hàm S(t) có ph h u h n, không có thành ph n t n s l nộ ổ ữ ạ ầ ầ ố ớ
h n ơ
ω
max
(= 2
π
f
max
) có th thay th b ng các m u c a nó đ c l yể ế ằ ẫ ủ ượ ấ
t i các th i đi m cách nhau m t kho ng ạ ờ ể ộ ả
∆
t
≤

π
/
ω
max
hay nói cách
khác t n s l y m u F ầ ố ấ ẫ
≥
2f
max.

Hình 1.2 minh ho đi u này.ạ ề
Biên đ c a tín hi u th ng là m t kho ng liên t c (Sộ ủ ệ ườ ộ ả ụ
min
,
S

max
). L ng t hoá là phân chia kho ng này thành m t s m c nh tượ ử ả ộ ố ứ ấ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
12
S(t)
S
max
S
min
t
Hình 1.2. Quá trình l y m u tín hi uấ ẫ ệ
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
đ nh, ch ng h n là: Sị ẳ ạ
0
= S
min
, S
1
= ...,..., S
n
= S
max
và qui các giá trị
biên đ không trùng v i các giá tr này v các giá tr g n v i nóộ ớ ị ề ị ầ ớ
nh t. Có nghĩa là s có sai s khi th c hi n l ng t hoá. Nh v yấ ẽ ố ự ệ ượ ử ư ậ
vi c l ng t hoá s bi n hàm S(t) thành m t hàm S'(t) có d ng b cệ ượ ử ẽ ế ộ ạ ậ
thang. S sai khác gi a S(t) và S'(t) đ c g i là sai s l ng t hoá.ự ữ ượ ọ ố ượ ử
Sai s l ng t càng nh thì S'(t) càng g n v i S(t).ố ượ ử ỏ ầ ớ
Hình 1.3 minh ho quá trình l ng t hoá.ạ ượ ử
Khi đã th c hi n vi c r i r c hoá tín hi u ta s có các ngu nự ệ ệ ờ ạ ệ ẽ ồ

tin r i r c. Trong nhi u tr ng h p chúng ta th ng ch nghiên c uờ ạ ề ườ ợ ườ ỉ ứ
các ngu n r i r c. M t b ng ch cái A g m m kí hi u là m t ngu nồ ờ ạ ộ ả ữ ồ ệ ộ ồ
tin r i r c, A = {aờ ạ
1
, a
2
, ..., a
m
} v i nh ng xác su t hi n p(aớ ữ ấ ệ
i
) v i i =ớ
1,..., m. Ngu n tin này không di n t m i quan h gi a các tin tr cồ ễ ả ố ệ ữ ướ
và tin sau nên đ c g i là ngu n tin không nh r i r c.ượ ọ ồ ớ ờ ạ
Có nhi u ph ng pháp bi n đ i trong h th ng thông tin sề ươ ế ổ ệ ố ố
nh d i đây minh ho .ư ướ ạ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
13
S(t)
S
n
S
1
t
Hình 1.3. Quá trình l ng t hóaượ ử
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
14
Hình 1.4. Các ph ng pháp bi n đ i thông tin ươ ế ổ
s trong các kh i ch c năng c a h th ng.ố ố ứ ủ ệ ố
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề

1.3. Đ đo thông tinộ
Đ đo c a m t đ i l ng là cách ta xác đ nh đ l n c a đ iộ ủ ộ ạ ượ ị ộ ớ ủ ạ
l ng đó. M i đ đo ph i tho mãn 3 tính ch t sau:ượ ỗ ộ ả ả ấ
- Đ đo ph i cho phép ta xác đ nh đ c đ l n c a đ i l ng.ộ ả ị ượ ộ ớ ủ ạ ượ
Đ i l ng càng l n, giá tr đo đ c càng ph i l n.ạ ượ ớ ị ượ ả ớ
- Đ đo ph i không âm.ộ ả
- Đ đo ph i tuy n tính, t c là giá tr đo đ c c a đ i l ngộ ả ế ứ ị ượ ủ ạ ượ
t ng c ng ph i b ng t ng giá tr c a các đ i l ng riêng ph n khiổ ộ ả ằ ổ ị ủ ạ ượ ầ
s d ng đ đo này đ đo chúng.ử ụ ộ ể
Đ xác đ nh đ đo thông tin, chúng ta nh n th y r ng thông tinể ị ộ ậ ấ ằ
càng có nhi u ý nghĩa khi nó càng hi m g p, do đó đ l n c a nóề ế ặ ộ ớ ủ
ph i t l ngh ch v i xác su t xu t hi n c a tin, hay nó là hàmả ỷ ệ ị ớ ấ ấ ệ ủ
f(1/p(x
i
)) cho tin x
i
có xác su t xu t hi n p(xấ ấ ệ
i
). M t tin không choộ
chúng ta l ng tin nào khi chúng ta đã bi t tr c v nó hay có xácượ ế ướ ề
su t b ng 1.ấ ằ
Đ xác đ nh d ng hàm này, ng i ta s d ng tính ch t th ba.ể ị ạ ườ ử ụ ấ ứ
Gi thi t r ng có hai tin xả ế ằ
i
và x
j
là đ c l p th ng kê đ m i tinộ ậ ố ể ỗ
không ch a thông tin v tin còn l i. N u hai tin có xác su t hi n làứ ề ạ ế ấ ệ
p(x
i

) và p(x
j
), l ng tin c a m i tin là f(1/p(xượ ủ ỗ
i
)) và f(1/p(x
j
)). Giả
thi t hai tin này cùng đ ng th i xu t hi n, ta có tin (xế ồ ờ ấ ệ
i
, x
j
), l ng tinượ
chung cho tin này ph i b ng t ng l ng tin c a t ng tin riêng bi t.ả ằ ổ ượ ủ ừ ệ
Khi hai tin xu t hi n đ ng th i, xác su t xu t hi n đ ng th i c aấ ệ ồ ờ ấ ấ ệ ồ ờ ủ
chúng là p(x
i
, x
j
), và ta có:
f(1/ p(x
i
, x
j
)) = f(1/ p(x
i
)) + f(1/ p(x
j
)) (1.1)
Vì hai tin là đ c l p th ng kê nên:ộ ậ ố
p(x

i
, x
j
) = p(x
i
) + p(x
j
) (1.2)
V y nên:ậ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
15
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
f(1/ (p(x
i
).p(x
j
))) = f(1/ p(x
i
)) + f(1/ p(x
j
))
(1.3)
Nh v y, trong tr ng h p này hàm f ph i có d ng hàm loga.ư ậ ườ ợ ả ạ
V y hàm log(1/p(xậ
i
)) là d ng hàm có th ch n làm đ đo thông tin.ạ ể ọ ộ
Ta c n ki m tra tính không âm c a hàm này. Vì ta có 0ầ ể ủ ≤ p(x
i
)≤ 1 nên
1/p(x

i
)≥ 1 hay log(1/p(x
i
)) là không âm.
Thêm vào đó khi m t tin luôn luôn xu t hi n thì l ng tinộ ấ ệ ượ
nh n đ c b ng không, ta s ki m tra đi u ki n này. Khi đó p(xậ ượ ằ ẽ ể ề ệ
i
) =
1, do v y log(1/p(xậ
i
)) = 0.
V y hàm log(1/p(xậ
i
)) đ c s d ng làm đ đo thông tin hayượ ử ụ ộ
l ng đo thông tin c a m t tin c a ngu n tin. L ng đo thông tinượ ủ ộ ủ ồ ượ
c a tin xủ
i
c a ngu n tin nào đó th ng đ c kí hi u là I(xủ ồ ườ ượ ệ
i
) :
I(x
i
) = log(1/p(x
i
)) (1.4)
Trong bi u th c trên c s c a hàm loga ch a đ c ch ra. Tuỳể ứ ơ ố ủ ư ượ ỉ
vào c s c a hàm loga này ta s có các đ n v đo đ l n thông tinơ ố ủ ẽ ơ ị ộ ớ
xác đ nh. Hi n nay, th ng dùng các đ n v đo sau:ị ệ ườ ơ ị
Bit hay đ n v nh phân khi c s loga là 2;ơ ị ị ơ ố
Nat hay đ n v t nhiên khi c s loga là e;ơ ị ự ơ ố

Hartley hay đ n v th p phân khi c s loga là 10.ơ ị ậ ơ ố
Ví d 1. Ngu n A có m kí hi u đ ng xác su t, m t tin doụ ồ ệ ẳ ấ ộ
ngu n A hình thành là m t dãy n kí hi u aồ ộ ệ
i
b t kỳ (aấ
i
∈A). Chúng ta
s xác đ nh l ng tin ch a trong m t tin nh v y. Tr c h t hãyẽ ị ượ ứ ộ ư ậ ướ ế
tìm l ng tin ch a trong m t tin aượ ứ ộ
i
. Do đ ng xác su t nên m i tin aẳ ấ ỗ
i
đ u có xác su t là 1/m, do đó:ề ấ
I(a
i
) = logm
L ng tin ch a trong m t dãy x g m n kí hi u b ng n l nượ ứ ộ ồ ệ ằ ầ
l ng tin c a m t kí hi u (vì chúng đ ng xác su t):ượ ủ ộ ệ ẳ ấ
I(x) = nlogm
Đ n v l ng tin tuỳ thu c cách ta ch n c s c a log, là bit,ơ ị ượ ộ ọ ơ ố ủ
nat, hay Hartley n u có s l n l t là 2, e hay 10. Rõ ràng khi m kíế ố ầ ượ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
16
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
hi u c a ngu n có nh ng xác su t khác nhau và không đ c l pệ ủ ồ ữ ấ ộ ậ
th ng kê v i nhau thì l ng tin riêng t ng kí hi u ph thu c vào xácố ớ ượ ừ ệ ụ ộ
su t xu t hi n p(aấ ấ ệ
i
) c a nó:ủ
I(a

i
) = log 1/p(a
i
)
Và l ng tin ch a trong m t dãy kí hi u c a ngu n khôngượ ứ ộ ệ ủ ồ
nh ng ph thu c vào xác su t xu t hi n t ng kí hi u mà còn phữ ụ ộ ấ ấ ệ ừ ệ ụ
thu c vào xác su t có đi u ki n. Khái ni m này s đ c đ c pộ ấ ề ệ ệ ẽ ượ ề ậ
đ n m t cách chi ti t các ch ng sau.ế ộ ế ở ươ
Ví d 2:ụ
Hãy xác đ nh l ng tin riêng ch a trong m t ô nh c a b nhị ượ ứ ộ ớ ủ ộ ớ
bán d n.ẫ
Gi i:ả
M t ô nh nh đã bi t có th ch a các tin là 0 hay 1. Ngu nộ ớ ư ế ể ứ ồ
tin là ngu n tin nh phân N=2.ồ ị
Ta đ t nh sau: tin a1 t ng ng v i 0 và a2 t ng ng v i 1.ặ ư ươ ứ ớ ươ ứ ớ
Vì đ ng xác su t nên P(a1)=P(a2). Và ta có cũng có:ẳ ấ
P(a1) + P(a2) = 1.
Hay P(a1) = P(a2) =1/2
V y: I(a1) = I(a2) = logậ
2
2 = 1 (bit)
V y m t ô nh có l ng tin là 1 bit n u tính theo c s 2.ậ ộ ớ ượ ế ơ ố
Ví d 3:ụ
Cho m t ngu n tin có 8 tin v i phân b xác su t nh sau:ộ ồ ớ ố ấ ư
Tin a
i
a
1
a
2

a
3
a
4
a
5
a
6
a
7
a
8
Xác su tấ
P(a
i
)
1/4 1/4 1/8 x 1/16 1/16 1/16 1/16
Hãy xác đ nh l ng tin riêng c a aị ượ ủ
4
.
Gi i:ả
Ta có P(a
4
) =1/8 và I(a
4
) = log 8 = 3bit.
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
17
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
L ng tin ch a trong m t dãy kí hi u c a ngu n không nh ngượ ứ ộ ệ ủ ồ ữ

ph thu c vào xác su t xu t hi n t ng kí hi u mà còn ph thu cụ ộ ấ ấ ệ ừ ệ ụ ộ
vào xác su t có đi u ki n. Khái ni m này s đ c đ c p đ n m tấ ề ệ ệ ẽ ượ ề ậ ế ộ
cách chi ti t các ch ng sau.ế ở ươ
1.3.3. L ng tin trung bình th ng kê - Entropy c a ngu nượ ố ủ ồ
tin
1.3.3.1. L ng tin trung bình th ng kê c a ngu n tinượ ố ủ ồ
L ng tin trung bình c a m t ngu n tin A là l ng tin trungượ ủ ộ ồ ượ
bình ch a trong m t kí hi u b t kỳ c a ngu n tin. Ta th ng kí hi uứ ộ ệ ấ ủ ồ ườ ệ
là I(A) và đ c tính b i:ượ ở
∑∑∑
∈∈∈
=−==
Aa
ii
Aa
ii
Aa
i
i
iii
aIapapap
ap
apAI )()()(log)(
)(
1
log)()(
(1-5)
Ví d 4:ụ
Ta s d ng l i đi u ki n c a ví d 3. Bây gi hãy tính l ngử ụ ạ ề ệ ủ ụ ờ ượ
tin riêng c a các kí hi u và trung bình c a ngu n tin. ủ ệ ủ ồ

Gi i:ả
Theo bi u th c 1-4 ta có b ng giá tr l ng tin riêng c a các tinể ứ ả ị ượ ủ
nh sau:ư
L ng tinượ
riêng
I(a
1
)
a
2
a
3
A
4
a
5
a
6
a
7
a
8
2 2 3 3 4 4 4 4
Theo bi u th c (1-5) ta có:ể ứ
I(A) = 2*2*1/4 +2*3*1/8 +4*4*1/16 = 2,75 bit.
Đi u này cho ta th y r ng có th bi u di n các tin trong ngu nề ấ ằ ể ể ễ ồ
tin A b ng chu i có chi u dài trung bình là 2,75 bit thay vì dùng 4ằ ỗ ề
bit.
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
18

Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
Bây gi ta xét m t s bi n đ i m t ngu n X thành ngu n Yờ ộ ự ế ổ ộ ồ ồ
thông qua s truy n lan trong m t kênh truy n. Qua b t kỳ m t kênhự ề ộ ề ấ ộ
truy n nào cũng đ u có nhi u do v y s truy n lan X qua kênhề ề ễ ậ ự ề
thành Y không ph i là m t - m t. Ta s đi tìm kh năng xả ộ ộ ẽ ả
i
nào có
kh năng l n nh t chuy n thành yả ớ ấ ể
j
trong quá tình truy n tin.ề
T đây ta có khái ni m l ng thông tin t ng h , l ng tinừ ệ ượ ươ ỗ ượ
còn l i c a xạ ủ
i
sau khi đã nh n yậ
j
(l ng tin đi u ki n). ượ ề ệ
L ng tin còn l i c a xượ ạ ủ
i
sau khi nh n đ c là yậ ượ
j
xác đ nh nhị ờ
xác su t h u nghi m:ấ ậ ệ
)/(log
)/(
1
log)/(
ji
ji
ji
yxp

yxp
yxI −==
(1-6)
L ng tin t ng h là hi u l ng tin riêng và l ng tin cònượ ươ ỗ ệ ượ ượ
l i c a xạ ủ
i
sau khi đã nhân đ c yượ
j
(l ng tin đi u ki n). Do v y taượ ề ệ ậ
có:
)(
)/(
log)/()(),(
i
ji
jiiji
xp
yxp
yxIxIyxI =−=
(1-7)
M t khác ta có:ặ
∑
=
j
jiji
yxpypxp )/()()(
Do v y k t qu ta có:ậ ế ả
∑
=−=
j

jij
ji
jiiji
yxpyp
yxp
yxIxIyxI
)/()(
)/(
log)/()(),(
(1-8)
Tính ch t c a l ng tin:ấ ủ ượ
1. L ng tin riêng bao gi cũng l n h n l ng tin v nó ch aượ ờ ớ ơ ượ ề ứ
trong b t kỳ m t ký hi u nào có liên h th ng kê v i nó. Nghĩa là:ấ ộ ệ ệ ố ớ
I(x
i
)>=I(x
i
,y
j
)
2. L ng tin riêng là m t đ i l ng không âm: I(xượ ộ ạ ượ
i
)>=0 nh ngư
I(x
i
,y
j
) có th âm có th d ng.ể ể ươ
3. N u X và Y đ c l p thì l ng tin c a c p xế ộ ậ ượ ủ ặ
i

y
j
là:
)()()(
jiji
yIxIyxI +=
M t cách t ng quát ta có:ộ ổ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
19
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
),()()()(
jijiji
yxIyIxIyxI −+=
1.3.3.2 Entropy c a ngu nủ ồ
Nh trên đã trình bày, l ng tin trung bình là l ng tin trungư ượ ượ
bình ch a trong m t kí hi u b t kỳ c a m t ngu n tin đã cho. Khi taứ ộ ệ ấ ủ ộ ồ
nh n đ c tin đ ng th i nh n đ c m t l ng tin trung bình nghĩaậ ượ ồ ờ ậ ượ ộ ượ
là đ b t ng v tin đó cũng đ c gi i thoát. Vì v y đ b t ng vàộ ấ ờ ề ượ ả ậ ộ ấ ờ
l ng tin có ý nghĩa v t lý trái ng c nhau nh ng v s đo l iượ ậ ượ ư ề ố ạ
gi ng nhau.ố
đây ta ch xét ngu n r i r c.Ở ỉ ồ ờ ạ
Đ b t ng c a tin xộ ấ ờ ủ
i
trong ngu n X đ c xác đ nh b i:ồ ượ ị ở
)(log
)(
1
log)(
i
i

i
xp
xp
xH −==
(1-9)
Khi đó đ b t ng trung bình c a m t ngu n tin tính b i:ộ ấ ờ ủ ộ ồ ở
∑∑∑
∈∈∈
=−==
Xx
ii
Xx
ii
Xx
i
i
iii
xHxpxpxp
xp
xpXH )()()(log)(
)(
1
log)()(
(1-10)
T các bi u th c trên ta th y v s đo H(X)=I(X).ừ ể ứ ấ ề ố
H(X) đ c g i là Entropy c a ngu n, là m t thông s th ng kêượ ọ ủ ồ ộ ố ố
c b n c a ngu n tin.ơ ả ủ ồ
Tính ch t c a H(X) ( cũng là c a I(X))ấ ủ ủ
1. H(X)>=0. N u p(xế
i

)=1 thì ta có H(X)=0
2. H(X) l n nh t n u xác su t xu t hi n c a các kí hi u c aớ ấ ế ấ ấ ệ ủ ệ ủ
ngu n b ng nhau. Lúc đó đ b t đ nh c a m t tin b t kỳồ ằ ộ ấ ị ủ ộ ấ
trong ngu n là l n nh t. T c là:ồ ớ ấ ứ
H(X)
max
≤ logN. V i ngu n có N tin.ớ ồ
Ta có th ch ng minh đi u này nh sau:ể ứ ề ư
N u có N tin các xác su t xu t hi n b ng nhau thì H(X) =ế ấ ấ ệ ằ
logN.
Xét:
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
20
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
01
1
)1
1
(
1
loglogloglog)(
111 11
=−=−≤=−−=−
∑∑∑ ∑∑
=== ==
N
i
N
i
i

i
N
i
N
i
i
ii
N
i
ii
NNp
p
Np
pNpppNXH
Đó là đi u ph i ch ng minh.ề ả ứ
Ví d 5:ụ
Cho X={0,1}, p(0) = p, p(1) = 1-
p.
Tính H(X) và v đ th phẽ ồ ị ụ
thu c vào p.ộ
Gi i:ả
H(X) = -plogp - (1-p)log(1-p). Ta th y p=1/2 thì H(X) =1 đ tấ ạ
giá tr l n nh t.ị ớ ấ
3. N u hai ngu n X={xế ồ
1
, ..., x
n
} và Y={y
1
, ..., y

m
} là đ c l p thìộ ậ
v i z={x,y} ta có:ớ
H(Z) = H(X) +H(Y)
1.4. T c đ l p tin và đ d c a ngu nố ộ ậ ộ ư ủ ồ
Thông s thông kê quan tr ng nh t c a ngu n tin là Entropy.ố ọ ấ ủ ồ
Thông s th hai chính là t c đ l p tin. T c đ l p tin ph thu cố ứ ố ộ ậ ố ộ ậ ụ ộ
vào tính ch t v t lý c a ngu n tin.ấ ậ ủ ồ
T c đ l p tin R đ c tính b i bi u th c sau:ố ộ ậ ượ ở ể ứ
R = n
0
H(X) (1-11)
Trong đó n
0
là s kí hi u l p đ c trong m t đ n v th i gian.ố ệ ậ ượ ộ ơ ị ờ
Đ n v c a R là bit/s n u H(X) tính theo bit.ơ ị ủ ế
Đ d c a ngu n đ c đ nh nghĩa là s chênh l ch gi a H(X)ộ ư ủ ồ ượ ị ự ệ ữ
và H(X)
max
.
R
s
= H(X)
max
- H(X) (1-12)
Đ d t ng đ i c a ngu n đ c đ nh nghĩa nh sau:ộ ư ươ ố ủ ồ ượ ị ư
maxmax
max
)(
)(

1
)(
)()(
XH
XH
XH
XHXH
r
s
−=
−
=
(1-13)
1.5. Tín hi u, bi u di n và phân lo iệ ể ễ ạ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
21
1
0 0,5 1 p
H(X)
Hình 1.5. S ph thu c c a H(X) vào pự ụ ộ ủ
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
Tín hi u là s bi n đ i c a m t hay nhi u thông s c a m tệ ự ế ổ ủ ộ ề ố ủ ộ
quá trình v t lý nào đó theo qui lu t c a tin t c. Nh v y đ truy nậ ậ ủ ứ ư ậ ể ề
tin ta s d ng các d ng v t ch t nào đó đ truy n. C n chú ý r ngử ụ ạ ậ ấ ể ề ầ ằ
chính s bi n đ i c a tham s c a quá trình v t lý m i là tín hi u.ự ế ổ ủ ố ủ ậ ớ ệ
Trong ph m vi h p c a m ch đi n, tín hi u là hi u th ho cạ ẹ ủ ạ ệ ệ ệ ế ặ
dòng đi n. Tín hi u có th có tr không đ i, ví d hi u th c a m tệ ệ ể ị ổ ụ ệ ế ủ ộ
pin, accu; có th có tr s thay đ i theo th i gian, ví d dòng đi nể ị ố ổ ờ ụ ệ
đ c tr ng cho âm thanh, hình nh. . . . ặ ư ả
1.5.1. Cách bi u di n hàm tín hi u. ể ễ ệ

D i đây ta trình bày m t s tín hi u th ng g p.ướ ộ ố ệ ườ ặ
- Ki u li t kê: hay còn g i là d ng b ng, các giá tr c a tínể ệ ọ ạ ả ị ủ
hi u đ c li t kê trong m t b ng giá tr .ệ ượ ệ ộ ả ị
T 0 1 4 ...
S(t) 0 3 7 ...
- D ng đ th : d ng đ th có lo i t a đ Đ các và t a đ c cạ ồ ị ạ ồ ị ạ ọ ộ ề ọ ộ ự
(d ng véc t ):ạ ơ
Khi tín hi u là th c ta có d ng đ th là tr c s . N u tín hi uệ ự ạ ồ ị ụ ố ế ệ
là tín hi u ph c ta có m t ph ng ph c nh hình 1.7 minh h a.ệ ứ ặ ẳ ứ ư ọ
Bi u di n ph c c a tín hi u th ng có d ng:ể ễ ứ ủ ệ ườ ạ
ϕ
j
Aec =
(1-14)
Trong đó A là biên đ và ộ ϕ là góc pha.
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
22
S(t)
t
Hình 1.6. a.H Đ các. B. H t a đ c cệ ề ệ ọ ộ ự
S(t
1
)
S(t
2
)
S(t
0
)
a b

Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
1.5.2. Phân lo i tín hi uạ ệ
N u phân lo i tín hi u theo d ngế ạ ệ ạ
toán h c thì ta có hai lo i tín hi u:ọ ạ ệ
- Tín hi u liên t cệ ụ
- Tín hi u gián đo nệ ạ
Chúng ta cũng có th phân tín hi u thành hai lo i là tín hi uể ệ ạ ệ
tu n hoàn và không tu n hoàn.ầ ầ
Theo d ng v t lý thì ta có lo i tín hi u ng u nhiên và ti nạ ậ ạ ệ ẫ ề
đ nh.ị
Trong th c t k thu t đi n t vi n thông ta còn chia các tínự ế ỹ ậ ệ ử ễ
hi u thành các lo i tín hi u: tín hi u l ng t , r i r c, s và t ngệ ạ ệ ệ ượ ử ờ ạ ố ươ
t .ự
1.6. M t s d ng tín hi u c b nộ ố ạ ệ ơ ả
D i đây gi i thi u m t s d ng tín hi u th ng g p khiướ ớ ệ ộ ố ạ ệ ườ ặ
phân tích h th ng truy n tin.ệ ố ề
a. Tín hi u d ng hàm e mũệ ạ
Tín hi u hàm e mũ th ng đ c bi u di n d i d ng bi uệ ườ ượ ể ễ ướ ạ ể
th c sau.ứ
t
Ketv
σ
=)(
(1-15)
Trong đó K, σ là các
h s . D ng tín hi u phệ ố ạ ệ ụ
thu c vào các giá tr trênộ ị
đ c minh ho hìnhượ ạ ở
1.8.
b. Hàm nh y b cả ậ

đ n vơ ị
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
23
Im
Re
Hình 1.7. H t a đ ệ ọ ộ
c c.ự
0
b
a
Hình 1.8. D ng tín hi u e mũạ ệ
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
Hàm đ c bi u di n b i bi u th c sau:ượ ể ễ ở ể ứ



<
≥
=−
at khi
at khi
0
1
)at(u
Đây là hàm thay đ i giá tr t 0 lên 1 ( ho c giá tr b t kỳ) t iổ ị ừ ặ ị ấ ạ
th i đi m t=a. Hình 1.19 là minh h a m t s tr ng h p c a hàmờ ể ọ ộ ố ườ ợ ủ
nh y b c đ n v .ả ậ ơ ị
c. Hàm Dirac (hay hàm xung đ n v )ơ ị
Khi vi phân hàm nh y b c đ n v ta có hàm xung đ n v hayả ậ ơ ị ơ ị
hàm Dirac. Th ng kí hi u là hàm này là hàm ườ ệ δ(t).

dt
du
)t( =
δ
(1-17)
Ta th y r ng hàm này là m t hàm toán h c không ch t ch vìấ ằ ộ ọ ặ ẽ
t i th i đi m t>0 thì vi phân này b ng 0ạ ờ ể ằ
nh ng l i không xác đ nh t i t=0. M tư ạ ị ạ ộ
cách t ng quát hàm này đ c đ nh nghĩaổ ượ ị
b i các đi u ki n sau:ở ề ệ
1. δ(t) = 0 t i tạ ≠ 0
2. δ(t) =∞ t i t=0ạ
3.
1=
∫
∞
∞−
dt)t(
δ
D ng hàm ạ δ(t) đ c minh h a hình 1.10.ượ ọ ở
d. Các hàm liên quan đ n hàm sinế
D i đây là minh h a m t s d ng hàm liên quan t i hàm ướ ọ ộ ố ạ ớ sin
nh hàm t t d n, tích c a hai hàm sin.ư ắ ầ ủ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
24
Hình 1.9. Hàm nh y b c đ n vả ậ ơ ị
Hình 1.10. Hàm xung đ n vơ ị
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
1.7. Các đ c tr ng c b n c a tín hi uặ ư ơ ả ủ ệ
1.7.1. Các thông số

và đ c tr ng c a tínặ ư ủ
hi uệ
a. Đ dài c a tínộ ủ
hi uệ
Đ dài c a tín hi u làộ ủ ệ
kho ng th i gian t n t iả ờ ồ ạ
c a tín hi u t khi xu t hi n đ n khi k t thúc.ủ ệ ừ ấ ệ ế ế
b. Kho ng bi n thiên c a tín hi u:ả ế ủ ệ
∆ = S
max
- S
min
c. Tr trung bình c a tín hi u:ị ủ ệ
∫
+
=
τ
τ
0
0
1
t
t
tb
dt)t(ss
d. Tr hi u d ngị ệ ụ
∫
+
=
τ

0
0
2
t
t
hd
dt)t(ss
e. Công su t c a tín hi uấ ủ ệ
Công su t t c th i c a tín hi u s(t) đ c tính b i:ấ ứ ờ ủ ệ ượ ở
2
)t(s)t(p =
Công su t trung bình đ c tín b i:ấ ượ ở
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
25
Hình 1.11. a. Hàm t t d n. b. Tích hai hàm sin.ắ ầ
S(t)
S
max
S
min
t
Hình 1.12. Các thông s c a tín hi uố ủ ệ
τ
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
∫
+
=
τ
τ
0

0
1
t
t
dt)t(pP
f. Năng l ng c a tín hi uượ ủ ệ
∫
∞
∞−
== dt)t(sP.E
2
τ
1.7.2. Các thành ph n đ c tr ng c a tín hi uầ ặ ư ủ ệ
M t tín hi u b t k bao g m hai thành ph n chính là thànhộ ệ ấ ỹ ồ ầ
ph n tín hi u m t chi u và thành ph n xoay chi u. Ch thành ph nầ ệ ộ ề ầ ề ỉ ầ
bi n đ i m i ch a tin t c. Giá tr trung bình c a tín hi u chính làế ổ ớ ứ ứ ị ủ ệ
thành ph n m t chi u.ầ ộ ề
Ngoài ra m t tín hi u s(t) có th tách ra làm hai tín hi u ch nộ ệ ể ệ ẵ
và l .ẻ
Ch ng 2. C s lý thuy t phân tích tín hi uươ ơ ở ế ệ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
26
Giáo trình Lý thuy t tín hi u và truy n tinế ệ ề
Ch ng này s cung c p cho chúng ta nh ng công c c b nươ ẽ ấ ữ ụ ơ ả
đ phân tích tín hi u. ể ệ Đó là các chu i Fourier và phép bi n đ iỗ ế ổ
Fourier.
2.1. M đ uở ầ
Đ có th phân tích tín hi u thành d ng t ngể ể ệ ạ ổ c a các tín hi uủ ệ
thành ph n, các tín hi u đ n v thành ph n ph i tr c giao v i nhauầ ệ ơ ị ầ ả ự ớ
t ng đôi m t. Vì v y khi dùng m t công c toán h c đ phân tích tínừ ộ ậ ộ ụ ọ ể

hi u thì tín hi u đ n v ph i có d ng hàm e mũ ( ho c t ng c a cosệ ệ ơ ị ả ạ ặ ổ ủ
và sin.).
Hai tín hi u f(t) và g(t) đ c g i là tr c giao v i nhau trênệ ượ ọ ự ớ
đo n [a,b] n u chúng th a mãn đi u ki n:ạ ế ỏ ề ệ



≠
=≠
=
∫
g(t)f(t) khi0
g(t)f(t) khi 0C
dt)t(g)t(f
b
a
*
(2-1)
Trong đó g
*
(t) là liên h p ph c c a g(t).ợ ứ ủ
Ví dụ 2.1:
Cho hai tín hi uệ
tjm
tjn
e)t(g
e)t(f
0
0
ω

ω
=
=
Ch ng minh r ng hai tín hi u trên tr c giao v i nhau trên đo nứ ằ ệ ự ớ ạ
[-T
0
/2; T
0
/2] v i wớ
0
= 2π/T
0
.
Gi i:ả
Xét tích phân theo bi u th c (2-1):ể ứ



≠⇔≠
=⇔=
=
−






−
==

∫∫
−
−
g(t)f(t) mn khi0
g(t)f(t) mn khi
0
0
0
0
00
2
2
2
2
0
0
00
T
T
)mn(
T
)mn(sinT
dteedt)t(g)t(f
/T
/T
tjmtjn
b
a
*
ω

ω
ωω
Đi u này đ t đ c khi ta chú ý đ n tính ch t sinx/xề ạ ượ ế ấ →1 khi
x→0. Đó là đi u ph i ch ng minh.ề ả ứ
ThS. Đoàn H u Ch cữ ứ B môn K thu t Đi n tộ ỹ ậ ệ ử
27