Tài liệu Bài giảng môn học lý thuyết thông tin ppt

BÀI GING MÔN HC
LÝ THUYT THÔNG TIN
Ging Viên: H Vn Quân
E-mail:

Web site: />Trng i hc Bách khoa
Khoa Công Ngh Thông Tin
Trang 2
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
NI DUNG MÔN HC
̈ Bài 1 Gii thiu
̈
Bài 2 Mt s khái nim c bn
̈
Bài 3 Chun b toán hc
̈
Bài 4 Lng tin
̈
Bài 5 Entropy
̈
Bài 6 Mã hiu
̈
Bài 7 Mã hóa ti u ngun ri rc không nh
̈
Bài 8 Mã hóa ngun ph quát
̈
Bài 9 Kênh ri rc không nh, lng tin tng h
Trang 3
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
NI DUNG MÔN HC (tt)
̈ Bài 10 Mã hóa chng nhiu, đnh lý kênh

̈
Bài 11 Mã khi tuyn tính
̈
Bài 12 C s toán hc ca mã hóa chng nhiu
̈
Bài 13 Mã vòng
̈
Bài 14 Gii thiu v mt mã hóa
̈
Bài 15 Mt s vn đ nâng cao
Trang 4
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
TÀI LIU THAM KHO
1. Information Theory - Robert B.Ash, Nhà xut bn Dover, Inc,
1990.
2. Introduction to Information Theory - Masud Mansuripur, Nhà
xut bn Prentice–Hall, Inc, 1987.
3. A Mathematical Theory of Communication - C. E. Shannon,
Tp chí Bell System Technical, s 27, trang 379–423 và 623–
656, tháng 7 và tháng 10, 1948.
4. C s Lý thuyt truyn tin (tp mt và hai) - ng Vn
Chuyt, Nguyn Tun Anh, Nhà xut bn Giáo dc, 1998.
Trang 5
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
HÌNH THC ÁNH GIÁ
̈ S có thông báo c th cho tng khóa hc. Tuy nhiên,
thng là có hình thc nh bên di.
̈ Thi trc nghim
̈ Gia k: 30 câu / 45 phút
̈ Cui k: 45 câu / 90 phút

̈ c phép xem tài liu trong 2 t giy A4
̈ Làm bài tp ln cng đim (không bt buc)
̈ Np bài tp ln và báo cáo vào cui hc k
̈ Cng ti đa 2 đim
Trang 6
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
CÁC MÔN LIÊN QUAN
̈ Lý thuyt xác sut
̈ K thut truyn s liu
̈ X lý tín hiu s
Trang 7
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Bài 1 Gii thiu
1.1 Thông tin là gì?
1.2 Vai trò ca thông tin
1.3 Lý thuyt thông tin nghiên cu nhng gì?
1.4 Nhng ng dng ca lý thuyt thông tin
1.5 Lý thuyt thông tin – Lch s hình thành và quan đim
khoa hc hin đi
Trang 8
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Thông tin là gì?
̈ Mt vài ví d
̈ Hai ngi nói chuyn vi nhau. Cái mà trao đi gia h gi là
thông tin.
̈ Mt ngi đang xem tivi/nghe đài/đc báo, ngi đó đang nhn
thông tin t đài phát/báo.
̈ Quá trình ging dy trong lp.
̈ Các máy tính ni mng và trao đi d liu vi nhau.
̈ Máy tính np chng trình, d liu t đa cng vào RAM đ

thc thi.
Trang 9
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Thông tin là gì? (tt)
̈ Nhn xét
̈ Thông tin là cái đc truyn t đi tng này đn đi tng
khác đ báo mt “
điu”gì đó. Thông tin ch có ý ngha khi
“điu” đó bên nhn cha bit.
̈ Thông tin xut hin di nhiu dng âm thanh, hình nh,
Nhng dng này ch là “
v bc”vt cht cha thông tin. “V
bc” là phn “xác”, thông tin là phn “hn”.
̈ Ng ngha ca thông tin ch có th hiu đc khi bên nhn hiu
đc cách biu din ng ngha ca bên phát.
̈ Mt trong nhng phng tin đ din đt thông tin là ngôn ng.
̈ Có hai trng thái ca thông tin: truyn và lu tr. Môi trng
truyn/lu tr đc gi chung là môi trng cha tin hay
kênh
tin
.
Trang 10
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Vai trò ca thông tin
̈ Các đi tng sng luôn luôn có nhu cu hiu v th gii xung
quanh, đ thích nghi và tn ti. ây là mt quá trình quan sát,
tip nhn, trao đi và x lý thông tin t môi trng xung quanh.
̈ Thông tin tr thành mt nhu cu c bn, mt điu kin cn cho
s tn ti và phát trin.
̈ Khi KHKT, XH ngày càng phát trin, thông tin càng th hin

đc vai trò quan trng ca nó đi vi chúng ta.
̈ Ví d, hành đng xut phát t suy ngh, nu suy ngh đúng, thì
hành đng mi đúng. Suy ngh li chu nh hng t các ngun
thông tin đc tip nhn. Vì vy thông tin có th chi phi đn
suy ngh và kt qu là hành đng ca con ngi.
Trang 11
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
LTTT nghiên cu nhng vn đ gì?
̈  góc đ khoa hc k thut, LTTT nghiên cu nhm to ra mt
“c s h tng” tt cho vic truyn thông tin chính xác, nhanh
chóng và an toàn; lu tr thông tin mt cách hiu qu.
̈  các góc đ nghiên cu khác LTTT nghiên cu các vn đ v
cách t chc, biu din và truyn đt thông tin, và tng quát là
các vn đ v x lý thông tin.
̈ Ba lnh vc nghiên cu c bn ca môn hc
̈ Mã hoá chng nhiu
̈ Mã hoá ti u (hay nén d liu)
̈ Mt mã hoá
Trang 12
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Nhng ng dng ca LT thông tin
̈ Cuc cách mng thông tin đang xy ra, s phát trin mnh m
ca các phng tin mi v truyn thông, lu tr thông tin làm
thay đi ngày càng sâu sc xã hi chúng ta.
̈ LTTT đóng mt vai trò quyt đnh trong s phát trin này bng
cách cung cp c s lý thuyt và mt cái nhìn trit hc sâu sc
đi vi nhng bài toán mi và thách thc mà chúng ta chm
trán – hôm nay và mai sau.
̈ Nhng ng dng ph bin ca LTTT là truyn thông và x lý
thông tin bao gm:

truyn thông, nén, bo mt, lu tr,
̈ Các ý tng ca LTTT đã đc áp dng trong nhiu lnh vc
nh
vt lý, ngôn ng hc, sinh vt hc, khoa hc máy tính, tâm
lý hc
, hóa hc
Trang 13
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Nhng ng dng ca LT thông tin (tt)
̈ Mi quan h gia LTTT và thng kê đã đc tìm thy, các
phng pháp mi v phân tích thng kê da trên LTTT đã đc
đ ngh.
̈ ng dng vào qun lý kinh t. Ví d, lý thuyt đu t ti u
xut hin đng thi vi lý thuyt mã hóa ngun ti u.
̈ ng dng vào ngôn ng hc.
̈ ng dng đn tâm lý thc nghim và đc bit là lnh vc dy và
hc.
Trang 14
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Lch s hình thành
̈ Cuc cách mng ln nht v cách nhìn th gii khoa hc là
chuyn hng t
thuyt quyt đnh Laplacian đn bc tranh
xác sut ca t nhiên
.
̈ Th gii chúng ta đang sng trong đóch yu là xác sut. Kin
thc ca chúng ta cng là mt dng xác sut.
̈ LTTT ni lên sau khi c hc thng kê và lng t đã phát trin,
và nó chia x vi vt lý thng kê các khái nim c bn v
entropy.

̈ Theo lch s, các khái nim c bn ca LTTT nh entropy,
thông tin tng h đc hình thành t vic nghiên cu các
h
thng mt mã
hn là t vic nghiên cu các kênh truyn thông.
̈ V mt toán hc, LTTT là mt nhánh ca lý thuyt xác sut và
các
quá trình ngu nhiên (stochastical process).
Trang 15
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Lch s hình thành (tt)
̈ Quan trng và có ý ngha nht là quan h liên kt gia LTTT và
vt lý thng kê.
̈ Trong mt thi gian dài trc khi LTTT đc hình thành, L.
Boltzman và sau đólà L.Szilard đã đánh đng ý ngha ca
thông tin vi khái nim nhit đng hc ca entropy. Mt mt
khác, D. Gabor ch ra rng “lý thuyt truyn thông phi đc
xem nh mt nhánh ca vt lý”.
̈ C. E. Shannon là cha đ ca LTTT.
Trang 16
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Bài 2 Mt s khái nim c bn
2.1 Thông tin (Information)
2.2 Mô hình ca các quá trình truyn tin
2.3 Các loi h thng truyn tin – Liên tc và ri rc
2.4 Ri rc hoá
Trang 17
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Thông tin
̈ Thông tin là mt khái nim tru tng, phi vt cht và rt khó

đc đnh ngha chính xác. Hai đnh ngha v thông tin.
̈ Thông tin là s cm hiu ca con ngi v th gii xung quanh
thông qua s tip xúc vi nó.
̈ Thông tin là mt h thng nhng tin báo và mnh lnh giúp loi
tr s không chc chn (uncertainty) trong trng thái ca ni
nhn tin. Nói ngn gn, thông tin là cái mà loi tr s không
chc chn.
̈ nh ngha đu cha nói lên đc bn cht ca thông tin. nh
ngha th hai nói rõ hn v bn cht ca thông tin và đc dùng
đ đnh lng thông tin trong k thut.
Trang 18
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Thông tin (tt)
̈ Thông tin là mt hin tng vt lý, nó thng tn ti và đc
truyn đi di mt dng vt cht nào đó.
̈ Nhng dng vt cht dùng đ mang thông tin đc gi là tín
hiu
.
̈ Lý thuyt tín hiu nghiên cu các dng tín hiu và cách truyn
thông tin đi xa vi chi phí thp, mt ngành mà có quan h gn
gi vi LTTT.
̈ Thông tin là mt quá trình ngu nhiên.
̈ Tín hiu mang tin tc cng là tín hiu ngu nhiên và mô hình
toán hc ca nó là các quá trình ngu nhiên thc hay phc.
̈ Và LTTT là lý thuyt ngu nhiên ca tin tc, có ngha là nó xét
đn tính
bt ng ca tin tc đi vi ni nhn tin.
Trang 19
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Mô hình ca các quá trình truyn tin

̈ Khái nim thông tin thng đi kèm vi mt h thng truyn tin.
̈ S truyn tin (transmission)
̈ Là s dch chuyn thông tin t đim này đn đim khác trong
mt môi trng xác đnh.
̈ Ngun tin (information source)
̈ Là mt tp hp các tin mà h thng truyn tin dùng đ lp các
bng tin hay thông báo (message) đ truyn tin.
̈ Bng tin chính là dãy tin đc bên phát truyn đi.
̈ Thông tin có th thuc nhiu loi nh
(1) mt dãy kí t nh trong đin tín (telegraph) ca các h thng gi đin
tín (teletype system);
Ngun phát Kênh truyn Ngun nhn
Nhiu
Trang 20
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Mô hình ca các quá trình truyn tin (tt)
(2) mt hàm theo ch mt bin thi gian f(t) nh trong radio và đin thoi;
(3) mt hàm ca thi gian và các bin khác nh trong tivi trng đen – 
đây thông tin có th đc ngh nh là mt hàm f(x, y, t) ca to đ hai
chiu và thi gian biu din cng đ ánh sáng ti đim (x, y) trên màn
hình và thi gian t;
(4) mt vài hàm ca mt vài bin nh
 trong trng hp tivi màu –  đây
thông tin bao gm ba hàm f(x, y, t), g(x, y, t), h(x, y, t) biu din cng
đ ánh sáng ca các ba thành phn màu c bn (xanh lá cây, đ, xanh
dng)
̈ Thông tin trc khi đc truyn đi, tu theo yêu cu có th
đc mã hoá đ nén, chng nhiu, bo mt,
̈ Kênh tin (channel)
̈ Là ni hình thành và truyn (hoc lu tr) tín hiu mang tin

đng thi  đy xy ra các tp nhiu (noise) phá hy tin tc.
̈ Trong LTTT kênh là mt khái nim tru tng đi biu cho
hn hp tín hiu và tp nhiu.
Trang 21
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Mt s khái nim (tt)
̈ Môi trng truyn tin thng rt đa dng
̈ môi trng không khí, tin đc truyn di dng âm thanh và ting nói,
ngoài ra cng có th bng la hay bng ánh sáng;
̈ môi trng tng đin ly trong khí quyn ni mà thng xuyên xy ra s
truyn tin gia các v tinh nhân to vi các trm rada  di mt đt;
̈ đng truyn đin thoi ni xy ra s truyn tín hiu mang tin là dòng
đin hay đng truyn cáp quang qua bin trong đótín hiu mang tin là
sóng ánh sáng v.v…
̈ Nhiu (noise)
̈ Cho dù môi trng nào cng có nhiu. Nhiu rt phong phú và
đa dng và thng đi kèm vi môi trng truyn tin tng ng.
̈ Chng hn nu truyn di dng sóng đin t mà có đi qua các vùng ca
trái đt có t trng mnh thì tín hiu mang tin thng bnh hng ít
nhiu bi t trng này. Nên có th coi t trng này là mt loi nhiu.
̈ Nu truyn di dng âm thanh trong không khí thì ting n xung quanh
có th coi là mt loi nhiu.
Trang 22
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Mt s khái nim (tt)
̈ Nhiu có nhiu loi chng hn nhiu cng, nhiu nhân.
̈ Nhiu cng là loi nhiu mà tín hiu mang tin b tín hiu nhiu
“cng” thêm vào.
̈ Nhiu nhân là loi nhiu mà tín hiu mang tin b tín hiu nhiu
“nhân” lên.

̈ Ni nhn tin (sink)
̈ Là ni tip nhn thông tin t kênh truyn và c gng khôi phc
li thành thông tin ban đu nh bên phát đã phát đi.
̈ Tin đn đc ni nhn thng không ging nh tin ban đu vì
có s tác đng ca nhiu. Vì vy ni nhn phi thc hin vic
phát hin sai và sa sai.
̈ Ni nhn còn có th phi thc hin vic gii nén hay gii mã
thông tin đã đc mã hoá bo mt nu nh bên phát đã thc
hin vic nén hay bo mt thông tin trc khi truyn
Trang 23
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Các loi h thng truyn tin
̈ Các ngun tin thng thy trong t nhiên đc gi là các ngun
tin nguyên thu
. ây là các ngun tin cha qua bt k mt phép
bin đi nhân to nào.
̈ Các tín hiu âm thanh, hình nh đc phát ra t các ngun tin
nguyên thu này thng là các
hàm liên tc theo thi gian và
theo mc
, ngha là có th biu din mt thông tin nào đó di
dng mt hàm s(t) tn ti trong mt quãng thi gian T và ly
các tr bt k trong mt phm vi (smin, smax) nào đó.
s(t)
t
s
max
s
min
Trang 24

Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Các loi h thng truyn tin (tt)
̈ Các ngun nh vy đc gi là các ngun liên tc (continuous
source), các tin đc gi là
tin liên tc (continuous information)
và kênh tin đc gi là
kênh liên tc (continuous channel).
̈ Tuy nhiên vn có nhng ngun nguyên thu là ri rc
̈ Bng ch cái ca mt ngôn ng.
̈ Các tin trong h thng đin tín, các lnh điu khin trong mt h thng
điu khin,
̈ Trong trng hp này các ngun đc gi là ngun ri rc
(discrete source), các tin đc gi là tin ri rc (discrete
information) và kênh tin đc gi là
kênh ri rc (discrete
channel).
̈ S phân bit v bn cht ca tính ri rc và tính liên tc là s
lng tin ca ngun trong trng hp ri rc là
hu hn còn
trong trng hp liên tc là
không đm đc.
Trang 25
Lý thuyt Thông tin - Khoa Công Ngh Thông Tin
Ri rc hóa
̈ Các h thng liên tc có nhiu nhc đim ca nh cng knh,
không hiu qu, và chi phí cao.
̈ Các h thng truyn tin ri rc có nhiu u đim hn, khc
phc đc nhng nhc đim trên ca các h thng liên tc và
đc bit đang ngày càng đc phát trin và hoàn thin dn
nhng sc mnh và u đim ca nó.

̈ Ri rc hoá thng bao gm hai loi: Ri rc hoá theo trc thi
gian, còn đc gi là
ly mu (sampling) và ri rc hoá theo
biên đ, còn đc gi là
lng t hoá (quantize).
̈ Ly mu (Sampling)
̈ Ly mu mt hàm là trích ra t hàm ban đu các mu đc ly
ti nhng thi đim xác đnh.
̈ Vn đ là làm th nào đ s thay th hàm ban đu bng các mu
này là mt s thay th tng đng, điu này đã đc gii
quyt bng đnh lý ly mu ni ting ca Shannon.