Cơ sở lý thuyết truyền tin tập 1

ĐẶNG VẢN c H U Y Ế T (chủ bién) - N G U Y Ễ N TU Ấ N ANH

cơ sở
LÝ THUYẾT TRUYỀN TIN
Tập một
( T á i b à n lá n t h ứ n a m )

NHÀ X U Ấ T BẢN G IÁ O DỤC


Lời nói đầu
Kê từ n h ữ n g n ăm 1970, sự th â m n h ậ p lẫ n n h a u của hai lĩnh vực khoa học máy t ín h và
tru y ề n thông đả làm th ay đổi sâu sắc các lĩnh vực công n g hệ và sản x u ất, và m ột k ế t quả tấ t yêu
là một n g à n h công nghiệp m áy t í n h - t r u y ề n th ô n g (C o m p u ter-C o m m ư n icatio n ) ra đời. C h ín h
nhị sự hịa trộ n m an g tín h cách m ạ n g này, r ấ t n h iều lĩnh vực kh o a học, cơng n g h ệ đã có n h ữ n g
cơ sở đế p h át triể n m ạn h mẽ. T ro ng bổi cả n h củ a sự p h á t triể n b ù n g nổ này, n h ữ n g hiếu b iết vê
lý th u y ế t th ơ n g tin (In íbrm ation Theory), về tru y ề n thông n g àv c àn g q u a n trọ n g và cần được
xem xét tron g ho àn cản h mới.
Q ua nhiều n ă m làm công tác g iảng dạy, với t h a m vọng có m ột tài liệu làm giáo t r ìn h cho s in h
viên chu yên n g à n h Điện tử -V iễn th ô n g và Công n g h ệ T hông tin, tài liệu th a m k h ảo cho các kỹ
sư thuộc n h ữ n g chuyên n g à n h trê n , c h ú n g tôi cố gắng biên soạn cuốn sách này.
C h ủng tôi giả th iế t rà n g các độc giả xem cuốn sách n ày là n h ữ n g người đ ã có cơ sở n h ấ t đ ịn h
vể Giải tích, về Đại số tu y ên tín h và Xác s u ấ t. N h ữ n g cơ sỏ T oán học th eo c h ú n g tôi là h ế t sức
311an trọng và được dùng có tín h x u yên su ố t cả cuốn sách hoặc từ n g p h ầ n sẽ được c h ú n g tơi tr ìn h
bày trong cuốn sách này. Cở sỏ T oán học của cuốn sách này là Xác s u ấ t và Q u á trìn h N g ẫu
nhiên với n h ữ n g lu ậ t p h â n b ố xác s u ấ t h ết sức q u a n trọ n g tro n g việc t r ì n h bày các vấn đề của
:uon sách.
V
Cu ôn sách n ày sẽ được ch ia t h à n h h ai tập. S a u khi t r ì n h b ày c h u n g về hệ th ố n g tru y ề n tin và
:áe khái niệm c h u n g liên q u a n đ ến nó, c h ú n g tơi sẽ tr ìn h bày các p h ầ n củ a cu ôn sách theo t r ậ t
tự là các vấn đề ch u n g trước, các v ấ n đề cụ t h ể sau. Khi trìn h bày các v ấ n đ ề ch un g , ch ú n g tôi sẽ

theo tr ậ t tự: nguồn tin trước, k ê n h tin sau . Các v ân đ ề phôi hợp giữa n g u ồ n và k ê n h sẽ được xét
sau khi đã có n h ữ n g hiểu b iết về ng u ồ n và k ên h .
Cấu trú c tập 1 n h ư sau:
Chương 1 : N h ữ n g k h á i n i ệ m c h u n g . C hư ơ ng n à y giói th iệ u n h ữ n g kltói niệm và các v ân
iề cơ bản tro ng lý th u y ế t tr u y ề n tin.
Chương 2 : X á c s ụ ấ t v à q u á t r ì n h n g ẫ u n h i ê n , tro n g chương n à y ta xây d ự n g n h ữ n g cơ sỏ
Toán học Gần th iế t cho việc k h ảo s á t các hệ th õ n g tr u y ề n tin.
Chương 3: T h ô n g t i n v à l ư ợ n g t i n , tr ìn h bày v ấ n đ ề đ ịnh lượng th ô n g tin của các n g u ồ n
in.
Chương 4: M ã h i ệ u . T ro ng chương n ày ta tậ p t r u n g vào các k h ái n iệm và đ in h n g hía về mã,
:ác điều kiện và yêu cầu đối với m ã hiệu.
Chương 5: M ã h ó a n g u ồ n , n g h iê n cứu v ấn đề m à hóa ngu ồn tr ê n cd sở mơ h ìn h to án học củ a
Ìguồn và các k h ái niệm về lượng tin đ ã xét tro n g chương 3 .
Chương 6 : T í n h i ệ u v à h ệ t h ô n g t r u y ề n t i n . Chương n à y t r ì n h bày các tín hiệu và hệ
hông thường gặp khi tru y ề n th ô n g tin q u a k ê n h tr u y ề n th ô n g cù n g việc biểu diễn các tín hiệu
liều chế và các đặc tính về p h ổ của chúng.
Chương 7: C â u t r ú c t h u t ô i ư u c h o k ê n h c ó n h i ễ u c ộ n g g a u s s i a n , . n g h iê n cứu việc th iế t
;ẽ và đ á n h giá độ hiệu quả của các bộ th u tôi ưu cho các p hư ơng p h á p điều chê tro n g kỏnh có
ìhiẻu cộng g aussian.
Chương 8 : D ồ n g bộ. C hương n à y n g h iê n cứu các phương p h á p đồng bộ v ậ t m a n g v à dồng bộ
:ý hiệu ỏ đ ầu thu.

3


Trong tập 2 chúng tỏi sẽ trình bày vê mã hóa kênh, hệ thơng truyền tin vói kênh có băng lẩn
hạn chế, các hệ thông truyền tin nhiều kênh, nhiều vật m ang và n hiều người sứ dụng, vân để
trải phố, hệ thơng truyền tin có iầđing và cuối cùng là giới thiệu về mủ m ật được xem n h ư là một
loại mã trong hệ thông truyền tin.
Do hạn ch ế vê thòi gian, lần đầu biên soạn cuốn sách này, chúng tôi không trá n h khỏi các

thiếu sót, rất mong các độc giả thơng cảm và góp ý dể cho nhữ ng lần biên soạn sau sè tốt hơn.
Cuối cùng, xin lưu ý dộc giả vê cách đ á n h sô các tiêu đề để tiện cho việc tra cứu. Trong mỗi
chương, các mục lớn được đánh số bằng hai sơ, ví dụ 3-2 chỉ mục lốn hai trong chương 3; 3-2-4
chí mục bơn của mục lổn hai trong chương 3. Các công thức và hình vẽ dược đ á n h sơ bàng ba sô,
số đầu chỉ chương, số thứ hai chỉ mục lớn, số thứ ba chỉ thứ tự của công thức hay hình vẽ trong
mục lớn đó.
C húng tơi chân th à n h cám ơn ông Nguyễn Thúc Hải, bà Hồ Anh Túy đã d à n h thời gian đóng
góp những ý kiến q báu cho chúng tơi khi biên soạn cuốn sách này.

C á c t á c g iả

t

-1


N H Ử N G KHÁI N I Ệ M C H U N G

CHƯƠNG 1

NHỮNG KHÁI NIỆM CHUNG
T h ô n g tin (tiêng Anh là " In íb rm a tio n ”, còn được dịch là tin tức) là v ậ t liệu đầu tiên được gia
cóng tro ng một hệ th ô n g t ru y ề n tin. Hiện nay chưa có một định ngh ĩa đầy đủ và súc tích cho
khai niệm th ô n g tin. C h ú n g ta tạ m sử d ụ n g khái niệm sau làm định nghía về thơ ng tin : Thơng
tin là s ự cảm hiếu của con người về t h ế giới x u n g q u a n h (thơng qua sự tiếp xúc với nó). N hư vậy
th ôn g tin là h iểu biết của con ngưịi và càng tiếp xúc VỚI mơi trư ờng xung q u a n h con người càng
hiểu biết và làm tă n g lượng th ô n g tin th u n h ậ n được.
Trong cuộc sông, con người ln có n h u cầu trao đổi thơng tin với n h a u , có n g h ĩa là có nhu
cầu tru y ề n tin (C om m u nication ) với nhau . N h ữ n g th ôn g tin khi tru y ề n được m ang dưới n h ữ n g
c'ạng n ă n g lượng khác n h a u n h ư âm điện, sóng điện từ, sóng á n h sáng... N h ữ n g d ạng n ăn g

lượng dược d ù n g đê m a n g tin n à y được gọi là vật m a n g (Carrier). Nó là một quá trìn h vật lý cụ
thế. Vật m a n g đã chứ a th ô n g tin tro n g nó là một đại diện của thơng tin và nó được gọi là tín
hiệu (Signal). Cho nên trưốc đây k h i k h ái niệm "thông t i n ” chưa được xác định cụ th ể n hư hiện
nay, người ta v ẫn n g h iên cứu đ ịn h lương các hệ th ôn g tru y ề n tin b ằn g cách tín h tốn và thực
nghiệm trê n sự biến đổi n à n g lượng m an g tin tro n g các hệ thơng đó. T rên q u an điểm n ăn g
lượng. lý t h u y ế t m ạch điện, lý th u y ế t tín hiệu đã giải quyết n h ữ n g vấn đề tổng q u á t về ph ân
Lích và tổng hợp m ạch v à tín h iệu , và nhị đó kỹ t h u ậ t tru y ề n tin đã có n h ữ n g bước tiến bộ
khá dài.
N h ư n g đồng thời với sự p h á t t r iể n m ạ n h mẽ của m ình, n g àn h kỹ t h u ậ t tru ý ể n tin đã làm nảy
sinh ra n h iều v ấ n để m à n h ữ n g lý th u y ế t xây dựng trê n q uan điểm n ă n g lượng khơng giải thích
được trọn vẹn, n h ư vấn đề mối liên hệ cơ b ản giữa các hệ thông tru y ề n tin sử d ụ n g n h ữ n g n ăn g
lượng k h ác n h a u , n h ư v ấ n để bảo tồn thô ng tin tro n g các hệ th ôn g th ôn g tin vũ trụ trong đó
l ã n g lương tải tin r ấ t n hỏ bé, n h ư v ấn đề đ ảm bảo tốc độ tru y ề n tin n h a n h và chín h xác trong
:ầc hệ th ơ n g tr u y ề n s ố liệu, n h ư gia công thông tin tro ng các th iế t bị tín h tốn điều khiển... Nói
u ộ t cách khác p h ải xây d ự n g n h ữ n g tiêu ch u ẩ n ch u n g để có th ể đ á n h giá và so s á n h các hệ
-hông tru y ề n tin, giải quy ết n h ữ n g v ấn đề cơ b ản của sự tru y ề n tin là: tốc độ tru y ề n tin và k hả
lã n g chông n h iễ u của hệ thông, th i ế t lập n h ữ n g mô h ìn h hệ th ố n g tru y ề n tin thực, chỉ ra các
phương hướng cải tiến có hiệu quả.
ỉ)ể tr ả lời được n h ữ n g điểu nói trê n một cách rõ rà n g và ngắn gọn, các lý th u y ế t xây dựng
,rên q u an điểm n ă n g lượng cần p h ải được bổ su n g b ằng nh ữ ng lý th u y ế t xây dựng trê n qu an
ìiểm th ơ n g tin. T ro n g chương n à y sẻ giối th iệu mơ h ìn h tống q u á t của m ột hệ thô n g tru y ề n tin,
'ác vấn đê lý t h u vết cd b ản m à hệ th ô n g đề ra và các chức n ă n g của các k h â u ch ính trong hệ
hỏng tru y ề n tin.

1-1. HỆ THỐNG TRUYỀN TIN
N hững hệ th ô n g tru y ề n tin cụ t h ể m à con ngưòi đã sử d ụ ng và k h ai th ác có r ấ t nhiều dạng,
'à khi p h â n loại chúng, người ta cũ ng có th ể dựa trê n nhiều cơ sở khác n h au , Vídụ trê n cơ sở
lảng lượng m a n g tin người ta có t h ể p h â n hệ th ôn g tru y ề n tin t h à n h các loại :
- Hệ th ơn g đ iện tín d ù n g n ă n g lượng điện một chiều
- Hệ th ô n g th ô n g tin vô tu y ế n điện d ùn g n ăn g lượng sóng điện từ

NHỮNG KHÁI NI ỆM C HUNG

-Hệ thông t hông tin quang n ăng (hệ thống báo hiệu, thông tin hồng ngcại, l a s e r , ‘áp
quang...)
-Hệ thông thông tin dùng sóng âm, siêu âm, (năng lượng cơ học)...
C húng ta cũng có thể p h ân loại hệ thông truyền tin dựa trên cơ sở biêu hiện bên ngồù Ún
thơng tin như:
-Hệ thơng tru yền sơ liệu
-Hệ thơng tru yền hình
-H ệ thơng thơng tin thoại...
N hững phương pháp p h ân loại trê n dựa theo nhu cầu kỹ th u ật, giúp các cán bộ kỹ tlu ậ t
n h ận thức vấn đề một cách cụ th ể và tìm hiểu khai thác các loại hệ thông được dê dàng. Sự [hân
loại n h ư vậy đã được ứng dụng rộng rãi và gần như thông n h ấ t trong các tài liệu và sáicl kỹ
thuật. N hưng ở dây để đảm bảo tính logic của vấn đề được trìn h bày, chúng ta căn cứ đặc đêm
của thông tin đưa vào kênh để p hân loại các hệ thông tru yền tin và n h ư vậy chúng ta p hâm iàm
hai loại hệ thông tru y ền tin:
-Hệ thông tru y ền tin rịi rạc
-Hệ thơng truy ền tin liên tục
C húng ta có th ể định nghĩa: Truyền tin (Transmission) là dịch chuyển thông tin từ điếnnnày
đến điểm khác trong một môi trường xác định. Hai điểm này sẽ được gọi là điếm ngin tin
(Iníbrm ation Source) và điểm nhận tin (Iníorm ation Destination). Mơi trường tru yểm tin
(Transmission Media) cịn được gọi là kênh tin (Channel).
Sơ dồ khôi chức n ă n g của một hệ thông truy ền tin tổng qt gồm có ba k h âu chính: mguồn
tin, kênh tin và n h ận tin (hình 1 - 1 - 1 ).

H ìn h 1-1-1: Sơ đồ khối chức n ăng hộ thông tru y ề n tin
Trong sơ đồ này:
Nguồn tin là nơi sản sinh ra hay chứa các tin cần truyền đi.

Khi một đường truyền tin được th iết lập để truyền tin từ nguồn tin đến n h ậ n tin, một dỗãy cá<
phần tử cơ sở (các tin) của nguồn sẽ được truyền đi với một phân bô xác x u ấ t nào đó. Dã\y nà;
được gọi là một bản tin (Message). Vậy ta có th ể định nghĩa: Nguồn tin là tập hợp các tin Wĩà hy
thống truyền tin d ù n g đ ể lập các bán tin khác nhau đê truyền tin.
Kênh tin là môi trường lan truyền thông tin. Để có th ể lan truyền được thơng tin trorụg mộ
môi trường v ật lý xác định, thông tin phải được chuyển th à n h tín hiệu thích hợp với mơi tirưịn;
truyền lan. Vậy kênh tin là nơi hình th à n h và tru y ề n tín hiệu m ang tin đồng thòi ỏ đấy siinh r;
các tạp nhiều phá hủy thông tin. Trong lý th u y ế t truyền tin kênh là một khái niệm trừ u ìtượn
đại biểu cho hổn hợp tín hiệu và tạp nhiễu. Từ khái niệm này, sự phân loại kênh sẽ dễ dàn^g hơr
mặc dù trong thực tế các kênh tin có r ấ t nhiều dạng khác nhau, ví dụ :
-Truyền tín hiệu theo các dây song hành, cáp đồng trục, ơng dẫn sóng.
-Tín hiệu tru y ề n lan qua các tầng điện ly, khơng hoặc có phản xạ.
6


N H Ử N G KHÁI N I Ệ M CHƯNG

- Tín hiệu tru y ề n lan qua các tầ n g đốì lưu, khơng hoặc có p h ả n xạ và khúc xạ.
~ Tín hiệu tru y ề n lan trê n m ặ t đất, tron g đất.
~ Tín hiệu tru y ề n lan tro n g nưốc...
T h u tin là cơ cảu khôi p h ụ c thông tin ban đ ầ u t ừ tín hiệu lấy ở đ ầ u ra của k ê n h .
Đe tìm hiểu chi tiết hơn ch ún g ta đi sâu vào các khôi chức n ăn g của sơ đồ trê n và xét đến
nh iệm vụ của từ n g khôi.

1-1-1. Nguốn tin nguyên thủy
N g u ồ n tin nguyên th ủ y là tập hợp n h ữ n g tin n guyên th ủ y (chưa qua một phép biến đổi n h ân
tạo nào) ví dụ n h ư tiếng nói, âm nhạc, h ìn h ảnh, các biến đổi k hí tượng... Các tin nguyên th ủy
p h ần n h iề u là n h ữ n g h àm liên tục theo thòi gian f(t) hoặc là n h ữ n g h àm biến đối theo thời gian
và một hoặc n hiều th ôn g sơ" khác n h ư h ìn h ả n h đen trắ n g h(x, y, t), tro ng đó X, y là các tọa độ
khơng g ia n của hình, hoặc n h ư các th ơn g tin khí tượng: g(Ảt , t) trong đó , (i = 1 , 2 ,

n) là các
th ôn g sơ' k h í tượng n h ư n h iệ t độ, độ ẩm, tốc độ gió...
T h ơ n g tin n g u yên th ủ y cũng có th ể là các hệ h àm theo thời gian và các thơng sơ" n hư trưịng
hợp th ô n g tin h ìn h ả n h màu:

f( x ,y ,z )
• g(x,y.z)
h(x,y,z)
T hơ ng thvíịng các tin ng uyên th ủ y m an g tín h c h ấ t liên tục theo thời gian và mức; ng hĩa là có
thê biểu diễn một th ô n g tin nào đó đưối d ạng một h à m s(t) tồn tại tro ng q u ãn g thời gian T và
lấy các trị b ất kỳ tro n g p h ạ m vi (smin, smax) (hình 1 - 1- 2 )
sít)

H ì n h 1-1-2: Ví dụ về một tín hiệu nguyên thủ y
N h ừ n g tin n g u yên th ủ y có thế được đưa trực tiếp vào kênh để tru y ề n đi. C ũng có thể bằng
nhừng ph ép biển đối n h â n tạo n hư rịi rạc hóa theo thời gian và theo mức rồi đưa vào kênh
truyền. Lúc này tin trước khi vào k ên h đã trở th à n h tin ròi rạc. N guồn tin lúc này gọi là nguồn
tin rời rạc và k ê n h tin được gọi là kênh tin rời rạc đê p h ân biệt với trường hợp đưa tin liên tục
vào k ên h gọi là nguồn liên tục và kênh liên tục.
Bảng chữ của m ột ngôn ngữ, các tin tro ng hệ thơng điện tín, các lệnh điều kh iển trong hệ
thống điều khiển là n h ữ n g tin ngun th ủ y có tín h ch ất rời rạc.
Sự p h â n biệt về b ản c h ấ t của nguồn rời rạc với nguồn liên tục là số" lượng các tin trong nguồn
rời rạc là h ữ u h ạ n và số" lượng các tin trong nguồn liên tục không đếm được.


NHỬNG KHẢI NIỆM CHƯNG

Nói chung các tin rời rạc, hoặc n guyên th ủ y rời rạc, hoặc n gu yên th ủ y liên tục đả được rời rạ
hóa, trước khi dưa vào kênh thông thường đều qu a th iế t bị m ã hóa.
Thiết bị má hóa biến đối tập hợp tin n g u y ên th ủ y th à n h tậ p hợp n h ữ n g tin thích hợp với đặ

điểm cơ bản của kênh nh ư k h ả n à n g cho q ua (thơng lượng), tính ch ất tín hiệu (dạng, cấu trú
phổ, tính thơng kê...) và tạp nhiễu. Tóm lại m ã hóa là p hép biến đổi tín h thơng kê và tính chơn
nhiễu của nguồn tin.
Với nhữ ng khái niệm và định n gh ĩa trê n , ch ú n g ta có th ể xây dựng mơ hình tốn học ch
nguồn rời rạc.
Một bảng các tin x u ấ t p h á t từ một ng uồ n tin nào đó đều p h ả n án h tín h ch ất thơng kê củ
nguồn đó. Bảng tin càng dài sự p h ản á n h càn g t r u n g thực. C h ú n g ta có th ể xem một bảng tin c
thể là một thể hiện của một nguồn. Vì tại m ột thời điểm xác địn h nguồn có thê tạo ra một ti
ngẫu nhiên đôi với người quan sát, n ê n theo q u a n điểm to án học có thế xem nguồn tin (nguồ
tạo ra các bảng tin) là cấu trúc thơng kê của một q trìn h n gẫu nhiên. N h ư vậy đê xác địn
một nguồn tin, hay nói cách khác để xác đ ịn h cấu trú c th ô n g kê của một q u á trìn h ngẫu nhiêỉ
chúng ta cần phải biết được các quy lu ậ t th ô n g kê củ a quá trìn h .
Trường hợp một nguồn rời rạc, b ản g tin là m ột dãy các ký hiệu k ế tiếp của một bộ chữ (bộ k
hiệu) gồm một sô' m ký hiệu hữu h ạn gọi là bộ chừ A:
A = {a,} với / = 1 ,2 ,

m.

Bảng tin là một dãy ký hiệu vô h ạ n h ay hữ u h ạ n ở hai phía:
X = (...X.2X ịXoXịX^..)

—x .ịíX.ịXịPCịXị .: là ký hiệu a n ỉ = 1, 2,..., m b ấ t kỳ củ a bộ chữ A được p h á t đi ỏ thòi điểm t.2, t.Ị, t
í/. t2,ĩ..
Trong thực t ế bảng tin có b ắt đầu và kết. th ú c cho n ên b ả n g tin là một dây các ký h iệ u h í
hạn
X = (XjX2... x n)
X được gọi là một khối n chiều, tập hợp của các khối n chiều với các đặc tín h thống kê của chúi
sẽ xác định cấu trúc thông kê của ng uồ n tin. Nói cách khác biết được tậ p hợp các X (ký hi(
bằng X*) và xác s u ấ t x u ấ t hiện của các b ả n g tin p(X ) sẽ q u y ế t định dược tín h ch ât thơng k ê CI
nguồn. Do vậy trong trường hợp này nguồn tin là một trư ờng xác s u â t hữu h ạ n (a , p(x )}. Troi

một trường hợp hẹp hơn, nếu xác s u ấ t x u ấ t hiện các ký hiệu tron g b ản g tin dộc lập với nhatu, c
cần biết bộ chữ A và xác s u ấ t x u ất hiện của các ký hiệu p ( a j , a, e A cũng đủ đê xác địnhi tíi
chất thơng kê của nguồn, lúc đó nguồn là trư ờng xác su ấ t h ữ u h ạn {A, p}, (p viêt t ắ t cho p(a
dị e A, i — 1, 2,..., m).
Khi chúng ta rịi rạc hóa một nguồn liên tục, ch ú n g ta th a y một. th ể hiện x(t) của nguồn (m
bảng tin liên tục) b ằng một dàv hoặc một khơi ìĩ chiều X n ê u thời gian q u a n sá t là hữ u hạ
Trong đó bộ chữ A của khôi là tập hợp các giá trị lượng tử hóa được của x(t). N hư vậy sự nịi r
hóa được thực hiện thơng qua hai khâu: gián đ c ạ n hóa theo thời gian và lượng tử hóa theo nnứ(
Theo nhữ ng điều đã trìn h bày ở tr ê n ng uồ n tin có cấu trú c thơ ng kê của một q trìn h ng;
nhiên. Mỗi nguồn tin (quá trìn h ngẫu n hiên) được xác đ ịn h bởi một cập tập giá trị X và cấiu tr
thống kê của chúng p(x*). Những nguồn tin thư ờ n g gặp thư ờng có tín h chất của một q trì]
ngẫu nhiên dừng và nhiều khi lại có tín h ergodic. Đơi với các nguồn tin ergodic mỗi thêĩ hi
(mỗi bảng tin) ghi n h ậ n được trong m ột thời gian đủ dài có th ê tiêu biểu cho nguồn và chủing
có th ể cản cứ vào một th ể hiện để xác đ ịn h được cấu trúc th ô n g kê của nguồn. Điểu này có mộ
nghĩa quan trọng trong thực tiễn.
8


N H Ữ N G KHÁ ĩ N I Ệ M C HƯ N G

í)ể nghiên cứu định lưựng ngu ồn tin cũn g n h ư hệ thống tru y ề n tin, chúng ta có thế mơ hình
hóa tốn học nguồn tin b an g bơn q u á trìn h s a u :
Q trình nqẫỉí nhiên liên t ụ c : N guồn tiến g nói, âm nhạc, hình ản h lả tiêu biếu cho quả
trìn h nay. Trong các hộ th ôn g th ô n g tin thoại, tru y ề n th a n h , tru y ề n hình với các tin hiệu điểu
biên, diều tán th ô n g thường c h ú n g ta gặp các n g u ồ n n h ư vậy.
Qua trinh ngẫu nhiên rời r ạc: Một q u á trìn h n g ẫu nhiên liên tục sau khi dược lượng tử hóa
th eo mức sỗ trỏ th à n h quá trìn h này. Một n gân ngừ, tín hiệu điện tín, các lệnh điểu khiến là
ng 11 rời rạc loại này.
Dãy ngảu nhiên liên tụ c : Đảy là trư ờ n g hợp một nguồn liên tục dã được gián đoạn hóa theo
thoi gian, nhu thường gặp tro n g các hệ th ò n g tin xung diều biên xung (PAM -Pulse A m plituđe

M ođulaUon), đieu plìíì xuiì.^ (F*P]V1), cỉiGH t ũ. 11 xmiị£ (I^I4j\'l)...kỊioii§, ỈD1 liĩờ iì^ til hOcì.
Dãy ngẫu nhiên rời rạc: T ro n g các hệ th ô n g th ô n g tin xung có lượng tử hóa n h ư điều biên
(pha. tần) xung lượng tử hóa, điều x u n g m ã (PCM).

1-1-2. K ê n h tin
C h ú n g ta đểu biết ràng, cho đ ến n a y khoa học th ừ a n h ậ n ràng: vật c h ấ t chỉ có th ể dịch
ch uy ển từ điểm n ày đến một điểm khác tro n g m ột môi trường thích hợp và dưới tác động của
một lực thích hợp. T ron g quá trìn h dịch c h u y ể n của các "hạt" v ậ t chất, n h ữ n g th ôn g tin vê nó
hay chứ a tro n g Ĩ1Ĩ sỗ được dỊch ch u y ển theo. Đ ây chín h là bản ch ất của sự lan tru y ề n thơng tin.
Vậy c h ú n g ta có thể nói r à n g việc tr u y ề n tin ch ín h là sự dịch chuyển của dòng các " h ạ t” vật
chất m an g tin (tín hiệu) trong mõi trư ờ n g tru y ề n tin. Trong quá trìn h tru y ề n tin, hệ thông
tru y ề n tin phải g án được thơ ng tin lên các dịng v ậ t c h ấ t tạo th à n h tín hiệu và lan tru y ề n nó đi.
Việc tín hiệu lan tru y ề n tro n g m ột môi trư ờ n g xác đ ịn h chính là dịng các "hạt" v ậ t chất, chịu
tác động của lực, lan tru y ề n tro n g m ột cấu trú c xác đ ịn h của môi trư ờng (một m ạn g các h ạ t đặc
tru n g cho môi trương). Dòng v ật c h ấ t m a n g tin này, ngo ài tác động để dịch chuyển, cịn chịu các
tác động của các lực khơng m ong m u ốn s ẵ n có tro n g củ n g n h ư ngồi mơi trư ờng và chiu va dập
với các "hạt" của môi trương. Đ ây c h ín h là n h ữ n g n g u y ên n h â n làm biến đổi dịng v ậ t ch ất
khơng mong muôn hay là n g uy ên n h â n gây ra n h iễ u (noise) trong q trìn h tru y ế n tin.
Kõnh tin có t h ể hiểu là m ột môi trư ờ n g để h ìn h t h à n h tín hiệu m an g tin và lan tru y ề n tín
hiệu m an g tin. T ro ng kênh diễn r a sự t ru y ề n lan của tín hiệu m ang tin và chịu tác động của tạp
nhiễu. Đê mô tả kênh ch ún g ta chỉ cần d ự a vào đặc diêm tín hiệu tro n g k ê n h và tạp nhiễu tiêu
biếu cho môi trư ờ ng tru y ề n lan của k ê n h dó. Các môi trư ờ ng tru y ề n lan các tín hiệu là rát khác
nhau. V ấn đổ đ ặt ra là từ các d ạ n g k h ác n h a u đó tìm ra được n h ữ n g điểm c h u n g để có thê tơng
q u át hóa dược về kênh.
Ta biết rà n g tín hiệu có th ể t r u y ề n lan tro n g n h iề u mơi trường khác nhau. Khi tín hiệu đi
qua các môi trư ờ ng n h ư vậy ngồi sự biên đơi về n ă n g lượng, d ạn g của tín hiệu củng bị th a y dôi
do tác động của tạp nhiễu tồn tại tro n g các môi trư ờ n g vật ]ý đó hoặc do phương thức tru y ề n lan,
sự biên dổi các th ô n g số vặt ỉý củ a môi trư ờ ng gây ra sự điểu c h ế tín hiệu khơng cần thiết. Rõ
ràng í ác dộng của nhiễu lên tín hiệu tiêu biểu cho môi trư ờng tru y ề n la n của tín hiệu. Vậy có
thế lấy tạp n h iễu làm đặc tín h c h u n g của mơi trư ờ n g tru y ề n lan và lấy sự p h ân tích, p h ân loại

tạp nhiễu để p h a n tích và p hân loại môi trường. T u y r ằ n g trong thực t ế môi trư ờ ng truy ền lan
rấ t khác n h au , ch ú n g ta vẫn có th ể q uy n ạ p về các d ạ n g cơ bản sau:
-Mỏi trường tro n g dó tác động n h iễ u cộng là chủ yếu;
-Mỏi trường tro n g đỏ tác động n h iễ u n h â n là ch ủ yếu;
-Môi trường gồm cả n h iễu cộng và n h iễ u n h â n .

a sơ LTTT/1 .A

9


N H Ữ NG KHÁI NIỆM C H U N G

Ngoài ra trong trường hợp sự truyền tin xảy ra giữa hai vật di động so với nhau, tín hiệu sẽ
bị điều tầ n phụ do hiệu ứng Doppler gây nên, chủng ta xếp riêng một loại gọi là kênh có hiệu
ứng Doppler.
Tóm lại đê mơ tả kênh chúng ta dùng một m ạng hai cửa và sự q u an hệ giữa tín hiệu đầu ra
với tín hiệu đầu vào như trê n hình 1-1-3.

S J t ) ---------►

Kênh

---------► S r(t)

H ì n h 1-1-3: Mơ hìn h kênh với tín hiệu vào và tín hiệu ra
Với giả thiết rằn g m ạng hai cửa này có hàm tru y ề n đơn vị (bằng 1) trê n mọi tần sơ" và trên
tồn miền thịi gian, chúng ta có:
S r(t)=Nn(t)Sv(t) + N c(t)
trong đó N n(t) ký hiệu cho nhiễu n h ân và N c(t) ký hiệu cho nhiễu cộng. N hiễu cộng sinh ra một

tín hiệu n gẫu nhiên không mong muôn và tác động cộng thêm vào tín hiệu ở đầu ra. Nhiễu cộng
là do các nguồn nhiễu công nghiệp và vũ trụ tạo ra, luôn luôn tồn tại tro ng các môi trường
tru y ề n lan của tín hiệu. Dải phổ của nhiễu cộng r ấ t rộng, cho nên với b ất kỳ tín hiệu có phơ ỏ
đoạn tầ n sơ' nào, chúng cũng tạo th à n h một nền trù m lên tín hiệu.
N h iều nhân, tác động n h â n vào tín hiệu, gây ra do phương thức tru y ề n lan của tín hiệu, hay
là sự th a y đổi thông sổ' v ật lý của bộ phận mơi trường truyền lan khi tín hiệu đi qua. Trong
trư ờ ng hợp đầu nhiễu sẽ tác động n h a n h lên tín hiệu, và tác động chậm trong trường hợp thứ
hai vì các biến động của môi trường thường xảy ra với những chu kỳ vài p h ú t đên vài giò hoặc
hơn nữa. Hiện tượng này thường gặp trong khi th u các tín hiệu vơ tuyến ở dải sóng ngắn, bằng
nhiều con đường tru y ề n lan khác nhau, tùy theo sai trìn h (dài ngán khác n h au ) của các đưịng
đó th a y đổi làm cho tổng cường độ điện trường ở đầu th u biến đổi, gây ra biên độ tín hiệu thu
khi lớn khi bé và đôi khi m ất hẳn, chúng ta gọi là hiện tượng pha đing (fading).
•

Các k ên h tin trong thực tê khơng đảm bảo đặc tín h xung hoặc đặc tính tầ n sơ đơn vị nêr
cơng thức tính tín hiệu ra là :
S r(t)=Nn(t)Sv(t)'H(t) + N c(t)
ở đây H(t) là đặc tín h xung của kênh. Đặc tính kênh không lý tưởng này sẽ gây ra một SỊ
biến d ạn g của tín hiệu ra so vối tín hiệu vào, gọi là méo tín hiệu, và méo lại là một nguồn nhiêi
tron g quá trình tru y ề n tin.
Tín hiệu đầu vào của các kênh truy ền hiện nay là những dao dộng cao
số biến đổi theo quy lu ật của thơng tin. Các thơng số có thê là biên độ, tần
động có thể là liên tục hoặc gián đoạn, nếu là gián đoạn sẽ có nhữ ng dãy
thông sô xung thay đổi theo thông tin như biên độ xung, tần số lặp lại, thời

tầ n với nhữ ng thơn*
sơ' hoặc góc pha. Da<
xung cao tần VỚI cái
điểm xuảt hiện...

Trường hợp dao động liên tục biểu thức tổng q u át của tín hiệu có dạng sau :
S v(t) - a(t) cos[(Át) - ữt)]
Các thông số biên độ a(t), tầ n sơ' cư(t), hay góc pha ữt) biến đối theo quy lu ậ t của thông tin đ
m ang tin và nhiễu tác động sẽ làm thay đơì các thơng số này làm sai lạc thơng tin.
Theo mơ hình m ạng 2 cửa của kênh tin, nếti đầu vào chúng ta đưa vào tin x(t) với xác suá
x u ấ t hiện píx) chúng ta sẽ nh ận được ờ đầu ra một tin y(t) VÓI xác s u ấ t x u ấ t hiện pịy) đại diệ:
cho x(t). VỚI yêu cầu tru y ề n tin ch ính xác, ch ún g ta cần y(t) phải là đại diện của xịt), hay xá<
10

2cơ Sd L T T l


N H Ữ N G KHÁI N I Ệ M C H Ư N G

suất n h ậ n được y(t) là đại diện của xịt) khi tru y ề n X(t) là p(y Ix) = 1 . Điều này
vónh khơn g có nhiễu. Khi k ên h có nhiễu, có th ể trê n đầu ra của kênh ch ún g ta
in khác vói tin được p h át, có nghĩa là xác s u ấ t dê n h ậ n dược y(t) là dại diện của
0 p(yixr /, và liêu nhiễu càn g lớn, xác s u ấ t này càng nhỏ. Vậy có th ể sử dụ n g
le dạc trư n g cho đặc tín h tru y ề n tin của kênh.

chỉ có được khi
n h ậ n được một
xịt) là p(y ỉ x),
xác suất p( y \x)

1-1-3. Nhận tin
N hận tin là đ ầ u cuôi của hệ thông tru y ề n tin. N h ậ n tin thương gồm có bộ n h ậ n biết thông tin
lược ph át và xử lý th ôn g tin. Bộ xử lý thông tin có thể là người, củng có th ể là th iế t bị (th iêt bị
;h\ giữ, m áy tín h diện tử). N ếu bộ p h ậ n xử lý thông tin là th iết bị tự dộng ch úng ta có m ột h ệ
hống tru y ề n tin t ự động.

Vì tín hiệu n h ậ n được ở đ ầu ra của kên h là một hỗn hợp tín hiệu và tạ p n h iễu sảy ra tro n g
íỗnh, nên nói ch u n g tín hiệu ra khơng giống vói tín hiệu đưa vào kênh. N hiệm vụ ch ín h cần
hực hiện tại n h ậ n tin là từ tín hiệu n h ậ n ditợcy(t) phải xác định được xịt) nào được đưa vào đ ầu
rào của kênh. Bài toán n ày được gọi là bài toán th u hay phục hồi tín hiệu tại điểm thu.

1-1-4. Những vấn để cơ bản của hệ thống truyển tỉn
Trong p h ầ n tr ê n ch ú n g ta đâ p h â n loại các hệ thơng tru y ề n tin làm hai nhóm chính, một là
ìhỏm các hệ th ố n g tru y ề n tin rời rạc và hai là nhóm các hệ thông tru y ề n tin liên tục. Khi nói
lên sơ đồ khối chức n ă n g của hệ thống tru y ề n tin có đề cập đến biểu thức S r( t ) - N n(t)S'Jt) +Ni,(t)
ổng q u á t mô tả k ên h tin. T rong biểu thức đó tù y theo dạng của S J t ) , ch ú n g ta có k ên h tin rịi
•ạc hoặc liên tục. S au đây, c h ú n g ta sẽ dựa trê n sự p h ân loại n h ư vậy dể p h â n tích các vấn để cờ
>ản của hệ th ô n g tru y ề n tin. Trước hết, ch ú n g ta liệt kê các vấn đề cơ bản liên q u an đến q u á
rình tru y ề n tin.
Các vấn đê cơ bản của hệ thông tru y ề n tin gồm có :
(!) Hiệu s uất truyền t i n , hay là tốc độ tru y ề n tin của hệ thống. Đó là lượng thơng tin hệ th ơ n g
ho phép (hay có thê) tru y ề n đi tro ng một đơn vị thòi gian,
(2) Độ chinh xác truyền t i n , nói cách khác là khả n ăn g chống n h iễ u của hệ thông.
Yêu cầu tối đa với bất kỳ một hộ thông tru y ề n tin nào là thực hiện đưực sự tru y ề n tin n h a n h
hóng và chính xác. N h ữ ng cơ sở lý th u y ế t nối ở trong các p h ần sau giải đáp n h ữ n g vấn đề này.
síhững khái niệm về lý th u y ế t thông tin cho biết giới h ạn tốc độ tru y ề n tin trong một kên h tin,
Ighĩa là khôi lượng th ô n g tin lớn n h ấ t mà k ên h cho tru y ền qua VỚI m ột độ sa i n h ầ m n h ỏ tù y ý.

Khi sự tru y ề n tin t-iến h à n h trê n nh ữ n g cự ly rất lớn, người ta thường d ù n g n ăn g lượng m a n g
in là sóng điện từ. Trong trường hợp này nếu cồng suất máy p h á t bí h ạ n chế, nàng Uíọng tín
liệu va tạp n h iễu ở đầu th u sẽ xấp xỉ bàng nh au , một vân để lý th u y ế t đ ặt ra là xác dinh cấu
rúc của thiết bị th u tín hiệu lý tưởng, ng hĩa là có th ể p h á t hiện và tách tín hiệu trong nền tạ p
m lỏn. Đó là một nội d u n g lớn của lý th u y ế t chông nhiễu.
Trong n h ữ n g m ục sau sẽ giới th iệu chức n â n g của khôi liên q u an đến nguồn Un và kó'ih tin:
.hối mả hóa và giải mâ của nguồn và kênh, khôi diều chê và giải điểu chê của kênh.
Trong n h iều trư ờ ng hợp nguồn tin ngu yên th ủy là liên tục n h ư n g cỉùng kênh rơi rạc để

ruyển tin. Vậy nguồn liên tục trước khi mã hóa phải được rịi rạc hóa. Đe xác minh phóp biên
ối nguồn liên tục th à n h nguồn ròi rạc là một phép biến đối tương dương 1-1 vê m ặt thò ng tin,
rước tiên chưng ta khảo sát cơ sơ lý th u y ế t của phép rời rạc hóa gồm các định lý lấy m ẩu và quy
liật lượng tử hóa.
Sự xác m inh tín h đủ ng đắn vê phương diện lý th u y ế t phép rời rạc hóa là một phép b en đôi
ương dương kh ô n g n h ữ n g có một ý nghĩa to lớn về thực nghiệm , mà về m ặt lý thu yết t ù n g có
11


N H Ữ N G KHÁI N I Ệ M C H Ư N G

m ộ t ý n g h ĩa rõ rệt. N hị đó m à n h ữ n g điều đă được k h ả o sát và k ế t lu ậ n tro n g các hệ th ơ n g rị bi
rạ c có t h ể mỏ rộn g tro n g các hệ th ố n g Hên tục m à sự k h ả o s á t trự c tiôp sẽ lảm n ả y sin h nhiềuu
v ấ n đê kh ó k h ă n về p h ư ơ n g pháp.

1-2. RỜI RẠC HÓA MỘT N G U ồN TIN LIÊN TỤC
T ro n g các hệ th ô n g tru y ề n tin m à đ ầ u cuối (đ ầu thu) là n h ữ n g th iê t bị xử lý th ơ n g tin rời rạoc
(ví d ụ m áy tín h số) n h ư các h ệ th ố n g tr u y ề n số liệu, h a y là các hệ th ô n g th ô n g tin c h u y ê n tiêpp
đ iều m ả xung, n g u ồ n tin có th ể là ròi rạc hoặc liên tục. N ếu các ng uồ n tin là liên tục, n h ả t th iế H
trước k hi dư a tin vào k ê n h p h ả i th ô n g q u a m ột p h é p b iên cỉơi liên tục t h à n h rịi rạc. S a u đó sẽ ájip
d ụ n g các p h ư ơ n g p h á p m ã hóa để đ á p ứng được các chỉ tiêu kỹ t h u ậ t củ a hệ th ô n g tr u y ề n tin c tụ
th ể.
P h é p b iến đối n g u ồ n tin liên tục t h à n h rời rạc gồm h ai k h â u cơ bản: m ột là k h â u rời rạc hóóa
th e o thời g ian h a y còn gọi là k h â u lấy m ẫ u , hai là k h â u lượng tử hóa th eo mức (viêt t ắ t lượng t i ử
hóa). Cơ sở lý t h u y ế t của p h ép b iến đổi n à y gồm các đ ịn h lý lấy m ẫ u và lu ật lượng tử hóa.

1-2-1. Lấy mẫu
L ấ y m ẫ u m ột h à m tin, có n g h ĩa là tríc h từ h à m đó ra các m ẫu tạ i n h ữ n g thòi đ iểm thòi g ia m
n h ấ t đ ịn h . Nói m ộ t cách k h ác th a y h à m tin liên tục b ằ n g m ột Hàm ròi rạc là n h ữ n g m ẫ u c ủ ia
h à m tr ê n lấy tại n h ữ n g thời điểm g ián đoạn. V ân dề đ ặ t ra ỏ d â y là x ét các đ iêu k iện đê cho ssự

t h a y t h ế đó là m ột sự th a y t h ế tư ơng dương. T ư ơ ng đư ơng ở d ây là về ý n g h ĩa th ô n g tin, n g h ía llà
h à m t h a y t h ế k h ô n g bị m ấ t m á t th ô n g tin so với h àm được th a y thê.
T ro n g các ch ư ơng sa u c h ú n g ta sẽ k h ả o s á t kỹ hơn vê v ấ n dề ròi rạc hóa m ộ t n g u ồ n tin (n u ộ t
q u á t r ì n h n g ẫ u nhiên), ở đâv c h ú n g ta n êu ra tin h th ầ n của đ ịn h lý lấy m ẫ u th e o thời gian:
M ột h à m s(t) có p h ơ h ữ u hạn, k h ơ n g có th à n h p h ầ n tần s ố lớn hơn (0,ỉtax, có thê được t h a y tì hê
b ằ n g các m ẫ u của nó lây tại n h ữ n g thời đ i ể m cách n h a u m ộ t k h o ả n g Át < /r/ comax.

1-2-2. Lượng tử hóa
H à m sịt) là một t h ể h iện của một ng uồ n tin liên tục, có biên độ b iến đổi liên tục tro n g p h ạ m i
(s mm » s m a x ) - T a p h â n chia p h ạ m vi đó t h à n h một số’ mức n h ấ t đ ịn h , đ á n h số các mức từ s uiuii =
s 0> s Ịf s , s ẩủ= s uiax. Việc gián đ o ạn hóa sự biến đối biên độ của sít) là cho biên độ lấy mức s, n h i ấ t
đ ịn h k h i nó tá n g hoặc g iảm g ần đến mức đó. N h ư vậy sít) sê trỏ t h à n h m ộ t h à m b iên đôi tiu eo
bậc t h a n g gọi là h à m lượng tử hóa s (t). Khi số th ứ tự các múc dã có q u y ước trước, việc gửi đi
m ột h à m liên tục trở t h à n h gửi đi n h ữ n g con sô ỏ n h ữ n g thời điểm tư ơng ứng. T h e o các con sỏ ‘đỏ
có t h ể dễ d à n g khôi p h ụ c lại h à m lượng tử hóa s'(t). S ự chọn lựa các mức th ích đ á n g sè là m giảư n
sự k h á c n h a u giữa s'(t) và s(t), gọi là sai s ố lượng tứ, đồng thòi giảm sai n h ầ m tro n g q u á tri inh
t r u y ề n tin.
V1

Với p h é p lượng tử hóa, n g u ồ n tin liên tục trỏ t h à n h ròi rạc với bộ c h ừ A là tậ p hợp h ữ u haạn
các m ức lượng tử, một tin (bảng tin) gửi đi củ a ng u ồ n sẽ trỏ t h à n h m ột d ãy h ữ u h ạ n các rmức
(dưới d ạ n g các con sô" hoặc các ký hiệu).
1-1-:

w«\ i,ìY
trỏ' t h à n h m ỏ t n g u ồ n rời rrạc


N H Ữ N G K H Á I N I Ệ M CH

h ư ớ n g c ủ a t ạ p n h i ễ u lớn ho ặc bé. N ế u c h ú n g t a cho tr ị bé n h ấ t c ủ a sít) là m ức m à ờ d ầ u t h i
có t h ổ p h â n b iệ t được t r o n g n ề n t ạ p n h i ễ u , th ì m ức đó gọi là m ứ c n g ư ỡ n g v à p h ả i t h o ả m ã n
k iệ n lớn hơn m ức t ạ p n h i ễ u t r o n g k ê n h . N h ư v ậy đ ể p h â n b iệ t được h a i trị tứ c th ò i ở n h ữ n g
k ế c ậ n c ủ a s(t) c ũ n g p h ả i t h ỏ a m ã n đ iề u k iệ n n h ư vậy, n g h ĩa là c h ú n g p h ả i lớn h ơ n n h a u
đ ạ i lư ợ n g lớn hơ n h o ặ c b ằ n g m ứ c n g ư ở n g , nói c á c h k h á c bước lư ợng tứ tôi t h i ể u p h ả i lớn
m ức t ạ p n h i ễ u t r o n g k ê n h . Khi đ ã th o ả m ã n đ iề u k iện n à y rồi, đ ứ n g v ề q u a n đ iể m t h ơ n g tir
nói, việc rịi r ạ c h ó a n g u ồ n tin liên tụ c h o à n to à n là m ộ t p h é p b iế n đối tư ơ n g đ ư ơ n g ngh;
k h ô n g g â y m ộ t s ự t h i ệ t h ạ i n à o vê t h ô n g tin . S a u k h i đ ã được rịi rạ c hóa, n g u ồ n t i n là rời
cho p h é p c h ú n g t a t i ế n h à n h r ấ t t h u ậ n lợi m ộ t sõ p h é p b iế n đổi n ữ a đê n â n g cao các c h ỉ t i ê u
h ệ t h ố n g t r u y ề n t in đ ế n n h ữ n g m ứ c tiế p c ậ n lý tư ở n g (ví d ụ , m ã h ó a và đ iề u chê).

1-3. Đ Ọ Đ O TH O N G TIN
T r o n g n h ữ n g m ụ c vê s a u c ủ a p h ầ n lý t h u y ế t thông tin , c h ú n g t a sẽ k h ả o s á t lư ợ n g đ o th
tin m ộ t c á c h c h i t i ế t h ơ n , ỏ đ â y c h ú n g t a chỉ n ê u r a m ộ t k h á i n iệ m b a n đ ầ u v ề lư ợ n g t i n n h ằ n
v ậ t t h ể h ó a t h ô n g tin , v à ch o c h u n g t a m ộ t p h ư ơ n g t i ệ n đ ể có t h ể so s á n h đ ị n h lư ợ n g các th
tin với n h a u . T ừ đ ấ y c ù n g g iú p cho c h ú n g t a đ ễ n h ậ n th ứ c h ơ n n h ữ n g c h ỉ tiê u c h ấ t lư ợ n g đ
t r o n g k h i x â y d ự n g các p h ư ơ n g p h á p xử lý t h ô n g tin (ví d ụ p h é p m ã hóa).

Độ đo (Metric) của một đại lượng là cách ta xác định độ lổn của đại lượng đó. Mỗi độ đo Ị
th o ả m ã n 3 t í n h c h ấ t sa u :

+ Độ đo p h ả i cho phép ta xác định được độ lớn của đại lương. Đại lượng càng lớn, giá tr\
đượ c c ả n g p h ả i lớn.

4* Độ đo phải không ủm .
4* Độ đo phải tuyến tính, tức là giá trị đo được của đại lượng tổng cộng phải bẵng tổng giá
của các đ ạ i l ư ợ n g r i ê n g p h ầ n k h i s ử d ụ n g đ ộ đo n à y đ ể đo c h ủ n g .
Đ e xác đ ị n h độ đo t h ô n g tin , c h ú n g t a n h ậ n t h ấ y r ằ n g th ô n g t i n c à n g có ý n g h ĩ a k h i nó c<
h iê m g ặ p , n ê n độ lớn c ủ a nó p h ả i tỷ lệ n g h ịc h với xác s u ấ t x u ấ t h iệ n c ủ a tin . V ậy độ đo th ô n g

p h ả i là m ộ t h à m tỷ lệ n g h ịc h với xác s u ấ t x u ấ t h iệ n c ủ a tin , h a y nó là h à m f ( ỉ /p(Xj).) chơ tin X
xác s u ấ t x u ấ t h iệ n p ( x t). M ộ t t i n k h ô n g ch o c h ú n g t a lư ợ ng tin n à o k h i c h ú n g t a đ ã b i ế t trước
nó h a y MĨ có xác s u ấ t (lớn n h ấ t) b ằ n g 1.
Đ ê xác đ ịn h d ạ n g c ủ a h à m n à y , c h ú n g t a ta s ử d ụ n g t í n h c h ấ t t h ứ ba, C h ú n g ta g iả s ử rỉ
có h a i t in Xị và Xj là dộc lậ p t h ô n g kê đ ế m ỗi t i n k h ô n g c h ứ a t h ơ n g tin về tin cịn lại. N ế u h a i
có xấc s u ấ t x u â t h iệ n là p(Xị) v à p(Xj), lư ợ n g tin c ủ a mỗi tin sẽ là f ( l lp(Xị))y f ( ì /p(Xj)). G iả s ử
tin n à y c ù n g đ ô n g thờ i x u ấ t h iệ n , t a có t i n (xLJ Xj), lư ợng tin c h u n g c ủ a c h ú n g p h ả i b ằ n g tc
lư ợ n g tin c ủ a t ừ n g tin. K hi h a i tin đ ồ n g th ò i x u ấ t h iện , xác s u ấ t x u ấ t h iệ n đ ồ n g th ờ i c ủ a c h í
là p ( x ừXị), v à t a có:
f ( l / p ( x it XjJ) - f ( l / p ( x j ) + f ( ĩ !p(Xị))
Vì h a i tin dộc lậ p th ơ n g kê n ên:
p ( x tĩ X j ) = p ( X i ) . p ( X ị )

V ấv


NHỮNG KHẢI NIỆM CHUNG

Trong trường hợp này, hàm f phải là hàm dạng loga. Vậy hàm log(l /p ( x j) là d ạn g hàm có iié
chọn làm độ đo thơng tin. Ta cần phải kiểm tra tính khơng âm của hàm này. Vì 0 < p(x) < 1, Iièr
1Ip(Xi) >1 hay ìog(l/p(Xị)) khơng âm.
Thêm nữa khi một tin ln ln xuất hiện thì lượng tin n h ậ n được khi này bằng 0, ta C.Ì1
kiểm tra điều kiện này. Rõ ràng khi
p ( X ị ) - 1 thì log ( 1 / p ( x j ) = 0

Vậy hàm log ( l / p ( x j ) dược chọn làm độ do thông tin hay lượng đo thông tin của một tin cái
nguồn. Lượng do thông tin của một tin X, của nguồn thường được ký hiệu là I(xJ:
I(xJ - log(Hp(Xị))
Trong công thức xác định độ đo thông tin này, cơ sổ* của hàm loga chưa được chí ra. Tùy vào
cơ sơ của hàm log này ta sẽ có các đơn vị đo độ lớn thông tin xác định. Hiện nay người ta thường

dùng các đơn vị đo sau đây:
Bít hay đơn vị nhị p h ân khi cơ số loga là 2;
N a t hay đơn vị tự nhiên khi cơ số loga là e;
Hartley hay đơn vị th ập phân khi cơ sơ" loga là 10.
Ví dụ nguồn A có m ký hiệu đẳng xác suất, một tin do nguồn A hình th à n h là một dãy n kỹ
hiệu a, bất kỳ (aị e A). Chúng ta sẽ xác định lượng tin chứa trong một tin như vậy. Trước tiên
hãy tim lượng tin chứa trong một tin a,. Do đẳng xác s u ấ t nên mỗi tin a, đều có xác s u ấ t là 1 //rĩ,
vậy:
I ( aj = log/n
Lượng tin chứa trong một dãy X gồm n ký hiệu bằng n lần lượng tin của một ký hiệu (vì
chúng đắng xác suất):
/ (x) = n logra
Đơn vị lương tin tùy theo cách chọn cơ số của log, là bit, nat, hay H artley nếu cơ số là 2, e hay
10. Rỏ ràng khi m ký hiệu của nguồn có nh ữ ng xác s u ấ t khác nh au và không độc lập thông kê
với n h au thì lượng tin riêng từng ký hiệu phụ thuộc vào xác suất xu ất hiện p(a,) của nó:
I (aj - lo g—
p(a,)

Và lượng tin chứa trong một dãy ký hiệu của nguồn không những phụ thuộc xác s u ấ t xuất
hiện từng ký hiệu, mà còn phụ thuộc vào xác s u ấ t có điểu kiện. Khái niệm này sẽ được để cập
đến một cách cặn kẽ hơn trong các chương sau.

1-4. MÃ HĨA
Mã hóa là một phép biến đối cấu trúc thông kê của nguồn. Phép biến đối ấy tương đương trên
quan điểm thông tin, và n h ằm mục đích cải tiến các chỉ tiêu kỹ th u ậ t của hệ thống tru yền tin.
Nói một cách khác, lóp tin ở đầu vào th iết bị mã hóa được th ay t h ế bằng một lớp tin khác tương
đương và kinh tế hơn, nh ư tốc độ hình th à n h tin gần vối khả n ăn g cho thông qua của kênh hơn,
tính chơng nhiễu của tin khi truyền qua kênh củng tăng lên. Với khái niệm mã hóa nh ư trên, thì
phép rịi rạc hóa là một ví dụ mã hóa đơn giản, biến đổi tin liên tục ở đ ầu vào th à n h một lớp
tương đương tin rời rạc. Chúng ta luôri lưu ý là tương đương ỏ đây có*nghĩa là phép biến đổi

14


NHỬNG KHÁI NIỆM CHUNG

khơng thay đơi lượng tin. Ví dụ chúng ta có một nguồn tin có bơn tin đảng xác s u ấ t với sơ đc
thông kê nh ư sau:
raì a2 a3 a x
I I I
4 4 4
Lượng tin I(at) chứa trong một tin của A bằng:
l i a ) - I X - log2 114) - 2 bit
Bằng một phép m ã hóa n hư sau:
6161

a<

6ị 62

a-

bA

a

b‘ib'2

chúng ta đổi t h à n h một nguồn tin mới gồm có hai ký hiệu đẳng xác suất:
B=

*1
1
2

b2
1
2

Lượng tin chứa tro ng một tin của B cùng vẫn bàng lượng tin chứa trong tin tương ứng của A,
ví dụ tin Ịị Ịị tương ứng vói tin aj trong A:
Kbibi) = 21og 22 = 2 (bit)
Nói chung khi m ã hóa một tin
một dày ký hiệu:

X

của nguồn A bằng một tin y của nguồn B, chúng ta đã thay

X = (xh x 2,

xj

trong đó Xj = a, b ấ t kỳ, a t e A , i = 1, 2,..., m , j = 1, 2,..., n bằng một dãy ký hiệu:

y = (yi>y2->y’n)
vỏ)ỵỊ = bj b ấ t kỳ 6 , e B, i = 1 , 2 ..., m \ j = 1 , 2,..., n
Sự biên đôi đó p hải đảm bảo một đơì một và lượng tin chứa t r o n g X v ầ y bằng n hau
I(x) = nìogm = I(y) = n l o g m '
Đẳng thức này viết vối giả th iết các ký hiệu trong nguồn A củng như các ký hiệu trong nguồn

B đều đăng xác suất. Thông qua phép mã hóa scí ký hiệu của nguồn bị thay đổi, từ m trỏ thành
m và sô ký hiệu trong một tin mà người ta gọi là từ mã củng được th ay đổi: n trở th à n h n \ Độ
phức tạp của th iế t bị m ã hóa phụ thuộc vào số ký hiệu ra' của nguồn và sô' ký hiệu n ' trong một
từ, nói chính xác hơn độ phức tạp của thiết bị mã hóa tỷ lệ với tích m ' n \ Điểu này chúng ta có
thê hiếu bàng cách mơ tả một thiêt bị mã hóa đơn giản như sau. Để tạo ra nh ữ ng mã hiệu có n '
mã và mỗi mã có th ể có m ' trị b ất kỳ chúng ta, th iế t lập một sơ đồ khơi n hư trong hình 1- 4- 1 .
.ríl), xỉ2>.... xíM) các dãy (tin) có th ể có của nguồn A, tổng số*bằng M = m n
y {ĩ\ y i2) •••> y M) các từ mà tương ứng của nguồn B, tổng số là M ' = m n
hợp phép mã hóa là m ột-m ột.

và bằng M trong trường

:


NHỮNG KHÁI NIỆM CHƯNG

Như vậy để mã hóa thiết bị cần có m ' n ' khơi mạch, mỗi khơi mạch đại biếu một trị của một
mã trong mà hiệu. Vấn đề đ ặt ra ỏ đây là chọn sô trị của một mà m ' (còn gọi là cơ sỏ cua mà, V \
thực chất là số ký hiệu của nguồn mới) phải chọn như th ế nào dể cho thiêt bị đơn giản, nghĩ;: 11
cho tích m 'n ' tôi th iểu với điều kiện lượng tin của từ mã không dôi.
/ (y) = n'\og m ' = ỉ(x)
rn 'n ' = m 'I(x) /logm
Tích m 'n ' sẽ nhỏ n h ấ t khi m ’ = e = 2,7, diều này nói lên lý do trong thực tê người ta thưòng
chọn các loại mả hiệu cơ s ố hai, hoặc ba, n h ư ng thông thường là loại mà hiệu cơ sô hai (m' - 2 ),
gọi là m ã nhị phân. Sau đây ta sẽ tập tru n g trìn h bày loại mà nhị phán.
n cột
x tn

X

,( 2 )

(2 )

n ì hàng

b,

b,

H ì n h 1-4-1: Mơ hình một thiết bị mã hóa đơn giản

1-5. Đ IỀ U C H Ế VÀ G IẢI Đ IỀ U C H Ế
Trong các hệ thông tru y ề n tin liên tục, các tin hình th à n h lừ nguồn tin liên tục dược biên dối
th à n h các đại lượng điện (áp, dịng) và chuyến vào kênh ví dụ như trường họp diện thoại trong
th à n h phô. Khi muôn chuyên các tin ây qua một cự ly lớn, phải cho qua một phép biẽn dôi khác
gọi là điều chế. Điều ch ế có nghĩa là chuyển t hơng tin th à n h một dạng nàng lượng thích hợp với
mơi trường tru y ề n lan, trong đó dạng n ăng lượng được dùng ít bị tơn hao và ít bị biôn dạng do
tác động của nhiễu. Thực chất của phép điều chế là biên đổi một hoặc nhiều thông sô của dạng
năng lượng dà chọn theo quy lu ật đặc trư n g cho thịng tin. Ví dụ sự thơng thoại giữa các th àn h
phơ vói n h au được thực hiện bằng các đường tải ba, trong dó quy luật thơng tin diều khiển sự
biến đổi của một thông số (biên độ, tần sổ) của nàng lượng dòng điện xoay chiếu tẩn số t hấp (vào
khoảng vài chục KMz). Thông tin vối cự ly xa hơn sẽ được thực hiện bằng các đường t hông tin vỏ
tuyến điện, ỏ dày quy lu ậ t thông tin điều khiển một hoặc nhiều thông sô" của n ăn g lượng trường
điện từ cao tần.
Đôi với các hộ thông tru y ề n tin rời rạc, quy luật mã hiệu điều khiển một hoặc nhiều thông sô
của năng lượng được dùn g để m ang tin. Ví dụ trong trường hợp diện báo thông thường, quy luật
mã hiệu điều khiển biên độ dòng một chiều. Và với các dạng năng lượng khác n h ư dịng diện
xoay chiểu hay sóng điện từ, chúng ta sẽ có các hệ thơng tru yền tin bằng điện báo tài ba hoặc

thông tin vô tuyến điện điều chế mà.

16


N H Ữ N G KHÁI N I Ệ M C H U N G

Phép diều chế, ngoài việc chọn năn g lượng thích hợp với sự truyền lan trong mơi trường (sóng
điộn từ ) cịn có nhiệm vụ là tùy theo tính chất của tạp nhiễu trong kênh mà xây cỉựng một hệ
thống tín hiệu có dộ phân biệt với nhau rỏ ràng, đê quá trình giải diếu chế có thơ dễ dàng nhận
dạng được dù có bị tạp nhiễu biến dạng di phần nào.
Các phương pháp điều chế thường dù ng đôi với tin liên tục là điều c h ế biên độ (AMAmplitude Modulation), điều chẽ đơn biên (SSB-Single Side Bande), điều chê tẩn sô (FMFn>(ỊU(Micy Modulation) và điều c h ế góc ph a (PM-Phase Modulation) cao tần; dê tảng tính chơng
nhiều người ta cịn d ù n g đến nh ững phương pháp diều chế kép. Ngồi phép diều chê cao tần có
thơm một điểu chế p h ụ như là điểu chê xung, (điều chế các thơng số của một dãy xung tuần
hồn, cỏ chu kỷ lặp lại thoá mãn điều kiện đả nêu ra trong định lý lấy mầu) như điều chê góc
pha x u n g (PPM-Pulse Phase Modulation), điều c h ế độ rộng xung (PDM- Pulse Duration
Modulation), điều c h ế tần s ố xu n g (PFM-Pulse Frequencv Modulation) và điều chê biên độ xung
(PAM-Pulse Amplitude Modulation). Một phương pháp điều chế phụ được thường dùng là điều
cho m ã x u n g (PCM-Pulse Code Modulation) và điều ch ếd elta (DM-Delta Modulation). Khi đó đã
biên tin liên tục th à n h tin rời rạc, và sự điều ch ế cao t ầ n hoàn toàn giống nh ư trường hợp các hệ
thông tru yề n tin rời rạc.
N hừ ng năm gần đây, do sự phát triển của lý thuyết thông tin và lý thuy ết tín hiệu, người ta
băt đẩu dù ng các tín hiệu dải rộng (tín hiệu giả nhiễu, có phơ và hàm tương q u a n giông tạp âm
trắng). Một phương ph áp điểu chế được nghiên cứu và áp dụng trong kỹ t h u ậ t thông tin một
cách có hiệu quả là phương pháp điêu chế giả nhiễu.
Đơì vói tin rịi rạc, các phương pháp điều c h ế cao tần củng giông như trường hợp t.hcng tin
liên tục, như n g làm việc gián đoạn theo thòi gian, gọi là m aníp hay khóa dịch. Cụ th ể có các
phương pháp m a n íp biên độ (ASK-Amplitude Shift Kev), m aníp p h a (PSK-Phase Shiít Key) và
m aníp tần s ố (FSK-Frequency Shift Key). Với PSK và FSK cịn có phương pháp m a n íp pha
tương đôi (DPSK-Diíĩerential PSK), hoặc là điều chế pha khác với quy luật maníp (hăng sơ

trong độ rộng một xung), ví dụ lu ật tuyến tính hay bình phương trong độ rộng một xung. Điều
chê nhiễu củng điíỢe dù ng như một điêu chê phụ đối với tin ròi rạc đế tăn g cường tính chơng
nhiều của tín hiệu.
Giải điều chế là phép biên đổi ngược của phép điều chế, điều khác là tín hiệu đ ầ u vào của
thiết bị giải điều chê khơng phải chỉ là tín hiệu đầu ra của thiết bị điều chế, mà là »T»ột hỗn hợp
tín hiệu điều chê và t ạ p nhiễu. Nhiệm vụ của thiết bị giải diều chế là từ trong hỗn hợp đó lọc ra
được thơng tin dưới dạng một hàm điện áp liên tục hoặc là một dãy xung điện rời rạc giống như
thông tin ỏ đầu vào thiết bị điều chế, với sai số trong phạm vi cho phép.
Về phương p h á p giải điểu chế, nói cách khác phép lọc tin, tùy theo hỗn hợp tín hiệu nhiễu và
các chi tiêu tỏi ưu về sai sơ' (dộ chính xác) phải đạt được mà chúng ta có các phương pháp lọc tin
thơng thường n h ư tách sóng biên độ, tách sóng t ầ n số, tách sóng pha, tách sóng đồng bộ, lọc tin
(xác định) liên kết (coherent), lọc tin bằng phương pháp tương quan, lọc tôi ưu...

3cơ so L TTT /1.A

17


XÁC SUẤT VÀ QUÁ T R Ì N H NGẤU N HI Ê N

................................... .....— ........-..............................%

CHƯƠNG 2

XÁC SUẤT VÀ QUÁ TRÌNH NGAU

n h iê n

Lý th uy ết xác s u ấ t và quá trìn h ngẫu nhiên là cơng cụ tốn học chủ u đê nghiên cứu các h
thơng tru y ề n tin. Nó được dùng trong việc mơ hình hóa thơng kơ các nguồn tin, lượng tử hó

nguồn và mơ tả các q trình truy ền tin, n h ậ n tin. Trong chương này chúng ta chỉ trìn h bày mc
số kiến thức cơ bản về lý thuyết xác s u ấ t và các quá trìn h ngẫu nhiên để r ú t ra n h ữ ng kêt qu
cần thiết cho việc ứng dụng vào nghiên cứu các hệ thông truyền tin.

2-1. XÁC SUẤT
2-1-1. Định nghĩa vể xác suất
Chúng ta bắt đầu bằng một phép thử gieo xúc xắc. Tập các giá trị có th ể x u ất hiện khi gic
xúc xác sẽ là:

s = {1,2, 3, 4, 5, 6}

(2- 1- 1)

ở đây mỗi giá trị x u ất hiện chính là số lượng điểm chấm có trên m ật ngửa của con xúc xắc.
Khi ta gieo một hoặc một sô^ con súc xác thì một tập con các giá trị của s sẽ x u ấ t hiện. Chún
ta sẽ gọi việc x u ât hiện này là một sự kiện, nói cách khác sự kiện là một tập con b ấ t kỳ của s. ^
dụ, ta định nghĩa sự kiện A là việc xu ất hiện hai giá trị 2 và 4 như sau:
A = {2,4}

(2-1-2)

Sự kiện bù của sự kiện A, ký hiệu là A , là tập con gồm các p h ần tử của s n h ư n g khơng thiu
A. Ví dụ vối A ở (2-1-2):
à = {1, 3, 5,

6}

(2-1-3)

Hai sự kiện được gọi là loại trừ nha u nếu chủng không chửa một giá trị chung nào.Ví dụ

sự kiện A và B dưới dây là loại trừ nhau:

hi

A = {1 , 3}
B = {2, 4,

6}

(2-1-4)

Hai sự kiện bù n h au (A và A ) là loại trừ nhau.
Hợp (Union) của hai sự kiện là sự kiện chứa tấ t cả các giá trị có trong cả hai sự kiện. Phí
hợp được ký hiệu “ u
Ví dụ nếu:
A = {1,2]
B = {1, 3t 6 }
thì sự kiện hợp là:
C = A u B = { l,2 , 3, 6 }
(2-1-5)
Tất nhiên, chủng ta c ó A u A = s .
Giao (Intersection) của hai sự kiện là sự kiện chứa các giá trị chung trong hai sự kiện. Phc
giao hai sự kiện được ký hiệu là “rY\ Ví dụ nếu:

18

3 c o s ở L T T T /‘


XÁC SUẤT VẢ QUÁ T R Ì N H NGẢƯ N H IÊ N

A = {2, 4, 5}
5 = 11,2,4,6}
t ì sự kiện giao là:
C = A n B = {2, 4}

(2-1-6)

Đương nhiên giao của hai sự kiện loại trừ nhau c \ o ta sự kiện rỗng, ký hiệu là 0 .
V dụ: A n / í = 0 .
Liỏn quan đôn sự kiện A thuộc tập s chúng ta định nghĩa xác s u ấ t xu ất hiện của sự kiện A,
k' hiộu là P(A).
Xác s u ấ t x uất hiện P(A) của sự kiện A dược định nghĩa là khả năng xu ất hiện sự kiện A (khả
n.ng xuất hiện các giá trị thuộc tập con A) khi thực hiện một phép th ử có liên quan đến sự kiện
i4(hav khi thực hiện phép thử có tập s các giá trị có thê xuất hiện mà các giá trị thuộc A là tập
cRõ ràng với định nghĩa này chúng ta ln có:
0 < P(A) < 1
Và P(S) = 1 là trường hợp của sự kiện tất nhiên hay sự kiện chứa tấ t cả các giá trị có th ế có.
Nhi chúng ta có một t,ập các sự kiện loại trừ n h au A„ i = 1, 2,... thuộc tập s , tức là:
A, n B ] - 0 , i * j = 1 ,
th xác s u ấ t của sự kiện hợp của chúng bằng tổng các xác su ất xu ất hiện của các sự kiện th à n h
plần:
P (U A J= ỵ

P(AJ

(2-1-7)

Ví dụ với phép thử gieo súc sắc ở trê n và ta có các sự kiện:

A = {2, 4}
5 = {1.3, 6 }
và giá th iế t xúc xắc là đồng đều, thì mỗi giá trị có khả năng x uất hiện kh i gieo xúc xác là 1/6
và
P(A) = 2/6
P(B) =1/2
P ( A u B ) = 2/6 + 1/2 = 5/6
S ự k i ệ n đ ổ n g t h ờ i v à x á c s u ấ t d ồ n g th ờ i C húng ta đã xem xét trường hợp một phép thử
gieo một con xúc xắc đơn lẻ, bây giờ chúng ta sẽ xét trưòng hợp hai phép thử dược thực hiện
cỉồĩg thịi. Ví dụ: chủng ta gieo liên tiếp hay gieo đồng thời hai con xúc xắc. Lúc này chúng ta sẽ
có 16 cặp giá trị ( 1 , 1), ( 1 , 2),..., ( 1 , 6 ), (2, 1),.., (2, 6 ),..., (6 , 6 ). Nếu cả hai con xúc xắc là đồng đều,
xá( suât xuàt hiện mỗi cặp giá trị sè là 1/36. Bây giờ chúng ta có thê định nghĩa s ự kiện đồng
thờ liên quan với nó. Sự kiện đổng thời là sự kiện mà hai sự kiện riêng đồng thịi x u ất hiện. Một
ví dụ vổ một sự kiện dồng thời là: con súc sắc thứ n h ấ t xuất hiện m ặt chẵn và con th ứ hai xuất
hiội giá trị 3.
rống quát, nếu một phép th ử (thực hiện một thực nghiệm) làm xuất hiện các sự kiện Alt i = 1,
2 ,.., n và phép th ử th ứ hai làm xu ất hiện các sự kiện J3lf j = 1 , 2 ,..., m thì phép thử đổng thời sẽ
làn xuất hiện các sự kiện đồng thòi
(A„ B )

i - 1,.., n, j = 1,.., m
19


XÁC SUẤT VẢ QUÁ T R Ì N H NGÂƯ NHI ÊN

ư n g vói mồi sự kiện đồng thời này là một khả n ă n g x u ấ t hiện của nó m à ta gọi là XGC s u i

xuất hiện đổng thời P(A, , Bj), và chủng ta có :
0

< P ( A t , B t ) < 1 , i = 1 , 2..., n, j = 1 , 2,.... ra

Nêu các sự kiện Bj là loại trừ n h au thì chúng ta có :
ỵ P ( A , , B j ) = P(Ai )

(2-1-8)

j=1
Tương tự, nếu các sự kiện A l là loại trừ n h au thì :
ỵ P ( A l ,BJ ) = P {B j)

(2-1-9)

Ỉ= 1

Nếu tấ t cả các sự kiện Aị và B loại trừ n h au thì :
ỵ ỵ p ( A l, B J) = \
i=l j=l

(2-1-10)

Trưòng hợp nhiều phép th ứ đồng thời có th ể suy ra tương tự từ hai phép th ử đồng thòi.
X ác s u ấ t
thực hiện và
sự kiện B đã
này được gọi
định nghía:

có đ i ể u k i ệ n . Bây giờ chúng ta giả th iết ràn g một thực nghiệm đồng thời đã đưc

sự kiện đồng thời x uất hiện với xác s u ấ t P(A, B). Khi đang thực nghiệm , giả thié
x u ất hiện và chúng ta muôn xác định xác suâ't xuất hiện của sự kiện A.
Xácsuễ
là xác suất có điều kiện của sự kiện A với điều kiện sự kiện B đã x uất hiện và t
P ( A \ B ) = P(A, B)IP (B)

(2 - 1 - 1 1 )

Tương tự xác s u ấ t có điều kiện của sự kiện B với điểu kiện A đả x u ất hiện là:
P ( B \A ) = P(A, B)IP(A)

(2-1-12)

với điều kiện P(A) > 0 hoặc P(B) > 0. Kết hợp (2-1-11) và (2-1-12) ta có :
P(A, B) = P(A).P(B \A) = P(B).P(A IB)

(2-1-13)

Bây giờ, nếu thực hiện một phép thử đơn lẻ mà trong đó hai sự kiện A và B cùng xuất hiệ
thì xác su ấ t đồng thịi được quan niệm là xác s u ấ t x u ất hiện của A n B, P(A,B) = P(Ar\B). Tron
trường hợp này. nếu A và B loại trừ n h a u A n B = 0 , thì P(A, Bì = 0, dẫn đơn P ( A /B ) = 0. Tươn
tự nếu A là tập con của B thì:
P(A IB) = P(A) /P(B)
W ì A r \ B = A nếu B là tập con của A , A n S = B, thì
P ( A \B ) = P ( B )/P (B )= 1
Một q uan hệ thường d ùn g của xác s u ấ t có điều kiện là cơng thức Bayes. Cơng thức này
rằng, nếu các sự kiện A t , i = 1,
n là loại trừ n hau

ỦA =s

Ỉ=1
và B là một sự kiện x u ấ t hiện đồng thời vối các sự kiện A ì và P(B) > 0 thì:
20

n


XÁC SUẤT VÀ QUÁ T R Ì N H NGẢƯ NHI ÊN

P{AI \B ) = P

( A

, . B

) I P { B ) =
ỵ P ( B \ A J )P(Aj)
j =ỉ

- ^

- (2-1-14)

Trong hệ thơng truy ền tín hiệu sô, các sự kiện A, sẽ được coi là các tin có thế được phát, B
được COI là tin n h ậ n được khi phía nguồn p h át tin A, và có nhiễu tác động, xác s u ấ t P(A, IB) được
COI là xác su ất để nguồn tin ph át tin A t khi phía th u đã n hận được B. Trong công thức Bayes,
PT í n h đ ộ c l ậ p t h ô n g k ê c ủ a c á c s ự k i ệ n . Tính độc lập thơng kê của các sự kiện là một khái
niệm quan trọn g của lý th u y êt xác suất. Để giải thích khái niệm nàv, chúng ta xem xét hai sự
kiện A và B và xác s u ấ t có điều kiện của chúng là P(A) ỉ B) hoặc P(B IA). Giả th iết ràn g việc xuất

hiện của sự kiện A không phụ thuộc vào sự x u ất hiện sự kiện B và ngược lại, chúng ta có :
P(A IB) = P(A)
P(B ỉA) = P(B)

(2-1-15)

P(AB) = P(A).P(B)

(2-1-16)

và chúng ta có:

Lúc này xác s u ấ t đồng thời là tích trực tiếp của hai xác s u ấ t th à n h phần. Trong lý thuyết xác
suất người ta nói hai sự kiện là độc lập thống kê khi chúng thỏa m ãn quan hệ (2-1-16).
Định nghĩa về tín h độc lập này cũng có th ể mỏ rộng cho nhiều sự kiện. Ví dụ A h A 2ì A 3 được
gọi là độc lập th ơ n g kê nếu:
P(Ah A 2>A j ) = PíAiỉ.PỈA.PíAa)

(2-1-17)

2-1-2. Biến ngẫu nhiên, hàm phân bỏ xác suất và hàm mật độ phân bô xác suất
Gia th iê t rà n g một thực nghiệm có tập giá trị s và s là một phần tử của nó, s € s , chúng ta sẽ
định nghĩa một h àm X(s) có miền xác định là s và miền giá trị của nó là một khoảng trên trục
thực. Hàm X(s) được gọi là một biến ngẫu nhiên. Ví dụ nếu chúng ta tun g một dồng xu có hai
m ặt sấp (H) và ngửa (T). tập s = {H, T}. Ta định nghĩa một hàm:

í 1 (s = H ) ‘
X(s) = ị

1-1

(S = T)

(2-1-18)

Đây chính là m ột biên sơ" ngẫu nhiên có th ể lấy giá trị 1 hoặc -1 tù y theo kết quả tung đồng
tiền. Biến ngẫu n h iên này dược gọi là biến ngẫu nhiên rời rạc.
Trong nhiều trường hợp vật lý, các thực nghiệm sê cho một biến có giá trị liên tục như trong
trường hợp đo diện áp nhiễu của bộ khuếch đại điện tử chẳng hạn. Lúc này tập giá trị s là hên
tuc và ta có thể đ ịn h nghĩa hàm X(s) = s. Hàm X(s) này là một biến ngẫu nhiên liên tục. Đê đơn
giản cho cách ghi hiến ngẫu nhiên, từ nay X(s) sẽ được viêt là X. Giả th iết chúng ta đã có biến
ngẫu nhiên A\ và sự kiện để cho biến ngẫu nhiên X nhỏ hơn một giá trị X, IX là một giá trị thự c b ất ký. Sự kiện này sè có một xác s u ấ t xuất hiện n h ấ t định và chúng ta ký
hiệu xác suất của sự kiện này là F(x).
F(x) = P( X
- X < * < 00

(2-1-19)

Hàm F(x) được gọi là h à m phân b ố xác suất của biến ngẫu nhiên X. Vì F(x) là xác su ất xuất
h ẹn. nên giá trị của nó cùng nam trong dải [0, 1]0 < F(xJ < 1, ỏ đây F(~oc) = 0 và F(x) = 1 . Hàm
này là một hàm không giám.
21


XÁC S U Ấ T VÀ QUÁ T R Ì N H N G Ẩ ư

n h iên

F(x)

F(x)

(b)

(a)

H ìn h 2-1-1: Hàm p h â n bố xác s u ấ t khi tu n g đồng tiền hai m ặ t và con xúc sắc.
Ví dụ biến ngẫu nhiên rời rạc tương ứng với sự kiện tu n g đồng tiền có hai giá trị 1 và -1 nhi
đà định n gh ía có h àm p h ân bơ xác s u ấ t như trên hình 2- 1-1 (a) và biến ngâu nhiên ròi rạc
X(s) = s khi tu n g một con xúc sắc có h àm p hân bô xác s u â t như trên hình 2-1-1 (b).
F{x

F{x)

H ìn h 2-1-2

H ình 2-1-3

Ví dụ về hàm p h â n bô" xác su ất
cúa biến ngẫu nhiên liên tục

Ví dụ vê hàm p hân bô' xác s u ấ t của biến ngầu nhiên
hỗn hợp liên tục với gián đoạn

Hàm p h ả n bô" xác s u ấ t của biến ngồu nhiên liên tục là một hàm trơn, không giảm của X nhi
trên h ìn h 2-1 -2 . Trong thực tế, chúng ta*hay gặp các biến ngẫu nhiên liên tục trong từnị
khoảng. Hàm p h ân bô' xác s u ấ t của nó trơn, khơng giảm trong từng khoảng trê n trục thực và C(
các bước n h ả y tại các giá trị ròi rạc của X như trê n hình 2-1-3.

Đạo h à m p(x) của h àm p h ân bô' xác s u ấ t được gọi là hàm m ật độ p h â n b ố xác suất của biêr
ngẫu n h iên X. Vậy chúng ta sẽ có
p(x) = dF(x) /dx,

00 < X < X

( 2-

1- 2 0 )

< u
( 2-

1- 2 1 )

và
X

F(x) = ịp(UyXdll,

X

oO■

Vì F(x) là h àm khơng giảm nên p(x) > 0. Trong trường hợp biến ngẫu nhiên rời rạc hay là hỗr
hợp cả h ai loại thì h àm p h ân bô' xác s u ấ t có bước nhảy nên p hần rời rạc của h à m m ật độ p hân bi
xác s u ấ t có thể tín h theo cơng thức:

22

XÁC S UẤT VÀ QUÁ T R Ì N H N G Ẫ ư

p(x) = £

P ( X = Xị)S(ỵ - x t )

n h iên

(2-1-22)

1= 0

ơ dây ồ(x) là h àm bước n h ả y đơn vị và Xị, i = 1, 2,

n là các giá trị rời rạc của b iến ngẫu nhiên.

Trong trường hợp phải xác định xác s u ấ t của sự kiện "giá trị của biến n g ẫu nhiên X nằm
trong khoáng (xh X2)'', để xác định được xác s u ấ t của sự kiện này, ta thấy ràn g sự kiện IX là hợp của hai sự kiện loại trừ n hau là IX P ( X F( x J = F(xj) + P(xj < X < x ỷ
hay
x2

P(xj < X <x>2) = F(X2) -F(Xị) = J p(x)d x

(2-1-23)

xỉ
Nói cách khác, xác suât của sự kiện lxj < X < x ^ là diện tích vùng dưới của h à m m ật độ xác
suát tron g khoarm V| < X •

X. , .

B iên n g ẩ u n h iê n n h iề u c h iề u , h à m p h â n bô x á c s u ấ t và h à m m ậ t đ ộ p h â n b ố xác
s u ấ t n h i ê u c h i ề u . Khi chúng ta thực hiện đồng thòi nhiều phép thử hoặc thực hiện một phép
thử phức tạp thì chú ng ta sẽ gặp một biến ngẫu nhiên nhiều chiều. Biến này đồng thòi nhận
một bộ giá trị ngẫu nhiên, m à mỗi giá trị có thể coi là giá trị một biến ngẫu n h iên th à n h phần.
Hàm p h ân bô xác s u â t và h àm m ật độ p h ân bô" xác s u ấ t của biến này gọi là h à m p h â n bố xác
suất và m ậ t độ p h â n b ố xác suấ t nhiều chiều.
Giả sử biến n gẫu nhiên X gồm hai biến ngẫu n h iên th à n h p h ần X Ịf X 2. H àm p h â n bố xác su ất
hai chiều sẽ là :
Xị

x2

F(xh X2) = P(Xj ~C0 —00

(2-1-24)

Hàm m ậ t độ p h â n bố xác s u ấ t hai chiều là:
õ2

p ( x Xìx 2 ) = ~ - - r ~ ~ F { x Xyx 2 )

dxxdx2

(2-1-25)

Khi lấy tích p h ân hàm m ật độ phân b() xác s u ấ t đồng thời theo một biến sô", chúng ta thu
được hàm m ật độ phân bôT xác
su ất của biến kia, có nghĩa là:
00
Ị p ( x l , x 2)dxl = p ( x 2)
-0 0

00
j p (x ĩ , x2)dx2 = p(x,)

(2-1-26)

-0 0

Các hàm m ật dộ phân bô' xác s u ấ t p(xj) và p( x 2) th u được từ hàm m ật độ p h â n bô' đồng thời
gọ1 là các hàm m ật độ p h ân bcí xác s u ấ t biên. Hơn nữa, chúng ta có:
J ị p (x], x 2)dxìd x 2 - F(oo, 00) = 1

(2-1-27)

23


XÁC SUẤT VÀ QUÁ T R Ì N H NGẨ ư

n h iên

Có th ế tống q u át hóa các khái niệm và định nghía trê n cho các biên n gẫu nhiên nhiều clìiểi

một cách tương tự. Các biến ngẫu nhiên
i = 1 , 2 ..., n có hàm ph ân bô xác xuất được địnl
nghĩa như sau:
F(xJt x2..., x j = P(Xj
vl '2

xn

- co - co

-00

, //2

x„ < x j =

)du]dtíj ...dun
(2-1-28)

với p ( x h

XJ là hàm m ặt độ phân bô' xác s u ấ t đồng thời. C húng ta cũng có:
p ( x Jf

c>'
x j = — ^ — —- F ( . V | , , v 2 . . . , . v/ ; )
cdcịcx 2... OXn

(2-1-29)

Tương tự, có th ể lấy tích p h ân hàm m ật độ phân bố xác suất nhiều chiều theo một vài biên:
00

co

ị ị p ( x x,x2.....xn)dx2ckJ = p (xt,x4..... x„)

(2-1-30)

—co —co

Có th ể diễn giải theo cách khác là F(Xj, oct F(xj, - 00, - 00,

và

X.J,

x j = F(Xj, X j , x n)
xj =0

H à m p h â n bô* x á c s u ấ t có đ i ề u k i ệ n Xét hai biến ngẫu nhiên Xj, X 2 có hàm m ật độ phâ:
bô' xác s u ấ t đồng thòi p ( x h x2). Giả sử chúng ta m uốn xác định xác s u ấ t để biến ngẫu nhiênXj <:
với điều kiện:
x 2 - Ax 2 < X trong, đó Ax-, dương. Điểu đó có n g h ía là c h ủ n g ta m uôn xác đ ịn h xác su ất c ủ a sự kiộ:
(Xj < Xj \x2 - ầx2 < X 2 < x j . Sử dụng n h ữ ng quan hệ dà thiết lập ở trê n cho xác suất có điều kiệ
của một sự kiện, xác s u ấ t của sự kiện (Xj đồng thòi (Xj < Xj, x2 < X 2 < X.J chia cho xác su ất của sự kiện (x2 - Ax2 < X 2

V|

XI

Ị Ị p(ỉíị ,ti-) )cỉdii
P(X,
_ F ( x I, X2) - F(Xị, -V2 - ‘Vv2)

“ CO,v?~Av)

■7

~

~ F( x 2 ) - F( x 2 - ầ x 2 )

Jp(u2)dlh
.í 7 -A vọ

(2-1-31)
Giả sử các hàm m ật độ phân bố xác s u ấ t p(x2 chúng ta có thể chia cả tứ số và m ẫu sô của (2-1-31) cho Ax2 và lấy giới hạn kl
Ax 2~> 0 và n h ận được:
V| *2

cì

P(X} < X, I X 2 = x2) = F(xj I x J = Ẽ g l 2 Ĩ 2 l ỉ * L = 7

âF(. x2 ) / â c 2

í Ị p (uI *;/2)dii\dih ] ỉ ck2

____ __

—co-oo

v>

ốỊ

J/?(//2)í/w->]/

—
cc

j /;(;/, ,.Y, )^ -------- ------p(^ 2 )

24

(2-1-32)


XAC SUAT VA QUA T R I N H NGAƯ NHI EN

(ló chính là hàm phân bơ xác suất của biên ngẫu nhiên Xj trong diổu kiện biến X , đã xác định.
Ta thày rằng Fị-X'\x2) - 0 và F(x)\x.J = 1 . Lây dạo hàm (2-1-32) theo Ằ‘j nhận được hàm mật độ
p h â n bô xác s u â t t ư ơ n g ứ n g p( Xj \ x j n h ư s au:

pịx, , .Y->)
p(x, Ix.j - 1 1 p( v2 )

(2-1 -33)

( 'h ú n g ta có thê biếu diễn hàm m ật độ phân bô xác su ất p ( x Jf X.,) theo các hàm m ật độ phân
bố Xác s 11ất có d iều k iệ n :
p ( x „ x 2) = p ( x j I x 2) p ( x 2) = p ( x 2 1X j ) p ( X j )

(2-1 - 3 4 )

Có th ê mở rộng các quan hệ trên cho các biến ngẫu nhiên nhiều chiều một cách tương tự.
Hàm m ật dộ p h ân bô xác su ất dồng thời cúa các biến ngẫu nhiên X,, i = 1 , 2,..., n n h ư sau:
p(Xj,

x ầl) = p (xJf

xk Ixk.Ị,

X,J p(xk,j,

xj

(2-1-35)

ỉ làm phân bố xác su ất có diều kiện đồng thịi tương ứng với hàm m ật dộ p h ân hố xác suất
p (xìf
xk \xh¥ì,
x„) là:

'I xk
ị ...
F(xh

x k \xM9

xn) =

+l ..... xn )chỉị...Juk

^ ----------— --------- ---------------------p ( * k +ị

(2-1-36).

x n)

C á c b i ê n n g ẫ u n h i ê n đ ộ c lậ p t h ô n g k ê Chúng ta đâ định nghĩa các sự kiện độc lập thống
kẽ. Bây giò chúng ta sỗ định nghĩa các biến n g ẫu nhiên dộc lập thông kê. Nếu các biến ngẫu
nhiên là kết quả của phép thử chung mà sự xuất hiện một giá trị của biến này không p hụ thuộc
vào sự x u ất hiện giá trị nào của tấ t cả các biến ng ẫu nhiên khác thì chúng ta nói là ch ún g là các
biến ngẫu nhiên độc lập thống kê với n h a u . Vậy nếu các biến
x„ là độc lập thông kê t h ì :
F(xlf x2>..., xn) = F( x 1)F( x2)...F( x J

(2-1-37)

p(xj,

(2-1-38)

và
x j = p ( x I)p(x2).. .p (xj

2-1-3. Hàm của biên ngẫu nhiên
Một vấn đê thường gặp trong các ứng dụng thực tê là cho một biến ngẫu nhiên X được đặc
trưng bởi hàm m ặt độ phân bô xác suất p(x), cần xác định hàm m ật độ phân bô củ a biến ngẫu

nhiỏn Y = g(X) với g(X) là một hàm của X. Nếu án h xạ từ X tới Y là một-một thì việc xác định
p y ) là khá đơn gián, nhưng khi ánh xạ dó khơng phải là một-một (ví dụ Y = X 2) thì việc tính p(y)
sè phức tạ p hơn.
Vi d ụ 2-1-1
Tính hàm m ật độ phân b() xác su ất của biến ngẫu nhiên Y với Y được định nghĩa là
Y = aX + b

(2-1-38)

vci a, b là hai h ằ n g sô. Giả thiết a > 0 (a < 0 thì cách làm tương tự) và ánh xạ từ X tới Y dược
biàvi diên trên hình 2-1-4 (a) là tuyến tính và dơn điệu. Gọi F / x ) và Fy(y) là các hàm phân bố
xác suất của hai biến X, Y. Ta có:
Fự y) = P ( Y 4 c ơ íở L T T Ĩ/1 .A

25


XÁC S U Ấ T VẢ QUẢ T R Ì N H NGAU

-

n h iên

(v' h)/a

( v - h\

J/J.\ (-v)tZv

- Fxịj~ - J

(2-1-40)

—co

Lííy đ«ạo hàm (2-1-40) t h e o y ta được:
Py(y) =

y- b

(2-1-41)

,Px \ a
Cì

N hư vậy (2-1-40) và (2-1-41) cho ta môi quan hệ giữa hàm phân b() xác s u ấ t và m ật độ phâ
bô' xác suâ't củ a biến n g ẫ u n h iên y theo các hàm tương ứng của biến ng ẫu nh iên X. T rên hìn
2-1-4 (6 ) và (c) biểu diễn các hàm m ật độ p hân bô" xác s u ấ t của hai biến ngẫu nhiên X và Y.
/>v(.v)

/y.v)

H ìn h 2-1-4: Biến đối tuy ến tính của biến ngẫu nhiên X và ví dụ về hàm m ật độ p h ân bố xác
s u ấ t tương ứng của X và Y
Ví d ụ 2-1-2
Xét biến n g ẫu n h iên

y được định

nghĩa như sau:

Y = aX 3 4- 6 , a > 0

(2-1-42)

C ủng giơng n h ư ví dụ 2-1-1, ánh xạ từ biến ngẫu nhiên
Từ đó:
•

(v-bV

X tới biến

.'3"

Fựy) = P ( Y
= FX

V a/

ngẫu nhiên

7 v-bỴ y
\ a J

Y là

một-m<

(2-1-43)

Lấy đạo h àm của (2-1-43) theo y được mơì quan hệ giừa các hàm m ật độ p h ân bố xác suất:

Pỵ(y) =

26

3aị( V - b) / a]

Y ĩP x

\Ịy-b)
V a

J

13'
(2-1-44)

4 cd sờ LTTT