Giáo trình Lý thuyết tín hiệu và truyền tin ppsx

Giáo trình Lý thuyết tín hiệu và truyền tin
Giáo trình
Lý thuyết tín hiệu và
truyền tin
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
3
Giáo trình Lý thuyết tín hiệu và truyền tin
Lời nói đầu
Ngay nay, các lĩnh vực khoa học máy tính và truyền thông đã
thâm nhập lẫn nhau và gắn kết dẫn đến làm thay đổi rất nhiều lĩnh vực
công nghệ và sản xuất. Chính điều này đã làm cho rất nhiều lĩnh vực
khoa học công nghệ có những điều kiện cơ sở để phát triển mạnh mẽ.
Trong hoàn cảnh đó, việc nghiên cứu tìm hiểu về lý thuyết tín hiệu và
truyền tin ngày càng trở nên quan trọng và cần được đặt trong một
tình hình mới.
Với yêu cầu cần có một giáo trình cho sinh viên ngành Điện tử -
Viễn thông, giáo trình Lý thuyết tín hiệu và truyền tin đã được biên
soạn. Trong quá trình biên soạn không tránh khỏi thiếu sót mong đọc
giả góp ý để giáo trình ngày càng hoàn thiện hơn.
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
4
Giáo trình Lý thuyết tín hiệu và truyền tin
Chương 1
Các khái niệm cơ bản của lý thuyết tín hiệu và truyền tin
1.1. Vị trí, vai trò và lịch sử phát triển
1.1.1. Vị trí, vai trò của lý thuyết thông tin
Trong cuộc sống con người luôn có nhu cầu trao đổi, giao tiếp
với nhau, cái mà mỗi người trao đổi với nhau gọi là thông tin. Nhờ sự
phát triển của khoa học công nghệ, con người cũng có thể nhận thông
tin từ đài, báo, mạng internet, truyền hình v.v. Hay đơn giản như
các bạn sinh viên nhận thông tin từ giảng viên và phức tạp hơn nữa là

sự liên lạc, thông tin giữa các mạng máy tính với nhau. Điều đó có
nghĩa là thông tin là cái gì đó được truyền từ đối tượng này tới đối
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
5
Giáo trình Lý thuyết tín hiệu và truyền tin
tượng khác để chuyển, thông báo một điều gì đó. Thông tin sẽ chỉ có ý
nghĩa khi điều gì đó mà bên nhận chưa biết.
Như những ví dụ trên trình bày, thông tin có thể được chứa trong
nhiều dạng như hình ảnh, âm thanh, văn bản. Những dạng này là vỏ
bọc vật chất của thông tin. Vở bọc có thể hiểu là phần xác, thông tin là
phần hồn.
Một trong những phương tiện để diễn đạt thông tin là ngôn ngữ,
thông tin chỉ có thể được truyền đạt, hiểu nếu cả hai bên truyền và
nhận hiểu được ngữ nghĩa của nhau.
Thông tin có thể được truyền hoặc lưu trữ. Môi trường thực hiện
việc đó được gọi là môi trường chứa tin hay kênh tin.
Các đối tượng sống luôn có nhu cầu tìm hiểu về thế giới xung
quang để thích nghi tồn tại và phát triển. Thông tin trở thành một nhu
cầu cơ bản, một điều kiện cần cho sự tồn tại và phát triển. Ngày nay,
khi khoa học phát triển mạnh mẽ thì thông tin ngày càng trở nên quan
trọng đối với mỗi con người. Mỗi hành động của con người đều xuất
phát từ những suy nghĩ của người đó. Mỗi suy nghĩ đó lại chịu sự ảnh
hưởng của những thông tin mà người đó có được, do vậy hành động
của con người chịu sự ảnh hưởng của thông tin.
Đứng về khía cạnh khoa học lý thuyết tín hiệu và truyền tin
nghiên cứu nhằm tạo ra một điều kiện tốt cho việc xử lý phân tích tín
hiệu và truyền tin nhanh chóng, an toàn và lưu trữ hiệu quả. Một cách
tổng quát lý thuyết tín hiệu và truyền tin nghiên cứu các vấn đề về xử
lý thông tin.
Một số lĩnh vực nghiên cứu của môn học:

- Phân tích, tổng hợp tín hiệu
- Mã hoá chống nhiễu
- Nén dữ liệu
- Mật mã hoá
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
6
Giáo trình Lý thuyết tín hiệu và truyền tin
Lý thuyết thông tin đã có nhiều ứng dụng trong cuộc sống và
khoa học kỹ thuật. Sự bùng nổ về thông tin đang làm thay đổi diện
mạo cuộc sống của con người, tạo ra sự phát triển mạnh mẽ của các
phương thức truyền thông, truyền tin và lưu trữ thông tin. Cũng chính
nhờ thông tin mà con người được cung cấp những cơ sở lý thuyết và
cái nhìn triết học sâu sắc hơn về các vấn đề con người gặp phải hôm
nay và trong tương lai. Lý thuyết thông tin đã được áp dụng trong hầu
hết các lĩnh vực công nghệ như truyền thông, nén, bảo mật, đặc biệt đã
được áp dụng vào trong lĩnh vực giáo dục ở nhiều khía cạnh như đào
tạo, nghiên cứu và phát triển công nghệ.
Vậy lý thuyết tín hiệu và thông tin đã có lịch sử hình thành phát
triển như thế nào?
1.1.2. Lịch sử hình thành và phát triển
Người đặt viên gạch đầu tiên để xây dựng lý thuyết thông tin là
Hartley R.V.L. Năm 1928, ông đã đưa ra số đo lượng thông tin là một
khái niệm trung tâm của lý thuyết thông tin. Dựa vào khái niệm này,
ta có thể so sánh định lượng các hệ truyền tin với nhau. Năm 1933,
V.A Kachenhicov chứng minh một loạt những luận điểm quan trọng
của lý thuyết thông tin trong bài báo “Về khả năng thông qua của
không trung và dây dẫn trong hệ thống liên lạc điện”.
Năm 1935, D.V Ageev đưa ra công trình “Lý thuyết tách tuyến
tính”, trong đó ông phát biểu những nguyên tắc cơ bản về lý thuyết
tách các tín hiệu.

Năm 1946, V.A Kachenhicov thông báo công trình “Lý thuyết
thế chống nhiễu’ đánh dấu một bước phát triển rất quan trọng của lý
thuyết thông tin.
Trong hai năm 1948 – 1949, Shanon C.E công bố một loạt các
công trình vĩ đại, đưa sự phát triển của lý thuyết thông tin lên một
bước tiến mới chưa từng có. Trong các công trình này, nhờ việc đưa
vào khái niệm lượng thông tin và tính đến cấu trúc thống kê của tin,
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
7
Giáo trình Lý thuyết tín hiệu và truyền tin
ông đã chứng minh một loạt định lý về khả năng thông qua của kênh
truyền tin khi có nhiễu và các định lý mã hoá. Những công trình này là
nền tảng vững chắc của lý thuyết thông tin. Ngày nay, lý thuyết thông
tin phát triển theo hai hướng chủ yếu sau:
Lý thuyết thông tin toán học: Xây dựng những luận điểm thuần
tuý toán học và những cơ sở toán học chặt chẽ của lý thuyết thông tin.
Cống hiến chủ yếu trong lĩnh vực này thuộc về các nhà bác học lỗi lạc
như: N.Wiener, A. Feinstain, C.E Shanon, A.N. Kanmôgorov, A.JA
Khintrin.
Lý thuyết thông tin ứng dụng: (lý thuyết truyền tin) Chuyên
nghiên cứu các bài toán thực tế quan trọng do kỹ thuật liên lạc đặt ra
có liên quan đến vấn đề chống nhiễu và nâng cao độ tin cậy của việc
truyền tin. Các bác học C.E Shanon, S.O RiCe, D. Midleton, W.
Peterson, A.A Khakevich, V. Kachenhicov đã có những công trình
quý báu trong lĩnh vực này.
1.2. Tin tức và các khái niệm cơ bản
1.2.1. Các định nghĩa
1.2.1.1. Thông tin
Thông tin là một khái niệm trừu tượng, phi vật chất và rất khó
định nghĩa. Có nhiều cách định nghĩa về thông tin. Dưới đây là một số

định nghĩa:
Thông tin là sự cảm hiểu của con người về thế giới xung quanh
thông qua việc tiếp xúc với nó.
Thông tin là một hệ thống những tin báo và mệnh lệnh giúp loại
trừ sự không chắc chắn của nơi nhận tin. Nói một cách ngắn gọn,
thông tin là cái mà loại trừ sự không chắc chắn.
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
8
Giáo trình Lý thuyết tín hiệu và truyền tin
Định nghĩa đầu tiên chưa nêu rõ bản chất của thông tin, định
nghĩa thứ hai nói rõ hơn về bản chất của thông tin và được dùng để
định lượng thông tin trong kỹ thuật.
Ngoài ra có người còn định nghĩa thông tin là những tính chất xác
định của vật chất mà con người (hoặc hệ thống kỹ thuật) nhận được từ
thế giới vật chất bên ngoài hoặc từ những quá trình xảy ra trong bản
thân nó.
Với định nghĩa này, mọi ngành khoa học là khám phá ra các cấu
trúc thông qua việc thu thập, chế biến, xử lý thông tin. Ở đây “thông
tin” là một danh từ chứ không phải là động từ để chỉ một hành vi tác
động giữa hai đối tượng (người, máy) liên lạc với nhau. Theo quan
điểm triết học, thông tin là một quảng tính của thế giới vật chất (tương
tự như năng lượng, khối lượng). Thông tin không được tạo ra mà chỉ
được sử dụng bởi hệ thụ cảm.
Thông tin tồn tại một cách khách quan, không phụ thuộc vào hệ
thụ cảm. Trong nghĩa khái quát nhất, thông tin là sự đa dạng. Sự đa
dạng ở đây có thể hiểu theo nhiều nghĩa khác nhau: Tính ngẫu nhiên,
trình độ tổ chức,…
1.2.1.2. Tin
Tin là dạng vật chất cụ thể để biểu diễn hoặc thể hiện thông tin.
Có hai dạng là tin rời rạc và tin liên tục.

Ví dụ các bức ảnh, bản nhạc, bài nói, bảng số liệu, v.v là các
tin.
1.2.1.3. Tín hiệu
Thông tin là một hiện tượng vật lý, nó thường tồn tại và được
truyền đi dưới dạng vật chất nào đó.
Những dạng vật chất để mang thông tin được gọi là tín hiệu.
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
9
Giáo trình Lý thuyết tín hiệu và truyền tin
Trong kỹ thuật có thể hiểu, tín hiệu là các đại lượng vật lý biến
thiên, phản ánh tin cần truyền.
Cần chú ý rằng không phải bản thân quá trình vật lý là tín hiệu
mà sự biến đổi các tham số riêng của quá trình vật lý mới là tín hiệu.
Các đặc trưng vật lý có thể là dòng điện, điện áp, ánh sáng, âm
thanh, v.v.
1.2.2. Sơ đồ khối hệ thống thông tin
Ngay nay, với sự phát triển mạnh mẽ của công nghệ điện tử viễn
thông, có rất nhiều các hệ thống thông tin khác nhau đã được hình
thành và phát triển. Khi đó việc phân loại các hệ thống thông tin có
thể được dựa trên nhiều cơ sở khác nhau. Ví dụ như dựa trên cơ sở về
năng lượng mang tin có thể chia các hệ thống truyền tin thành các loại
như:
- Hệ thống thông tin vô tuyến dùng sóng điện từ
- Hệ thống thông tin quang hữu tuyến dùng ánh sáng
- Hệ thống thông tin dùng sóng âm, siêu âm (năng lượng cơ
học)
Hay dựa vào các biểu hiện bên ngoài mà ta chia thành các hệ
thống như:
- Hệ thống truyền số liệu
- Hệ thống truyền hình

- Hệ thống điện thoại cố định công cộng
- Hệ thống thông tin di động, v.v.
Chúng ta cũng có thể chia hệ thống thông tin thành hai loại hệ
thống:
- Hệ thống truyền tin rời rạc
- Hệ thống truyền tin liên tục
Tuy nhiên, một cách tổng quát hệ thống thông tin có thể được
biểu diễn bởi sơ đồ khối sau:
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
10
Nguồn tin Kênh tin Nhận tin
Nhiễu
Hình 1.1. Sơ đồ khối hệ thống thông tin
Giáo trình Lý thuyết tín hiệu và truyền tin
1.2.2.1. Nguồn tin
Nguồn tin là nơi sản sinh ra hay chứa các tin cần truyền đi. Khi
một đường truyền tin được thiết lập để truyền tin từ nguồn tin đến nơi
nhận tin, một dãy các phần tử cơ sở (các tin) của nguồn sẽ được truyền
đi với một phân bố xác suất nào đó. Dãy này được gọi là một bản tin.
Do đó có thể định nghĩa:
Nguồn tin là tập hợp các tin mà hệ thống truyền tin dùng để lập
các bản tin khác nhau để truyền tin.
Nếu tập tin là hữu hạn thì nguồn sinh ra nó được gọi là nguồn rời
rạc. Nếu tập tin là vô hạn thì nguồn sinh ra nó được gọi là nguồn liên
tục.
Nguồn tin có hai tính chất: Tính thống kê và tính hàm ý.
Với nguồn rời rạc, tính thống kê biểu hiện ở chỗ xác suất xuất
hiện các tin là khác nhau.
Tính hàm ý biểu hiện ở chỗ xác suất xuất hiện của một tin nào
đó sau một dãy tin khác nhau nào đó là khác nhau.

Ví dụ: P(x/ta) ≠ P(x/ba)
Thông tin trước khi truyền đi có thể được xử lý mã hoá để nén,
chống nhiễu và bảo mật.
1.2.2.2. Kênh tin
Kênh tin là nơi hình thành, truyền hay lưu trữ tín hiệu mang tin
đồng thời ở đó xảy ra các tạp nhiễu phá huỷ tin tức.
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
11
Giáo trình Lý thuyết tín hiệu và truyền tin
Trong lý thuyết tín hiệu và truyền tin, kênh tin là một khái niệm
trừu tượng đại biểu cho hỗn hợp tín hiệu và tạp nhiễu.
Để truyền tin, ta thường sử dụng một môi trường nào đó để
truyền. Môi trường truyền tin thường rất đa dạng. Môi trường không
khí, ta có thể truyền tin dưới dạng âm thanh, tiếng nói hay bằng lửa
(ánh sáng). Môi trường tầng điện ly thường là nơi xảy ra sự truyền tin
giữa các vệ tinh nhân tạo và các trạm rada ở mặt đất. Hay có thể
truyền tin bằng ánh sáng qua các môi trường truyền là sợi dẫn quang
trong đó tín hiệu mang tin được truyền dưới dạng ánh sáng, v.v.
Cho dù truyền tin dưới bất kỳ môi trường nào cũng đều bị ảnh
hưởng bởi nhiễu. Nhiễu rất phong phú và đa dạng, phụ thuộc vào bản
chất của môi trường truyền tin. Ví dụ khi truyền tin bằng âm thanh thì
những tiếng ồn xung quanh chính là nhiễu hay khi truyền bằng sóng
điện từ qua những nơi có điện từ trường mạnh thì cũng sẽ bị ảnh
hưởng. Nhiễu có nhiều loại như nhiễu cộng tính hay nhiễu nhân.
1.2.2.3. Nhận tin
Nơi nhận tin là nơi tiếp nhận thông tin từ kênh truyền và khôi
phục lại thông tin ban đầu như nguồn tin đã phát đi. Tin đến được nơi
nhận tin thường không thu được như tin ban đầu truyền đi vì đã chịu
sự tác động của nhiễu. Vì thế, nơi nhận phải thực hiện việc phát hiện
sai và sửa sai. Hơn thế nữa, nếu nguồn tin được thực hiện mã hoá nén

hay bảo mật thì nơi nhận tin cũng phải thực hiện việc giải nén hay giải
mã bảo mật để nhận lại tin.
Nơi nhận tin thường có ba chức năng cơ bản:
- Lưu giữ tin, ví dụ như bộ nhớ máy tính, băng ghi âm, ghi
hình,
- Biểu thị tin làm cho các giác quan của con người hay các bộ
cảm biến cảm thụ được để xử lý tin, ví dụ như băng ghi âm, hình
ảnh,
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
12
Giáo trình Lý thuyết tín hiệu và truyền tin
- Xử lý tin đưa tin về dạng dễ sử dụng. Chức năng này có thể
thực hiện bởi con người hay bằng các thiết bị máy móc.
1.2.3. Hệ thống thông tin số
Các hệ thống thông tin tương tự được tiếp tục phát triển từ thế
kỷ trước và đạt được nhiều thành tựu. Tuy nhiên, hệ thống thông tin
tương tự có những nhược điểm cố hữu không thể khắc phục. Các hệ
thống này thường rất cồng kềnh, không hiệu quả và chi phí rất cao. Ví
dụ vấn đề về nhiễu trong hệ thống thông tin tương tự luôn làm đau đầu
các nhà khoa học.
Các hệ thống rời rạc (số) có nhiều ưu điểm và khắc phục được
những nhược điểm của hệ thống liên tục. Ngày nay, các hệ thống rời
rạc ngày càng được phát triển mạnh mẽ và thu được những thành tựu
vượt cả ngoài sự mong đợi.
Để thực hiện được các hệ thống rời rạc trước hết phải rời rạc hoá
tín hiệu mang tin. Có hai loại rời rạc hoá: Rời rạc hoá theo trục thời
gian hay còn gọi là lấy mẫu và rời rạc hoá theo biên độ hay còn gọi là
lượng tử hoá.
Lấy mẫu tín hiệu là từ một hàm ban đầu ta lấy ra những mẫu ở
những thời điểm nhất định. Điều quan trọng là làm thế nào để có thể

thay thế tương đương các mẫu lấy được với tín hiệu gốc. Điều này
được giải quyết bởi định lý lấy mẫu của Shannon. Shannon chính là
cha đẻ của lý thuyết tín hiệu và truyền tin.
Định lý lấy mẫu Shannon được phát biểu như sau:
Một hàm S(t) có phổ hữu hạn, không có thành phần tần số lớn
hơn
ω
max
(= 2
π
f
max
) có thể thay thế bằng các mẫu của nó được lấy tại
các thời điểm cách nhau một khoảng
∆
t
≤

π
/
ω
max
hay nói cách khác tần
số lấy mẫu F
≥
2f
max.

Hình 1.2 minh hoạ điều này.
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử

13
S(t)
S
max
S
min
t
Hình 1.2. Quá trình lấy mẫu tín hiệu
Giáo trình Lý thuyết tín hiệu và truyền tin
Biên độ của tín hiệu thường là một khoảng liên tục (S
min
, S
max
).
Lượng tử hoá là phân chia khoảng này thành một số mức nhất định,
chẳng hạn là: S
0
= S
min
, S
1
= , , S
n
= S
max
và qui các giá trị biên độ
không trùng với các giá trị này về các giá trị gần với nó nhất. Có nghĩa
là sẽ có sai số khi thực hiện lượng tử hoá. Như vậy việc lượng tử hoá
sẽ biến hàm S(t) thành một hàm S'(t) có dạng bậc thang. Sự sai khác
giữa S(t) và S'(t) được gọi là sai số lượng tử hoá. Sai số lượng tử càng

nhỏ thì S'(t) càng gần với S(t).
Hình 1.3 minh hoạ quá trình lượng tử hoá.
Khi đã thực hiện việc rời rạc hoá tín hiệu ta sẽ có các nguồn tin
rời rạc. Trong nhiều trường hợp chúng ta thường chỉ nghiên cứu các
nguồn rời rạc. Một bảng chữ cái A gồm m kí hiệu là một nguồn tin rời
rạc, A = {a
1
, a
2
, , a
m
} với những xác suất hiện p(a
i
) với i = 1, , m.
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
14
S(t)
S
n
S
1
t
Hình 1.3. Quá trình lượng tử hóa
Giáo trình Lý thuyết tín hiệu và truyền tin
Nguồn tin này không diễn tả mối quan hệ giữa các tin trước và tin sau
nên được gọi là nguồn tin không nhớ rời rạc.
Có nhiều phương pháp biến đổi trong hệ thống thông tin số như
dưới đây minh hoạ.
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
15

Giáo trình Lý thuyết tín hiệu và truyền tin
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
16
Hình 1.4. Các phương pháp biến đổi thông tin
số trong các khối chức năng của hệ thống.
Giáo trình Lý thuyết tín hiệu và truyền tin
1.3. Độ đo thông tin
Độ đo của một đại lượng là cách ta xác định độ lớn của đại
lượng đó. Mỗi độ đo phải thoả mãn 3 tính chất sau:
- Độ đo phải cho phép ta xác định được độ lớn của đại lượng.
Đại lượng càng lớn, giá trị đo được càng phải lớn.
- Độ đo phải không âm.
- Độ đo phải tuyến tính, tức là giá trị đo được của đại lượng tổng
cộng phải bằng tổng giá trị của các đại lượng riêng phần khi sử dụng
độ đo này để đo chúng.
Để xác định độ đo thông tin, chúng ta nhận thấy rằng thông tin
càng có nhiều ý nghĩa khi nó càng hiếm gặp, do đó độ lớn của nó phải
tỷ lệ nghịch với xác suất xuất hiện của tin, hay nó là hàm f(1/p(x
i
)) cho
tin x
i
có xác suất xuất hiện p(x
i
). Một tin không cho chúng ta lượng tin
nào khi chúng ta đã biết trước về nó hay có xác suất bằng 1.
Để xác định dạng hàm này, người ta sử dụng tính chất thứ ba.
Giả thiết rằng có hai tin x
i
và x

j
là độc lập thống kê để mỗi tin không
chứa thông tin về tin còn lại. Nếu hai tin có xác suất hiện là p(x
i
) và
p(x
j
), lượng tin của mỗi tin là f(1/p(x
i
)) và f(1/p(x
j
)). Giả thiết hai tin
này cùng đồng thời xuất hiện, ta có tin (x
i
, x
j
), lượng tin chung cho tin
này phải bằng tổng lượng tin của từng tin riêng biệt. Khi hai tin xuất
hiện đồng thời, xác suất xuất hiện đồng thời của chúng là p(x
i
, x
j
), và
ta có:
f(1/ p(x
i
, x
j
)) = f(1/ p(x
i

)) + f(1/ p(x
j
)) (1.1)
Vì hai tin là độc lập thống kê nên:
p(x
i
, x
j
) = p(x
i
) + p(x
j
) (1.2)
Vậy nên:
f(1/ (p(x
i
).p(x
j
))) = f(1/ p(x
i
)) + f(1/ p(x
j
))
(1.3)
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
17
Giáo trình Lý thuyết tín hiệu và truyền tin
Như vậy, trong trường hợp này hàm f phải có dạng hàm loga.
Vậy hàm log(1/p(x
i

)) là dạng hàm có thể chọn làm độ đo thông tin. Ta
cần kiểm tra tính không âm của hàm này. Vì ta có 0≤p(x
i
)≤1 nên
1/p(x
i
)≥1 hay log(1/p(x
i
)) là không âm.
Thêm vào đó khi một tin luôn luôn xuất hiện thì lượng tin nhận
được bằng không, ta sẽ kiểm tra điều kiện này. Khi đó p(x
i
) = 1, do
vậy log(1/p(x
i
)) = 0.
Vậy hàm log(1/p(x
i
)) được sử dụng làm độ đo thông tin hay
lượng đo thông tin của một tin của nguồn tin. Lượng đo thông tin của
tin x
i
của nguồn tin nào đó thường được kí hiệu là I(x
i
) :
I(x
i
) = log(1/p(x
i
)) (1.4)

Trong biểu thức trên cơ số của hàm loga chưa được chỉ ra. Tuỳ
vào cơ số của hàm loga này ta sẽ có các đơn vị đo độ lớn thông tin xác
định. Hiện nay, thường dùng các đơn vị đo sau:
Bit hay đơn vị nhị phân khi cơ số loga là 2;
Nat hay đơn vị tự nhiên khi cơ số loga là e;
Hartley hay đơn vị thập phân khi cơ số loga là 10.
Ví dụ 1. Nguồn A có m kí hiệu đẳng xác suất, một tin do nguồn
A hình thành là một dãy n kí hiệu a
i
bất kỳ (a
i
∈A). Chúng ta sẽ xác
định lượng tin chứa trong một tin như vậy. Trước hết hãy tìm lượng
tin chứa trong một tin a
i
. Do đẳng xác suất nên mỗi tin a
i
đều có xác
suất là 1/m, do đó:
I(a
i
) = logm
Lượng tin chứa trong một dãy x gồm n kí hiệu bằng n lần lượng
tin của một kí hiệu (vì chúng đẳng xác suất):
I(x) = nlogm
Đơn vị lượng tin tuỳ thuộc cách ta chọn cơ số của log, là bit, nat,
hay Hartley nếu có số lần lượt là 2, e hay 10. Rõ ràng khi m kí hiệu
của nguồn có những xác suất khác nhau và không độc lập thống kê với
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
18

Giáo trình Lý thuyết tín hiệu và truyền tin
nhau thì lượng tin riêng từng kí hiệu phụ thuộc vào xác suất xuất hiện
p(a
i
) của nó:
I(a
i
) = log 1/p(a
i
)
Và lượng tin chứa trong một dãy kí hiệu của nguồn không những
phụ thuộc vào xác suất xuất hiện từng kí hiệu mà còn phụ thuộc vào
xác suất có điều kiện. Khái niệm này sẽ được đề cập đến một cách chi
tiết ở các chương sau.
Ví dụ 2:
Hãy xác định lượng tin riêng chứa trong một ô nhớ của bộ nhớ
bán dẫn.
Giải:
Một ô nhớ như đã biết có thể chứa các tin là 0 hay 1. Nguồn tin
là nguồn tin nhị phân N=2.
Ta đặt như sau: tin a1 tương ứng với 0 và a2 tương ứng với 1.
Vì đẳng xác suất nên P(a1)=P(a2). Và ta có cũng có:
P(a1) + P(a2) = 1.
Hay P(a1) = P(a2) =1/2
Vậy: I(a1) = I(a2) = log
2
2 = 1 (bit)
Vậy một ô nhớ có lượng tin là 1 bit nếu tính theo cơ số 2.
Ví dụ 3:
Cho một nguồn tin có 8 tin với phân bố xác suất như sau:

Tin a
i
a
1
a
2
a
3
a
4
a
5
a
6
a
7
a
8
Xác suất
P(a
i
)
1/4 1/4 1/8 x 1/16 1/16 1/16 1/16
Hãy xác định lượng tin riêng của a
4
.
Giải:
Ta có P(a
4
) =1/8 và I(a

4
) = log 8 = 3bit.
Lượng tin chứa trong một dãy kí hiệu của nguồn không những
phụ thuộc vào xác suất xuất hiện từng kí hiệu mà còn phụ thuộc vào
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
19
Giáo trình Lý thuyết tín hiệu và truyền tin
xác suất có điều kiện. Khái niệm này sẽ được đề cập đến một cách chi
tiết ở các chương sau.
1.3.3. Lượng tin trung bình thống kê - Entropy của nguồn tin
1.3.3.1. Lượng tin trung bình thống kê của nguồn tin
Lượng tin trung bình của một nguồn tin A là lượng tin trung
bình chứa trong một kí hiệu bất kỳ của nguồn tin. Ta thường kí hiệu là
I(A) và được tính bởi:
∑∑∑
∈∈∈
=−==
Aa
ii
Aa
ii
Aa
i
i
iii
aIapapap
ap
apAI )()()(log)(
)(
1

log)()(
(1-5)
Ví dụ 4:
Ta sử dụng lại điều kiện của ví dụ 3. Bây giờ hãy tính lượng tin
riêng của các kí hiệu và trung bình của nguồn tin.
Giải:
Theo biểu thức 1-4 ta có bảng giá trị lượng tin riêng của các tin
như sau:
Lượng tin
riêng
I(a
1
)
a
2
a
3
A
4
a
5
a
6
a
7
a
8
2 2 3 3 4 4 4 4
Theo biểu thức (1-5) ta có:
I(A) = 2*2*1/4 +2*3*1/8 +4*4*1/16 = 2,75 bit.

Điều này cho ta thấy rằng có thể biểu diễn các tin trong nguồn
tin A bằng chuỗi có chiều dài trung bình là 2,75 bit thay vì dùng 4 bit.
Bây giờ ta xét một sự biến đổi một nguồn X thành nguồn Y
thông qua sự truyền lan trong một kênh truyền. Qua bất kỳ một kênh
truyền nào cũng đều có nhiễu do vậy sự truyền lan X qua kênh thành
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
20
Giáo trình Lý thuyết tín hiệu và truyền tin
Y không phải là một - một. Ta sẽ đi tìm khả năng x
i
nào có khả năng
lớn nhất chuyển thành y
j
trong quá tình truyền tin.
Từ đây ta có khái niệm lượng thông tin tương hỗ, lượng tin còn
lại của x
i
sau khi đã nhận y
j
(lượng tin điều kiện).
Lượng tin còn lại của x
i
sau khi nhận được là y
j
xác định nhờ xác
suất hậu nghiệm:
)/(log
)/(
1
log)/(

ji
ji
ji
yxp
yxp
yxI −==
(1-6)
Lượng tin tương hỗ là hiệu lượng tin riêng và lượng tin còn lại
của x
i
sau khi đã nhân được y
j
(lượng tin điều kiện). Do vậy ta có:
)(
)/(
log)/()(),(
i
ji
jiiji
xp
yxp
yxIxIyxI =−=
(1-7)
Mặt khác ta có:
∑
=
j
jiji
yxpypxp )/()()(
Do vậy kết quả ta có:

∑
=−=
j
jij
ji
jiiji
yxpyp
yxp
yxIxIyxI
)/()(
)/(
log)/()(),(
(1-8)
Tính chất của lượng tin:
1. Lượng tin riêng bao giờ cũng lớn hơn lượng tin về nó chứa
trong bất kỳ một ký hiệu nào có liên hệ thống kê với nó. Nghĩa là:
I(x
i
)>=I(x
i
,y
j
)
2. Lượng tin riêng là một đại lượng không âm: I(x
i
)>=0 nhưng
I(x
i
,y
j

) có thể âm có thể dương.
3. Nếu X và Y độc lập thì lượng tin của cặp x
i
y
j
là:
)()()(
jiji
yIxIyxI +=
Một cách tổng quát ta có:
),()()()(
jijiji
yxIyIxIyxI −+=
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
21
Giáo trình Lý thuyết tín hiệu và truyền tin
1.3.3.2 Entropy của nguồn
Như trên đã trình bày, lượng tin trung bình là lượng tin trung
bình chứa trong một kí hiệu bất kỳ của một nguồn tin đã cho. Khi ta
nhận được tin đồng thời nhận được một lượng tin trung bình nghĩa là
độ bất ngờ về tin đó cũng được giải thoát. Vì vậy độ bất ngờ và lượng
tin có ý nghĩa vật lý trái ngược nhau nhưng về số đo lại giống nhau.
Ở đây ta chỉ xét nguồn rời rạc.
Độ bất ngờ của tin x
i
trong nguồn X được xác định bởi:
)(log
)(
1
log)(

i
i
i
xp
xp
xH −==
(1-9)
Khi đó độ bất ngờ trung bình của một nguồn tin tính bởi:
∑∑∑
∈∈∈
=−==
Xx
ii
Xx
ii
Xx
i
i
iii
xHxpxpxp
xp
xpXH )()()(log)(
)(
1
log)()(
(1-10)
Từ các biểu thức trên ta thấy về số đo H(X)=I(X).
H(X) được gọi là Entropy của nguồn, là một thông số thống kê
cơ bản của nguồn tin.
Tính chất của H(X) ( cũng là của I(X))

1. H(X)>=0. Nếu p(x
i
)=1 thì ta có H(X)=0
2. H(X) lớn nhất nếu xác suất xuất hiện của các kí hiệu của
nguồn bằng nhau. Lúc đó độ bất định của một tin bất kỳ trong
nguồn là lớn nhất. Tức là:
H(X)
max
≤logN. Với nguồn có N tin.
Ta có thể chứng minh điều này như sau:
Nếu có N tin các xác suất xuất hiện bằng nhau thì H(X) = logN.
Xét:
01
1
)1
1
(
1
loglogloglog)(
111 11
=−=−≤=−−=−
∑∑∑ ∑∑
=== ==
N
i
N
i
i
i
N

i
N
i
i
ii
N
i
ii
NNp
p
Np
pNpppNXH
Đó là điều phải chứng minh.
Ví dụ 5:
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
22
1
0 0,5 1 p
H(X)
Hình 1.5. Sự phụ thuộc của H(X) vào p
Giáo trình Lý thuyết tín hiệu và truyền tin
Cho X={0,1}, p(0) = p, p(1) = 1-p.
Tính H(X) và vẽ đồ thị phụ thuộc vào p.
Giải:
H(X) = -plogp - (1-p)log(1-p). Ta thấy p=1/2 thì H(X) =1 đạt giá
trị lớn nhất.
3. Nếu hai nguồn X={x
1
, , x
n

} và Y={y
1
, , y
m
} là độc lập thì
với z={x,y} ta có:
H(Z) = H(X) +H(Y)
1.4. Tốc độ lập tin và độ dư của nguồn
Thông số thông kê quan trọng nhất của nguồn tin là Entropy.
Thông số thứ hai chính là tốc độ lập tin. Tốc độ lập tin phụ thuộc vào
tính chất vật lý của nguồn tin.
Tốc độ lập tin R được tính bởi biểu thức sau:
R = n
0
H(X) (1-11)
Trong đó n
0
là số kí hiệu lập được trong một đơn vị thời gian.
Đơn vị của R là bit/s nếu H(X) tính theo bit.
Độ dư của nguồn được định nghĩa là sự chênh lệch giữa H(X) và
H(X)
max
.
R
s
= H(X)
max
- H(X) (1-12)
Độ dư tương đối của nguồn được định nghĩa như sau:
maxmax

max
)(
)(
1
)(
)()(
XH
XH
XH
XHXH
r
s
−=
−
=
(1-13)
1.5. Tín hiệu, biểu diễn và phân loại
Tín hiệu là sự biến đổi của một hay nhiều thông số của một quá
trình vật lý nào đó theo qui luật của tin tức. Như vậy để truyền tin ta
sử dụng các dạng vật chất nào đó để truyền. Cần chú ý rằng chính sự
biến đổi của tham số của quá trình vật lý mới là tín hiệu.
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
23
Giáo trình Lý thuyết tín hiệu và truyền tin
Trong phạm vi hẹp của mạch điện, tín hiệu là hiệu thế hoặc dòng
điện. Tín hiệu có thể có trị không đổi, ví dụ hiệu thế của một pin,
accu; có thể có trị số thay đổi theo thời gian, ví dụ dòng điện đặc trưng
cho âm thanh, hình ảnh. . . .
1.5.1. Cách biểu diễn hàm tín hiệu.
Dưới đây ta trình bày một số tín hiệu thường gặp.

- Kiểu liệt kê: hay còn gọi là dạng bảng, các giá trị của tín hiệu
được liệt kê trong một bảng giá trị.
T 0 1 4
S(t) 0 3 7
- Dạng đồ thị: dạng đồ thị có loại tọa độ Đề các và tọa độ cực
(dạng véc tơ):
Khi tín hiệu là thực ta có dạng đồ thị là trục số. Nếu tín hiệu là
tín hiệu phức ta có mặt phẳng phức như hình 1.7 minh họa.
Biểu diễn phức của tín hiệu thường có dạng:
ϕ
j
Aec =
(1-14)
Trong đó A là biên độ và ϕ là góc pha.
1.5.2. Phân loại tín hiệu
Nếu phân loại tín hiệu theo dạng
toán học thì ta có hai loại tín hiệu:
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
24
S(t)
t
Hình 1.6. a.Hệ Đề các. B. Hệ tọa độ cực
S(t
1
)
S(t
2
)
S(t
0

)
a b
Im
Re
Hình 1.7. Hệ tọa độ cực.
0
b
a
Giáo trình Lý thuyết tín hiệu và truyền tin
- Tín hiệu liên tục
- Tín hiệu gián đoạn
Chúng ta cũng có thể phân tín hiệu thành hai loại là tín hiệu tuần
hoàn và không tuần hoàn.
Theo dạng vật lý thì ta có loại tín hiệu ngẫu nhiên và tiền định.
Trong thực tế kỹ thuật điện tử viễn thông ta còn chia các tín hiệu
thành các loại tín hiệu: tín hiệu lượng tử, rời rạc, số và tương tự.
1.6. Một số dạng tín hiệu cơ bản
Dưới đây giới thiệu một số dạng tín hiệu thường gặp khi phân
tích hệ thống truyền tin.
a. Tín hiệu dạng hàm e mũ
Tín hiệu hàm e mũ thường được biểu diễn dưới dạng biểu thức
sau.
t
Ketv
σ
=)(
(1-15)
Trong đó K, σ là các
hệ số. Dạng tín hiệu phụ
thuộc vào các giá trị trên

được minh hoạ ở hình 1.8.
b. Hàm nhảy bậc
đơn vị
Hàm được biểu diễn
bởi biểu thức sau:



<
≥
=−
at khi
at khi
0
1
)at(u
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
25
Hình 1.8. Dạng tín hiệu e mũ
Hình 1.9. Hàm nhảy bậc đơn vị
Giáo trình Lý thuyết tín hiệu và truyền tin
Đây là hàm thay đổi giá trị từ 0 lên 1 ( hoặc giá trị bất kỳ) tại
thời điểm t=a. Hình 1.19 là minh họa một số trường hợp của hàm nhảy
bậc đơn vị.
c. Hàm Dirac (hay hàm xung đơn vị)
Khi vi phân hàm nhảy bậc đơn vị ta có hàm xung đơn vị hay
hàm Dirac. Thường kí hiệu là hàm này là hàm δ(t).
dt
du
)t( =

δ
(1-17)
Ta thấy rằng hàm này là một hàm toán học không chặt chẽ vì tại
thời điểm t>0 thì vi phân này bằng 0
nhưng lại không xác định tại t=0. Một
cách tổng quát hàm này được định nghĩa
bởi các điều kiện sau:
1. δ(t) = 0 tại t≠0
2. δ(t) =∞ tại t=0
3.
1=
∫
∞
∞−
dt)t(
δ
Dạng hàm δ(t) được minh họa ở hình 1.10.
d. Các hàm liên quan đến hàm sin
Dưới đây là minh họa một số dạng hàm liên quan tới hàm sin
như hàm tắt dần, tích của hai hàm sin.
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
26
Hình 1.10. Hàm xung đơn vị
Hình 1.11. a. Hàm tắt dần. b. Tích hai hàm sin.
Giáo trình Lý thuyết tín hiệu và truyền tin
1.7. Các đặc trưng cơ bản của tín hiệu
1.7.1. Các thông số và
đặc trưng của tín hiệu
a. Độ dài của tín
hiệu

Độ dài của tín hiệu là
khoảng thời gian tồn tại của
tín hiệu từ khi xuất hiện
đến khi kết thúc.
b. Khoảng biến thiên của tín hiệu:
∆ = S
max
- S
min
c. Trị trung bình của tín hiệu:
∫
+
=
τ
τ
0
0
1
t
t
tb
dt)t(ss
d. Trị hiệu dụng
∫
+
=
τ
0
0
2

t
t
hd
dt)t(ss
e. Công suất của tín hiệu
Công suất tức thời của tín hiệu s(t) được tính bởi:
2
)t(s)t(p =
Công suất trung bình được tín bởi:
∫
+
=
τ
τ
0
0
1
t
t
dt)t(pP
f. Năng lượng của tín hiệu
∫
∞
∞−
== dt)t(sP.E
2
τ
ThS. Đoàn Hữu Chức Bộ môn Kỹ thuật Điện tử
27
S(t)

S
max
S
min
t
Hình 1.12. Các thông số của tín hiệu
τ