Principles of Digital Communication Systems and Computer Networks

Trường Đại Học Công Nghệ Thông Tin – ĐHQG Tp.HCM
Khoa Mạng Máy Tính và Truyền thông
-----o-o-----
Lớp MMT03, Nhóm 2:
- NGUYỄN THÀNH MSSV:08520347
-NGUYỄN THÀNH VINH MSSV:08520618
-NGUYỄN HỮU RU MSSV:08520582
-TRƯƠNG VĂN VĨ MSSV:08520470
Sau đây là bài dịch chương II trong sách “Principles of Digital Communication Systems and
Computer Networks” của nhóm em.
Phần I – Các hệ thống truyền thông số
(Digital Communation System)
Chương 2: Lý Thuyết Thông Tin
(Information Theory)
Claude Shannon đặt nền móng về lý thuyết thông tin năm 1948. Cuốn sách của ông “A Maththemathical
Theroy of Communication ” (Một lý thuyết toán học của sự truyền thông tin) được xuất bản trong Tạp chí
Bell System Technical là cơ sở cho sự phát triển toàn bộ viễn thông đã diễn ra trong suốt năm thập kỷ
qua. Một sự hiểu biết tốt về các khái niệm được đề xuất bởi Shannon là phải bắt đầu những hiểu biết
chuyên về viễn thông. Chúng ta nghiên cứu đóng góp của Shannon trong lĩnh vực thông tin liên lạc hiện
đại trong chương này.
2.1 Yêu cầu của hệ thống truyền tin (communication system):
Trong bất kỳ hệ thống truyền tin, sẽ có một nguồn phát hay nguồn tin(information source) mà nguồn phát
này phát ra thông tin dưới một vài hình thức, và một nguồn thu hay nguồn nhận (information sink) thu về
thông tin. Sự truyền thông tin là kết nối trung gian giữa nguồn thu và nguồn phát.Mục đích của một hệ
thống truyền tin là để truyền tin từ nguồn đến đích mà không có lỗi. Tuy nhiên, sự truyền thông tin luôn
luôn có một vài lỗi vì nhiễu. Các yêu cầu cơ bản của hệ thống truyền tin là để truyền thông tin không có
lỗi mặc dù có nhiễu.
Yêu cầu của hệ thống truyền tin là truyền thông tin từ nguồn đến đích mà không có lỗi, mặc dù thực tế là
nhiễu luôn luôn có trong các môi trường truyền thông.
2.1.1 Hệ thống truyền tin
Một sơ đồ chung cho một hệ thống truyền tin được thể hiện trong hình 2.1. Một nguồn tin có thể phát ra

các dạng (chẳng hạn như chữ cái tiếng Anh, ngôn ngữ, video, v.v…) được gửi qua các phương tiện
truyền dẫn của máy phát. Các phương tiện truyền thông luôn bị nhiễu, và do đó lỗi phát sinh trong quá
trình truyền dữ liệu. Ở đầu tiếp nhận, máy nhận giải mã dữ liệu và đưa nó tới nguồn thu.
Hình 2.1: sơ đồ chung của hệ thống truyền tin
Ví dụ, hãy xem xét một nguồn phát mà nó phát đi hai ký tự A và B. Máy phát mã hóa dữ liệu thành một
luồng bít. Ví dụ, A có thể mã hóa thành bít 1 và B mã hóa thành bít 0. Luồng của bit 1 và 0 được truyền
qua môi trường. Bởi vì có nhiễu, nên bít 1 có thể trở thành 0 hoặc bít 0 có thể trở thành bít 1 ở ngẫu nhiên
bất kỳ chỗ nào, như minh họa dưới đây:
Ký tự phát ra: A B B A A A B A B A
Luồng bít phát ra: 1 0 0 1 1 1 0 1 0 1
Luồng bít nhận: 1 0 0 1 1 1 1 1 0 1
Nguồn phát Máy phát Máy thu Nguồn thu
Nhiễu
Tại máy thu, một bít nhận được bị lỗi. Làm thế nào để đảm bảo rằng các dữ liệu nhận được có thể được tự
sửa lỗi? Shannon có câu trả lời. Hệ thống truyền tin được đưa ra trong hình 2.1 có thể được mở rộng, như
thể hiện trong hình 2.2.
Hình 2.2: Sơ đồ chung của hệ thống truyền tin được xuất bởi Shannon.
Trong một hệ thống truyền thông kỹ thuật số, do ảnh hưởng của nhiễu, lỗi được phát sinh. Kết quả là,bít 1
có thể trở thành bít 0 và bít 0 có thể trở thành bít 1.
Trong sơ đồ khối trên, nguồn phát phát ra các ký hiệu được mã hóa bằng 2 loại mã - mã hóa nguồn và
kênh mã hóa – và sau đó biến điệu lên và gửi qua phương tiện truyền thông. Tại nơi nhận, bộ điều chế
làm nhiệm vụ giải điều chế, và các hoạt động ngược của mã hóa kênh và mã hóa nguồn (kênh giải mã và
giải mã nguồn) được thực hiện. Sau đó thông tin được đưa đến nguồn thu. Mỗi khối được giải thích dưới
đây.
Theo đề xuất của Shannon, hệ thống truyền tin bao gồm bộ mã hoá nguồn, kênh mã hóa và bộ điều biến
vào cuối nơi truyền, và bộ giải điều chế, kênh giải mã và bộ giải mã nguồn vào cuối nơi nhận.
Nguồn phát hay nguồn tin(Information source): nguồn phát tạo ra các ký hiệu. Nếu nguồn phát là, ví
dụ, một micrô, tín hiệu có dạng hình analog. Nếu nguồn phát là máy tính, tín hiệu có dạng hình số (một
tập hợp các biểu tượng).
Điều chế

tín hiệu
kênh
khuyết đại
tín hiệu
Nguồn phát
Bộ mã hóa
nguồn
Kênh mã
hóa Bộ biến điệu
Nguồn thu
Bộ giải mã
nguồn
Kênh giải
mã
Bộ giải điều
chế
Giải điều chế
tín hiệu
Bộ mã hóa nguồn: các bộ mã hóa nguồn chuyển đổi tín hiệu được sản xuất bởi các nguồn phát vào một
luồng dữ liệu. Nếu tín hệu đầu vào là analog, nó có thể được chuyển đổi thành dạng số bằng cách sử dụng
một bộ chuyển đổi analog qua số. Nếu đầu vào của bộ mã hóa nguồn là một luồng ký tự, nó có thể được
chuyển đổi thành một luồng gồm các bít số 1 và số 0 sử dụng một số loại cơ chế mã hóa. Ví dụ, nếu
nguồn tạo ra ký tự A và B, A có thể mã hóa thành bít 1 và B là bít 0 . Định lý mã hóa nguồn của Shannon
cho chúng ta biết làm thế nào để mã hóa một cách hiệu quả.
Bộ mã hóa nguồn(Source encoder): được thực hiện để làm giảm sự dư thừa trong các tín hiệu. Kỹ thuật
mã hóa nguồn có thể được chia thành kỹ thuật mã hóa không mất dữ liệu(lossless) và kỹ thuật mã hóa mất
dữ liệu(lossy). Trong kỹ thuật mã hóa mất dữ liệu, một số thông tin bị mất.
Trong mã hóa nguồn, có hai loại mã hóa –(lossless) mã hóa không mất dữ liệu và (lossy)mã hóa mất dữ
liệu. Trong mã hóa không mất dữ liệu(lossless), thông tin không bị mất. Khi chúng ta nén tập tin của máy
tính chúng ta sử dụng một kỹ thuật nén (ví dụ, WinZip), nó không bị mất thông tin. Kỹ thuật mã hóa như

vậy được gọi là kỹ thuật mã hóa không mất dữ liệu(lossless). Trong mã hóa mất dữ liệu(lossy), một số
thông tin bị mất trong khi đang làm mã hóa thông tin. Miễn là sự thiệt hại là không đáng kể, chúng ta có
thể chấp nhận dược. Khi một hình ảnh được chuyển thành định dạng JPEG, việc mã hóa là mã hóa mất dữ
liệu bởi vì một số thông tin bị mất. Hầu hết các kỹ thuật mã hóa được sử dụng cho âm thanh,hình ảnh, và
video là kỹ thuật mã hóa mất dữ liệu(lossy).
Chú ý: các tiện ích nén chúng ta sử dụng để nén các file dữ liệu sử dụng kỹ thuật nén không mất dữ
liệu(lossless). Việc nén hình ảnh JPEG là một kỹ thuật nén mất dữ liệu(lossy) vì một số thông tin bị mất.
Kênh mã hóa(Channel coder): nếu chúng ta phải giải mã các thông tin chính xác, ngay cả khi lỗi phát
sinh trong môi trường, chúng ta cần phải đặt một số bit bổ sung trong nguồn dữ liệu mã hóa để phát hiện
và sửa các lỗi. Quá trình bổ sung thêm các bít được thực hiện bằng kênh mã hóa. Định lý mã hóa kênh
của Shannon cho chúng ta biết làm thế nào để đạt được điều này.
Trong mã hóa kênh, sự dư thừa được phát sinh ở đầu tiếp nhận, các bít dư thừa được sử dụng để phát hiện
lỗi hoặc sửa lỗi.
Bộ điều chế(Modulation): điều chế là một quá trình chuyển đổi tín hiệu để các tín hiệu có thể được truyền
qua môi trường.
Bộ giải điều chế(Demodulator): bộ giải điều chế này thực hiện các hoạt động nghịch đảo của bộ điều chế.
Kênh giải mã(Channel decoder): kênh giải mã phân tích các luồng bít nhận được và phát hiện và sửa các
lỗi, nếu có, bằng cách sử dụng các dữ liệu bổ sung phát sinh bởi kênh mã hóa.
Bộ giải mã nguồn( Source decoder): Bộ giải mã nguồn chuyển đổi các luồng bít ra thành các thông tin
thực. Nếu chuyển đổi analog ra số được thực hiện tại bộ mã hóa nguồn, chuyển đổi tín hiệu số ra thành tín
hiệu tuần tự được thực hiện tại bộ giải mã nguồn. Nếu các ký tự được mã hóa thành số 1 và số 0 bộ mã
hóa nguồn, luồng bít được chuyển trở lại các ký tự bằng bộ giải mã nguồn.
Nguồn thu(Information sink): nguồn thu thu về các thông tin.
Sơ đồ khối được đưa ra trong Hình 2.2 là sơ đồ quan trọng nhất cho tất cả các kỹ sư truyền thông. Chúng
tôi sẽ trình bày từng chương riêng biệt cho mỗi khối trong biểu đồ này.
2.2 Entropy của 1 nguồn tin(dữ liệu ngẫu nhiên của 1 nguồn tin):
Thông tin là gì ? Làm thế nào để chúng ta đo lường thông tin? Đó là những vấn đề cơ bản mà thuật toán
Shannon có thể cung cấp cho chúng ta câu trả lời.Chúng ta có thể nói rằng chúng ta nhận một vài thông
tin nếu có “ sự loại trừ , giảm xuống cái không chắc chắn”.Xem xét 1 nguồn tin tạo bởi 2 kí hiệu A và
B.Nguồn đã gửi A,B,B,A và bây giờ chúng ta đợi kí hiệu tiếp theo.Những kí hiệu nào mà nó sẽ cung cấp?

Nếu nó cung cấp A, không chắc chắn rằng thời gian chờ đợi đã trôi qua.Và chúng ta nói rằng “thông tin”
được cung cấp. Lưu ý rằng chúng ta đang sử dụng khái niệm "thông tin" từ quan điểm lý thuyết thông tin
liên lạc, nó không có gì để làm với các "tính hữu dụng" của thông tin.
Shannon đã đề xuất một công thức để đo lường thông tin. Sự đo lường thông tin được gọi là entropy của
nguồn. Nếu một nguồn cung cấp N ký hiệu, và nếu tất cả các ký hiệu đều có thể xảy ra, Entropy của
nguồn là do:
H= log
2
N (bits/ký hiệu)
Ví dụ, giả sử là một nguồn tạo ra các chữ cái tiếng Anh (trong chương này, chúng ta sẽ tham khảo các
chữ cái tiếng Anh A đến Z và space (khoảng trắng), tổng cộng là 27, như là các ký hiệu), và tất cả các ký
hiệu này sẽ được cung cấp với xác suất bằng nhau. Trong trường hợp như vậy, entropy là
H=log
2
27 = 4.75 (bits/ký hiệu)
Nguồn tin không thể cung cấp tất cả các ký hiệu với xác suất bằng nhau. Ví dụ, tiếng Anh chữ "E" có tần
số cao nhất (và do đó xác suất xảy ra cao nhất), và các ký tự khác xảy ra với xác suất khác nhau. Nói
chung, nếu một nguồn cung cấp ký hiệu thứ (i) với một xác suất P (i), entropy của nguồn là:
H = -
∑
i
iP )(
log
2
P(i) (bit/ký hiệu)

Nếu một văn bản lớn của tiếng Anh được phân tích và xác suất của tất cả các ký hiệu (hoặc chữ) thu được
và thay vào công thức, thì entropy là
H = 4.07 bit/ký hiệu
Lưu ý: Hãy xem xét câu sau: "I do not knw wheter this is undrstandble." Mặc dù thực tế là một

số chữ cái là mất tích trong câu này nhưng bạn vẫn có thể làm ra câu văn . Nói cách khác, có rất nhiều
khả năng dự phòng trong các văn bản tiếng Anh.
Đây được gọi là xấp xỉ đầu tiên (first-order approximation) để tính toán entropy của nguồn tin. Trong
tiếng Anh, có một sự phụ thuộc của một ký tự với ký tự trước đó. Ví dụ, chữ "U" luôn luôn xảy ra sau khi
chữ 'Q'. Nếu chúng ta xem xét các xác suất của hai ký hiệu với nhau (aa, ab, ac, ad, .. ba, bb, vv), nó được
gọi là xấp xỉ thứ hai(second-order approximation) theo thứ tự. Vì vậy, trong second-order approximation,
chúng ta phải xem xét các xác suất có điều kiện của digrams (hai ký hiệu với nhau). Entropy của nguồn
second-order tạo bởi các ký tự tiếng Anh có thể đạt đến:
H = 3,36 bit / ký hiệu
Entropy của nguồn third-order cũng tạo bởi các ký tự tiếng Anh có thể đạt đến : H = 2,77 bit / ký hiệu
Khi bạn xem xét các thứ tự cao hơn, entropy giảm xuống.
Nếu một nguồn tạo bởi (i) ký hiệu với một xác suất P (i), entropy của nguồn được cho bởi :
H = - Σ P (i) log2P (i) bit / ký hiệu.
Một ví dụ khác, hãy xem xét một nguồn tạo bởi bốn ký hiệu với xác suất của 1/2, 1/ 4, 1/8, và 1/8, và tất
cả các ký hiệu là độc lập với nhau. Các entropy của nguồn là 7/4 bit / ký hiệu.
Lưu ý: Khi bạn xem xét các xác suất bậc cao (higher-order probabilities), entropy của nguồn đi
xuống. Ví dụ, để entropy của một nguồn third-order tạo bởi các ký tự tiếng Anh là 2,77 bit/ký hiệu, mỗi
sự kết hợp của ba chữ cái có thể được đại diện bởi 2,77 bit.
2.3 Năng suất kênh truyền (Channel capacity):