Xử lý tín hiệu nâng cao và mã hóa kênh

Xử lý tín hiệu nâng cao và mã hóa kênh
Học viên: Nguyễn Văn Nguyên

MSHV: 20202744M

Bài 1: Ôn tập về lý thuyết thông tin
a) Khái niệm về entropy/ lượng tin
b) Kênh nhiễu Gauss, kênh có nhớ và kênh khơng có nhớ
c) Dung lượng kênh Shanon, tính tốn chứng minh cơng thức Shanon – SISO
d) Mã hóa tích chập, sửa lỗi kênh vơ tuyến
Nội dung chi tiết
1) Khái niệm về Lượng tin
Vì thông tin biểu diễn xác suất trừu tượng của một sự kiện, làm thế nào để
chúng ta ánh xạ xác suất đó thành số lượng bit? Shannon đã giới thiệu thuật
ngữ bit làm đơn vị thông tin, mà ban đầu được đề xuất bởi John Tukey. Vậy
“bit” là gì và tại sao ta sử dụng nó để đo lường thơng tin? Trong q khứ, một
máy phát tín hiệu chỉ có thể gửi hoặc nhận hai loại mã: 0 và 1. Mà thật ra mã
hóa nhị phân vẫn được sử dụng phổ biến trên tất cả các máy tính kỹ thuật số
hiện đại. Bằng cách này, bất kỳ thông tin nào cũng được mã hóa bởi một
chuỗi 0 và 1. Và do đó, một chuỗi các chữ số nhị phân (binary) có độ
dài n chứa n bit thơng tin.
Bây giờ, giả sử rằng đối với bất kỳ chuỗi mã nào, mỗi giá trị 0 hoặc 1 xuất hiện
với xác suất là 1/2. Do đó, sự kiện X với một chuỗi mã có độ dài n, xảy ra với
xác suất 1/2n. Đồng thời, như chúng tôi đã đề cập trước đây, chuỗi số này
chứa n bit thơng tin. Vì vậy, liệu có thể tổng qt hóa thành một hàm tốn học
chuyển xác suất pp thành số lượng bit không? Shannon đưa ra câu trả lời bằng
cách định nghĩa lượng tin
Là số bit thông tin ta đã nhận cho sự kiện X này. Lưu ý rằng ta sẽ luôn sử dụng
logarit cơ số 2 trong phần này. Để đơn giản, phần còn lại của phần này sẽ bỏ
qua cơ số 2 trong ký hiệu logarit, tức là ln có nghĩa là . Ví dụ: mã “0010” có
lượng tin là:

I(“0010”) = - = - = 4bits.
1.1) Entropy
Do lượng tin chỉ đo lường thông tin từ một biến cố rời rạc đơn lẻ, chúng ta
cần một thước đo khái quát hơn cho cả biến ngẫu nhiên có phân bố rời rạc
và liên tục.
1.1.1) Phát triển về lý thuyết Entropy
Hãy phân tích cụ thể hơn. Dưới đây là các phát biểu khơng chính thức của các tiên đề
Shannon về entropy. Chúng buộc ta đi tới một định nghĩa độc nhất về thơng tin. Một
phiên bản chính quy của những tiên đề này cùng với một số tiên đề khác có thể được
tìm thấy trong [Csiszar, 2008].


1. Thông tin thu được bằng cách quan sát một biến ngẫu nhiên không phụ thuộc
vào các yếu tố, hay sự xuất hiện của các yếu tố bổ sung mà có xác suất bằng 0.
2. Thơng tin thu được bằng cách quan sát hai biến ngẫu nhiên không lớn hơn tổng
thông tin thu được khi quan sát chúng một cách riêng rẽ. Nếu hai biến ngẫu
nhiên là độc lập thì thông tin thu được từ hai cách bằng nhau.
3. Thông tin thu được khi quan sát những biến cố (gần như) chắc chắn thì (gần
như) bằng 0.
Việc chứng minh các tiên đề trên nằm ngoài phạm vi của cuốn sách, điều quan trọng
cần nhớ là chúng xác định một cách độc nhất hình thái mà entropy phải có. Chỉ có duy
nhất một điều chưa xác định từ những phát biểu trên là về việc chọn đơn vị cho
entropy, mà điều này thường được chuẩn hóa bằng cách đặt thơng tin cung cấp bởi
một lần lật đồng xu cân đối đồng chất là một bit, như đã thấy trước đó.
1.1.2) Định nghĩa
Cho một biến ngẫu nhiên X bất kỳ tuân theo phân phối xác suất P với hàm mật độ xác
suất (p.d.f) hoặc hàm khối xác suất (p.m.f) p(x), ta đo lượng thông tin kỳ vọng thu
được thông qua entropy (hoặc entropy Shannon):
H(X) = - Ex ~ p [
Cụ thể hơn, nếu XX rời rạc:

H(X) = Ngược lại, nếu X liên tục, ta gọi là entropy vi phân (differential entropy):
H(X) = 1.1.3) Diễn giải
Bạn có thể thắc mắc: trong định nghĩa entropy, tại sao chúng ta sử dụng kỳ vọng
của logarit âm? Dưới đây là một số cách giải thích trực quan.
Đầu tiên, tại sao chúng ta sử dụng hàm logarit log ? giả sử p(x) = f 1 (x) f2 (x)….
Fn (x), khi mỗi hàm thành tố f i (x) độc lập lẫn nhau. Điều này nghĩa là mỗi f i (x)
đóng góp một cách độc lập vào tổng thơng tin thu được từ p(x). Như đã thảo
luận ở trên, ta muốn công thức entropy là phép cộng trên các biến ngẫu nhiên
độc lập. May mắn thay, hàm loglog có thể chuyển tích thành tổng.
Tiếp theo, tại sao chúng ta sử dụng loglog âm? Một cách trực quan, những biến
cố xảy ra thường xun sẽ chứa ít thơng tin hơn những biến cố hiếm vì ta


thường thu được nhiều thông tin hơn từ những trường hợp bất thường. Do đó, ta
cần thiết lập mối quan hệ đơn điệu giảm giữa xác suất của biến cố và entropy
của chúng, và muốn entropy ln dương (vì các quan sát mới khơng nên buộc ta
qn đi những gì đã biết). Tuy nhiên, hàm loglog lại là đơn điệu tăng, và có giá
trị âm với xác suất trong đoạn [0,1]. Vậy nên ta thêm dấu âm vào trước hàm log.
Cuối cùng, hàm kỳ vọng đến từ đâu? Xét một biến ngẫu nhiên X. Ta có thể diễn
giải lượng tin (self-information) (−log(p)) như mức độ bất ngờ khi quan sát
được một kết quả cụ thể nào đó. Thật vậy, khi xác suất xấp xỉ bằng 0, mức độ
bất ngờ tiến tới vơ cùng. Tương tự, chúng ta có thể diễn giải entropy như mức
độ bất ngờ trung bình từ việc quan sát X. Ví dụ, tưởng tượng một hệ thống máy
đánh bạc đưa ra các ký hiệu độc lập S1 ,…, Sk với xác suất lần lượt là p1 ,…, pk .
Khi đó, entropy của hệ thống này bằng với lượng tin trung bình thu được từ việc
quan sát mỗi kết quả, tức:
H(S) = = 2) Kênh nhiễu Gauss, kênh có nhớ và kênh khơng có nhớ
2.1) Kênh nhiễu Gauss