Dung năng kênh và định lý mã kênh

Dung năng kênh và định lý
mã kênh

Thông tin tương hỗ (kênh rời rạc
hữu hạn)
•
Y là lối ra kênh và là phiên bản noise của
lối vào X. H(X) là Entropi đo độ bất định
của X. Để đo bất định về X sau khi quan
sát Y ta dùng Entropi điều kiện
•
Lấy trung bình trên toàn bộ Y:

Ví dụ
•
Tính H (X|Y) đối với kênh nhị phân đối
xứng có p(0)=p(1)=1/2,p là xác suất
truyền
•
Xác suất điều kiện (lỗi kênh) p(Y=0|
X=1)=p(Y=1|X=0)=p
•
p(Y=1|X=1)=p(Y=0|X=0)=1-p

•
Hiệu diễn tả lượng bất định ở lối
vào được phân giải bởi quan sát lối ra.
•
Lượng này gọi là thông tin tương hỗ
•

Tính chất:

Capacity kênh rời rạc
•
Xét kênh không nhớ rời rạc lối vào X lối ra
Y
•
Thông tin tương hỗ không những phụ
thuộc kênh mà còn phụ thuộc p(x
j
), tức là
phụ thuộc cách dùng kênh
•
Đn: Dung năng là thông tin tương hỗ cực
đại trên một lần dùng kênh (đo bằng bit)

Ví dụ
•
Kênh đối xứng nhị phân: H(X) cực đại khi
p(0)=p(1)=1/2. Thông tin tương hỗ I(X,Y) cũng
cực đại:

Nhận xét:
•
Khi kênh không có noise, p=0 (xác suất lỗi
điều kiện), dung năng là 1 bit/lần dùng
kênh và bằng thông tin vào kênh. Tại giá
trị này hàm entropi H(p)=0
•
Khi p=1/2, do noise, C là nhỏ nhất =0

trong khi H(p) cực đại=1. trường hợp này
được gọi là không có giá trị dùng

Lý thuyết mã kênh
•
Để giảm lỗi cần thêm các bit dư. Tỷ số
r=k/n goi là tỷ lệ mã.
•
Nguồn phát ra H(X)/T
s
bít/s thông tin. Kênh
có dung năng C trong một lần dùng kênh
thời gian T
c
hay tốc độ cực đại qua kênh là:
C/T
c
•
Đ/lý : nếu (*) thì tồn tại sơ đồ mã
truyền nguồn qua kênh lỗi nhỏ tùy ý
•
Nếu không thể truyền qua kênh
với lỗi nhỏ tùy ý.

Nhận xét:
•
Đ/lý không chỉ rõ cấu trúc mã tốt thế nào
mà chỉ khẳng định tồn tại mã tốt khi điều
kiện thỏa mãn
•

Đ/lý không cho kết quả lỗi chính xác mà chỉ
khẳng định lỗi tiến đến zero khi độ dài mã
tăng khi thỏa mãn điều kiện (*)
•
Công suất và băng tần ẩn trong phát biểu
trên song có thể liên hệ khi dùng công thức
lỗi

Áp dụng kênh nhị phân đối xứng
•
Xét nguồn bức xạ 1 bit/s (bằng nhau giữa
0 và 1), cấp lên kênh tỷ lệ mã r (<1). Bộ
mã tạo ký hiệu trên một lần dùng kênh là
T
c
giây
•
Yêu cầu: chuyển thành

Entropi vi phân hay thông tin tương
hỗ của tín hiệu liên tục.
•
Xét biến liên tục X với hàm mật độ xác
suất f
X
(x). Đại lượng sau gọi là entropi vi
phân của biến X:
•
Đại lượng này không có ý nghĩa vật lý mà
tương tự một cách hình thức nhưng hiệu

của nó lại có ý nghĩa

Ví dụ
•
Phân bố đều: xét biến X phân bố đều trên
khoảng (0,a)
•
Tính h(X)
•
Chú ý là ví dụ này cho thấy
không giống như entropi của biến rời rạc,
entrpi vi phân của biến liên tục có thể âm

•
Phân bố Gaus: xét một cặp biến X,Y có các hàm
mật độ là f
X
(x), f
Y
(x). Từ bpt
•
CM: dựa vào
•
Suy ra
•
Giả sử X, Y có cùng tb và phương sai
•
Biến X có phân bố Gaus

•

Suy ra
•
Từ đó
•
Nhận xét:
•
Đối với cùng phương sai hữu hạn σ
2
, biến
Gaus có entropi vi phân lớn nhất
•
Entropi của biến Gaus được xác định duy
nhất theo phương sai của X (độc lập với tb
của X)

Thông tin tương hỗ (kênh liên tục)
•
Xét cặp biến liên tục X,Y, đại lượng
•
Gọi là thông tin tương hỗ giữa chúng
•
Tương tự ta có:
•
Ở đó
•
Là entropi vi phân điều kiện

Định lý dung năng thông tin
•
Xét quá trình dừng, tb zero X(t) băng giới hạn B

(Hz). Lấy mẫu theo Nyquist (2B mẫu/s)
•
Các mẫu được truyền trong T giây nên K=2BT
•
X
k
là mẫu nguồn, Y
k
là mẫu ra khỏi kênh sau khi
bị noise. N
k
là noise với tb zero và phương sai:
•
Theo lý thuyết:
•
Vì X
k
và N
k
là độc lập

•
Theo định nghĩa
•
Vì X
k
và N
k
là các biến độc lập
•

Nên có thể viết
•
Mặt khác lại độc lập với phân bố của
X
k
nên cực đại thông tin tương hỗ phải
cực đại h(Y
k
)

•
Để cực đại h(Y
k
), Y
k
phải là biến Gaus hay
các mẫu nhận được sau kênh có dạng
noise. Do N
k
có dạng Gaus nên X
k
cũng
phải có dạng Gaus.
•
Do đó cực đại nhận được khi chọn nguồn
phát ra mẫu như noise công suất tb =P
•
Để tính dung năng thông tin cần tính

•
Phương sai của Y
k
bằng P+σ
2
, suy ra entropi vi
phân của Y
k
:
•
Phương sai của noise = σ
2
do dó entropi vi phân
của N
k
là:
•
Thay các phương trình
•
ta được
•
Khi dùng K lần để truyền K mẫu trong T giây,
dung năng thông tin là: K/T=2BT/T

•
Dung năng thông tin/giây
•
Đây là định lý thứ 3 của Shannon và cũng
là định lý nổi tiếng nhất
•

Dung năng tỷ lệ tuyến tính với băng thông
song phụ thuộc logarit với tỷ số SNR nên
dễ tăng C bằng cách mở rộng băng thông
hơntawng công suất
•
Để đạt giới hạn tín hiệu phát phải có tính
thống kê giống noise

Những công thức liên quan
•
Khi băng tần rộng vô hạn (tỷ lệ mã zero)


Bài tập


Giải