Mã hóa nguồn phổ quát

Trang 128
Bài 8 Mã hóa nguồn phổ quát
8.1 Nguồn rời rạc không nhớ với thống kê không biết trước
8.2 Các vectơ tần xuất và tựa–entropy (quasi–entropy)
8.3 Một sơ đồ mã hoá phổ quát cho nguồn rời rạc không
nhớ
Trang 129
Giới thiệu

Vấn đề này không được khởi xướng bởi Shannon mà bởi B. M.
Fitingof.

Lý thuyết của Shannon dựa trên kiến thức về các hàm phân bố
xác suất và chứng minh tồn tại phép mã hoá tối ưu.

Mã hoá nguồn phổ quát tiếp cận theo cách khác bằng việc lợi
dụng cấu trúc của các dãy và cũng đi đến được cùng kết quả tối
ưu.

Trong trường hợp mà các hàm phân bố xác suất là không có sẵn
hoặc sự thống kê về nguồn là thay đổi theo thời gian, những
điều mà thường xảy ra trong thực tế, thì kỹ thuật mã hoá nguồn
phổ quát là một lựa chọn thích hợp hơn là dùng kỹ thuật của
Shannon.
Trang 130
Nguồn rời rạc không nhớ với
thống kê không biết trước

Xét nguồn A = {a
1
, ..., a

K
} có sự phân bố xác suất là {p
1
, ..., p
K
}
sinh ra một dãy các kí hiệu độc lập có phân bố đồng nhất.

Chúng ta giả thiết rằng sự phân bố xác suất {p
1
, ..., p
K
} là cố
định nhưng không được biết trước bởi bộ mã hoá (encoder).

Thực tế sự phân bố xác suất thường là không được biết trước
hoặc chỉ được biết ở mức độ gần đúng, hoặc sự phân bố này
thay đổi chậm theo thời gian.

Vì vậy một sơ đồ mã hoá dựa trên xác suất có thể hiệu quảở
khung thời gian này nhưng sẽ không hiệu quảởkhung thời gian
khác.
Trang 131
Nguồn rời rạc không nhớ với
thống kê không biết trước (tt)

Đánh giá ảnh hưởng của sự biết không chính xác về thống kê
của nguồn đến hiệu quả của việc mã hoá

Xét nguồn rời rạc không nhớ nhị phân với sự phân bố xác suất

là P(0) = p, P(1) = 1– p.

Nếu bộ mã hoá được cung cấp xác suất gần đúng với p là p
0
thì
theo phương pháp của Shannon kí hiệu 0 sẽ được gán với từ mã
có chiều dài là –log p
0
còn 1 được gán với từ mã có chiều dài –
log (1– p
0
).

Chiều dài trung bình của các từ mã là
= –p log p
0
–(1–p) log(1–p
0
)

Chiều dài trung bình từ mã tối ưu là
= –p log p –(1–p) log(1–p)
l
opt
l
Trang 132
Nguồn rời rạc không nhớ với
thống kê không biết trước (tt)

Chú ý rằng là một tiếp tuyến của tại p = p

0
, nhưng khi p
lệch ra xa p
0
thì khoảng cách giữa hai đồ thị gia tăng khá nhanh.
l
p0
1
opt
l
l
opt
l
Trang 133
Nguồn rời rạc không nhớ với
thống kê không biết trước (tt)

Trong bài này chúng ta phát triển các ý tưởng cơ bản về mã hoá
phổ quát, một sơ đồ mã hoá không dựa trên xác xuất của các
dãy mà lại dựa vào cấu trúc của chúng.

Chúng ta sẽ chứng minh rằng
∀ε
nguyên dương nhỏ tuỳ ý có
khả năng mã hoá một nguồn sao cho
≤
H
(
x
) +

ε
đối
∀
sự
phân bố xác suất {p
1
, ..., p
K
} của nguồn.

ε
có thể được làm nhỏ
tuỳ ý bằng cách chọn
chiều dài khối tin cần
mã hoá đủ lớn.
l
opt
l
p0
1
Cận trên của
l