Cơ sở xử lý ảnh số_chương 4
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (2.65 MB, 88 trang )
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
167
Chơng
4
M
HOá
ảNH
v
Mở
đầu.
Mục
tiêu
chính
của
m
hoá
ảnh
là
làm
sao
trìng
bầy
ảnh
với
số
bít
càng
nhỏ
càng
tốt
trong
khi
vẫn
giữ
đợc
mức
chất
lợng
và
độ
dễ
hiểu
ở
mức
chất
lợng
vừa
đủ
với
một
ứng
dụng
đ
cho.
Có
hai
lĩnh
vực
ứng
dụng:
Một
là
giảm
bề
rộng
băng
tần
cần
thiết
cho
hệ
truyền
ảnh.
Ví
dụ
truyền
hình
số,
hội
nghị
video,
fax
ứng
dụng
thứ
hai
là
giảm
bớt
yêu
cầu
về
lu
trữ.
Ví
dụ
giảm
lu
trữ
số
liệu
ảnh
trong
các
chơng
trình
vũ
trụ
và
số
liệu
video
trong
máy
ghi
hình
số.
Tuỳ
theo
tính
chất
của
ứng
dụng,
mức
độ
chất
lợng
ảnh
và
độ
dễ
hiểu
có
thể
biến
đổi
trong
một
phạm
vi
rộng.
Trong
lu
trữ
ảnh
của
chơng
trình
vũ
trụ
hay
lu
trữ
ảnh
lịch
sử
(không
thể
có
lại
đợc)
phải
lu
trữ
lại
toàn
bộ
t
liệu
số
của
nguyên
bản
để
sử
dụng
về
sau.
Những
kỹ
thuật
không
làm
mất
tí
thông
tin
nào
và
cho
phép
phục
hồi
chính
xác
t
liệu
số
ban
đầu,
gọi
là
kỹ
thuật
có
tính
bảo
tồn
thông
tin.
Trong
truyền
hình
số
thì
bộ
m
hoá
không
cần
phải
là
loại
bảo
tồn
thông
tin
nh
vậy.
ở
đây
chất
lợng
cao
là
quan
trọng,
nhng
có
thể
bỏ
qua
một
số
thông
tin
từ
t
liệu
gốc,
trong
phạm
vi
mà
tín
hiệu giải
m
ra
và
hiện
lên
màn
hình
vẫn
vừa
mắt
ngời
xem.
Trong
ứng
dụng
về
điều
khiển con
tàu
từ
xa,
độ
dễ
hiểu
của
ảnh
là
quan
trọng
nhất,
nhng
có
thể
hi
sinh
một
phần
chất
lợng.
Càng
giảm
yêu
cầu
về
chất
lợng
và
độ
dễ
hiểu,
thì
tốc
độ
bit
càng
hạ.
M
hoá
ảnh
liên
quan
đến
cải
thiện
ảnh
và
phục
chế
ảnh.
nếu
ta
có
thể
cải
thiện
cảm
quan
thị
giác
của
ảnh
đợc
lập
lại
hay
nếu
ta
có
thể
giảm
sự
xuống
cấp
do
algorit
m
hoá
hình
gây
ra
(ví
dụ
nh
tạp
âm
lợng
tử
hoá
)
thì
ta
có
thể
giảm
bớt
số
lợng
bit
cần
thiết
để
biểu
diễn
một
ảnh
ở
mức
độ
chất
lợng
và
độ
dễ
hiểu
đ
cho,
hay
có
thể
giữ
nguyên
số
bit
mà
cải
thiện
chất
lợng
và
độ
dễ
hiểu
.
Môi
trờng
điển
hình
về
m
hoá
ảnh
nh
trên
hình
4.1.
ả
nh
digital
đợc
m
hoá
ảnh
m
hoá.
Bộ
m
hoá
này
gọi
là
bộ
m
hoá
nguồn.
Đầu
ra
bộ
m
hoá
này
là
một
chuỗi
bit
gọi
là
ảnh
gốc.
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
168
ả
nh
gốc
Bộ
m
hoá
ảnh
Bộ
m
hoá
kênh
ả
nh
phục
hồi
Bộ
giải
m
ảnh
Bộ
giải
m
kênh
Kênh
truyền
Hình
4.1
.
Môi
trờng
điển
hình
về
m
hoá
ảnh.
Bộ
m
hoá
kênh
biến
chuỗi
bit
này
ra
một
dạng
thích
hợp
cho
việc
truyền
qua
một
kênh
thông
tin,
thôn
g
qua
một
dạng
điều
chế
nào
đó.
Tín
hiệu
đ
điều
chế
đợc
truyền
qua
kênh
thông
tin.
Kênh
thông
tin
sẽ
đa
vào
một
ít
nhiễu
và
trong
bộ
m
hoá
kênh
phải
trữ
liệu
một
biện
pháp
sửa
lỗi
để
khắc
phục
tạp
âm
kênh
này.
ở
đầu
thu,
tín
hiệu
nhận
đợc
qua
giải
điề
u
chế
và
hoàn
nguyên
thành
chuỗi
bit
nhờ
bộ
giải
m
kênh.
Bộ
giải
m
ảnh
đem
chuỗi
bít
hoàn
nguyên
thành
ảnh
cho
hiện
lên
màn
hình
và
in
ra.
Khác
với
môi
trờng
truyền
tin
ở
hình
4.1,
trong
những
ứng
dụng
m
hoá
ảnh
để
giảm
lu
trữ,
không
có
kênh
thông
tin
.
ở
đây
chuỗi
bit
ở
đầu
ra
bộ
m
hoá
ảnh
đợc
lu
trữ
vào
môi
trờng
lu
trữ
chờ
sau
lấy
ra
dùng.
Bộ
m
hoá
ảnh
ở
hình
4.1
có
ba
phần
tử
cơ
bản
(Hình
4.2).
ả
nh
gốc
Biến
đổi
Lợng
tử
hóa
Gán
từ
m
Chuỗi
bit
Hình 4.2
.
Ba
thành
phần
chính
trong
m
hoá
ảnh.
Phần
tử
đầu
tiên
và
quan
trọng
nhất
làm
biến
đ
ổi
ảnh
vào
một
không
gian
(miền)
thích
hợp
nhất
cho
việc
lợng
tử
hoá
và
gán
từ
m.
Về
thực
chất
phần
tử
này
quyết
định
xem
cái
gì
phải
đem
m
hoá.
Algorit
m
hoá
ảnh
chia
làm
ba
loại
chính,
tuỳ
theo
đặc
trng
nào
của
ảnh
đợc
m
hoá.
Loại
thứ
nhất
gọi
là
bộ
m
hoá
dạng
sóng,
cờng
độ
ảnh
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
169
;
hay
một
biến
thiên
của
cờng
độ
ảnh,
ví
dụ
cờng
độ
của
hai
pixel
kề
nhau,
đợc
m
hoá.
Loại
thứ
hai,
gọi
là
bộ
m
hoá
hệ
số
biến
đổi
(hay
hàm
biến
đổi)
,
ảnh
đợc
biến
đổi
sang
không
gian
khác,
chẳng
hạn
biến
đổi
Fourier
hoặc
biến
đổi
Cosin,
nh
vậy
là
sang
một
miền
(domain)
khác
với
miền
cờng
độ,
và
các
hệ
số
biến
đổi
đợc
m
hoá.
Loại
thứ
ba
gọi
là
bộ
m
hoá
mô
hình
(model)
tín
hiệu,
ngời
ta
mô
hình
hoá
ảnh
hoặc một
mảnh
nào
đó
của
ảnh
và
các
thông
số
của
mô
hình
đợc
m
hoá.
Sau
đó
ảnh
đợc tổng
hợp
từ
các
thông
số
mô
hình
đ
m
hoá.
Phần
tử
thứ
hai
là
để
lợng
tử
hoá.
Để
biểu diễn
một
ảnh
với
một
số
bít
hữu
hạn,
thì
cờng
độ
ảnh,
hệ
số
biến
đổi
hay
thông
số
mô hình
phải
đợc
lợng
tử
hoá.
Việc
lợng
tử
hoá
bao
gồm
vi
ệc
gán
mức
lợng
tử
và
các biên
quyết
định.
Phần
tử
thứ
ba
để
gán
từ
m
tức
là
chuỗi
bít
biểu
diễn
các
mức
lợng
tử.
Mỗi
phần
tử
đều
nhằm
để
khai
thác
sự
d
thừa
trong
ảnh
gốc
và
những
giới
hạn
của
thiết
bị
hiện
hình
cũng
nh
của
hệ
thị
giác
con
ngời
.
Vì
vậy
ba
phần
tử
liên
quan
chặt
chẽ
với
nhau.
Chẳng
hạn
nếu
phần
tử
biến
đổi
trong
bộ
m
hoá
làm
cho
các
số
liệu
giảm
sự
tơng
quan
đủ
mức
thì
u
thế
của
lợng
tử
hóa
vectơ
so
với
lợng
tử
hoá
vô
hớng
giảm
đi.
Nếu
các
mức
lợng
tử
trong
bộ
lợng
tử
hoá
đợc
chọn
sao
cho
mỗi
mức
đợc
sử
dụng
với
xác
suất
nh
nhau
thì
u
thế
của
từ m
có
độ
dài
biến
đổi
so
với
từ
m
có
độ
dài
cố
định
giảm
đi.
1.
Lợng
tử
hoá.
1.1.
Lợng
tử
hoá
vô
hớng.
Gọi
f
là
một
lợng
vô
hớng
liên
tục,
có
thể
đại
biểu
cờng
độ
một
pixel
hoặc
một
hệ
số
biến
đổi
hay
một
thông
số
của
mô
hình
ảnh.
Để
biểu
diễn
f
bằng
một
số
lợng
bit
hữu
hạn,
ta
chỉ
dùng
một
số
lợng
hữu
hạn
mức
lợng
tử.
Giả
sử
có
L
mức
đợc
dùng
để
biễu
f.
Quá
trình
gán
một
giá
trị
f
cho
một
trong
L
mức
g
ọi
là
lợng
tử
hoá
biên
độ
hay
gọi
tắt
là
lợng
tử
hoá.
Nếu
mỗi
đại
lợng
vô
hớng
đợc
lợng
tử
hoá
một
cách
độc
lập
thì
quá
trình
gọi
là
lợng
tử
hoá
vô
hớng.
Nếu
hai
hoặc
trên
hai
đại
lợng
vô
hớng
kết
hợp
cùng
lợng
tử
hoá
thì
quá
trình
gọi
là
lợng
tử
hoá
vectơ
hay
lợng
tử
hoá
khối.
Gọi
f
là
f
đ
đợc
lợng
tử
hoá.
f
=
Q
(
f
)
=
r
i
d
i
1
<
f
<
d
i
(4.1)
Q=thuật
toán
lợng
tử
hoá.
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
170
p
p
r
i
=
với
1
i
L
là
L
mức
lợng
tử.
d
i
=
với
0
i
L
là
L
mức
quyết
định
hay
L
bờ
quyết
định.
Theo
(4.1)
thì
nếu
f
rơi
vào
giữa
d
i-1
và
d
i
thì
nó
đợc
ánh
xạ
vào
mức
lợng
tử
r
i
.
Nếu
ta
đ
xác
định
các
mức
quyết
định
và
mức
lợng
tử
thì
quá
trình
lợng
tử
hoá
f
là
một
quá
trình
xác
định.
Cũng
có
thể
biểu
diễn
:
f
= Q
(
f
)
=
f + e
Q
(4.2)
Trong
đó
e
Q
là
sai
số
lợng
tử
tính
theo
:
e
=
f
f
Q
(4.3)
Sai
số
lợng
tử
hoá
e
Q
còn
gọi
là
tạp
âm
lợng
tử
.
Đại
lợng
e
Q
2
coi
nh
trờng
hợp
đặc
biệt
của
độ
đo
độ
méo
d
(
f , f
)
là
một
độ
đo
khoảng
cách
giữa
f
và
f
.
Những
ví
dụ
khác
của
d
(
f , f
)
bao
gồm
f
f
và
f
f
.
Các
mức
lợng
tử
và
mức
quyết
định
thờng
đợc
xác
định
bằng
cách
tối
thiểu
hoá
một
tiêu
chuẩn
sa
i
số
nào
đó
dựa
trên
d
(
f , f
)
chẳng
hạn
nh
độ
méo
trung
bình
D
:
D
=
E
[
d
(
f
,
f
)
]
=
f
=
0
d
(
f
0
,
f
)
p
f
(
f
)
df
0
0
(4.4)
Phơng
pháp
lợng
tử
hoá
chân
phơng
nhất
là
lợng
tử
hoá
đều
trong
đó
các
mức
lợng
tử
(và
mức
quyết
định)
cách
đều
nhau.
d
d
i
=
i
1
1
i
L
(4.5a)
d
i
+
d
r
=
i
2
i
1
1
i
L
(4.5b)
là
kích
thớc
bớc
nhảy
bằng
khoảng
c
ách
giữa
hai
mức
lợng
tử
kề
nhau
hay
hai
mức
quyết
định
kề
nhau.
Ví
dụ
về
lợng
tử
hoá
đều
với
L=4
và
f
giả
thiết
gồm
giữa
0
và
1
đợc
trình
bày
ở
hình
4.3.
Tạp
âm
lợng
tử
e
Q
thờng
phụ
thuộc
tín
hiệu.
Chẳng
hạn
tạp
âm
lợng
tử
e
Q
của
bộ
lợng
tử
hoá
đều
(trong
hình
4.3)
đợc
biểu
diễn
ở
hình
4.4.
Từ
hình
này
thấy
rằng
e
Q
là
hàm
của
f
và
do
đó
nó
phụ
thuộc
tín
hiệu.
Có
thể
làm
cho
tạp
âm
lợng
tử
e
Q
trong
bộ
lợng
tử
hoá
đều
trở
thành
không
tơng
quan
bằng
cách
dùng
kỹ
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
171
1
thuật
giả
tạp
âm
của
Robert
.
Nh
sẽ
thấy
trong
tiết
3
phép
giải
tơng
quan
của
nhiễu
lợng
tử
hoá
sẽ
hữu
dụng
trong
việc
cải
thiện
chất
lợng
hệ
m
hoá
ảnh.
Nó
làm
thay
đổi
đặc
tính
của
sự
xuống
cấp
ảnh
m
hoá.
Ngoài
ra
có
thể
làm
giảm
tạp
âm
lợng
tử
đ
giải
tơng
quan
bằng
cách
dùng
algori
t
phục
hồi
ảnh
nh
chơng
3.
f
Bộ
lợng
tử
hoá
đều
f
f
7
r
4
8
5
r
8
3
3
r
2
8
1
r
1
8
0
(
d
0
)
1
(
d
)
4
1
(
d
)
2
2
3
(
d
)
4
3
f
1
(
d
4
)
Hình 4.3
:
Ví
dụ
về
bộ
lợng
tử
hoá
đều.
Số
mức
lợng
tử
là
4,
f
nằm
giữa
0
và
1,
f
là
f
đ
lợng
tử
hoá.
Các
mức
lợng
tử
và
bờ
quyết
định
đợc
ký
hiệu
là
r
i
và
d
i
.
Tuy
lợng
tử
hoá
đều
là
các
h
tiếp
cận
tự
nhiên
nhất,
nhng
nó
không
phải
là
tối
u.
Giả
sử
f
tập
trung
ở
một
vùng
nào
đó
nhiều
hơn
ở
các
vùng
khác.
Nh
vậy
gán
nhiều
mức
lợng
tử
cho
vùng
đó
nhiều
hơn
các
vùng
khác
là
hợp
lý.
Ta
xem
lại
ví
dụ
ở
hình
4.3.
Nếu
f
ít
khi
rơi
vào
giữa
d
0
và
d
1
thì
mức
lợng
tử
r
1
ít
dợc
sử
dụng.
Sắp
xếp
các
mức
lợng
tử
r
1
,
r
2
,
r
3
,
và
r
4
sao
cho
chúng
đều
nằm
giữa
d
1
và
d
4
sẽ
có
ý
nghĩa
hơn.
Lợng
tử
hoá
mà
các
mức
lợng
tử
và
mức
quyết
định
không
cách
đều
gọi
là
lợng
tử hoá
không
đều.
Việc
xác
định
tối
u
r
i
và
d
i
phụ
thuộc
vào
tiêu
chuẩn
sai
sốđợc
sử dụng.
Tiêu
chuẩn
thờng
dùng
nhất
là
sai
số
quân
phơng
tối
thiểu
MMSE*_
giả
thiết
f
là
một
biến
ngẫu
nhiên
có
hàm
mật
độ
xác
suất
là
p
f
(
f
0
).
Dùng
tiêu
chuẩn
MMSE
ta
xác
định
r
k
và
d
k
bằng
cách
tối
thiểu
hoá
độ
méo
trung
bình
D,
với
:
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
172
0
(
)
D
=
E
[
d
(
f
f
)
]
=
E
e
2
=
E
(
f
f
)
2
Q
(
)
f
f
2
(4.6)
=
p
f
f
f
=
0
df
0
0
Lu
ý
rằng
f
là
một
trong
L
mức
lợng
tử
tính
theo
(4.1),
ta
có
thể
đem
(4.6)
viết
ra
:
L
d
i
D
=
p
(
f
)(
r
f
)
2
df
(4.7)
f
0
i
0
0
i
=
1
f
=
d
0
i
1
Để
tìm
cực
tiểu
D
:
D
=
0
r
k
D
=
0
d
k
1
k
L
1
k
L
1
(4.8)
d
=
0
d
=
L
Từ
(4.7)
và
(4.8)
:
d
k
f
p
(
f
)
df
f
=
d
0
f
0
0
r
=
0
k
1
k
d
,
1
k
L
(4.9a)
k
f
=
d
o
p
f
k
1
f
df
0
0
r
+
r
d
=
k
k
+
1
,
2
1
k
L
1
(4.9b)
d
=
0
(4.9c)
d
L
=
(4.9d)
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
173
Q
Phơng
trình
đầu
trong
(4.9)
nói
lên
rằng
mức
lợng
tử
r
k
là
tâm
quay
(centroid)
của
p
f
(
f
0
)
trong
khoảng
d
k-1
f
d
k
.
Những
phơng
trình
còn
lại
nói
lên
rằng
mứ
c
quyết
định
d
k
(trừ
d
0
và
d
L
)
là
điểm
chính
giữa
hai
mức
lợng
tử
r
k
và
r
k+1
.
Phơng
trình
(4.9)
là
bộ phơng trình cần
cho
lời
giải
tối
u.
Với
một
số
hàm
mật
độ
xác
suất,
trong
đó
có
các
mật
độ
:
đều,
Gauss,
và
Laplace,
thì
(4.9)
cũng
là
bộ
phơng trình đủ
.
Giải
(4.9)
là
một
bài
toán
phi
tuyến.
Bài
toán
phi
tuyến
đ
đợc
giải
cho
một
số
hàm
mật
độ
xác
suất.
Các
lời
giải
khi
p
f
(
f
0
)
là
:
đều,
Gauss,
Laplace,
nh
trên
bảng
1.
Bộ
lợng
tử
hoá
dựa
trên
tiêu
chuẩn
MMSE
đợc
gọi
là
bộ
lợng
tử
hoá
Lloyd_Max.
Theo
bảng
1,
bộ
lợng
tử
hoá
đều
là
bộ
lợng
tử
hoá
MMSE
tối
u
khi
p
f
(f
0
)
là
hàm
mật
độ
xác
suất
đều.
Với
những
mật
độ
xác
suất
khác,
lời
giải
tối
u
là
một
bộ
lợng
tử
hoá
không
đều.
Hình
4.5
biểu
diễn
các
mức
lợng
tử
và
mức
quyết
định
tối
u
ứng
với
hàm
mật
độ
xác
suất
Gauss
có
phơng
sai
là
1
và
L=4.
Cần
đánh
giá
mức
độ
cải
thiện
mà
bộ
lợng
tử
hoá
MMSE
tối
u
đem
lại
so
với
bộ
lợng
tử
hoá
đều.
Chẳng
hạn
xét
một
hàm
độ
xác
suất
Gauss
có
giá
trị
trung
bình
là
0
và
phơng
sai
là
1.
e
=
==
=
f
f
1/8
1/8
1/4
1/2
f
3/4
1
Hình 4.4
:
Minh
hoạ
về
sự
phụ
thuộc
của
tạp
âm
lợng
tử
vào
tín
hiệu.
Hình
4.6
biểu
diễn
méo
trung
bình
D
theo
hàm
của
số
mức
lợng
tử,
đờng
liền
nét
ứng
với
bộ
lợng
tử
hoá
MMSE
tối
u,
đờng
vẽ
chấm
ứng
với
bộ
lợng
tử
hoá
đều,
trong
đó
các
mức
lợng
tử
r
i
đợc
chọn
đối
xứng
đối
với
gốc
toạ
độ,
các
mức
quyết
định
cực
tiểu
và
cực
đại
giả
thiết
là
-
và
,
bớc
lợng
tử
đợc
chọn
để
độ
méo
trung
bình
D
là
cực
tiểu.
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
174
0
Bảng
4.1
.
Vị
trí
của
các
mức
lợng
tử
và
quyết
định
đối
với
bộ
lợng
tử
hoá
Lloyd_Max.
Với
hàm
mật
độ
xá
c
suất
đều,
giả
thiết
p
f
(f
0
)
đều
giữa
1
và
1.
Với
hàm
mật
độ
xác
suất
Gauss
giả
thiết
trung
vị
bằng
0
và
phơng
sai
bằng
1.
Với
hàm
mật
độ
xác
suất
Laplace
2
f
2
p
f
(
f
0
)=
2
e
với
=
1
Đều
Gauss
Laplace
Bit
r
i
d
i
r
i
d
i
r
i
d
i
1
2
3
4
-0.5000
-1.0000
0.5000
0.0000
1.0000
-0.7500
-1.0000
-0.2500
-0.5000
0.2500
0.0000
0.7500
0.5000
1.0000
0.8750
-1.0000
-0.6250
-0.7500
-0.3750
-0.5000
-0.1250
-0.2500
0.1250
0.0000
0.3750
0.2500
0.6250
0.5000
0.8750
0.7500
1.0000
-0.9375
-1.0000
-0.8125
-0.8750
-0.6875
-0.7500
-0.5625
-0.6250
-0.4375
-0.5000
-0.3125
-0.3750
-0.1875
-0.2500
-0.0625
-0.1250
0.0625
0.0000
0.1875
0.1250
0.3125
0.2500
0.4375
0.3750
0.5625
0.5000
0.6875
0.6250
0.8125
0.7500
0.9375
0.8750
1.0000
-0.7979
-
0.7979
0.0000
-1.5104
-
-0.4528
-0.9816
0.4528
0.0000
1.5104
0.9816
-2.1519
-
-1.3439
-1.7479
-0.7560
-1.0500
-0.2451
-0.5005
0.2451
0.0000
0.7560
0.5005
1.3439
1.0500
2.1519
1.7479
-2.7326
-
-2.0690
-2.4008
-1.6180
-1.8435
-1.2562
-1.4371
-0.9423
-1.0993
-0.6568
-0.7995
-0.3880
-0.5224
-0.1284
-0.2582
0.1284
0.0000
0.3880
0.2582
0.6568
0.5224
0.9423
0.7995
1.2562
1.0993
1.6180
1.4371
2.0690
1.8435
2.7326
2.4008
-0.7071
-
0.7071
0.0000
-1.8304
-
-0.4198
-1.1269
0.4198
0.0000
1.8340
1.1269
-3.0867
-
-1.6725
-2.3796
-0.8330
-1.2527
-0.2334
-0.5332
0.2334
0.0000
0.8330
0.5332
1.6725
1.2527
3.0867
2.3769
-4.4311
-
-3.0169
3.7240
-2.1773
-2.5971
-1.5778
-1.8776
-1.1110
-1.3444
-0.7287
-0.9198
-0.4048
-0.5667
-0.1240
-0.2664
0.1240
0.0000
0.4048
0.2644
0.7287
0.5667
1.1110
0.9198
1.5778
1.3444
2.1773
1.8776
3.0169
2.5971
4.4311
3.7240
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
175
10
lo
g
10
D
Bộ
f
lợng
tử
hoá
f
không
đều
f
1.5104
-0.9816
0.4528
-0.4528
-1.5104
f
0.9816
Hình 4.5
.
Ví
dụ
về
bộ
lợng
tử
hoá
Lloyd_Max.
Số
mức
lợng
tử
là
4,
hàm
mật
độ
xác
suất
là
Gauss
với
trung
vị
bằng
0
và
phơng
sai
bằng
1.
0
-10
-20
-30
Lợng
tử
hoá
Lloyd_Max
Lợng
tử
hoá
đều
-40
2
4
8
16
32
64
128
L
(1bit)
(2bit)
(3bit)
(4bit)
(5bit)
(6bit)
(7bit)
Hình
4.6
.
So
sánh
độ
méo
trung
bình
D
=E[(
f
-
f
)
2
]
theo
hàm
của
số
mức
lợng
tử
L
trong
2
trờng
hợp
:
Đờng
liền
nét
:
bộ
lợng
tử
hoá
Lloyd_Max
(khi
hàm
mật
độ
xác
suất
là
Gauss,
trung
vị
bằng
0
và
phơng
sai
bằng
1).
Đờng
vẽ
chấm
:
bộ
lợng
tử
hoá
đều.
Trục
tung
tính
theo
10
log
10
D.
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
176
Trên
hình
4.6
nếu
dùng
từ
m
có
độ
dài
đều
để
biểu
diễn
các
mức
lợng
tử
t
hì
sự
tiết
kiệm
bit
là
0
~
1/2
bit
khi
L
trong
khoảng
2
(1
bit)
và
128
(7
bit).
Trong
ví
dụ
này
giả
thiết
hàm
mật
độ
xác
suất
p
f
(
f
0
)
là
Gauss.
Có
thể
tiến
hành
phân
tích
tơng
tự
với
các
hàm
mật
độ
xác
suất
khác,
hàm
mật
độ
xác
suất
càng
khác
xa
hàm
phân
b
ố
đều
thì
u
thế
của
lợng
tử
hoá
không
đều
so
với
lợng
tử
hoá
đều
càng
lớn.
Quan
niệm
:
bộ
lợng
tử
hoá
đều
là
tối
u
khi
hàm
mật
độ
xác
suất
phân
bố
đều
lại
gợi
ý
cho
ta
một
cách
tiếp
cận
khác.
Đó
là,
ta
có
thể
ánh
xạ
f
vào
g
bằng
một
phép
phi
tuyến
s
ao
cho
p
g
(g
0
)
là
đều,
ta
đem
lợng
tử
hoá
g
bằng
một
bộ
lợng
tử
hoá
đều,
sau
đó
lại
thực
hiện
phép
ánh
xạ
ngợc.
Phơng
pháp
này
đợc
minh
hoạ
trên
hình
4.7.
g
f
Phi
tuyến
Bộ
lợng
tử
hoá
đều
g
Phi
tuyến
-1
f
Hình 4.7
.
Lợng
tử
hoá
không
đều
bằng
phép
nén
-dn.
Phép
phi
tuyến
này
đợc
gọi
là
phép
nén
-dn
(companding).
Theo
lý
thuyết
xác
suất,
một
lựa
chọn
của
phép
phi
tuyến
(hay
phép
nén
-dn)
C[
]
để
tạo
ra
đợc
p
g
(g
0
)
đồng
đều
là
:
g
=
C
[
f
]
=
f
p
f
x
=
1
(
x
)
dx
2
(4.10)
p
g
(g
0
)
nhận
đợc
đồng
đều
trong
khoảng
1/2
g
1/2
.
Tuy
(1.10)
dễ
giải
hơn
hệ
phơng
trình
phi
tuyến
(1.9),
hệ
ở
hình
1.7
lại
tối
thiểu
hoá
D
:
2
D
'
=
E
(
g
g
)
mà
méo
D
ở
(4.11)
không
giống
D
ở
(4.6).
(4.11)
Trong
tiết
này
ta
đ
xét
việc
lợng
tử
hoá
một
đại
lợng
vô
hớng
f
.
Trong
m
hoá
ảnh,
phải
lợng
tử
hoá
nhiều
đại
lợng
vô
hớng.
Một
cách
tiếp
cận
là
lợng
tử
hoá
từng
cái
độc
lập
_
Cách
này
gọi
là
lợng
tử
hoá
vô
hớng
một
nguồn
vectơ.
Giả
sử
có
N
vô
hớng
f
i
với
1
i
N
và
mỗi
vô
hớng
đợc
lợng
tử
hoá
ra
L
i
mức.
Nếu
L
i
đợc
biểu
diễn
bằng
một
luỹ
thừa
của
2
và
nếu
mỗi
mức
lợng
tử
đợc
m
hoá
với
một
số
bit
nh
nhau
(nghĩa
là
với
từ
m
có
độ
dài
đều)
thì
quan
hệ
giữa
L
i
với
một
số
bit
cần
thiết
B
i
là
:
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
177
(
2
B
)
i
i
i
i
2
B
L
=
2
i
(4.12a)
B
i
=
log
2
L
i
(4.12b)
Tổng
số
bit
B
cần
thiết
để
m
hoá
N
vô
hớng
là
:
N
B
=
B
i
i
=
1
Từ
(4.12)
và
(4.13)
đợc
tổng
số
mức
lợng
tử
L
:
(4.13)
N
L
=
L
i
=
2
(4.14)
i
=
1
Xét
(4.13)
và
(4.14)
nhận
thấy
tổng
số
bit
B
là
tổng
các
B
i
còn
tổng
số
mức
lợng
tử
L
là
tích
các
L
i
.
Nếu
có
một
số
bit
cố
định
B
để
m
hoá
N
vô
hớng
bằng
phép
lợng
tử
hoá
vô
hớng
nguồn
vectơ
thì
phải
phân
phối
B
cho
N
vô
hớng.
Chiến
lợc
tối
u
để
phân
bổ
bit
phụ
thuộc
tiêu
chuẩn
sai
số
và
hàm
mật
độ
xác
suất
của
các
vô
hớng.
Chiến
lợc
tối
u
thờng
d
ùng
là
cho
vô
hớng
có
phơng
sai
lớn
nhiều
bit,
vô
hớng
có
phơng
sai
bé
ít
bit.
Ví
dụ
:
giả
sử
cần
tối
thiểu
hoá
sai
số
quân
phơng
N
E
f
i
f
2
đối
với
B
(1
i
N)
trong
đó
f
là
kết
quả
lợng
tử
hoá
f
.
Nếu
các
vô
i
=
1
hớng
có
hàm
mật
độ
xác
suất
giống
nhau
chỉ
có
phơng
sai
khác
nhau
ta
sẽ
dùng
một
phơng
pháp
lợng
tử
hoá
nh
nhau,
chẳng
hạn
dùng
bộ
lợng
tử
hoá
Lloyd_Max
cho
từng
vô
hớng.
Khi
đó
lời
giải
gần
đúng
về
phân
bổ
bit
là:
B
=
B
+
1
log
i
1
i
N
(4.15)
i
N
2
2
N
1
/
N
j
j
=
1
Trong
đó
i
2
là
phơng
sai
của
vô
hớng
f
i
.
Từ
(4.15)
suy
ra
:
L
i
=
2
B
i
=
2
B
/
N
N
i
1
/
N
1
i
N
(4.16)
j
j
=
1
Theo
(4.16)
số
mức
lợng
tử
cho
f
i
tỉ
lệ
với
i
,
là
độ
lệch
chuẩn
của
f
i
.
Tuy
(4.15)
là
một
lời
giải
gần
đúng
với
một
số
giả
thiết
nhất
định,
nó
vẫn
là
căn
cứ
tham
khảo
trong
những
bài
toán
phân
bổ
bit.
B
i
trong
(4.15)
có
thể
âm
và
nói
chung
không
phải
là
số
nguyên.
Khi
lợng
tử
hoá
vô
hớng
B
i
phải
là
một
số
nguyên
không
âm.
Đó
là
điều
kiện
ràng
buộc
khi
giải
các
bài
toán
phân
bổ
bit
trong
thực
tế.
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
178
1.2
.
Lợng
tử
hoá
vectơ.
Trong
tiết
trên,
thảo
luận
về
lợng
tử
hoá
vô
hớng
một
vô
hớng
và
một
nguồn
vectơ.
Một
cách
tiếp
cận
khác
để
m
hoá
nguồn
vectơ
là
đem
chia
các
vô
hớng
thành
những
khối,
xem
mỗi
khối
nh
một
đơn
vị
sau
đó
lợng
tử
đồng
thời
những
vô
hớng
này
trong
đơn
vị
đó.
Nh
vậy
gọi
là
lợng
tử
hoá
vectơ
hay
lợng
tử
hoá
khối
.
Gọi
f
=
[f
1
,
f
2
, ,
f
N
]
T
là
một
vectơ
M
chiều
gồm
N
vô
hớng
f
i
có
giá
trị
thực,
biên
độ
liên
tục
.
Trong
phép
lợng
tử
hoá
vectơ
f
đợc
ánh
xạ
vào
một
vectơ
M
chiều
khác
r
=
[r
1
,
r
2
, ,
r
N
]
T
.
Khác
với
f
mà
các
phần
tử
có
biên
độ
liên
tục,
vectơ
r
đợc
chọn
từ
L
mức
lợng
tử.
Gọi
f
là
f
đ
đợc
lợng
tử
hoá,
ta
biểu
diễn
nó
bằng
:
f
=VQ(
f
)=
r
i
.
f
C
i
(4.17)
VQ
là
toán
tử
lợng
tử
hoá
vectơ
r
i
với
1
i
N
chỉ
L
mức
lợng
tử
và
C
i
đợc
gọi
là
tế
bào
thứ
i
.
Nếu
f
nằm
trong
tế
bào
C
i
,
thì
f
đợc
ánh
xạ
vào
r
i
.
Hình
4.8
cho
một
ví
dụ
lợng
tử
hoá
vectơ
khi
N
=2
và
L
=
9
.
Các
chấm
trên
hình
là
những
mức
lợng
tử,
và
các
đờng
liền
nét
là
đờng
biên
tế
bào
.
Trong
lợng
tử
hoá
vectơ
tế
bào
có
thể
có
hình
dạng,
kích
thớc
bất
kỳ.
Đó
là
điều
khác
biệt
với
lợng
tử
hoá
vô
hớng,
mà
tế
bào
(miền
g
iữa
2
mức
quyết
dịnh
kề
nhau)
có
thể
có
kích
thớc
bất
kỳ
nhng
hình
dạng
cố
định
.
f
2
f
1
Hình
4.8
.
Ví
dụ
lợng
tử
hoá
vectơ.
Số
vô
hớng
trong
mỗi
vectơ
là
2,
số
mức
lợng
tử
là
9.
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
179
1
1
2
Phép
lợng
tử
hoá
vectơ
khai
thác
sự
mềm
dẻo
này.
Cũng
nh
trong
trờng
hợp
vô
hớng,
ta
định
nghĩa
độ
méo
d
(
f , f
)
là
độ
đo
sự
chênh
lệch
giữa
f
và
f
.Một
ví
dụ
của
d
(
f , f
)
là
e
Q
T
e
Q
trong
đó
tạp
âm
lợng
tử
e
Q
định
nghĩa
theo
:
e
Q
=
f
f
=
VQ
(
f
)
f
(4.18)
Các
mức
lợng
tử
r
I
và
bờ
các
tế
bào
C
I
xác
định
bằng
cách
lấy
cực
tiểu
1
tiêu
chuẩn
sai
số
nào
đó,
chẳng
hạn
độ
méo
trung
bình
D
:
D
=
E
[
d
(
f
,
f
)
]
(4.19)
Nếu
d
(
f , f
)
là
e
Q
T
e
Q
thì
từ
(4.18)
và
(4.19)
suy
ra
:
D
=
E
(
e
T
e
)
=
E
(
f
f
)
T
(
f
f
)
Q
=
Q
(
f
f
)
T
(
f
f
)
p
(
f
)
df
(4.20)
L
0
0
f
0
0
T
=
(
r
i
f
0
)
(
r
i
f
0
)
df
0
i
=
1
f
0
C
i
Độ
méo
trung
bình
ở
(4.20)
là
sai
số
quân
phơng
MSE
và
là
dạng
tổng
quát
của
(4.7)
.
Ưu
điểm
của
e
Q
T
e
Q
so
với
lợng
tử
hoá
vô
hớng
một
nguồn
vectơ
là
cải
thiện
chất
lợng.
Lợng
tử
hoá
vectơ
cho
phép
giảm
thấp
độ
méo
trung
bình
D
khi
giữ
số
mức
lợng
tử
không
đổi,
hay
cho
giảm
số
mức
lợng
tử
khi
giữ
độ
méo
trung
bình
D
không
đổi.
Lợng
tử
hoá
vectơ
cải
thiện
chất
lợng
so
với
lợng
tử
hoá
vô
hớng
bằng
nhiều
cách.
Cách
có
ý
nghĩa
nhất
là
khai
thác
mối
quan
hệ
thống
kê
giữa
các
vô
hớng
trong
cùng
khối.
Để
minh
hoạviệc
lợng
tử
hoá
vectơ
có
thể
khai
thác
mối
quan
hệ
thống
kê
ta
hy
xét
2
ví
dụ.
Trong
ví
dụ
thứ
nhất
ta
khai
thác
mối
quan
hệ
tuyến
tính
(tính
tơng
quan).
Xét
2
nguồn
ngẫu
nhiên
f
1
và
f
2
có
hàm
mật
độ
xác
suất
đồng
thời
p
f
1
f
2
(
f
'
, f
'
)
nh
trên
hình
4.9a.
Hàm
mật
độ
xác
suất
đồng
thời
có
biên
độ
đồng
đều
và
bằng
1/2a
2
trong
vùng
gạch
chéo,
bằng
không
ở
ngoài
vùng
gạch
chéo.
Hai
hàm
mật
độ
xác
suất
biên
p
f
1
(
f
'
)
và
p
(
f
'
)
cũng
đợc
vẽ
trên
hình.
Vì
E[
f
,
f
]
E[
f
]
E[
f
]
nên
f
và
f
là
tơng
quan
hay
f
2
2
1
2
1
2
1
2
phụ
thuộc
tuyến
tính.
Giả
thiết
ta
lợng
tử
hoá
riêng
rẽ
f
1
và
f
2
,
dùng
lợng
tử
hoá
vô
hớng
và
tiêu
chuẩn
MMSE.
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
180
1
-a
-a
(b)
2
f
f
f
1
f
f
f
f
f
p
f
2
'
2
a
(
f
'
)
2
a
-a
'
2
a
'
-a
a
1
-a
p
f
1
(
f
'
)
1
2
a
'
-a
a
1
(a)
' '
2 2
a
a
'
-a
a
1
'
-a
a
1
-a
-a
(b)
(c)
Hình
4.9
.
Minh
hoạ
việc
lợ
ng
tử
hoá
vectơ
khai
thác
sự
phụ
thuộc
tuyến
tính
của
các
vô
hớng
trong
vectơ
:
(a)
Hàm
mật
độ
xác
suất
p
(
f
'
, f
'
)
f
1
f
2
1 2
(b)
Các
mức
lợng
tử
hoá
(các
chấm
trên
hình)
khi
lợng
tử
hoávô
hớng.
(c)
Các
mức
lợng
tử
hoá
(các
chấm
trên
hình)
khi
lợng
tử
hoávectơ.
Vì
mỗi
vô
hớng
f
1
và
f
2
đều
có
hàm
mật
độ
xác
suất
đều
nên
bộ
lợng
tử
hoá
vô
hớng
tối
u
là
lợng
tử
hoá
đều.
Nếu
ta
cho
mỗi
vô
hớng
có
2
mức
lợng
tử
thì
các
mức
lợng
tử
của
mỗi
vô
hớ
ng
là
a/2
và
-a/2
.
Bốn
(2x2)
mức
lợng
tử
hợp
thành
4
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
181
1
1
2
1
2
chấm
trên
hình
4.9b.
Rõ
ràng
là
2
trong
số
4
mức
lợng
tử
là
lng
phí.
Với
phép
lợng
tử
hoá
vectơ
ta
chỉ
có
thể
dùng
2
mức
lợng
tử
nh
trên
hình
4.9c.
Ví
dụ
này
cho
thấy
rằng
lợng
tử
hoá
vectơ
cho
phép
giảm
số
mức
lợng
tử
mà
không
phải
hi
sinh
MSE.
Ta
có
thể
loại
bỏ
sự
phụ
thuộc
tuyến
tính
giữa
f
1
và
f
2
bằng
cách
đem
quay
hàm
mật
độ
xác
suất
đi
45
0
theo
chiều
kim
đồng
hồ,
kết
quả
của
phép
biến
đổi
toạ
độ
tuyến
tính
khả
nghịch
này
đợc
biểu
diễn
trê
n
hình
4.10.
Trong
hệ
toạ
độ
mới
g
1
và
g
2
không
tơng
quan,
vì
E[g
1
,g
2
]
=
E[g
1
]
E[g
2
].
Trong
hệ
toạ
độ
mới
này
có
thể
đặt
hai
mức
lợng
tử
vào
các
chấm
ở
trên
hình
bằng
cách
lợng
tử
hoá
vô
hớng
hai
đại
lợng
vô
hớng,
và
khi
đó
u
thế
của
lợng
tử
hoáve
ctơ
không
còn
nữa.
g
2
a
2
2a
a
-
2
2a
g
1
Hình
4.10
.
Kết
quả
loại
trừ
sự
phụ
thuộc
tuyến
tính
giữa
hai
vô
hớng
f
1
và
f
2
ở
hình
4.9
khi
thực
hiện
phép
biến
đổi
tuyến
tính
f
1
và
f
2
.
Loại
bỏ
sự
phụ
thuộc
tuyến
tính
làm
mất
u
thế
của
phép
lợng
tử
hoá
vectơ.
Nh
vậy
là
phù
hợp
với
quan
điểm
cho
rằng
lợng
tử
hoá
vectơ
có
thể
khai
thác
sự
phụ
thuộc
tuyến
tính
giữa
các
vô
hớng
trong
vectơ.
Phép
lợng
tử
hoá
vectơ
cũng
có
thể
khai
thác
sự
phụ
thuộc
phi
tuyến.
Ta
đa
ra
một
ví
dụ
minh
hoạ.
Xét
2
biến
ngẫu
nhiên
f
1
và
f
2
và
hàm
mật
độ
xác
suất
đồng
thời
p
f
1
f
2
(
f
'
, f
'
)
đợc
biểu
diễn
trên
hình
4.11a.
Hàm
mật
xác
suất
vẫn
là
đều
với
biên
độ
bằng
1/(8a
2
)
trong
vùng
gạch
chéo
và
bằng
không
ngoài
vùng
đó.
Hàm
mật
độ
xác
suất
biên
p
f
1
(
f
'
)
và
p
(
f
'
)
cũng
đợc
vẽ
trên
hình
4.11a.
Từ
hàm
mật
độ
xác
suất
đồng
thời
E[f
,f
]
=
E[f
]
f
2
2
1
2
1
E[f
2
]
và
do
đó
f
1
và
f
2
độc
lập
tuyến
tính.
Tuy
vậy
p
(
f
,
f
)
p
(
f
)
p
(
f
)
nên
f
và
f
2
phụ
thuộc
thống
kê.
'
'
f
1
f
2
'
f
1
1
'
f
2
2
1
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
182
1
(b)
f
f
2
f
1
f
f
f
f
f
1
1
1
Khi
mà
các
biến
ngẫu
nhiên
độc
lập
tuyến
tính
nhng
phụ
thuộc
thống
kê
ta
bảo
chúng
phụ
thuộc
phi
tuyến.
'
'
2
2
a
2a
p
f
2
(
f
'
)
4
a
-a
-2a
a
a
'
-a
-a
2a
-2a
p
f
1
(
f
'
)
1
4
a
-2a
'
2a
1
(a)
' '
2 2
-2a
2a
a
a
'
-a
-a
2a
-2a
2a
a
a
'
-a
-a
2a
-2a
-2a
(b)
(c)
Hình
4.11
.
Minh
hoạ
việc
lợng
tử
hoá
vectơ
khai
thác
sự
phụ
thuộc
tuyến
tính
giữa
các
vô
hớng
trong
vectơ
:
a)
Hàm
mật
độ
xác
suất
p
(
f
'
, f
'
)
.
f
1
f
2
1 2
b)
Các
mức
lợng
tử
(các
chấm)
khi
lợng
tử
hoá
vô
hớng
.
c)
Các
mức
lợng
tử
(các
chấm)
khi
lợng
tử
hoá
vectơ.
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
183
g
g
Nếu
ta
lợng
tử
hoá
f
1
và
f
2
riêng
rẽ,
dùng
tiêu
chuẩn
MSE
và
cho
mỗi
vô
hớng
2
mức
lợng
tử,
thì
các
mức
lợng
tử
tối
u
cho
mỗi
vô
hớng
là
-a
và
a.
Các
mức
lợng
tử
tổng
hợp
trong
trờng
hợp
đó
là
4
chấm
trong
hình
4.11b.
Độ
méo
trung
bình
D
=
E[e
Q
T
e
Q
]
trong
ví
dụ
này
là
5a
2
/12.
Ví
dụ
này
cho
thấy
rằng
dùng
lợng
tử
hoá
vectơ
có
thể
làm
giảm
MSE
mà
không
cần
tăng
số
mức
lợng
tử.
Ta
có
thể
loại
bỏ
phụ
thuộc
phi
tuyến
giữa
f
1
và
f
2
trong
ví
dụ
này
bằng
một
thuật
toán
phi
tuyến
khả
nghịch.
Kết
quả
của
một
thuật
toán
nh
vậy
đợc
biểu
diễn
trên
hình
4.12.
'
2
2a
'
-a
a
1
-2a
Hình
4.12
.
Kết
quả
của
việc
loại
bỏ
sự
phụ
thuộc
tuyến
tính
giữa
hai
vô
hớng
f
1
và
f
2
ở
hình
4.11.
Vì
p
(
g
'
,
g
'
)
=
p
(
g
'
)
p
(
g
'
)
nên
g
và
g
độc
lập
thống
kê.
Trong
những
g
1
g
2
1
2
g
1
1
g
2
2
1
2
trờng
hợp
này
có
thể
đặt
hai
mức
lợng
tử
vào
các
chấm
trên
hình
bằng
cách
lợng
tử
hoá
vô
hớng
hai
đại
lợng
vô
hớng,
và
u
thế
của
lợng
tử
hoá
vectơ
không
còn
nữa.
Qua
ví
dụ
này
thấy
rằng
loại
bỏ
phụ
thuộc
phi
tuyến
làm
giảm
u
thế
của
lợng
tử
hoá
vectơ.
Nh
vậy
phù
hợp
với
quan
niệm
cho
rằng
lợng
tử
hoá
vectơ
có
thể
khai
thác
sự
phụ
thuộc
phi
tuyến
giữa
các
vô
hớng
trong
vectơ.
Phép
biến
đổi
tuyến
tính
bao
giờ
cũng
có
thể
loại
bỏ
sự
phụ
thuộc
tuyến
tính.
Về
sự
phụ
thuộc
phi
tuyến
đôi
khi
ta
cũng
loại
bỏ
đợc
bằng
một
thuật
toán
phi
tuyến
khả
nghịch.
Nếu
ta
loại
bỏ
phụ
thuộc
tuyến
tính
hay
phi
tuyến
bằng
một
thuật
toán
phi
tuyến
khả
nghịch
trớc
khi
lợng
tử
hoá
thì
u
thế
của
lợng
tử
hoá
vectơ
về
khả
năng
khai
thác
phụ
thuộc
tuyến
tính
hay
phi
tuyến
sẽ
không
còn
nữa.
Nh
vậy
là
phải
hết
sức
chú
ý
đến
quan
hệ
chặt
chẽ
giữa
giai
đo
ạn
biến
đổi
và
giai
đoạn
lợng
tử
hoá
trong
m
hoá
ảnh.
Nếu
nh
giai
đoạn
biến
đổi
làm
mất
phụ
thuộc
tuyến
tính
hay
phi
tuyến
giữa
các
vô
hớng
cần
m
hoá
thì
đến
giai
đoạn
lợng
tử
hoá
mức
độ
cải
thiện
của
lợng
tử
hoá
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
184
vectơ
so
với
lợng
tử
hoá
vô
hớng
s
ẽ
giảm
sút,làm
cho
lợng
tử
hoá
vectơ
trở
lên
kém
hấp
dẫn.
Điều
đó
nói
lên
một
phần
tại
sao
trong
bộ
m
hoá
dạng
sóng
sự
cải
thiện
do
lợng
tử
hoá
vectơ
đem
lại
rõ
nét
hơn
trong
bộ
m
hoá
phép
biến
đổi.
Các
vô
hớng
dùng
trong
bộ
m
hoá
dạng
sóng,
chẳng
hạ
n
các
cờng
độ
ảnh,
có
tính
tơng
quan
cao
hơn
các
vô
hớng
trong
bộ
m
hoá
phép
biến
đổi,
chẳng
hạn
các
hệ
số
phép
biến
đổi
DCT.
Điều
này
sẽ
đợc
phân
tích
ở
các
tiết
3
và
4.
Ngoài
việc
khai
thác
sự
phụ
thuộc
thống
kê
lợng
tử
hoá
vectơ
còn
có
thể
khai
thác
sự
tăng
thứ
nguyên,
nghĩa
là
tăng
số
vô
hớng
trong
vectơ.
Để
minh
hoạ
ta
xét
2
biến
ngẫu
nhiên
f
1
và
f
2
có
hàm
mật
độ
xác
suất
đồng
thời
đều
trong
một
miền
hình
vuông
có
diện
tích
A.
Rõ
ràng
là
f
1
và
f
2
độc
lập
thống
kê.
Giả
sử
số
mức
lợng
tử
L
rất
lớn
và
do
đó
kích
thớc
tế
bào
nhỏ
hơn
hình
vuông
trong
đó
hàm
mật
độ
xác
suất
khác
0.
Trớc
hết
ta
xét
phép
lợng
tử
hoá
vô
hớng
f
1
và
f
2
.
Vì
hàm
mật
độ
xác
suất
của
f
1
và
f
2
là
đều
nên
theo
tiêu
chuẩn
MMSE,
lợng
tử
hoá
đều
là
tối
u.
Việc
lợng
tử
hoá
đều
f
1
và
f
2
riêng
rẽ
đa
tới
những
mức
lợng
tử
và
tế
bào
vẽ
ở
hình
4.13a.
Trong
trờng
hợp
lợng
tử
hoá
vô
hớng
tế
bào
có
dạng
hình
vuông
có
cạnh
a.
Nếu
đem
lợng
tử
hoá
vectơ
f
1
và
f
2
thì
các
mức
lợng
tử
và
tế
bào
nh
trên
hình
4.13b
Tế
bào
có
dạng
lục
giác.
Thông
qua
tính
toán
có
thể
chứng
minh
rằng
MSE
trong
trờng
hợp
lợng
tử
hoá
vectơ
thấp
hơn
trờng
hợp
lợng
tử
hoá
vô
hớng
4%
nếu
mức
lợng
tử
nh
nhau.
Cũng
có
thể
chứng
minh
là
số
mức
lợng
tử
mà
lợng
tử
hoá
vectơ
yêu
cầu
bé
hơn
số
mức
của
lợng
tử
hoá
vô
hớng
2%
khi
MSE
nh
nhau.
Sự
cải
thiện
này
thờng
nhỏ
hơn
nhiều
so
với
mức
cải
thiện
bằng
lợng
tử
hoá
vectơ
khi
khai
thác
sự
phụ
thuộc
thống
kê.
Tuy
vậy
sự
cải
thiện
sẽ
nét
hơn
nhiều
khi
thứ
nguyên
(nghĩa
là
số
vô
hớng
trong
vectơ)
tăng
lên.
Lu
ý
rằng
sự
cải
thiện
thêm
này
vẫn
đạt
đợc
ngay
cả
khi
các
vô
hớng
trong
khối
độc
lập
thống
kê
với
nhau.
Sự
cải
thiện
mà
lợng
tử
hoá
vectơ
đem
lại
trong
một
số
trờng
hợp
cho
phép
m
hoá
1
vô
hớng
dới
1
bit.
Nếu
ta
m
hoá
riêng
rẽ
từng
vô
hớng
và
cho
mỗi
vô
hớng
tối
thiểu
2
mức
lợng
tử
(nếu
dùng
1
mức
lợng
tử
thì
coi
nh
không
m
hoá)
thì
tỷ
lệ
bit
tối
thiểu
có
thể
là
1
bit
mỗi
vô
hớng.
Nếu
dùng
lợng
tử
hoá
vectơ,
có
thể
cho
mỗi
vô
hớng
2
hoặc
trên
2
mức
lợng
tử
nếu
xét
riêng
rẽ,
nhng
nếu
n
hìn
tổng
hợp
lại
thì
tốc
độ
bit
sẽ
thấp
hơn
một
bit
mỗi
vô
hớng.
Để
minh
hoạ
điều
này
ta
trở
lại
ví
dụ
hình
4.9.
Khi
lợng
tử
hoá
vô
hớng
(hình
4.9b)
cho
mỗi
vô
hớng
2
mức
lợng
tử
thì
tổng
lại
cần
đến
4
mức
cho
2
vô
hớng,
và
tỷ
lệ
bit
là
1
bit
cho
mỗi
vô
hớng.
Khi
lợng
tử
hoá
vectơ
(hình
4.10c)
ta
cho
mỗi
vô
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
185
hớng
2
mức
lợng
tử
khi
xét
từng
vô
hớng
riêng
rẽ
và
cũng
chỉ
có
2
mức
lợng
tử
cho
cả
hai
vô
hớng.
Trong
trờng
hợp
này
tỷ
lệ
bit
là
1
/
2
bit
cho
mỗi
vô
hớng.
Nếu
ta
định
m
hoá
cờng
độ
pixe
l
và
mỗi
cờng
độ
pixel
tối
thiểu
phải
đợc
biểu
diễn
bằng
2
mức
lợng
tử
thì
phơng
pháp
lợng
tử
hoá
vectơ
là
cách
tiếp
cận
để
cho
tỷ
lệ
bit
thấp
hơn
1
bit/pixel.
Ưu
thế
của
lợng
tử
hoá
vectơ
so
với
lợng
tử
hoá
vô
hớng
cũng
phải
trả
giá
:
giá
thành
về
tính
toán
và
lu
trữ
khi
lợng
tử
hoá
vectơ
đắt
hơn
nhiều
so
với
lợng
tử
hoá
vô
hớng
.
Phần
lớn
yêu
cầu
tính
toán
và
lu
trữ
là
để
thiết
kế
và
lu
trữ
sách
m
và
để
tra
sách
m
để
nhận
ra
mức
lợng
tử
phảI
gán
cho
một
vectơ.
Hình
4.13
.
Minh
hoạ
khả
nă
ng
khai
thác
sự
tăng
thứ
nguyên
của
phép
lợng
tử.
Trong
trờng
hợp
này
bên
lợng
tử
hoá
vectơ
ít
hơn
bên
lợng
tử
hoá
vô
hớng
4%.
a)
Lợng
tử
hoá
vô
hớng
f
1
và
f
2
.
b)
Lợng
tử
hoá
vectơ
f
1
và
f
2
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
186
1.3.
Thiết
kế
sách
m
và
algorit
K
-means
.
Khi
lợng
tử
hoá
vectơ
cần
xác
định
các
mức
lợng
tử
r
i
và
các
tế
bào
C
i
.
Bảng
liệt
kê
các
mức
lợng
tử
gọi
là
sách
m
lợng
tử
hay
gọi
tắt
là
sách
m.
Nếu
trong
sách
có
L
mức
kợng
tử
thì
ta
gọi
nó
là
sách
m
L
mức.
Sách
m
ở
đầu
máy
phát
dùng
để
lợng
tử
hoá
một
nguồn
vectơ
thành
1
trong
L
mức
lợng
tử
,
còn
ở
đầu
máy
thu
dùng
để
xác
định
mức
lợng
tử
theo
từ
m
nhận
đợc.
Theo
sự
thoả
thuận
trớc
của
bên
phát
và
bên
thu,
hai
bên
dùng
sách
m
nh
nhau.
Thiết
kế
sách
m
cho
lợng
tử
hoá
vectơ
là
một
bàI
toán
khó.
Không
giống
trờng
hợp
lợng
tử
hoá
vô
hớng,
các
mức
lợng
tử
bên
lợng
tử
hoá
vectơ
là
những
vectơ,
còn
bờ
các
tế
bào
cũng
không
còn
là
điểm
nữa.
Sự
khó
khăn
về
thiết
kế
sách
m
là
một
lý
do
để
những
năm
70
về
trớc
lợng
tử
hoá
vectơ
không
đợc
xét
đến
khi
m
hoá
ảnh
và
tiếng
nói.
Cách
xác
định
r
i
và
C
I
tối
u
phụ
thuộc
tiêu
chuẩn
sai
số
đợc
sử
dụng.
Tiêu
chuẩn
MSE
thờng
dùng
có
thể
biểu
diễn
nh
độ
méo
trung
bình
D
=
E
[
d
(
f
,
f
)]
với
d
(
f
,
f
)
=
(
f
f
)
T
(
f
f
)
.
Thiết
kế
tối
u
sách
m
là
bài
toán
phi
tuyến
cao
độ.
Muốn giải
bài
toán
đó
nên
khai
thác
2
điều
kiện
cần
cho
lời
giải
bài
toán
sau
đây
:
Điều kiện 1
.
Để
1
vectơ
f
có
thể
lợng
tử
hoá
về
1
trong
những
mức
lợng
tử,
bộ
lợng
tử
hoá
tối
u
phải
chọn
mức
lợng
tử
r
i
có
méo
nhỏ
nhất
giữa
f
và
r
i
:
VQ(
f
)
=
r
i
nếu
và
chỉ
nếu
d(
f,r
i
)
d(
f,r
j
)
,
i
j
1
j
L
(4.21)
C
i
:
Điều kiện 2
.
Mỗi
mức
lợng
tử
r
i
phải
tối
thiểu
hoá
đợc
méo
trung
bình
D
trong
Tối
thiểu
hoá
E[d(
f,r
i
)
|
f
C
i
]
đối
với
r
i
.
(4.22)
Mức
r
i
thoả
mn
(4.22)
gọi
là
tâm
quay
của
C
i
.
Nếu
(4.21)
không
tho
ả
mn,
thì
có
thể
làm
giảm
méo
trung
bình
D
bằng
cách
áp
đặt
(4.21).
Nếu
(4.22)
không
thoả
mn,
có
thể
làm
giảm
D
bằng
cách
áp
đặt
(4.22).
Hai
điều
kiện
trên
là
điều
kiện
cần
cho
lời
giải
tối
u.
Điều
kiện
1
định
ra
1
quy
tắc
để
lợng
tử
hoá
f
mà
không
sử
dụng
C
i
một
cách
tờng
minh.
Nói
cách
khác
độ
méo
d
(
f
,
f
)
cùng
với
tất
cả
mức
lợng
tử
r
i
,
với
1
i
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
187
L,
định
ra
mọi
tế
bào
C
i
cho
1
i
L.
Điều
kiện
2
chỉ
ra
một
con
đờng
để
xác
định
r
i
từ
C
i
và
d
(
f
,
f
)
.
Hai
điều
kiện
này
cho
thấy
rằng
khi
đ
cho
d
(
f
,
f
)
thì
các
mức
lợng
tử
và
tế
bào
không
độc
lập
với
nhau.
Quả
thực
là
các
mức
lợng
tử
định
ra
các
tế
bào
và
các
tế
bào
định
ra
các
mức
lợng
tử.
Do
đó
chỉ
riêng
các
mức
lợng
tử
cũng
đ
đủ
cho
sách
m,
các
tin
tức
rõ
về
các
tế
bào
không
cần
lu
trữ.
Hai
điều
kiện
cần
gợi
ý
ra
một
quy
trình
lặp
để
thiết
kế
một
sách
m
tối
u.
Giả
sử
ta
bắt
đầu
bằng
một
ớc
lợng
ban
đầu
của
r
i
.
Cho
r
i
và
độ
méo
d
(
f
,
f
)
ta
xác
định
C
i
,
ít
ra
là
bằng
lý
thuyết,
bằng
cách
xác
định
giá
trị
r
i
ứng
với
mọi
giá
trị
có
thể
của
f,
dùng
điều
kiện
1
trong
(4.21).
Cho
một
ớc
lợng
của
C
i
có
thể
xác
định
ra
r
i
bằng
cách tính
tâm
quay
của
C
i
,
dùng
điều
kiện
2
trong
(4.22).
Giá
trị
r
i
tìm
ra
là
một
ớc
lợng mới
của
các
mức
lợng
tử
và
quá
trình
cứ
thế
tiếp
tục.
Quy
trình
lặp
lại
có
hai
khó
khăn thực
tế.
Trớc
hết,
nó
yêu
cầu
xác
định
r
i
với
mọi
giá
trị
có
thể
của
f
.
Thứ
nữa,
hàm
p
r
(f
0
)
cần
để
tính
tâm
quay
của
C
i
thì
trong
thực
tế
khôn
g
cho
biết.
Thay
vào
đó
chúng
ta
có
những
vectơ
huấn
luyện
đại
biểu
cho
số
liệu
phải
m
hoá.
Một
biến
dạng
của
quy
trình
lặp
trên
đây,
có
tính
đến
hai
khó
khăn
vừa
nói,
là
algorit
K_means
đợc
Lloyd
tìm
ra
năm
1957
cho
trờng
hợp
vô
hớng
(N
=
1).
Năm
1965
Forgy
triển
khai
phơng
pháp
này
cho
trờng
hợp
vectơ.
Algorit
này
còn
gọi
là
algorit
LBG,
vì
Y.Linde,
A.Bufo
và
R.M.Gray
đ
chứng
minh
rằng
algorit
này
có
thể
dùng
với
nhiều
độ
đo
cự
ly
khác
nhau
và
đ
đợc
dùng
phổ
biến
trong
những
ứng
dụng
lợng
tử
hoá
vectơ
vào
m
hoá
tiếng
nói
và
ảnh.
Để
mô
tả
algorit
K_means
ta
giả
thiết
là
có
M
vectơ
huấn
luyện
biểu
thị
bởi
f
i
cho
1
i
M.
Bởi
vì
chúng
ta
ớc
lợng
L
mức
lợng
tử
từ
M
vectơ
huấn
luyện,
ta
giả
thiết
là
M
>>
L.
Trong
những
ứng
dụng
điển
hình
M
cỡ
10L
đến
50L
hay
hơn.
Các
mức
lợng
tử
r
i
đợc
xác
định
bằng
cách
tối
thiểu
hoá
méo
trung
bình,
định
nghĩa
theo
:
1
M
D
=
d
(
f
i
,
f
i
)
M
i
=
1
(4.23)
Trong
algorit
K_means,
chúng
ta
bắt
đầu
bằng
một
giá
trị
ớc
lợng
ban
đầu
của
r
i
khi
1
i
L.
Sau
đó
ta
xếp
lớp
M
vectơ
huấn
luyện
thành
L
nhóm
(hay
lớp),
mỗi
lớp
ứng
với
một
mức
lợng
tử
(dùng
công
thức
21).
Điều
này
có
thể
thực
hiện
đợc
bằng
cách
so
sánh
một
vectơ
huấn
luyện
với
từng
mức
lợng
tử
và
chọn
ra
mức
ứng
với
méo
bé
nhất.
Lu
ý
là
ta
chỉ
lợng
tử
hoá
những
vectơ
huấn
luyện
đ
cho
chứ
không
phải
mọi
vectơ
có
thể
có
của
f.
Từ
những
vectơ
trong
mỗi
lớp
xác
định
ra
một
mức
lợng
tử
mới.
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
188
Để
thuận
tiện
trong
kí
hiệu
giả
thiết
f
i
1
i
M
1
là
M
1
vectơ
huấn
luyện
lợng
tử
hoá
về
mức
lợng
tử
r
1
.
Ước
lợng
mới
của
r
1
nhận
đợc
bằng
cách
tối
thiểu
hoá
M
1
d
(
f
i
,
r
1
)
/
M
1
.
Nếu
nh
d
(
f
,
f
)
đợc
dùng
là
sai
số
bì
nh
phơng
(
f
f
)
T
(
f
f
)
thì
i
=
1
ớc
lợng
mới
của
r
1
vừa
đúng
là
trung
bình
của
M
1
vectơ
f
i
;
1
i
M
1
.
Các
ớc
lợng
mới
của
mọi
mức
lợng
tử
r
i
với
2
i
L
cũng
nhận
đợc
bằng
cách
tơng
tự.
Đó
là
một
biến
tớng
của
(4.22),
đợc
thực
hiện
để
phù
hợp
với
D
trong
(4.23).
Nh
vậy
là
hoàn
thành
một
bớc
lặp
trong
chu
trình,
và
đến
khi
méo
trung
bình
D
ở
bớc
sau
không
khác
bớc
trớc
mấy
thì
có
thể
ngừng
chu
trình
lặp.
Hình
4.14
biểu
diễn
algorit
K_means.
Vì
có
sự
xếp
đám
cho
nên
algorit
này
còn
gọi
là
algorit
xếp
đám,
thờng
gặp
trong
các
tài
liệu
về
nhận
dạng.
Ngời
ta
đ
chứng
minh
là
algorit
K_means
hội
tụ
về
một
cực
tiểu
tại
chỗ
của
D
trong
(4.23).
Để
xác
định
r
i
với
D
gần
cực
tiểu
tuyệt
đối
có
thể
lặp
lại
algo
rit
này
với
những
ớc
lợng
ban
đầu
khác
nhau
của
r
i
và
chọn
lấy
tập
cho
D
bé
nhất
.
Phần
tính
toán
tốn
kém
nhất
trong
algorit
K_means
là
việc
lợng
tử
hoá
các
vectơ
huấn
luyện
trong
mỗi
chu
trình
lặp.
Với
mỗi
vectơ
trong
M
vectơ
huấn
luyện
độ
méo
phải
đợc
ớc
lợng
L
lần
(cứ
1
mức
lợng
tử
1
lần).
Nh
vậy
trong
mỗi
chu
trình
lặp
phải
tính
ML
lần
độ
méo.
Nếu
giả
thiết
có
N
vô
hớng
trong
vectơ,
mỗi
vô
hớng
dùng
R
bit
và
mỗi
mức
lợng
tử
đợc
gán
một
từ
m
có
chiều
dài
nh
nhau
thì
quan
hệ
giữa
L
với
N
và
R
là
:
L
=
2
B
=
2
NR
(4.24)
B
là
tổng
số
bit
dùng
cho
mỗi
vectơ.
Nếu
giả
thiết
độ
méo
đợc
dùng
là
sai
số
T
bình
phơng
e
e
thì
mỗi
lần
tính
độ
méo
cần
đến
N
phép
tính
số
học
(
N
phép
nhân
và
N
phép
cộng).
Số
lợng
phép
tính
số
học
cần
cho
bớc
lợng
tử
hoá
vectơ
huấn
luyện
trong
mỗi
chu
trình
là
:
Số
lợng
phép
tính
số
học
=
NML
=
NM.2
NR
(4.25)
Từ
(4.25)
thấy
chi
phí
tính
toán
tăng
theo
hàm
mũ
N
(số
vô
hớng
trong
mỗi
vectơ)
và
R
(số
bit
trong
mỗi
vô
hớng).
Khi
N
=
10
và
R
=
2
và
ML
=10L
=
10.2
NR
=
10.2
20
,
số
lợng
phép
toán
số
học
theo
(.25)
là
100
nghìn
tỉ
cho
mỗi
bớc
lặp.
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
189
Vectơ
sách
m
ban
đầu
r
j
,
1
j
L
Xếp
lớp
M
vectơ
huấn
luyện
thành
L
đám
bằng
lợ
ng
tử
hoá
Ước
lợng
r
j
bằng
cách
tính
tâm
quay
của
các
vectơ
cùng
đám
D
c
ò
n
t
h
a
y
c
ó
đ
ổ
i
g
i
á
t
r
ị
n
h
i
ề
u
?
k
h
ô
n
g
S
t
o
p
Hinh 4.14
.
Thiết
kế
sách
m
bằng
algorit
K_means
cho
lợng
tử
hoá
vectơ
.
Ngoài
chi
phí
tính
toán
còn
chi
phí
lu
trữ.
Giả
sử
mỗi
vô
hớng
cần
1
đơn
vị
bộ
nhớ,
việc
lu
trữ
các
vectơ
huấn
luyện
cần
đến
MN
đơn
vị
nhớ
và
việc
lu
trữ
các
mức
lợng
tử
cần
đến
LN
đơn
vị
nhớ.
Nh
vậy
:
Tổng
số
đơn
vị
bộ
nhớ
cần
sử
dụng
=
(M+L)N
=
(M+2
NR
)N
(4.26)
Vì
M
>>
N
cho
nên
yêu
cầu
về
bộ
nhớ
chủ
yếu
để
lu
trữ
các
vectơ
huấn
luyện
khi
N
=
10,
R
=
2,
M
=
10L
=10.2
20
,
tính
theo
(4.26)
số
lợ
ng
đơn
vị
nhớ
cần
dùng
phải
cỡ
100
triệu
.
Vì
con
số
tính
theo
(4.26)
tăng
theo
hàm
mũ
N
và
R
do
đó
cả
yêu
cầu
về
tính
toán
và
lu
trữ
buộc
ta
chỉ
sử
dụng
lợng
tử
hoá
vectơ
khi
vectơ
có
số
vô
hớng
ít,
và
số
vô
hớng
có
số
bit
ít.
Trên
đây
thảo
luận
về
y
êu
cầu
về
tính
toán
và
lu
trữ
khi
thiết
kế
sách
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
190
m.
Khi
thiết
kế
xong
sách
m
phải
lu
trữ
nó
ở
cả
đầu
máy
phát
và
đầu
máy
thu.Vì
sau
khi
thiết
kế
xong
sách
m
thì
không
cần
đến
vectơ
huấn
luyện
nữa
cho
nên
chỉ
cần
lu
trữ
các
mức
lợng
tử.
Tuy
thế
số
mức
lợng
tử
phải
lu
trữ
cũng
còn
lớn.
Trong
trờng
hợp
ở
đây
:
Số
đơn
vị
bộ
nhớ
cần
cho
sách
m
=
NL
=
N2
NR
.
(4.27)
Khi
N
=
10,
R
=
2,
con
số
tính
theo
(4.27)
cỡ
10
triệu.
Để
lợng
tử
hoá
mỗi
vectơ
f
phải
tính
độ
méo
d
(
f,r
i
)
cho
từng
bớc
lợng
tử
của
L
mức
ở
máy
phát.
Vì
thế
cho
mỗi
vectơ
:
Số
phép
tính
số
học
=
NL
=
N.2
NR
(4.28)
Khi
N
=
10,
R
=
2,
con
số
tính
theo
(4.28)
cũng
cỡ
10
triệu.
Theo
(4.27)
và
(4.2
8)
cả
số
đơn
vị
trong
bộ
nhớ
sách
m
lẫn
số
thuật
toán
số
học
để
lợng
tử
hoá
1
vectơ
f
đều
tăng
theo
hàm
mũ
N
(số
vô
hớng
trong
mỗi
vectơ)
và
R
(số
bit
ở
mỗi
vô
hớng).
Số
thuật
toán
số
học
trên
chỉ
cần
ở
đầu
phát.
ở
đầu
thu
chỉ
cần
thuật
toán
tra
bảng
đ
ơn
giản.
1.4.
Sách
m
cây
và
tìm
kiếm
nhị
phân.
Khối
lợng
tính
toán
chủ
yếu
khi
thiết
kế
sách
m
bằng
algorit
K_means
nằm
ở
khâu
lợng
tử
hoá
các
vectơ
huấn
luyện.
Cũng
cần
phải
lợng
tử
hoá
vectơ
khi
sách
m
đợc
dùng
ở
đầu
phát.
Nếu
sách
m
đợc
th
iết
kế
bằng
thuật
toán
K_means
thì
việc
lợng
tử
hoá
vectơ
lúc
thiết
kế
và
việc
truyền
số
liệu
yêu
cầu
phải
ớc
lợng
độ
méo
giữa
vectơ
với
từng
mức
trong
L
mức
lợng
tử.
Quá
trình
này
gọi
là
tìm
kiếm
đầy
đủ
và dẫn
đến
số
phép
tính
tăng
theo
hàm
mũ
N
và
R
(số
vô
hớng
trong
vectơ
và
số
bit
trong mỗi
vô
hớng).
Nhiều
phơng
pháp
đ
đợc
phát
triển
để
loại
bỏ
sự
phụ
thuộc
theo
hàm
mũ
này.
Chúng
làm
giảm
số
lợng
phép
tính
bằng
cách
thay
đổi
sách
m,
bằng
sự
hi
sinh
phần
nào
chất
lợng
và
cả
sự
tăng
dung
lợng
bộ
nhớ.
Một
trong
những
phơng
pháp
gọi
là
sách
m
cây.
ý
cơ
bản
trong
sách
m
cây
là
đem
chia
không
gian
N
chiều
của
f
ra
thành
hai
miền
và
dùng
algorit
K_means
với
K
=
2,
sau
đó
lại
đem
chia
mỗi
miền
ra
làm
hai
và
lại
dùng
algorit
K_means,
cứ
thế
tiếp
t
ục.
Đặc
biệt
là
khi
L
có
thể
biểu
thị
thành
luỹ
thừa
của
2
thì
thoạt
tiên
thiết
kế
sách
m
có
2
mức
lợng
tử
r
1
và
r
2
,
c
h
ơ
n
g
4
:
m
ã
h
oá
ản
h
191
dùng
algorit
K_means.
Sau
đó
ta
xếp
lớp
tất
cả
các
vectơ
huấn
luyện
thành
hai
lớp,
một
lớp
ứng
với
r
1
và
lớp
kia
ứng
với
r
2
.
Mỗi
lớp
đợc
xử
lý
một
cách
độc
lập
và
sách
m
với
hai
mức
lợng
tử
đợc
thiết
kế
cho
từng
đám.
Quá
trình
này
cứ
thế
lặp
đi
lặp
lại
cho
đến
khi
chúng
ta
có
tất
cả
L
mức
lợng
tử
ở
giai
đoạn
chót
(tầng
chót).
Điều
này
đợc
biểu diễn
ở
hình
4.15
cho
trờng
hợp
L
=
8.
Th
eo
quy
trình
này
thiết
kế
ra
sách
m
cây. Thoạt
tiên
ta
hy
xét
về
yêu
cầu
tính
toán
và
lu
trữ
khi
thiết
kế
sách
m.
Ta
vẫn
giả
thiết rằng
mỗi
lần
tính
độ
đo
độ
méo
phải
mất
N
phép
tính
số
học.
Vì
cả
thảy
có
log
2
N
giai
đoạn
và
độ
méo
chỉ
xác
định
hai
lần
cho
mỗi
cái
trong
M
vectơ
huấn
luyện
ở
mỗi
giai
đoạn
mỗi
chu
trình
lặp
của
algorit
K_means.
Tổng
số
phép
tính
số
học/chu
trình
lặp
=
2NM
log
2
L
(4.29)
Đem
con
số
này
so
sánh
với
số
lợng
tơng
ứng
khi
tính
theo
công
thức
(4.25
)
trong
trờng
hợp
tìm
kiếm
đầy
đủ,
thấy
số
phép
tính
giảm
đi
L/(2.log
2
L)
=
2
NR
/(2NR)
lần.
Khi
N
=
10,
R
=
2
thì
giảm
đợc
26000
lần.
Nhu
cầu
lu
trữ
khi
thiết
kế
sách
m
câyđòi
hỏi
lớn
hơn
trờng
hợp
algorit
K_means
một
ít,
bởi
vì
trong
cả
hai
trờng
hợp
đều
phải
lu
trữ
toàn
bộ
vectơ
huấn
luyện
.
Bây
giờ
ta
xét
về
số
lợng
phép
tính
khi
lợng
tử
hoá
1
vectơ
f
bằng
phơng
pháp
sách
m
cây.
ở
giai
đoạn
thứ
nhất
ta
tính
độ
méo
giữa
f
và
hai
mức
lợng
tử
r
1
và
r
2
trên
hình
4.15.
Giả
sử
d(
f,r
2
)
<
d(
f,r
1
)
thì
ta
chọn
ra.
ở
g
iai
đoạn
hai
ta
tính
độ
méo
giữa
f
và
hai
mức
lợng
tử
r
5
,
r
6
trên
hình
4.15
và
chọn
ra
mức
lợng
tử
nào
cho
độ
méo
nhỏ
hơn.
Giả
sử
chọn
r
5
ở
giai
đoạn
3,
ta
lại
so
sánh
f
với
r
11
và
r
12
.
Quá
trình
này
cứ
thế
tiếp
diễn
cho
đến
giai
đoạn
ch
ót.
Mức
lợng
tử
đợc
chọn
ở
giai
đoạn
chót
chính
là
mức
lợng
tử
của
f
.
Ví
dụ
trên
nếu
L
=
8
và
r
12
đợc
chọn
ở
giai
đoạn
ba
thì
r
12
là
mức
lợng
tử
của
f
.Trong
quy
trình
này
chúng
ta
cứ
lần
đi
theo
cây
và
tiến
hành
tìm
kiếm
giữa
hai
mức
lợng
tử
ở
điểm
nút
của
cây.
Sự
tìm
kiếm
tiến
hành
giữa
hai
một
lúc
cho
nên
ta
gọi
là
tìm
kiếm
nhị
nguyên.
Vì
tất
cả
có
log
2
L
giai
đoạn
và
ở
mỗi
giai
đoạn
tính
độ
méo
hai
lần cho
nên
số
phép
tính
số
học
cần
thực
hiện
khi
lợng
tử
hoá
f
theo
phơng
pháp
sách
m
cây
là
:
Số
phép
tính
số
học
=
2N
log
2
L
=
2N
2
R
(4.30)
Theo
công
thức
(4.30)
thì
chi
phí
tính
toán
không
tăng
theo
hàm
mũ
N
và
R.
Nếu
so
kết
quả
tính
theo
(4.30)
với
kết
quả
tính
theo
(4.28)
trong
trờng
hợp
tìm
kiế
m
đầy
đủ
thì
chi
phí
cũng
giảm
2
NR
/(2NR)
lần.
Khi
N
=
10
và
R
=
2
thì
giảm
đợc
26000
lần.
Việc
giảm
bớt
số
lần
tính
toán
phải
trả
giá.
Sách
m
dùng
ở
máy
phát
phải
lu
trữ
cả
các
mức
