Hợp nhất hình ảnh đa tiêu cự

Tuyển tập Hội nghị Khoa học thường niên năm 2020. ISBN: 978-604-82-3869-8

HỢP NHẤT HÌNH ẢNH ĐA TIÊU CỰ
Đinh Phú Hùng
Trường Đại học Thủy lợi, email:

1. GIỚI THIỆU

Hợp nhất hình ảnh đa tiêu cự là một kỹ
thuật hiệu quả để mở rộng độ sâu trường ảnh
của ống kính quang học bằng cách tạo ra một
hình ảnh có độ nét tồn bộ ảnh từ một tập hợp
các hình ảnh có độ nét tập trung chỉ một phần
trong cùng một cảnh. Trên thực tế, một số
phương pháp tiếp cận giải bài toán này thường
sử dụng một số phép biến đổi như DWT
(Discrete Wavelet Transform) [1], LP
(Laplacian Pyramids) [2], gặp phải vấn đề là
hình ảnh tổng hợp thu được có thể chưa đạt
được chất lượng tốt. Để giải quyết vấn đề, bài
báo này đề xuất một phương pháp mới để cải
thiện những vấn đề gặp phải ở trên. Phương
pháp này gồm hai giai đoạn: giai đoạn thứ
nhất là tổng hợp hình ảnh và giai đoạn thứ hai
là tăng cường chất lượng cho hình ảnh tổng
hợp. Trong giai đoạn thứ nhất, việc tổng hợp
hình ảnh này dựa trên phép biến đổi DWT.
Hai hình ảnh I1 và I2 được biến đổi Haar để
thu được các thành phần trên miền tần số sau
đó được tổng hợp lại với nhau theo một quy
tắc cụ thể và được biến đổi Haar ngược để thu

được hình ảnh tổng hợp. Trong giai đoạn thứ
hai, từ hình ảnh tổng hợp thu được tiến hành
tạo ra các hình ảnh tạm thời mà nó được tăng
cường bởi các các kĩ thuật xử lý ảnh cơ bản
như cân bằng Histogram thích nghi (giúp tăng
độ tương phản), lọc nhiễu bằng trung vị (giúp
giảm nhiễu cho ảnh). Sau đó, giải thuật tối ưu
PSO (Particle swarm optimization) [3] được
sử dụng để tìm ra các hệ số tối ưu cho các
hình ảnh tạm thời đó với hàm mục tiêu là hàm
chỉ số tương phản Michelson. Hình ảnh tăng
cường thu được dựa trên tổng của các hình
ảnh tạm thời nhân với các hệ số tối ưu tìm
được tương ứng. Thực nghiệm cho thấy,

phương pháp đề xuất này có thể giúp cải thiện
độ tương phản, loại bỏ nhiễu và làm tăng độ
sắc nét cho hình ảnh tổng hợp.
2. KIẾN THỨC NỀN TẢNG

2.1. Biến đổi Haar
Biến đổi Haar được đề xuất bởi nhà toán
học người Hungari Alfréd Haar. Phương
pháp này được sử dụng rất nhiều trong các
bài toán xử lý ảnh như nén ảnh, tăng cường
chất lượng ảnh, tổng hợp hình ảnh… Phương
pháp này biến đổi ảnh thành các thành phần
miền số thấp và cao. Ở cấp độ biến đổi thứ
nhất, phép biến đổi Haar sẽ biến đổi ảnh
thành 4 thành phần LL, LH, HL và HH. Các

thành phần này thường được sử dụng trong
quá trình tổng hợp ảnh.

Hình 1. Minh họa biến đổi Haar cấp 1
2.2. Giải thuật tối ưu hóa bầy đàn
Phương pháp PSO được đề xuất bởi J.
Kennedy [3] và đồng nghiệp. Phương pháp
này khởi tạo bằng một nhóm cá thể ngẫu
nhiên và sau đó tìm nghiệm tối ưu bằng cách
cập nhật các thế hệ. Trong mỗi thế hệ, mỗi cá
thể được cập nhật theo hai vị trí tốt nhất là
Pbest và Gbest. Trong đó, giá trị thứ nhất là vị
trí tốt nhất mà nó đã từng đạt được cho tới
thời điểm hiện tại, gọi là Pbest. Một nghiệm
tối ưu khác mà cá thể này bám theo là
nghiệm tối ưu tồn cục Gbest, đó là vị trí tốt
nhất trong cả quá trình tìm kiếm cả quần thể

48


Tuyển tập Hội nghị Khoa học thường niên năm 2020. ISBN: 978-604-82-3869-8

từ trước tới thời điểm hiện tại. Cụ thể, vận
tốc và vị trí của mỗi cá thể được cập nhật
theo các công thức sau:
k
k
Vi k 1    Vi k  c1  r1  Pbest
_i  Xi



k
c2  r2  Gbest
 X ik

X ik 1

X ik







k 1


 Vi
Trong đó:
X ik  Vị trí cá thế thứ i tại thế hệ k.

(1)
(2)

X ik 1  Vị trí cá thế thứ i tại thế hệ k+1.
Vi k 1  Vận tốc cá thế thứ i tại thế hệ k+1.
k

Pbest
i  Vị trí tốt nhất của cá thể thứ i tại

thế hệ k.
k
Gbest
 Vị trí tốt nhất trong quần thể tại thế
hệ k.
 = 0.729 là hệ số quán tính.
c1, c2: Các hệ số gia tốc, nhận giá trị từ 1.5
đến 2.5
r1, r2: Các số ngẫu nhiên nhận giá trị trong
khoảng [0, 1]
2.3. Các chỉ số đánh giá

i

Trong đó: pi - tần suất xuất hiện của điểm
ảnh thứ i.
Độ sắc nét của ảnh được tính bằng cơng
thức:
1
2
2
G
 Guv và Guv  u  v
M N
Trong đó:
u = I (u, v) – I (u + 1, v)
v = I (u, v) – I (u, v + 1)

I (u, v) - giá trị điểm ảnh tại hàng u, cột v
của ảnh.
I (u + 1, v) - giá trị điểm ảnh tại hàng u + 1,
cột v của ảnh.
I (u, v + 1) - giá trị điểm ảnh tại hàng u,
cột v + 1 của ảnh.
M, N lần lượt là số hàng, cột của ma trận I.
3. GIẢI THUẬT ĐỀ XUẤT

2.3.1. Độ sáng của ảnh
Cơng thức tính giá trị trung bình (chỉ số về
độ sáng) của ảnh là:
1

uM1  vN1 I( u ,v )
M N
Trong đó:
 - giá trị trung bình
M, N lần lượt là tổng số hàng, cột của ma
trận I.
I(u,v) - phần tử hàng u, cột v của ma trận.
2.3.2. Độ tương phản của ảnh
Cơng thức tính độ tương phản (phương
sai) của ảnh:
1
 1

2
u ,v I  u ,v   
u ,v I  u ,v  

M N
M N

Trong đó:
2 - độ tương phản của ảnh.
M, N lần lượt là số hàng, cột của ma trận.
I(u,v) - phần tử hàng u, cột v của ma trận

Nội dung thông tin diễn tả lượng thơng
điệp mà bức ảnh chứa trong đó. Thơng số này
cịn được gọi là entropy và được tính bằng
công thức:
E   pi * log 2 pi

2.3.4. Độ sắc nét của ảnh

Vi k  Vận tốc cá thế thứ i tại thế hệ k.

2 

2.3.3. Nội dung thông tin

2

Đầu vào:
- Ảnh thứ nhất I1
- Ảnh thứ hai I2
Đầu ra:
- Hình ảnh kết hợp I
Bước 1: Các hình ảnh I1 và I2 được chuẩn

hóa về miền [0, 1]
Bước 2: Các hình ảnh I1 và I2 được biến
đổi Haar sang miền tần số như sau: hình ảnh
I1 biến đổi thành 4 thành phần (LL1, LH1,
HL1, HH1) và hình ảnh I2 (LL2, LH2, HL2,
HH2) tương ứng.
Bước 3: Tạo ra các thành phần mới
LL, LH, HL, HH như sau: thành phần
LL = (LL1 + LL2)/2. Các thành phần còn lại
LH = max (LH1, LH2), HL = max (HL1, HL2)
và thành phần HH = max (HH1, HH2).
Bước 4: Biến đổi ngược Haar đối với 4
thành phần (LL, LH, HL, HH) thu được ảnh
tổng hợp I3.

49


Tuyển tập Hội nghị Khoa học thường niên năm 2020. ISBN: 978-604-82-3869-8

Bước 5: Từ hình ảnh tổng hợp I3 thu được,
tạo ra các hình ảnh tạm thời Ihist và Imedian
bằng phương pháp cân bằng Histogram thích
nghi và lọc trung vị tương ứng.
Bước 6: Tạo ra hình ảnh kết hợp
I   * I hist   * I median
với ,   (0,1) được xác định bằng cách sử
dụng phương pháp tối ưu hóa bầy đàn PSO
với hàm mục tiêu là J 

2
 E  E  . Trong
 1 2

đó, E1 và E2 lần lượt là Entropy của hình ảnh
I3 và hình ảnh tăng cường I. Giá trị 2,  lần
lượt là phương sai và trung bình của ảnh I.

ảnh kết hợp giữa hình ảnh Ii1 và hình ảnh Ii2
qua sử dụng phương pháp biến đổi DWT, ảnh
Ii4 là hình ảnh sau khi sử dụng phương pháp
đề xuất đối với ảnh Ii3 (hình 2).
Khởi tạo tham số cho giải thuật tối ưu PSO
như sau:
- Số lượng cá thể: n = 100.
- Hệ số c1 = c2 = 2.
- Hệ số quán tính  = 0.729.
Kết quả đo độ sáng (), độ tương phản
(2), lượng thông tin entropy (E), độ sắc nét
(G) của ảnh được mô tả trong bảng 1.
Bảng 1. Bảng kết quả thực nghiệm
STT

4. KẾT QUẢ THỰC NGHIỆM

Dữ liệu thực nghiệm gồm bộ ảnh A: 10
ảnh bao gồm 5 cặp ảnh đuợc lấy từ thư viện
ảnh trực tuyến1.

1

I11

2

I12

I13

I14

3

I21

I22

I23

4

I24

5

I31

I32

I33

I34

I41

I42

I43

I44

I51

I52

I53

I54



2

E

G

I13

0.3074 0.0243 6.9759

0.0143

I14

0.5114 0.0722 7.6532

0.0389

I23

0.4140 0.0197 7.1268

0.0443

I24

0.5182 0.0668 7.8994

0.0945

I33

0.3856 0.0300 7.2002

0.0227

I34

0.5378 0.0625 7.8409

0.0510

I43

0.4458 0.0380 7.3622

0.0288

I44

0.5551 0.0651 7.8639

0.0556

I53

0.4615 0.0674 7.6326

0.0792

I54

0.5583 0.0734 7.7990

0.1241

5. TÀI LIỆU THAM KHẢO

Các hình ảnh Ii1 và Ii2 là hình ảnh với 2 tiêu

cự khác nhau tương ứng với i  1,5. Gọi Ii3 là
/>
Chỉ số đánh giá

Kết quả thực nghiệm (bảng 1) cho thấy 4
chỉ số đánh giá cho kết quả tốt. Vì vậy,
phương pháp đề xuất này có hiệu quả trong
việc nâng cao chất lượng ảnh ở các khía cạnh
như: nâng cao độ tương phản, giảm nhiễu và
làm sắc nét đường biên ảnh.

Hình 2. Các ảnh trước và sau tăng cường

1

Ảnh

[1] H. Li, B. Manjunath, S. Mitra, Multisensor
image fusion using the wavelet transform,
Graphical Models and Image Processing 57
(3) (1995) 235–245.
[2] L. Kou, L. Zhang, K. Zhang, J. Sun , Q.
Han, Z. Jin, A multi-focus image fusion
method via region mosaic on laplacian
pyramids, PLoS ONE 13 (5) (2018).
[3] J. Kennedy, R. Eberhart, 1995, Particle
swarm optimization, IEEE International
Conference on Neural Networks.

50