Khôi phục ảnh bằng tối ưu độ tương tự cục bộ

i
..

ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN &TRUYỀN THƠNG

HỒNG XN TRUNG

KHƠI PHỤC ẢNH BẰNG TỐI ƢU ĐỘ
TƢƠNG TỰ CỤC BỘ
Chuyên ngành: Khoa học máy tính
Mã số: 60 48 01 01

LUẬN VĂN THẠC SĨ CHUYÊN NGÀNH KHOA HỌC MÁY TÍNH

NGƢỜI HƢỚNG DẪN KHOA HỌC
TS.ĐÀO NAM ANH

THÁI NGUYÊN - 2015

Số hoá bởi Trung tâm Học liệu – ĐHTN


ii
LỜI CẢM ƠN

Trên thực tế khơng có thành cơng nào mà không gắn liền với những
sự hỗ trợ, giúp đỡ trong suốt thời gian từ khi bắt đầu học tập tại trƣờng đến
nay, em đã nhận đƣợc rất nhiều sự quan tâm, giúp đỡ của quý Thầy Cô
Trƣờng Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái
Nguyên cùng với tri thức và tâm huyết của mình để truyền đạt vốn kiến

thức quý báu cho chúng em trong suốt thời gian học tập tại trƣờng, và luôn
luôn tạo mọi điều kiện tốt nhất cho chúng em trong suốt quá trình theo học
tại trƣờng. Em xin chân thành cảm ơn quý Thầy Cô và Ban lãnh đạo nhà
trƣờng!
Với lòng biết ơn sâu sắc nhất em xin gửi lời cảm ơn tới TS. Đào Nam
Anh, là cán bộ trực tiếp hƣớng dẫn khoa học cho em. Thầy đã dành nhiều
thời gian cho việc hƣớng dẫn em cách nghiên cứu, đọc tài liệu, cài đặt các
thuật toán và giúp đỡ em trong việc xây dựng chƣơng trình, em xin chân
thành cảm ơn Thầy!
Và cuối cùng em xin bày tỏ lòng chân thành và biết ơn tới lãnh đạo
khoa Công nghệ Thông tin trƣờng Cao đẳng Hoan Châu Nghệ An cùng bạn
bè đồng nghiệp đã luôn ở bên cạnh những lúc em khó khăn và tạo điều kiện
thuận lợi giúp em hồn thành luận văn.

Hồng Xn Trung

Số hố bởi Trung tâm Học liệu – ĐHTN


iii

LỜI CAM ĐOAN

Tôi xin cam đoan luận văn là kết quả nghiên cứu của tôi, không sao
chép của ai. Nội dung luận văn có tham khảo và sử dụng các tài liệu liên
quan, các thông tin trong tài liệu đƣợc đăng tải trên các tạp chí và các trang
website theo danh mục tài liệu của luận văn.
Tác giả luận văn

Hoàng Xuân Trung

Số hoá bởi Trung tâm Học liệu – ĐHTN


iv
MỤC LỤC
LỜI CẢM ƠN ............................................................................................ i
LỜI CAM ĐOAN .................................................................................... iii
DANH MỤC CÁC TỪ VIẾT TẮT ......................................................... vi
DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ ................................................. vii
MỞ ĐẦU ................................................................................................... 1
CHƢƠNG 1: TỔNG QUAN VỀ BÀI TỐN KHƠI PHỤC ẢNH.............. 3
1.1. Một số khái niệm cơ bản .................................................................... 3
1.1.1. Phần tử ảnh (Picture Element) ........................................................ 3
1.1.2. Mức xám (Gray level) ................................................................. 4
1.1.3. Quan hệ giữa ảnh, các điểm ảnh, mức xám ................................ 5
1.1.4. Lân cận của điểm ảnh.................................................................. 6
1.1.5. Mối liên kết điểm ảnh ................................................................. 6
1.1.6. Đo khoảng cách giữa các điểm ảnh ............................................ 7
1.2. Tổng quan khôi phục ảnh ................................................................... 7
1.2.1. Bài tốn khơi phục ảnh ............................................................... 8
1.2.2. Ứng dụng khơi phục ảnh ............................................................. 9
1.3. Một số phƣơng pháp khôi phục ảnh ................................................. 10
1.3.1. Phƣơng pháp khôi phục ảnh dùng kim tự tháp mờ Gaussian ... 10
1.3.2. Phƣơng pháp khôi phục ảnh dùng bộ lọc Median .................... 12
1.3.3. Phƣơng pháp khôi phục ảnh nhanh dựa vào bộ lọc .................. 13
1.3.4. Khôi phục ảnh dùng biến phân từng phần PDE........................ 14
1.3.5. Khôi phục ảnh dùng phƣơng trình Navier-Stokes .................... 16
1.3.6. Khơi phục ảnh dùng tổng biến thể ............................................ 17
1.4. Một số tiêu chí dùng để đánh giá chất khôi phục ảnh...................... 18

1.4.1. Tổng quan về tiêu chí đánh giá chất lƣợng ảnh ........................ 18
1.4.2. Sai số bình phƣơng trung bình MSE ......................................... 18
1.4.3.Tỷ lệ tín hiệu trên tín hiệu tạp PSNR ......................................... 18
Số hoá bởi Trung tâm Học liệu – ĐHTN


v
1.4.4. Ứng dụng của MSE và PSNR ................................................... 19
1.5. Kết luận chƣơng 1 ............................................................................ 19
CHƢƠNG 2: KHÔI PHỤC ẢNH DÙNG BẢN VÁ VÀ TỐI ƢU ĐỊA
PHƢƠNG .................................................................................................... 20
2.1. Khôi phục ảnh dùng bản vá.............................................................. 20
2.1.1. Khôi phục ảnh dùng vùng mẫu ................................................. 20
2.1.2. Khơi phục ảnh dùng bản vá có kết cấu ..................................... 23
2.1.3. Khôi phục ảnh dùng bản vá với độ thƣa ................................... 27
2.1.4. Khôi phục ảnh dùng kết hợp bản vá và biến phân từng phần
PDE ..................................................................................................... 30
2.1.5. Một số dạng khôi phục ảnh bằng bản vá khác .......................... 33
2.2. Khôi phục ảnh dùng bản vá với điều kiện tối ƣu địa phƣơng .......... 37
2.2.1. Bƣớc tiền xử lý ảnh màu: Tách ảnh .......................................... 37
2.2.2. Phát biểu bài tốn phơi phục ảnh bằng bản vá.......................... 38
2.2.3. Điều kiện tối ƣu địa phƣơng ..................................................... 38
2.2.4. Thuật toán ................................................................................. 40
2.2.5. Đầu vào và đầu ra của thuật tốn khơi phục ảnh dùng bản vá với
điều kiện tối ƣu địa phƣơng. ............................................................... 41
2.3. Kết luận chƣơng 2 ............................................................................ 43
CHƢƠNG 3: CÀI ĐẶT THỬ NGHIỆM .................................................... 44
3.1. Môi trƣờng cài đặt ............................................................................ 44
3.2. Kết quả thực nghiệm ........................................................................ 44
3.3. So sánh với một số phƣơng pháp khác ............................................ 54

3.4. Kết luận chƣơng 3 ............................................................................ 55
TÀI LIỆU THAM KHẢO ........................................................................... 57
PHỤ LỤC: TRÍCH MÃ NGUỒN ............................................................... 59
Số hoá bởi Trung tâm Học liệu – ĐHTN


vi

DANH MỤC CÁC TỪ VIẾT TẮT

Các thuật ngữ

Ý nghĩa

Wavelet

Sóng nhỏ

Inpainting

Khơi phục ảnh

Các từ viết tắt

Ý nghĩa

XLA

Xử lý ảnh

PDE

Partial differential equation

MSE

Mean square error

PSNR

Peak Signal to Noise Ratio

Số hoá bởi Trung tâm Học liệu – ĐHTN


vii

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ
Hình 1: Mỗi điểm ảnh có một tọa độ x, y, và một giá trị với ảnh xám......... 3
Hình 2: Ảnh xám và đồ thị theo mức xám .................................................... 5
Hình 3: Khơi phục tác phẩm hội họa ............................................................ 8
Hình 4: Khơi phục ảnh đen trắng .................................................................. 9
Hình 5: Khơi phục ảnh dùng kim tự tháp mờ Gaussian.............................. 11
Hình 6: Khơi phục ảnh dùng kim tự tháp mờ Gaussian.............................. 12
Hình 7: Khơi phục ảnh Median theo các hƣớng ......................................... 13
Hình 8: Khơi phục ảnh nhanh dựa vào bộ lọc............................................. 14
Hình 9: Khơi phục ảnh biến phân từng phần PDE ...................................... 16
Hình 10: Khơi phục ảnh dùng tổng biến thể ............................................... 18
Hình 11: Ví dụ PSNR .................................................................................. 19
Hình 12: Khơi phục ảnh dùng vùng mẫu: xác định mẫu tại p. .................. 21

Hình 13: Khơi phục ảnh dùng vùng mẫu: tìm miếng vá thích hợp cho p
tại q’, q”, và cuối cùng tiến hành vá q’ cho p. ............................................ 22
Hình 14: Khơi phục ảnh dùng vùng mẫu .................................................... 23
Hình 15: Khơi phục ảnh dùng bản vá có kết cấu: bên trái là ảnh kết
cấu, bên phải: dùng kết cấu để vá. .............................................................. 24
Hình 16: Khơi phục ảnh dùng bản vá có kết cấu theo Efros và Leung: ..... 25
Hình 17: Khơi phục ảnh dùng bản vá có kết cấu theo Criminisi và cộng
sự: bên trái là ảnh đầu vào, bên phải là ảnh kết quả. .................................. 26
Hình 18: Khôi phục ảnh dùng độ thƣa: bộ từ điển hình học và bộ từ
điển kết cấu.................................................................................................. 29
Hình 19: Khơi phục ảnh dùng độ thƣa: ....................................................... 29
Hình 20: Khơi phục ảnh dùng độ thƣa: bên trái là ảnh đầu vào bị nhiễu,
bên phải là ảnh kết quả ................................................................................ 30
Số hoá bởi Trung tâm Học liệu – ĐHTN


viii
Hình 21: Một hình ảnh ban đầu, sau khi loại bỏ 15 x 15 hình vng và
khơi phục lại với các phƣơng pháp đƣợc giới thiệu bởi Masnou và
Morel. .......................................................................................................... 31
Hình 22: Khơi phục dùng kết hợp bản vá và biến phân từng phần PDE .... 32
Hình 23: Khơi phục ảnh dùng bản vá cho video ......................................... 33
Hình 24: Khơi phục ảnh dùng bản vá từ các ảnh khác: .............................. 36
Hình 25: Tách trong khơng gian Vector ..................................................... 38
Hình 26: Khôi phục ảnh dùng bản vá tối ƣu địa phƣơng ............................ 41
Hình 27: Khơi phục ảnh dùng bản vá tối ƣu địa phƣơng ............................ 42
Hình 28: Ảnh gốc và mặt nạ ....................................................................... 45
Hình 29: Kiểm tra phần biên của mặt nạ .................................................... 46
Hình 30: Kiểm tra phần biên của mặt nạ .................................................... 47
Hình 31: Khơi phục phần có kết cấu mạnh, có lỗi ...................................... 48

Hình 32: Lỗi khơi phục phần có kết cấu phức tạp ...................................... 49
Hình 33: Khơi phục kết cấu yếu, tốt ........................................................... 49
Hình 34: Khơi phục kết cấu yếu, có lỗi....................................................... 50
Hình 35: Khơi phục kết cấu yếu, ít lỗi ........................................................ 50
Hình 36: Khơi phục kết cấu phức tạp, ít lỗi ................................................ 51
Hình 37: Khơi phục kết cấu phức tạp, ít lỗi ................................................ 52
Hình 38: Khơi phục kết cấu phức tạp, ít lỗi ................................................ 53
Hình 39: Khơi phục kết cấu phức tạp, ít lỗi ................................................ 53

Số hố bởi Trung tâm Học liệu – ĐHTN


1

MỞ ĐẦU
Khơi phục ảnh (inpainting) là q trình xây dựng lại các bộ phận bị
mất hoặc xuống cấp của ảnh và video. Trong trƣờng hợp một bức tranh có
giá trị, nhiệm vụ này sẽ đƣợc thực hiện bởi một nghệ sĩ có tay nghề cao
phục hồi tranh. Trong thế giới công nghệ thông tin, khôi phục ảnh đề cập
đến việc áp dụng các thuật toán phức tạp để thay thế các bộ phận dữ liệu
ảnh bị mất hoặc bị hỏng.
Khôi phục ảnh có liên quan đến việc loại bỏ nhiễu, và đơi khi các
thuật tốn sử dụng các ý tƣởng loại nhiễu, nhƣng về cơ bản khôi phục ảnh
là một vấn đề khác vấn đề loại nhiễu. Vùng nhiễu thƣờng có một số thơng
tin của ảnh gốc nhƣng trong khơi phục ảnh, một số vùng bị mất hoàn toàn
dữ liệu ảnh gốc.
Trọng tâm của luận văn này là tìm hiểu các vấn đề liên quan đến việc
khôi phục ảnh, nghiên cứu một số thuật tốn khơi phục ảnh và tập trung tìm
hiểu thuật tốn tổng hợp để tạo ra các vùng ảnh lớn từ các kết cấu mẫu, và
kỹ thuật lấp đầy những khoảng trống ảnh nhỏ. Trong đó các giá trị màu sắc

đƣợc tính tốn tổng hợp dựa trên mẫu. Thuật tốn sẽ đƣợc thực nghiệm với
chƣơng trình sử dụng ngơn ngữ C++, MathLab.
Ngồi phần mở đầu và kết luận, luận văn đƣợc chia làm 3 chƣơng,
luận văn có các chƣơng nhƣ sau:
Chƣơng 1: Tổng quan về bài toán khơi phục ảnh
Trình bày các vấn đề đặt ra cần giải quyết trong bài tốn khơi phục
ảnh, các hƣớng tiếp cận chính xử lý nhiễu ảnh và khơi phục phần ảnh bị
mất. Trình bày một số phƣơng pháp. Khơi phục ảnh dựa vào hàm Gaussian,
khôi phục ảnh nhanh, khôi phục ảnh Bertalmio. Một số phƣơng pháp khôi
phục ảnh khác. Một số tiêu chí dùng để đánh giá kết quả khơi phục ảnh
Số hoá bởi Trung tâm Học liệu – ĐHTN


2

Chƣơng 2: Khôi phục ảnh từ các bản vá và với điều kiện tối ƣu địa
phƣơng. Các thuật tốn khơi phục ảnh bằng bản vá sẽ đƣợc trình bày trong
mối liên hệ với thuật tốn khơi phục ảnh bằng bản vá với tối ƣu địa phƣơng
Các thuật tốn khơi phục ảnh bằng bản vá có khả năng lấp khoảng
trống ảnh bằng cách tổng hợp các vùng ảnh từ một vùng khác. Phƣơng
pháp này đƣợc gọi là vá, bởi vì trong mỗi lần điền thơng tin, thuật tốn điền
một mảng các điểm ảnh, chứ không chỉ là một điểm ảnh duy nhất nhƣ trong
phƣơng pháp dùng biến phân từng phần.
Chƣơng 3: Thực nghiệm và đánh giá
Trình bày về việc cài đặt chƣơng trình, xây dựng dữ liệu thực
nghiệm với thuật tốn khơi phục ảnh có khả năng lấp khoảng trống ảnh
bằng cách tổng hợp các vùng ảnh từ bản vá, dựa vào độ tƣơng tự cục bộ,
các quá trình thực nghiệm, kết quả.

Số hoá bởi Trung tâm Học liệu – ĐHTN

3

CHƢƠNG 1:
TỔNG QUAN VỀ BÀI TỐN KHƠI PHỤC ẢNH
1.1. Một số khái niệm cơ bản
1.1.1. Phần tử ảnh (Picture Element)
Ảnh trong thực tế là một ảnh liên tục về không gian và về giá trị độ
sáng. Để có thể xử lý ảnh bằng máy tính cần thiết phải tiến hành số hố
ảnh. Trong q trình số hố, ngƣời ta biến đổi tín hiệu liên tục sang tín hiệu
rời rạc thơng qua q trình lấy mẫu (rời rạc hóa về khơng gian) và lƣợng
hoá thành phần giá trị mà thể về nguyên tắc bằng mắt thƣờng không phân
biệt đƣợc hai điểm kề nhau. Trong quá trình này, ngƣời ta sử dụng khái
niệm Picture element mà ta quen gọi hay viết là Pixel - phần tử ảnh, ở đây
cũng cần phân biệt khái niệm pixel hay đề cập đến trong các hệ thống đồ
hoạ máy tính. Để tránh nhầm lẫn ta tạm gọi khái niệm pixel này là pixel
thiết bị. Khái niệm pixel thiết bị có thể xem xét nhƣ sau: khi ta quan sát
màn hình (trong chế độ đồ hoạ), màn hình khơng liên tục mà gồm nhiều
điểm nhỏ, gọi là pixel. Mỗi pixel gồm một cặp toạ độ x, y và màu [1].

Hình 1: Mỗi điểm ảnh có một tọa độ x, y,
và một giá trị với ảnh xám
Số hoá bởi Trung tâm Học liệu – ĐHTN


4

Cặp toạ độ x, y tạo nên độ phân giải (resolution). Nhƣ màn hình máy
tính có nhiều loại với độ phân giải khác nhau: màn hình CGA có độ phân

giải là 320 x 200; màn hình VGA là 640 x 350,…..
Nhƣ vậy, một ảnh là một tập hợp các điểm ảnh. Khi đƣợc số hố, nó
thƣờng đƣợc biểu diễn bởi bảng hai chiều I(n,p): n dòng và p cột. Ta nói
ảnh gồm n, x, p pixels. Ngƣời ta thƣờng kí hiệu I(x,y) để chỉ một pixel.
Thƣờng giá trị của n chọn bằng p và bằng 256. Hình 1 cho ta thấy việc biểu
diễn một ảnh với độ phân giải khác nhau. Một pixel có thể lƣu trữ trên 1, 4,
8 hay 24 bit.
1.1.2. Mức xám (Gray level)
Mức xám là kết quả sự mã hoá tƣơng ứng một cƣờng độ sáng của
mỗi điểm ảnh với một giá trị số kết quả của q trình lƣợng hố. Cách mã
hố kinh điển thƣờng dùng 16, 32 hay 64 mức. Mã hoá 256 mức là phổ
dụng nhất do lý do kỹ thuật. Vì 28 = 256 (0, 1,..., 255), nên với 256 mức,
mỗi pixel sẽ đƣợc mã hoá bởi 8 bit.
Định nghĩa: Mức xám của điểm ảnh là cƣờng độ sáng của nó đƣợc
gán bằng giá trị số tại điểm đó.
Các thang giá trị mức xám thông thƣờng: 16, 32, 642, 128, 256 (
Mức 256 là mức phổ dụng. Lý do: từ kỹ thuật máy tính dùng 1byte (8 bit)
để biểu diễn mức xám: Mức xám dùng 1 byte biểu diễn: 28=256 mức, tức là
từ 0 đến 255).
Ảnh đen trắng: là ảnh có hai màu đen, trắng (không chứa màu khác)
với mức xám ở các điểm ảnh có thể khác nhau.

Số hố bởi Trung tâm Học liệu – ĐHTN


5
Ảnh nhị phân: ảnh chỉ có 2 mức đen trắng phân biệt nhau tức dùng 1
bit mô tả 21 mức khác nhau. Nói cách khác: mỗi điểm ảnh của ảnh nhị phân
chỉ có thể là 0 và 1.

Hình 2: Ảnh xám và đồ thị theo mức xám
Ảnh màu: trong khuôn khổ lý thuyết ba màu (Red, Blue, Green) để
tạo nên thế giới màu, ngƣời ta thƣờng dùng 3 byte để mơ tả mức màu, khi
đó các giá trị màu: 28*3 = 224 = 16,7 triệu màu.
1.1.3. Quan hệ giữa ảnh, các điểm ảnh, mức xám
Trong biểu diễn ảnh, ngƣời ta thƣờng dùng các phần tử đặc trƣng của
ảnh là pixel. Nhìn chung có thể xem một hàm hai biến chứa các thông tin
nhƣ biểu diễn của một ảnh. Các mô hình biểu diễn ảnh cho ta một mơ tả
lơgic hay định lƣợng các tính chất của hàm này. Trong biểu diễn ảnh cần
chú ý đến tính trung thực của ảnh hoặc các tiêu chuẩn “thông minh” để đo
chất lƣợng ảnh hoặc tính hiệu quả của các kỹ thuật xử lý.
Việc xử lý ảnh số yêu cầu ảnh phải đƣợc mẫu hố và lƣợng tử hố.
Thí dụ một ảnh ma trận 512 dòng gồm khoảng 512 x 512 pixel. Việc lƣợng
tử hố ảnh là chuyển đổi tín hiệu tƣơng tự sang tín hiệu số (Analog Digital
Convert) của một ảnh đã lấy mẫu sang một số hữu hạn mức xám.
Một số mô hình thƣờng đƣợc dùng trong biểu diễn ảnh: Mơ hình
tốn, mơ hình thống kê. Trong mơ hình tốn, ảnh hai chiều đƣợc biểu diễn
Số hoá bởi Trung tâm Học liệu – ĐHTN


6
nhờ các hàm hai biến trực giao gọi là các hàm cơ sở. Các biến đổi này sẽ
trình bày kỹ trong chƣơng.
Với mơ hình thống kê, một ảnh đƣợc coi nhƣ một phần tử của một
tập hợp đặc trƣng bởi các đại lƣợng nhƣ: kỳ vọng toán học, hiệp biến,
phƣơng sai, moment.
1.1.4. Lân cận của điểm ảnh
Giả sử một ảnh số đƣợc biểu diễn bằng hàm f(x,y), p và q là cặp điểm
ảnh có quan hệ với nhau, điểm ảnh p có tọa độ (x,y). Định nghĩa các lân cận
của điểm ảnh.

Lân cận 4 của p kí hiệu N4(p):
N4(p)={(x-1,y);(x,y-1);(x,y+1);(x+1,y)}

(1.1)

Lân cận chéo của p kí hiệu Np(p):
Np(p)={(x+1,y+1);(x+1,y-1);(x-1,y+1);(x-1, y-1)}

(1.1.2)

Lân cận 8 của p kí hiệu N8(p):
N8(p) = N4(p) + Np(p)

(1.2)

1.1.5. Mối liên kết điểm ảnh
Các mối liên kết đƣợc sử dụng để xác định giới hạn của đối tƣợng
hoặc xác định vùng trong một ảnh. Một liên kết đƣợc đặc trƣng bởi tính
liền kề giữa các điểm và mức xám của chúng.
Có ba loại liên kết:
Liên kết 4: Hai điểm ảnh p và q đƣợc gọi là liên kết 4 nếu q thuộc
N4(p)
Liên kết 8: Hai điểm ảnh p và q đƣợc gọi là liên kết 8 nếu q thuộc
N8(p)

Số hoá bởi Trung tâm Học liệu – ĐHTN


7
Liên kết m (liên kết hỗn hợp): Hai điểm ảnh p và q đƣợc gọi là liên

kết hỗn hợp nếu q thuộc N4(p) hoặc q thuộc N8(p)
1.1.6. Đo khoảng cách giữa các điểm ảnh
Khoảng cách D(p, q) giữa hai điểm ảnh p có tọa độ (x, y), q có tọa độ
(s, t) là hàm khoảng cách (Distance) nếu:
D(p, q) ≥ 0 (Với D(p, q)=0 khi và chỉ khi p=q)
D(p, q) = D(q, p)
D(p, z) ≤ D(p, q) + D(q, z); z là một điểm ảnh khác
Khoảng cách Euclide giữa hai điểm ảnh p(x, y) và q(s, t) đƣợc định
nghĩa nhƣ sau:
De(p, q) = [(x - s)2 + (y - t)2]1/2

(1.3)

1.2. Tổng quan khơi phục ảnh
Việc khơi phục ảnh có nguồn gốc từ việc phục hồi các tác phẩm hội
họa, hay còn gọi là phục chế tranh, ở châu Âu các tác phẩm hội họa thời
trung cổ bắt đầu đƣợc phục hồi vào thời kỳ Phục hƣng. Các tác phẩm này
sau vài trăm năm bị xuống cấp, có nhiều chỗ bị hỏng, bị mờ hoặc thậm chí
khơng cịn đƣờng nét, màu sắc. Những khoảng trống của các tranh đó cần
đƣợc vẽ lại.

Số hoá bởi Trung tâm Học liệu – ĐHTN


8

a. hình bị hỏng

b. hình sau khi khơi phục

Hình 3: Khôi phục tác phẩm hội họa
Sự cần thiết phải chỉnh sửa các tranh hội họa sau này đƣợc áp dụng
cho việc khơi phục ảnh chụp và phim. Mục đích của việc khôi phục là việc
khôi phục lại các phần đã bị mất. Phim nhựa để lâu có thể xuất hiện các vết
xƣớc hoặc các đốm trắng. Ảnh cũng vậy, giấy ảnh để lâu năm có thể bị
trắng xóa vài chỗ. Các chỗ trống này cần đƣợc khôi phục lại.
Trong lĩnh vực ảnh kỹ thuật số, việc khôi phục ảnh đầu tiên xuất hiện
nhằm mục đích loại bỏ lỗi, trong khi truyền dữ liệu ảnh số qua mạng, các
ảnh này thƣờng đƣợc nén cho nhẹ trƣớc khi gửi đi. Tuy nhiên việc nén ảnh
gây ra mất một số vùng của ảnh này. Khi ảnh nén đuợc chuyển đến vị trí
đích, ảnh đƣợc mở nén và các vùng ảnh bị mất thông tin do nén, cần đƣợc
khôi phục lại. Nhƣ vậy, việc khôi phục ảnh này nhằm làm lọai bỏ lỗi do
nén ảnh khi truyền dữ liệu.
1.2.1. Bài tốn khơi phục ảnh
Bài tốn khơi phục ảnh có thể đƣợc nêu nhƣ sau:
Cho một ảnh ký hiệu là I và một Ω bên trong I bị mất hồn tồn
thơng tin. Việc khơi phục ảnh I là tìm các giá trị phù hợp cho các điểm ảnh
Số hoá bởi Trung tâm Học liệu – ĐHTN


9
trong vùng Ω, sao cho vùng này không khác biệt so với các vùng bao
quanh nó.
Luận văn này chỉ đề cập đến việc khơi phục ảnh màu nơi có các
vùng ảnh bị mất hồn tồn thơng tin. Việc khơi phục ảnh vẫn cịn một phần
thơng tin nhƣ ảnh bị mờ, ảnh có nhiễu, là một bài tốn khác mà luận văn sẽ
không đề cập đến.

a. ảnh bị hỏng

b. mặt na, xác định vị

c. ảnh đã đƣợc khơi

trí cần khơi phục

phục

Hình 4: Khôi phục ảnh đen trắng
1.2.2. Ứng dụng khôi phục ảnh
Khơi phục ảnh có nhiều mục đích. Một là để khôi phục lại các phần
bị hƣ hỏng của một ảnh. Ví dụ nhƣ một bức ảnh cũ có nếp gấp và vết xƣớc
đã để lại những khoảng trống ảnh. Hai là để loại bỏ các yếu tố không mong
muốn hiện diện trong ảnh. Ví dụ trong một cảnh quay phim xuất hiện một
microphone thu âm thanh của kỹ thuật viên âm thanh. Hình microphone
này khơng đƣợc xuất hiện trong khung hình, do vậy, cần thiết phải xóa đi.
Vùng trống Ω do ngƣời sử dụng xác định. Bởi vậy, việc xác định
vùng Ω trong ảnh, không phải là phần việc của vấn đề khơi phục ảnh. Đầu

Số hố bởi Trung tâm Học liệu – ĐHTN


10
vào của bài tốn khơi phục ảnh phải có ảnh cần khôi phục và mặt nạ xác
định vùng trống Ω.
Việc khôi phục một ảnh đƣợc áp dụng mở rộng cho trƣờng hợp
nhiều ảnh, nhƣ chuỗi hình ảnh trong video.
Sau đây là phần giới thiệu kỹ thuật khôi phục ảnh cơ bản, phƣơng
pháp dùng phƣơng trình đạo hàm để đánh giá độ tƣơng đồng giữ hai điểm
ảnh.

1.3. Một số phƣơng pháp khơi phục ảnh
Chƣơng này tìm hiểu một số phƣơng pháp khôi phục ảnh, ngoại trừ
phƣơng pháp khôi phục ảnh dùng bản vá và tối ƣu địa phƣơng sẽ đƣợc
trình bày chi tiết tại chƣơng 2.
1.3.1. Phương pháp khôi phục ảnh dùng kim tự tháp mờ Gaussian
Một phƣơng pháp khôi phục ảnh dùng nội suy do Ogden, Adelson,
Bergen, và Burt đề cập trong [1]. Từ một ảnh ban đầu, thuật toán liên tiếp
áp dụng dùng bộ lọc làm mờ Gaussian với một nhân nhỏ. Kết quả của hai
lần áp dụng bộ lọc Gausian tƣơng tự nhƣ một lần lọc:
G* (G*I) = (G*G)*I

G 1 * G 2  G

 2   12   22

(1.4)
(1.5)

Bắt đầu từ ảnh gốc I0, ảnh sẽ dần mờ đi do bộ lọc Gaussian (hình 5)
Thuật toán áp dụng bộ lọc Gaussian cho ảnh đầu vào nhiều lần, đồng
thời thu nhỏ kích thƣớc của ảnh, tỷ lệ ½. Trong q trình mờ này, các vùng
trống của ảnh sẽ đƣợc lấp dần từ các vùng lân cận. Quá trình này dừng lại
khi tất cả các vùng trống đã đƣợc lấp đầy (hình 5).
Tiếp theo là việc sao chép các phần đã làm đầy từ Ik+1 ngƣợc lại cho
Ik, đồng thời tăng dần kích thƣớc (*2). Đây là q trình ngƣợc lại với q
Số hố bởi Trung tâm Học liệu – ĐHTN


11
trình mờ bên trên. Cuối cùng thu đƣợc ảnh đã lấp đầy các khoảng trống

(hình 5).

Hình 5: Khơi phục ảnh dùng kim tự tháp mờ Gaussian:
từ trái sang phải: I0, I1, I2, I3

Số hoá bởi Trung tâm Học liệu – ĐHTN


12

a. ảnh đầu vào

b. ảnh đầu ra

Hình 6: Khơi phục ảnh dùng kim tự tháp mờ Gaussian
1.3.2. Phương pháp khôi phục ảnh dùng bộ lọc Median
Thuật tốn có dùng nhiều vòng lặp nội suy với bộ lọc Median. Trong
mỗi vòng lặp, đầu tiên ta tìm một điểm ảnh trong vùng trống, và có lân cận
là điểm ảnh có đủ thơng tin. Với mỗi điểm lân cận này xác định đƣợc một
hƣớng. Với mỗi hƣớng, ta tìm giá trị median trên hƣớng đó. Sau đó ta lấy
median của các median trên, và gán giá trị này cho điểm ảnh đang xét. Q
trình này dừng lại khi tồn bộ các điểm ảnh trống đã đƣợc lấp đầy.

Số hoá bởi Trung tâm Học liệu – ĐHTN


13

a. là các hƣớng

b. dấu nhân là cac vị trí có thơng tin, dấu
trịn mất thơng tin

Hình 7: Khơi phục ảnh Median theo các hƣớng
1.3.3. Phương pháp khôi phục ảnh nhanh dựa vào bộ lọc
Đây là một thuật toán đơn giản. Thuật tốn lặp nội suy. Trong mỗi
vịng lặp cần tìm ra điểm ảnh trống, có lân cận là các điểm ảnh có đủ thơng
tin. Với các điểm ảnh trống này, ta dùng bộ lọc có dạng ma trận có số cạnh
lẻ, và có nhân của ma trận có giá trị bằng khơng. Dƣới đây là ví dụ 2 bộ
lọc.
a

b

b

c

c

c

b

0

b

c

0

c

a

b

a

c

c

c

Trong đó a = 0.073235; b = 0.176765; c = 0.125.
Số hoá bởi Trung tâm Học liệu – ĐHTN


14

a. ảnh đầu vào

b. ảnh đầu ra
Hình 8: Khơi phục ảnh nhanh dựa vào bộ lọc
1.3.4. Khôi phục ảnh dùng biến phân từng phần PDE
Phƣơng pháp Partial Differential Equations (PDE) đƣợc dịch là
Phƣơng pháp khôi phục ảnh dùng hàm biến phân từng phần. Ở đây có thể
dùng từ “vi” phân, tuy nhiên với từ “biến” phân thì có ý nghĩa sát hơn với

Số hoá bởi Trung tâm Học liệu – ĐHTN


15
bài tốn khơi phục ảnh: hàm này tìm sự biến đổi giá trị của một điểm ảnh
so với giá trị tại điểm ảnh lân cận. Từ đó xét xem độ tƣơng đồng vả giá trị
tại hai điểm lân cận này. Nhƣ vậy hàm biến phân thể hiện mức độ biến đổi
có ý nghĩa phù hợp với bài tốn khơi phục ảnh.
Phƣơng pháp khôi phục ảnh dùng hàm biến phân từng phần có đặc
điểm nhƣ sau. Mỗi điểm ảnh của Ω nằm tại đƣờng biên với phần I/Ω sẽ
đƣợc gán cho giá trị, sao cho giá trị đƣợc gán này phải tƣơng tự nhƣ các
điểm ảnh trong vùng lân cận về mức độ biến phân. Tất cả các điểm ảnh
trong vùng Ω sẽ đƣợc lần lƣợt gán giá trị, cho đến khi mọi điểm ảnh của Ω
đều đƣợc gán giá trị.
Việc tìm độ tƣơng tự với hàm biến phân ở đây có hai cách. Một là so
sánh độ biến phân của điểm ảnh cần gán giá trị với độ biến phân của các
điểm ảnh của vùng đã có thơng tin. Hai là so sánh độ biến phân của điểm
ảnh cần gán giá trị với độ biến phân của các điểm ảnh trong một ảnh mẫu
khác: mục đích là dùng ảnh mẫu để điền vào phần trống của ảnh đầu vào.
Phƣơng pháp khôi phục ảnh dùng hàm biến phân đƣợc Bertalmio,
Sapiro, Caselles, Ballester đề cập nhƣ sau.
Thuật toán chạy lặp với các isophotes, đƣợc định nghĩa là các dịng
của ảnh có cùng một mức xám. Để tìm các isophotes cần giải phƣơng trình
vi phân:
I
   I . I
t

(1.6)

Cho ảnh đầu vào I, bên trong vùng trống. Trong trạng thái ổn định
phƣơng trình có dạng

 I .I  0

( 1.7)

Số hố bởi Trung tâm Học liệu – ĐHTN


16

a. ảnh đầu vào

b. ảnh kêt quả
Hình 9: Khơi phục ảnh biến phân từng phần PDE
1.3.5. Khôi phục ảnh dùng phương trình Navier-Stokes
Một cách tƣợng tự với hàm biến thể từng phần PDE là áp dụng
phƣơng trình Navier-Stokes trong lý thuyết dịng chảy. Thuật tốn chạy lặp
với các điểm ảnh trống, mà có lân cận là các điểm ảnh có đủ thơng tin.
Số hố bởi Trung tâm Học liệu – ĐHTN


17
Dùng phƣơng trình dịng chảy Navier-Stokes mơ phỏng xu hƣớng dịng
chảy của phần có đủ thơng tin để điền vào ô trống.
1.3.6. Khôi phục ảnh dùng tổng biến thể
Phƣơng pháp tiếp cận tìm vị trí có thiểu tổng biến thể thấp nhất với
điểm ảnh trống để điền thơng tin.
Thuật tốn của Chan và Shen chạy lặp với các điểm ảnh trống, mà có

lân cận là các điểm ảnh có đủ thông tin. Dùng hàm tổng biến thể để xác
định điểm ảnh có tổng biến thể tƣơng tự điểm ảnh trống. Từ đó điền thơng
tin vào điểm ảnh trống.
Thuật tốn dựa trên việc tối thiểu hóa giới hạn của bình phƣơng độ
tin cậy ở ngồi Ω và một tổng tiêu chí biến đổi trong Ω, ví dụ, giới hạn
năng lƣợng.

 |  |dx 
A

Với



|  
2

0

|2 dx



(1.8)

là một hệ số nhân Lagrange. Để thực hiện, Chan và Shen tìm

kiếm điểm quan trọng, sử dụng một chƣơng trình lặp Gauss-Jacobi cho hệ
thống tuyến tính liên quan đến một kết quả gần đúng của phƣơng trình
Euler-Lagrange bằng những sự khác biệt hữu hạn.

a. ảnh đầu vào

b. ảnh kết qủa

Số hoá bởi Trung tâm Học liệu – ĐHTN