sử dụng phương pháp tối ưu tương tự cục bộ để xử lý và phục hồi ảnh
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (1.94 MB, 78 trang )
<span class="text_page_counter">Trang 1</span><div class="page_container" data-page="1">
i
<b>LỜI CAM ĐOAN </b>
Những nội dung được trình bày trong luận văn là những kiến thức của riêng cá nhân tôi tích luỹ trong q trình học tập, nghiên cứu, khơng sao chép lại của một cơng trình nghiên cứu hay luận văn của bất cứ tác giả nào.
Trong nội dung của luận văn, những phần tôi nghiên cứu, trích dẫn đều được nêu trong các tài liệu tham khảo, có nguồn gốc, xuất xứ tên tuổi của các tác giả và nhà xuất bản rõ ràng.
Những điều tôi cam kết hoàn toàn là sự thật, nếu sai, tôi xin chịu mọi hình thức kỷ luật theo quy định.
<b> Tác giả luận văn </b>
<b> Lê Đình Khánh </b>
</div><span class="text_page_counter">Trang 2</span><div class="page_container" data-page="2"><i><b>1.1.1. Khái niệm về điểm ảnh và ảnh ... 4 </b></i>
<i><b>1.1.2. Khái niệm mức xám của ảnh ... 5 </b></i>
<i><b>1.1.3. Ảnh đen trắng ... 5 </b></i>
<i><b>1.1.4. Ảnh màu ... 6 </b></i>
<i><b>1.1.5. Các mối liên hệ giữa các tính chất ảnh ... 8 </b></i>
<i><b>1.1.6. Các lân cận của điểm ảnh và mối liên kết giữa chúng ... 9 </b></i>
<i><b>1.1.7. Đo khoảng cách giữa các điểm ảnh ... 10 </b></i>
<i><b>1.2.7. Phương pháp khôi phục ảnh dùng kim tự tháp mờ Gaussian ... 18 </b></i>
<i><b>1.2.8. Phương pháp khôi phục ảnh dùng bộ lọc Median ... 19 </b></i>
<i><b>1.2.9. Phương pháp khôi phục ảnh nhanh dựa vào bộ lọc ... 20 </b></i>
<i><b>1.2.10. Khôi phục ảnh dùng biến phân từng phần PDE ... 21 </b></i>
<i><b>1.2.11. Khơi phục ảnh dùng phương trình Navier-Stokes ... 22 </b></i>
</div><span class="text_page_counter">Trang 3</span><div class="page_container" data-page="3">iii
<i><b>1.2.12. Khôi phục ảnh dùng tổng biến thể ... 22 </b></i>
<b>1.3. Một số tiêu chí dùng để đánh giá chất khôi phục ảnh ... 23 </b>
<i><b>1.3.1. Tổng quan về tiêu chí đánh giá chất lượng ảnh ... 23 </b></i>
<i><b>1.3.2. Sai số bình phương trung bình (MSE) ... 23 </b></i>
<i><b>1.3.3.Tỷ lệ tín hiệu trên tín hiệu tạp (PSNR) ... 23 </b></i>
<b>2.7. Khôi phục ảnh dùng bản vá với độ thưa ... 33 </b>
<b>2.8. Khôi phục ảnh dùng kết hợp bản vá và biến phân từng phần PDE . 34 2.9. Các phương pháp khôi phục ảnh bằng bản vá khác ... 35 </b>
<b>2.10. Khôi phục ảnh dùng bản vá với điều kiện tối ưu địa phương ... 37 </b>
<i><b>2.10.1. Bước tiền xử lý ảnh màu ... 37 </b></i>
<i><b>2.10.2. Phát biểu bài tốn phơi phục ảnh bằng bản vá ... 38 </b></i>
<i><b>2.10.3. Điều kiện tối ưu địa phương ... 39 </b></i>
<i><b>2.10.4. Thuật toán ... 40 </b></i>
<i><b>2.10.5. Đầu vào và đầu ra của thuật tốn khơi phục ảnh dùng bản vá với điều kiện tối ưu địa phương. ... 42 </b></i>
<b>2.11. Kết luận chương 2 ... 43 </b>
<b>CHƯƠNG 3: CÀI ĐẶT THỬ NGHIỆM ... 44 </b>
</div><span class="text_page_counter">Trang 6</span><div class="page_container" data-page="6">vi
<b>DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ </b>
Hình 1: Không gian màu và các màu cơ bản ... 7
Hình 2: Các màu cơ bản của hệ màu CMY ... 7
Hình 3: Khơng gian màu HSV ... 8
Hình 4: Biến đổi Forier nghịch đảo ... 13
Hình 5: Khơi phục ảnh dụng phép chập Fourier ... 14
Hình 6: Wavelets – Các sóng nhỏ ... 15
Hình 7: Khơi phục ảnh bằng phương pháp Quick Pixon ... 16
Hình 8: Khôi phục ảnh bằng phương pháp thống kê ... 18
Hình 9: Khơi phục ảnh dùng kim tự tháp mờ Gaussian ... 19
Hình 10: Khơi phục ảnh Median theo các hướng ... 20
Hình 11: Các giá trị của tỷ lệ tín hiệu trên tạp PSNR ... 24
Hình 12: Khơi phục ảnh dùng phương pháp Fish ... 28
Hình 13: Khơi phục ảnh dùng vùng mẫu: xác định mẫu tại p ... 30
Hình 14: Khơi phục ảnh dùng vùng mẫu ... 30
Hình 15: Khơi phục ảnh dùng bản vá có kết cấu ... 31
Hình 16: Khôi phục ảnh dùng độ thưa : Bộ từ điển hình học và bộ từ điển kết cấu ... 34
Hình 17: Tách trong khơng gian Vector ... 38
Hình 18: Khơi phục ảnh dùng bản vá tối ưu cục bộ ... 42
Hình 19: Khơi phục ảnh dùng bản vá tối ưu cục bộ ... 43
Hình 20: Ảnh gốc và mặt nạ ... 45
Hình 21: Kiểm tra phần biên của mặt nạ ... 46
Hình 22: Kiểm tra phần biên của mặt nạ ... 47
Hình 23: Ảnh gốc và sau khi hồi phục ... 48
Hình 24: Khơi phục phần có kết cấu mạnh ... 49
</div><span class="text_page_counter">Trang 7</span><div class="page_container" data-page="7">vii
Hình 25: Lỗi khơi phục phần có kết cấu phức tạp ... 49
Hình 26: Khơi phục kết cấu yếu, tốt ... 50
Hình 27: Khơi phục kết cấu yếu, có lỗi ... 50
Hình 28: Khơi phục kết cấu phức tạp, ít lỗi ... 51
Hình 29: Khơi phục kết cấu phức tạp, ít lỗi ... 52
Hình 30: Khơi phục kết cấu phức tạp, ít lỗi ... 53
Hình 31: Khôi phục ảnh kết cấu phức tạp ... 53
Hình 32: So sánh kết quả các phương pháp ... 54
</div><span class="text_page_counter">Trang 8</span><div class="page_container" data-page="8">1
<b>MỞ ĐẦU 1. Lý do chọn đề tài </b>
Khôi phục ảnh (inpainting) là quá trình xây dựng lại các bộ phận bị mất hoặc xuống cấp của ảnh và video. Trong trường hợp một bức tranh có giá trị, nhiệm vụ này sẽ được thực hiện bởi một nghệ sĩ có tay nghề cao phục hồi tranh. Trong thế giới công nghệ thông tin, khôi phục ảnh đề cập đến việc áp dụng các thuật toán phức tạp để thay thế các bộ phận dữ liệu ảnh bị mất hoặc bị hỏng.
Khơi phục ảnh có liên quan đến việc loại bỏ nhiễu, và đơi khi các thuật tốn sử dụng các ý tưởng loại nhiễu, nhưng về cơ bản khôi phục ảnh là một vấn đề khác vấn đề loại nhiễu. Vùng nhiễu thường có một số thông tin của ảnh gốc nhưng trong khôi phục ảnh, một số vùng bị mất hoàn toàn dữ liệu ảnh gốc.
<b>2. Mục đích và phạm vi nghiên cứu </b>
Trọng tâm của luận văn này là tìm hiểu các vấn đề liên quan đến việc khôi phục ảnh, nghiên cứu một số thuật tốn khơi phục ảnh và tập trung tìm hiểu thuật tốn tổng hợp để tạo ra các vùng ảnh lớn từ các kết cấu mẫu, và kỹ thuật lấp đầy những khoảng trống ảnh nhỏ. Trong đó các giá trị màu sắc được tính tốn tổng hợp dựa trên mẫu. Thuật tốn sẽ được thực nghiệm với chương trình sử dụng ngơn ngữ C++, MathLab.
<b>3. Đóng góp mới của luận án </b>
Trong một số nghiên cứu của các tác giả trước đó về vấn đề khơi phục ảnh chỉ dừng ở mức khôi phục các loại ảnh bị mờ, bị nhiễu hoặc là khôi phục khi ảnh bị mất 1 vùng ảnh. Luận án nghiên cứu tổng hợp thuật toán khi ảnh kể cả mờ nhiễu hoặc bị mất một phần dữ liệu ảnh.
</div><span class="text_page_counter">Trang 9</span><div class="page_container" data-page="9">2
<b>4. Phương pháp nghiên cứu </b>
Đi từ nghiên cứu cơ bản về ảnh, về các phương pháp khơi phục ảnh hiện có. Từ đó đề xuất thuật toán tối ưu cục bộ để xử lý và khôi phục lại ảnh gốc.
<b>5. Bố cục luận văn </b>
Ngoài phần mở đầu và kết luận, luận văn được chia làm 3 chương, luận văn có các chương như sau:
<b>CHƯƠNG 1:TỔNG QUAN VỀ BÀI TỐN KHƠI PHỤC ẢNH </b>
Trình bày các khái niệm về ảnh, điểm ảnh các loại format ảnh và các công cụ xử lý ảnh hiện có. Trình bày các vấn đề đặt ra cần giải quyết trong bài toán khôi phục ảnh, các hướng tiếp cận chính xử lý nhiễu ảnh và khôi phục phần ảnh bị mờ hoặc bị mất. Trình bày một số phương pháp khôi phục ảnh dựa vào hàm Gaussian, khôi phục ảnh nhanh, khôi phục ảnh Bertalmio. Một số phương pháp khôi phục ảnh khác. Một số tiêu chí dùng để đánh giá
Các thuật tốn khơi phục ảnh bằng bản vá sẽ được trình bày trong mối liên hệ với thuật tốn khơi phục ảnh bằng bản vá với tối ưu địa phương.
Các thuật toán khôi phục ảnh bằng bản vá có khả năng lấp khoảng trống ảnh bằng cách tổng hợp các vùng ảnh từ một vùng khác. Phương pháp này được gọi là vá, bởi vì trong mỗi lần điền thơng tin, thuật toán điền một mảng các điểm ảnh, chứ không chỉ là một điểm ảnh duy nhất như trong phương pháp dùng biến phân từng phần.
</div><span class="text_page_counter">Trang 10</span><div class="page_container" data-page="10">3
<b>CHƯƠNG 3:THỰC NGHIỆM VÀ ĐÁNH GIÁ </b>
Trình bày về việc cài đặt chương trình, xây dựng dữ liệu thực nghiệm với thuật tốn khơi phục ảnh có khả năng lấp khoảng trống ảnh bằng cách tổng hợp các vùng ảnh từ bản vá, dựa vào độ tương tự cục bộ, các quá trình thực nghiệm, kết quả.
Phần này báo cáo kết quả thử nghiệm sử dụng phương pháp khôi phục ảnh dùng bản vá tối ưu độ tương tự cục bộ.
Đầu vào của thuật toán là một ảnh gốc, một mặt nạ.
Đầu ra là ảnh được khôi phục ở các phần đánh dấu trong mặt nạ.
Mã nguồn có từ Jun Zhou và Antonio Robles-Kelly, Canberra Research Lab, NICT, Australia.
So sánh kết quả đạt được với các phương pháp khác Kết luận với những kết quả thực nghiệm đạt được.
</div><span class="text_page_counter">Trang 11</span><div class="page_container" data-page="11">4
<b>CHƯƠNG 1: </b>
<b>TỔNG QUAN VỀ BÀI TỐN KHƠI PHỤC ẢNH 1.1. Định nghĩa các tính chất cơ bản về ảnh </b>
<i><b>1.1.1. Khái niệm về điểm ảnh và ảnh </b></i>
Trong kỹ thuật ảnh kỹ thuật số<b>, một pixel hay điểm ảnh (</b>tiếng Anh<i>: pixel hay pel, viết tắt picture element) là một điểm vật lý trong một </i>hình ảnh raster, hoặc một khối màu rất nhỏ và là đơn vị cơ bản nhất để tạo nên một bức ảnh kỹ thuật số. Địa chỉ của một điểm ảnh tương ứng với tọa độ vật lý ITS.Pixel LCD được sản xuất trong một mạng lưới hai chiều, và được sử dụng dấu chấm hoặc đại diện hình vng trong thường, nhưng điểm ảnh CRT tương ứng với cơ chế thời gian của chúng và tỷ lệ quét.1 pixel khơng có kích thước cố định[1][2]<small>. </small>
Mỗi điểm ảnh là một mẫu của một hình ảnh ban đầu, nhiều điểm ảnh hơn thường cung cấp đại diện chính xác hơn của bản gốc. Cường độ của mỗi điểm ảnh có thể thay đổi. Hình ảnh trong hệ thống màu sắc, màu sắc thường là ba hoặc bốn đại diện trong cường độ thành phần như màu đỏ, xanh lá cây, và màu xanh, hoặc màu lục lam, đỏ tươi, màu vàng, và màu đen. Hầu hết các chương trình ứng dụng đồ họa đều diễn tả độ phân giải của hình ảnh bằng pixel dimensions - kích thước pixel, với số đo chiều ngang đi trước. Mỗi pixel gồm một cặp toạ độ x, y và màu.Cặp toạ độ x, y tạo nên độ phân giải (resolution). Như màn hình máy tính có nhiều loại với độ phân giải khác nhau: màn hình CGA có độ phân giải là 320 x 200; màn hình VGA là 640 x 350,…..
Ảnh trong thực tế là một ảnh liên tục về không gian và về giá trị độ sáng. Để có thể xử lý ảnh bằng máy tính cần thiết phải tiến hành số hố ảnh. Trong q trình số hố, người ta biến đổi tín hiệu liên tục sang tín hiệu rời rạc
</div><span class="text_page_counter">Trang 12</span><div class="page_container" data-page="12">5
thơng qua q trình lấy mẫu (rời rạc hóa về khơng gian) và lượng hố thành phần giá trị mà thể về nguyên tắc bằng mắt thường không phân biệt được hai điểm kề nhau.
Như vậy, một ảnh là một tập hợp các điểm ảnh. Khi được số hố, nó thường được biểu diễn bởi bảng hai chiều I(n,p): n dịng và p cột. Ta nói ảnh gồm n, x, p pixels. Người ta thường kí hiệu I(x,y) để chỉ một pixel. Thường giá trị của n chọn bằng p và bằng 256. Một pixel có thể lưu trữ trên 1, 4, 8 hay 24 bit.
Ảnh có thể được định nghĩa là một hàm 2 chiều f(x, y) , trong đó x và y là các tọa độ trong không gian (spatial) hoặc mặt phẳng (plane), và độ lớn (amplitude) của hàm f được gọi là độ sáng (intensity) hay độ xám (gray level) của ảnh tại điểm đó. Các dạng ảnh gồm 2 loại ảnh màu và ảnh xám.Ảnh màu là ảnh tại mỗi điểm là cấu trúc gồm nhiều kênh màu khác nhau. Ảnh có thể được mô tả phương trình vi phân từng phần (Partial differential equation -PDE).
<i><b>1.1.2. Khái niệm mức xámcủa ảnh </b></i>
Mức xám là kết quả của sự mã hóa tương ứng với một cường độ sáng của mỗi điểm ảnh với một giá trị số, kết quả của quá trình lượng tử hóa. Cách mã hóa kinh điển là dùng 16, 32 hay 64 mức. Mã hóa 256 mức được dùng phổ biến. Do 2<sup>8</sup> = 256 nên mỗi pixel được mã hóa bởi 8 bit.
<i><b>1.1.3. Ảnh đen trắng </b></i>
Thực tế ảnh đen trắng gồm có ảnh nhị phân và ảnh đa cấp xám. Chúng ta phân biệt sự biến đổi thành L mức. Nếu L bằng 2, nghĩa là chỉ có hai mức 0 và 1 còn gọi là ảnh nhị phân. Nếu L lớn hơn hai mức ta có ảnh đa cấp xám. Việc xác định số mức phụ thuộc vào tiêu chí lượng tử hóa. L thường được chọn bằng 32, 64, 128 và 256. Trong đó ảnh đa cấp xám 256 mức là ảnh có chất lượng cao và thường được sử dụng.
</div><span class="text_page_counter">Trang 13</span><div class="page_container" data-page="13">6
Với ảnh nhị phân, mỗi pixel được mã hóa trên một bit. Còn với ảnh xám 256 mức được mã hóa trên 1 byte = 8 bit. Ảnh nhị phân khá đơn giản, các phần tử ảnh có thể coi như phần tử logic. Ảnh nhị phân được dùng theo tính logic, để phân biệt ảnh với nền hay đơn giản để phân biệt biên với điểm khác.
<i><b>1.1.4. Ảnh màu </b></i>
Màu sắc của một tia sáng là cảm giác mà tia sáng đó gây nên ở mắt người. Màu sắc của vật thể là màu của ánh sáng phát từ chúng. Ánh sáng này nằm trong dải phổ nhìn thấy (visible).
Tùy theo ngữ cảnh nhất định mà ảnh màu được diễn tả theo những mơ hình màu khác nhau. Khơng có mơ hình màu nào là đầy đủ cho mọi khía cạnh của màu. Do đó người ta sử dụng những mơ hình màu khác nhau để mơ tả các tính chất được nhận biết khác nhau của màu.
Ví dụ:
+ Mơ hình màu RGB: ánh sáng Red, Green, Blue ứng dụng cho màn hình TV.
+ Mơ hình HSV: Nhận thức con người. + Mơ hình CYK: Máy in.
Chúng ta đi sâu vào một số mô hình màu sau: - Mơ hình màu RGB
Theo lý thuyết màu do Thomas đưa ra từ năm 1802, mọi màu đều có thể tổ hợp từ ba màu cơ bản: Đỏ (Red), Lục (Green), Lam (Blue). Ba màu này là các màu cơ bản của hệ màu cộng (Additive Color System). Hệ màu RGB dựa trên cơ sở hệ thống tọa độ Cartesian – hệ thống tọa độ Decac: mỗi màu cơ bản đều được mã hóa bởi 8 bit, vậy với ba màu phối hợp nhau tạo thành 2<sup>24</sup> = 16.777.216 màu thứ cấp mà mắt người có thể cảm nhận được. Ảnh màu được lưu trữ từng màu riêng biệt như ảnh đa cấp xám. Ứng với một pixel của ảnh
</div><span class="text_page_counter">Trang 14</span><div class="page_container" data-page="14">7
màu sẽ chiếm 3 byte, do đó ảnh màu sẽ chiếm bộ nhớ gấp ba lần ảnh đa cấp xám cùng kích thước.
<b>Hình 1: Khơng gian màu và các màu cơ bản </b>
- Mơ hình màu CMY:
Gồm ba màu cơ bản: Xanh Lơ (Cyan), Tím (Magenta), Vàng (Yellow), là bù màu của không gian màu RGB, còn gọi là hệ màu trừ (Subtractive Color System). Mối quan hệ giữa hai không gian:
C = 1 – R M = 1 – G Y = 1 – B
- Mơ hình màu HSV (Hue, Saturation, Value) :
Dựa trên cảm nhận màu sắc của con người. Ánh sáng màu là tổ hợp của ánh sáng đơn sắc. Mắt người chỉ có thể cảm nhận được vài chục màu, song lại có thể phân biệt tới hàng ngàn màu. Mơ hình HSV suy diễn từ mơ hình RGB:
<b>Hình 2: Các màu cơ bản của hệ màu CMY </b>
</div><span class="text_page_counter">Trang 15</span><div class="page_container" data-page="15">8
hãy quan sát hình hộp RGB theo đường chéo từ White đến Black (gốc) ta có hình chóp nón, sử dụng làm đỉnh hình nón HSV.
- Có ba thuộc tính chủ yếu trong cảm nhận màu:
+ Hue: bước sóng của ánh sáng, được biểu diển bằng góc từ 0 – 3600 giúp ta phân biệt các màu khác nhau.
+ Saturation: độ bão hòa, đo độ tinh khiết của ánh sáng gốc. S nằm trong khoảng [0-1].
+ Value (brightness): cường độ hay độ chói ánh sáng. V có giá trị trong khoảng [0-1], V = 0 có màu đen.
- Mơ hình HSV trực giác hơn mơ hình RGB. Bắt đầu từ Hue (H cho trước và V=1, S=1). Thay đổi S: bổ sung hay bớt trắng; thay đổi V: bổ sung hay bớt đen đến khi có màu mong muốn.
<b>Hình 3: Khơng gian màu HSV </b>
<i><b>1.1.5. Các mối liên hệ giữa các tính chất ảnh </b></i>
Trong biểu diễn ảnh, người ta thường dùng các phần tử đặc trưng của ảnh là pixel. Nhìn chung có thể xem một hàm hai biến chứa các thông tin như biểu diễn của một ảnh. Các mơ hình biểu diễn ảnh cho ta một mô tả lô gic hay định lượng các tính chất của hàm này. Trong biểu diễn ảnh cần chú ý đến tính
</div><span class="text_page_counter">Trang 16</span><div class="page_container" data-page="16">9
trung thực của ảnh hoặc các tiêu chuẩn “thông minh” để đo chất lượng ảnh hoặc tính hiệu quả của các kỹ thuật xử lý.
Việc xử lý ảnh số yêu cầu ảnh phải được mẫu hố và lượng tử hố.Thí dụ một ảnh ma trận 512 dòng gồm khoảng 512 x 512 pixel. Việc lượng tử hoá ảnh là chuyển đổi tín hiệu tương tự sang tín hiệu số (Analog Digital Convert) của một ảnh đã lấy mẫu sang một số hữu hạn mức xám.
Một số mơ hình thường được dùng trong biểu diễn ảnh: Mơ hình tốn, mơ hình thống kê. Trong mơ hình toán, ảnh hai chiều được biểu diễn nhờ các hàm hai biến trực giao gọi là các hàm cơ sở.Các biến đổi này sẽ trình bày kỹ trong chương.
Với mơ hình thống kê, một ảnh được coi như một phần tử của một tập hợp đặc trưng bởi các đại lượng như: kỳ vọng toán học, hiệp biến, phương sai, moment.
<i><b>1.1.6. Các lân cận của điểm ảnh và mối liên kết giữa chúng </b></i>
<i>Giả sử một ảnh số được biểu diễn bằng hàm f(x,y), p và q là cặp điểm ảnh có quan hệ với nhau, điểm ảnh p có tọa độ (x,y). Định nghĩa các lân cận </i>
của điểm ảnh.
<i>Lân cận 4 hướng Nam, Bắc, Tây và Đông của p kí hiệu N<sub>4</sub>(p): </i>
N<small>4</small>(p)={(x-1,y);(x,y-1);(x,y+1);(x+1,y)} (1.1)
<i>Lân cận chéo của p coi như lân cận chéo là 4 hướng: Đông – Nam, Đông – Bắc, Tây – Nam, Tây – Bắc kí hiệu N<small>p</small>(p): </i>
N<sub>p</sub>(p)={(x+1,y+1);(x+1,y-1);(x-1,y+1);(x-1, y-1)} (1.2)
<i>Lân cận 8 của p kí hiệu N<small>8</small>(p): </i>
N<small>8</small>(p) = N<small>4</small>(p) + N<small>p</small>(p) (1.3)
Các mối liên kết được sử dụng để xác định giới hạn của đối tượng hoặc xác định vùng trong một ảnh. Một liên kết được đặc trưng bởi tính liền kề giữa các điểm và mức xám của chúng.
</div><span class="text_page_counter">Trang 17</span><div class="page_container" data-page="17">10 Có ba loại liên kết:
<i>Liên kết 4: Hai điểm ảnh p và q được gọi là liên kết 4 nếu q thuộc N<small>4</small>(p) </i>
<i>Liên kết 8: Hai điểm ảnh p và q được gọi là liên kết 8 nếu q thuộc N<small>8</small>(p) </i>
<i>Liên kết m (liên kết hỗn hợp): Hai điểm ảnh p và q được gọi là liên kết hỗn hợp nếu q thuộc N<sub>4</sub>(p) hoặc q thuộc N<sub>8</sub>(p). </i>
<i><b>1.1.7. Đo khoảng cách giữa các điểm ảnh </b></i>
<i>Khoảng cách D(p, q) giữa hai điểm ảnh p có tọa độ (x, y), q có tọa độ </i>
<i>(s, t) là hàm khoảng cách (Distance) nếu: </i>
<i>D(p, q) ≥ 0 (Với D(p, q)=0 khi và chỉ khi p=q) D(p, q) = D(q, p) </i>
<i>D(p, z) ≤ D(p, q) + D(q, z); z là một điểm ảnh khác </i>
<i>Khoảng cách Euclide giữa hai điểm ảnh p(x, y) và q(s, t) được định </i>
nghĩa như sau:
D<small>e</small>(p, q) = [(x - s)<sup>2 </sup>+ (y - t)<sup>2</sup>]<sup>1/2</sup> (1.4)
<i><b>1.1.8. Các định dạng cơ bản </b></i>
- Ảnh BMP (Bitmap): Là ảnh được mô tả bởi một ma trận các giá trị số xác định màu và bảng màu của các điểm ảnh tương ứng khi hiển thị. Ưu điểm của ảnh Bitmap là tốc độ vẽ và tốc độ xử lý nhanh. Nhược điểm của nó là kích thước rất lớn. Cấu trúc lưu trữ của ảnh BMP:
</div><span class="text_page_counter">Trang 18</span><div class="page_container" data-page="18">11
4 <sup>Byte offset in file where image begin </sup>
(Kích thước vùng Information và Header) <sup>54 </sup>
<b>Windows 3 Bitmap Header </b>
2 Number of iImage planes, must be 1
4 Size in byte of compressed image, or 0 4 Horizontal resolution, in pixels/meter 4 Vertical resolution, in pixels/meter
4 Number of “important” colors
Với ảnh 24-bits không có Colors palette
</div><span class="text_page_counter">Trang 19</span><div class="page_container" data-page="19">12
- Thơng tin điểm ảnh lưu trữ ngược với ảnh hiển thị, tức là điểm ảnh ở cuối file ảnh là điểm ảnh sẽ được hiển thị ở góc trên bên trái màn hình và điểm ảnh ở đầu phần dữ liệu của file ảnh sẽ là điểm ảnh hiển thị ở góc dưới bên phải màn hình.
Quá trình phát triển của kỹ thuật xử lý ảnh tồn tại nhiều định dạng khác nhau từ ảnh đen trắng IMG cho đén ảnh đa cấp xám, ảnh màu: PCX, GIF, JPEG…
- Ảnh IMG: là ảnh đen trắng.Phần đầu của ảnh IMG có 16 byte chứa các thông tin cần thiết của ảnh. Ảnh IMG được nén theo từng dòng. Mỗi dịng bao gồm các gói, các dịng giống nhau cũng được nén thành các gói. Tồn bộ ảnh chỉ gồm có những điểm sáng và điểm tối là các bit 0 hoặc 1.
- Ảnh PCX: là một trong những định dạng cổ điển nhất.Nó sử dụng loạt mã dài RLE để nén dữ liệu ảnh.Quá trình nén và giải nén được thực hiện trên từng dòng ảnh.Thực tế phương pháp nén PCX kém hiệu quả hơn kiểu IMG.
- Ảnh GIF: có lợi về khơng gian lưu trữ, với ảnh đen trắng kích thước tệp có thể nhỏ hơn bản gốc từ 5-7 lần; với ảnh 16 màu, kích thước nhỏ hơn ảnh gốc 2-3 lần, có trường hợp xấp xỉ ảnh gốc. Tuy nhiên với ảnh 256 màu thì nó bộc lộ khả năng nén rất kém.
</div><span class="text_page_counter">Trang 20</span><div class="page_container" data-page="20">13
- Ảnh JPEG: sử dụng chuẩn nén cho ảnh tone liên tục. Tiêu chuẩn này có thể được ứng dụng trong nhiều lĩnh vực: lưu trữ ảnh, truyền bá báo chí, ảnh y học, camera số.
<b>1.2. Một số phương pháp khôi phục ảnh </b>
Việc khôi phục ảnh là rất khó bởi sự thay đổi bất thường đáng kể trong ảnh như thay đổi nhỏ trong dữ liệu ảnh có thể mờ.Sự thay đổi bất thường của nhiễu có thể gây ra sự nhầm lẫn với tín hiệu thực. Đã có nhiều nghiên cứu ứng dụng tìm các giải pháp khôi phục ảnh bị mờ và nhiễu bằng cách tìm ra tốn tử chập nghịch đảo (phép chập) và tìm ra ảnh ban đầu trước khi bị mờ và nhiễu. Chương này tìm hiểu một số phương pháp khôi phục ảnh đối với một số ảnh bị mờ hoặc mất một số dữ liệu.
<i><b>1.2.1. Phương pháp Fourier nghịchđảo</b></i>
<b>Hình 4: Biến đổi Forier nghịch đảo </b>
Phép chập Fourier là một trong những phương pháp lâu đời nhất và là phương pháp thuộc loại nhanh nhất. Sử dụng một biến đặc thù của phép chập Fourier có thể làm giảm nhiễu.
Biến này có thể được tính tốn một cách hiệu quả nhờ sử dụng các
</div><span class="text_page_counter">Trang 21</span><div class="page_container" data-page="21">14
biến đổi Fourier nhanh. Nhưng kỹ thuật Phép chập Fourier bị phá vỡ khi có độ nhiễu cao. Độ nhiễu trong dữ liệu được khuếch đại đáng kể bởi phép chập và tạo ra các đối tượng giả. Mặt khác, các hàm Fourier chỉ áp dụng toàn ảnh, và không áp dụng địa phương được.
<i><b>1.2.2. Phương phápWavelets </b></i>
- Các sóng nhỏ (wavelets) phát hiện bởi Daubechies (1988) hỗ trợ tốt cho tính tốn địa phương. Các sóng nhỏ phải đáp ứng 3 điều kiện sau:
<small>- </small>Các sóng nhỏ tạo thành một tập hợp trực giao, tập này cho phép chuyển đổi dễ dàng giữa các lĩnh vực không gian và giátrị.
<small>- </small>Các sóng nhỏ là những chuyển đổi bất biến, nghĩa là các hàm sóng có thể được sử dụng vào các phần khác nhau củaảnh.Các sóng nhỏ khơng đổi về qui mơ, nghĩa là chúng tạo thành một giản đồ trong đó các hàm với bước sóng lớn hơn là phiên bản qui mô lớn của các hàm với bước sóng ngắnhơn.
<b>Hình 5: Khơi phục ảnh dùng phép chập Fourier </b>
</div><span class="text_page_counter">Trang 22</span><div class="page_container" data-page="22">15
<small>- </small><i>Ba yêu cầu này rất quan trọng mà việc chuyển đổi sóng của n điểm dữ liệu và nghịch đảo của nó có thể được tính với chi phí tính tốn O (n </i>
<i>log2 n), giống như biến đổi Fourier nhanh. Các sóng nhỏ có thể dùng để </i>
loại bỏ nhiễu và loại bỏ mờ.
<i><b>1.2.3. Phương pháp dùng nhânnhỏ </b></i>
- Phương pháp biến đổi Fourier nhanh được thực hiện chập rất hiệu quả khi được sử dụng trên các máy tính nhưng địi hỏi dữ liệu đầy đủ phải được thu thập trước khi tính toán. Đây là một bất lợi lớn khi xử lý quét ảnh video vì thời gian để thu thập một khung dữ liệu toàn bộ thường vượt quá thời gian tính tốn. Các chập dạng ống (Pipelineonvolution) dữ liệu thực hiện hiệu quả hơn bằng cách gộp các kỹ thuật một cách song song, ngay cả khi phần nhân chỉ chiếm một vài phần trăm diện tích khung.
- Các kỹ thuật ống (Pipeline) có thể được sử dụng trong khơi phục ảnh bằng cáchviết các phép chập như là bởi hàm điểm phản ứng nghịch đảo H-1
<i><small>I </small></i><small></small><i><small>H </small></i><small></small><i><sub> 1 * D</sub></i>
- Phương trình này tương đương với Phép chập Fourier.Nhưng H-1 mở rộng trên tồn bộ mảng, thậm chí nếu H là một nhân nhỏ (chỉ chứa một vài
<b>Hình 6: Wavelets – Các sóng nhỏ </b>
</div><span class="text_page_counter">Trang 23</span><div class="page_container" data-page="23">16
điểm ảnh).Khi đó ta có thể tìm một nhân nghịch đảo xấp xỉ <small>G H</small><sup>-1</sup>.
- Tuy nhiên, G cũng có thể được thiết kế để ngăn chặn các thành phần mức k của H-1 để hạn chế vành đai do gián đoạn sắc nét trong dữ liệu, do
<i>đó giảm các đối tượng ảnh được tạo ra bởi các phương phápFourier. </i>
<i><b>1.2.4. Phương pháp QuickPixon </b></i>
- Phương pháp Pixon là một cách khác để giảm nhiễu. Đây là một kỹ thuật lặp hạn chế, làm mịn của ảnh theo cách thích nghi trong khơng gian. Một dạng khác nhanh hơn là phương pháp Quick Pixon, đây là phương pháp áp dụng tương tự như việc làm mịn Pixon vào dữ liệu thay vì các mơ hình ảnh.Việc làm mịn này có thể được thực hiện một lần trên các dữ liệu đầu vào, sau đó dữ liệu có thể được phép chập bằng cách sử dụng phương pháp Fourier hoặc small – kernel phép chập.
- Phương pháp Quick Pixon, mặc dù không hiệu quảnhư phương pháp Pixon đầy đủ nhưng các kết quả trong các ảnh đã được khôi phục gần tương đương như những kết quả trong phương pháp Pixon đầy đủ. Ưu điểm của phương pháp Pixon nhanh là tốc độ của nó. Bởi vì phương pháp này là không lặp và chủ yếu gồm có các convolution và các phép chập, việc tính tốn có thể được thực hiện theo kiểu ống bằng cách sử dụngSmall – kernel convolution. Điều này cho phép ta xây dựng một phần cứng chuyên dùng để xử lý các vạch quét video trong thời gian thực theotỉ lệ video tối đa có sẵn.
<b><small> Ảnh gốc Ảnh khơi phục </small></b>
<b>Hình 7: Khôi phục ảnh bằng phương pháp <small>Quick Pixon </small></b>
</div><span class="text_page_counter">Trang 24</span><div class="page_container" data-page="24">17
<i><b>1.2.5. Phương pháp lọcWiener </b></i>
<i>- Phương pháp cải thiện tỷ lệ tín hiệu – nhiễu phụ thuộc k là lọc tuyến </i>
tính, phương pháp này có một lịch sử lâu dài trong lĩnh vực xử lý tín hiệu và đã được áp dụng trong nhiều lĩnh vực của khoa học và kỹ thuật. Biến đổi
<i>Fourier của dữ liệu được nhân bởi một bộ lọc phụ thuộc k, </i><i>(k)và kết quả </i>
được chuyển ngược trở lại để cung cấp dữ liệu đã lọc. Lọc tuyến tính là một cơng cụ hữu ích đặc biệt trong phép chập, bởi vì lọc có thể được kết hợp với Phép chập Fourier (phương trình 1.4) để đưa ra toán tử chập nghịch đảo đã được lọc.
- Lọc tối ưu là lọc mà giảm thiểu sự khác biệt giữa các dữ liệu nhiễu đã lọc và tín hiệu đúng, lọc đó được gọi là lọc Wiener, được thể hiện trong không gian Fourier. Tín hiệu và nhiễu theo định nghĩa về mặt thống kê là độc lập. Vì vậy khả năng nguồn của chúng tăng lên tại vị trí góc vng góc. Ta giới thiệu thêm tham số β vào phương trình 1.10 để cho phép người sử dụng điều chỉnh tính lan của bộ lọc.
Khơi phục ảnh bằng phương pháp lọc Wiener
<i><b>1.2.6. Phương pháp thốngkê </b></i>
Phương pháp định nghĩa tập các mơ hình tiềm năng của ảnh. Sau đó với sự giúp đỡ của thơng tin thống kê, ta lựa chọn trong số các mơ hình này lấy một mơ hình làm phù hợp nhất với dữ liệu về mặt thốngkê.
Có ba thành phần dữ liệu phù hợp.Đầu tiên, phải có một thủ tục phù
</div><span class="text_page_counter">Trang 25</span><div class="page_container" data-page="25">18
hợp để tìm mơ hình của ảnh. Việc này được thực hiện bằng cách giảm thiểu một chức năng giá trị, thường là thêm vào các ràng buộc. Thứ hai, phải có kiểm tra tính chất của phù hợp – tốt nhất nên có nhiều test – để xác định xem các phần dư thu được có phù hợp với sự phân bổ thống kê gốc. Thứ ba, ước tính các lỗi cịn lại trong mơ hình của ảnh.
<i><b>Ảnh gốc </b></i> Ảnh phục hồi
<i><b>1.2.7. Phương pháp khôi phục ảnh dùng kim tự tháp mờ Gaussian </b></i>
Một phương pháp khôi phục ảnh dùng nội suy do Ogden, Adelson, Bergen, và Burt đề cập trong [1]. Từ một ảnh ban đầu, thuật toán liên tiếp áp dụng dùng bộ lọc làm mờ Gaussian với một nhân nhỏ. Kết quả của hai lần áp dụng bộ lọc Gausian tương tự như một lần lọc:
Bắt đầu từ ảnh gốc I<small>0</small>, ảnh sẽ dần mờ đi do bộ lọc Gaussian.
Thuật toán áp dụng bộ lọc Gaussian cho ảnh đầu vào nhiều lần, đồng thời thu nhỏ kích thước của ảnh, tỷ lệ ½. Trong q trình mờ này, các vùng trống của ảnh sẽ được lấp dần từ các vùng lân cận. Quá trình này dừng lại khi tất cả các vùng trống đã được lấp đầy (hình 5).
<b>Hình 8: Khơi phục ảnh bằng phương pháp thống kê </b>
</div><span class="text_page_counter">Trang 26</span><div class="page_container" data-page="26">19
Tiếp theo là việc sao chép các phần đã làm đầy từ I<small>k+1</small> ngược lại cho I<small>k</small>, đồng thời tăng dần kích thước (*2). Đây là q trình ngược lại với quá trình mờ bên trên. Cuối cùng thu được ảnh đã lấp đầy các khoảng trống (hình 5)
a. ảnh đầu vào b. ảnh đầu ra
<i><b>Hình 9: Khơi phục ảnh dùng kim tự tháp mờ Gaussian </b></i>
<i><b>1.2.8. Phương pháp khôi phục ảnh dùng bộ lọc Median </b></i>
Thuật tốn có dùng nhiều vịng lặp nội suy với bộ lọc Median. Trong mỗi vịng lặp, đầu tiên ta tìm một điểm ảnh trong vùng trống, và có lân cận là điểm ảnh có đủ thông tin. Với mỗi điểm lân cận này xác định được một hướng. Với mỗi hướng, ta tìm giá trị median trên hướng đó. Sau đó ta lấy median của các median trên, và gán giá trị này cho điểm ảnh đang xét. Q trình này dừng lại khi tồn bộ các điểm ảnh trống đã được lấp đầy.
</div><span class="text_page_counter">Trang 27</span><div class="page_container" data-page="27">20
a. là các hướng b. dấu nhân là các vị trí có thơng tin, dấu trịn mất thơng tin
<i><b>Hình 10: Khơi phục ảnh Median theo các hướng </b></i>
<i><b>1.2.9. Phương pháp khôi phục ảnh nhanh dựa vào bộ lọc </b></i>
Đây là một thuật toán đơn giản gọi là thuật toán lặp nội suy. Trong mỗi vịng lặp cần tìm ra điểm ảnh trống và có lân cận là các điểm ảnh có đủ thông tin. Với các điểm ảnh trống này, ta dùng bộ lọc có dạng ma trận có số cạnh lẻ, và có nhân của ma trận có giá trị bằng khơng. Dưới đây là ví dụ 2 bộ lọc.
Trong đó a = 0.073235; b = 0.176765; c = 0.125.
</div><span class="text_page_counter">Trang 28</span><div class="page_container" data-page="28">21
<i><b>1.2.10. Khôi phục ảnh dùng biến phân từng phần PDE </b></i>
Phương pháp Partial Differential Equations (PDE) được dịch là Phương pháp khôi phục ảnh dùng hàm biến phân từng phần. Ở đây có thể dùng từ “vi” phân, tuy nhiên với từ “biến” phân thì có ý nghĩa sát hơn với bài tốn khơi phục ảnh: hàm này tìm sự biến đổi giá trị của một điểm ảnh so với giá trị tại điểm ảnh lân cận. Từ đó xét xem độ tương đồng vả giá trị tại hai điểm lân cận này. Như vậy hàm biến phân thể hiện mức độ biến đổi có ý nghĩa phù hợp với bài tốn khơi phục ảnh.
Phương pháp khôi phục ảnh dùng hàm biến phân từng phần có đặc điểm như sau. Mỗi điểm ảnh của Ω nằm tại đường biên với phần I/Ω sẽ được gán cho giá trị, sao cho giá trị được gán này phải tương tự như các điểm ảnh trong vùng lân cận về mức độ biến phân. Tất cả các điểm ảnh trong vùng Ω sẽ được lần lượt gán giá trị, cho đến khi mọi điểm ảnh của Ω đều được gán giá trị.
Việc tìm độ tương tự với hàm biến phân ở đây có hai cách. Một là so sánh độ biến phân của điểm ảnh cần gán giá trị với độ biến phân của các điểm ảnh của vùng đã có thơng tin. Hai là so sánh độ biến phân của điểm ảnh cần gán giá trị với độ biến phân của các điểm ảnh trong một ảnh mẫu khác: mục đích là dùng ảnh mẫu để điền vào phần trống của ảnh đầu vào.
Phương pháp khôi phục ảnh dùng hàm biến phân được Bertalmio, Sapiro, Caselles, Ballester đề cập như sau.
Thuật toán chạy lặp với các isophotes, được định nghĩa là các dịng của ảnh có cùng một mức xám. Để tìm các isophotes cần giải phương trình vi
</div><span class="text_page_counter">Trang 29</span><div class="page_container" data-page="29"><i><b>1.2.11. Khơi phục ảnh dùng phương trình Navier-Stokes </b></i>
Một cách tượng tự với hàm biến thể từng phần PDE là áp dụng phương trình Navier-Stokes trong lý thuyết dòng chảy. Thuật toán chạy lặp với các điểm ảnh trống, mà có lân cận là các điểm ảnh có đủ thơng tin. Dùng phương trình dịng chảy Navier-Stokes mơ phỏng xu hướng dịng chảy của phần có đủ thơng tin để điền vào ơ trống.
<i><b>1.2.12. Khôi phục ảnh dùng tổng biến thể </b></i>
Phương pháp tiếp cận tìm vị trí có thiểu tổng biến thể thấp nhất với điểm ảnh trống để điền thơng tin.
Thuật tốn của Chan và Shen chạy lặp với các điểm ảnh trống, mà có lân cận là các điểm ảnh có đủ thơng tin. Dùng hàm tổng biến thể để xác định điểm ảnh có tổng biến thể tương tự điểm ảnh trống. Từ đó điền thơng tin vào điểm ảnh trống.
Thuật tốn dựa trên việc tối thiểu hóa giới hạn của bình phương độ tin cậy ở ngoài Ω và một tổng tiêu chí biến đổi trong Ω, ví dụ, giới hạn năng
Với là một hệ số nhân Lagrange. Để thực hiện, Chan và Shen tìm kiếm điểm quan trọng, sử dụng một chương trình lặp Gauss-Jacobi cho hệ thống tuyến tính liên quan đến một kết quả gần đúng của phương trình Euler-Lagrange bằng những sự khác biệt hữu hạn.
</div><span class="text_page_counter">Trang 30</span><div class="page_container" data-page="30">23
<b>1.3. Một số tiêu chí dùng để đánh giá chất khơi phục ảnh </b>
<i><b>1.3.1. Tổng quan về tiêu chí đánh giá chất lượng ảnh </b></i>
Để đánh giá kết quả của các thuật toán khơi phục ảnh cần phải có một số thống nhất về tiêu chí đánh giá chất lượng ảnh. Một số tiêu chí khách quan dùng để đánh giá sự phát triển và cải thiện các phương pháp khôi phục ảnh. Trong chương này sẽ nghiên cứu một số tiêu chí cơ bản được dùng để đánh giá chất lượng ảnh. Tiêu chí có thể cho phép đánh giá kết quả khôi phục ảnh với các số liệu khách quan. Để đánh giá chất lượng của ảnhhay khung ảnh video ở đầu ra của thuật toán thường sử dụng hai tham số: Sai số bình phương trung bình - MSE (mean square error) và phương pháp đề xuất với tỷ lệ tín hiệu trên tín hiệu tạp PSNR (Peak Signal to Noise Ratio).
<i><b>1.3.2. Sai số bình phương trung bình (MSE) </b></i>
Sai số MSE của ảnh gốc và ảnh khôi phục được tính theo cơng thức
Trong đó, I<sub>o </sub>là ảnh gốc, I<small>R</small> là ảnh đầu ra ; x và y chỉ vị trí của điểm ảnh ; m và n chỉ độ số điểm ảnh theo chiều ngang và chiều dọc của ảnh. Chỉ số MSE cho giá trị càng nhỏ nghĩa là chất lượng của ảnh càng tốt.
<i><b>1.3.3.Tỷ lệ tín hiệu trên tín hiệu tạp (PSNR) </b></i>
Chỉ số PSNR, đơn vị đo là deciben (dB) và thường dùng trong xử lý tín hiệu nói chung và hình ảnh nói riêng được tính như sau:
Trong đó, R là giá trị lớn nhất của điểm ảnh. Trong trưởng hợp ảnh được biểu diễn bằng số nguyên 8 bit, thì R=255.PSNR càng cao thì chất lượng ảnh khôi phục càng tốt.
</div><span class="text_page_counter">Trang 31</span><div class="page_container" data-page="31">24
<b>Hình 11: Các giá trị của tỷ lệ tín hiệu trên tạp PSNR </b>
<i><b>1.3.4. Ứng dụng của MSE và PSNR </b></i>
Các sai số MSE và PSNR được tính tốn cho ảnh màu dùng phương pháp chuyển đổi ảnh từ hệ RGB sang hệ YCbCr. Sự chuyển đổi này được thực hiện với lý do mắt người nhạy cảm với thông tin cường độ Y. Sau khi chuyển đổi sang hệ YcbCr các sai số MSE và PSNR được tính trên kênh Y.
Theo các nghiên cứu trước đây thì tỷ lệ PSNR ≥ 37 dB thì mắt thường gần như không phân biệt được giữa ảnh gốc và ảnh khơi phục. Khi hai hình ảnh giống hệt nhau, MSE sẽ bằng 0 và PSNR đi đến vô cực.
<b>1.4. Kết luận chương 1 </b>
Trong thời gian gần đây khoa học đã chứng kiến sự phát triển của hai xu hướng trong xử lý ảnh hiệu suất cao:
<small>- </small>Các kỹ thuật sử dụng các điều kiện hạn chế ảnh là rất cần thiết để giải quyết các bài tốn ngược của khơi phụcảnh.
<small>- </small>Hiệu suất được cải thiện đáng kể khi chiến lược hạn chế ảnh được cho phép để thích ứng với các điều kiện khác nhau trên ảnh.
Khôi phục ảnh là một vấn đề rất khó và cịn cần nhiều thời gian mới được giải quyết. Khơi phục ảnh có nhiều ứng dụng thực tiễn, áp dụng cho một ảnh đơn lẻ hoặc đồng thời cho một chuỗi các ảnh. Chương 1 đã trình bày các mơ hình mờ ảnh và nhiễuảnh và các kĩ thuật để khôi phục.
Đã có nhiều kỹ thuật khơi phục ảnh được nghiên cứu ứng dụng, với dự đa dạng của các kỹ thuật. Các kỹ thuật có chi phí tính tốn thấp có thể áp
</div><span class="text_page_counter">Trang 32</span><div class="page_container" data-page="32">25
dụng thời gian thực cho video. Tuy nhiên hiện có ít kỹ thuật đáp ứng yêu cầu thời gian thực. Đây có thể là chủ đề nghiên cứu ứng dụng trong thời gian tới.
Chương 2 sẽ tập trung đi sâu vào phương pháp khôi phục ảnh dùng bản vá với điều kiện tối ưu hóa địa phương.
</div><span class="text_page_counter">Trang 33</span><div class="page_container" data-page="33">26
<b>CHƯƠNG 2. KHÔI PHỤC ẢNH MÀU BỊ MỜ VÀ NHIỄU, GIỮ CẠNH VÀ MẤT MẢNH </b>
Chương 1 luận văn đã đề cập một số phương pháp khôi phục ảnh mờ và nhiễu và mất mảng. Chương 2 đề cập đến một số thuật tốn khơi phục ảnhmờ và nhiễu, đồng thời giữ đượccạnh và đi sâu phân tích thuật tốn khơi phục ảnh bằng phương pháp tối ưu cục bộ.
<b>2.1. Khôi phục ảnh dùng bộ lọc có hướng </b>
Các thuật tốn mã nguồn mở của nghiên cứu [14] ước lượng kernel mờ chính xác từ một ảnh mờ và nhiễu. Phương pháp nàycó 2 bước: giải mờ và giải nhiễu. Trong thuật toán này sử dụng các bộ lọc giải nhiễu và trình tự giải mờ theo cách thức để kernel được ước lượng không chịu ảnh hưởng bởi các bộ lọcnhiễu.
Phương pháp khơi phục ảnh từ bộ lọc có hướng này được nghiên cứu từ cơ sở sau: nếu sử dụng bộ lọc tuyến tính truyền thấp có hướng vào ảnh đầu vào, nó có thể tạo độ nhiễu lớn, trong khi nội dung, bao gồm thông tin chính bị mờ, ở với hướng trực giao khơng bị ảnh hưởng. Trong thuật tốn có sử dụng tính chất này dùng để ước lượng các hình chiếu 1D của kernel mờ tới các hướng vng góc của các bộ lọc này. Những hình chiếu này chính là biến đổi Radon, sẽ khơng bị ảnh hưởng bởi việc dùng các bộ lọc truyền thấp có hướng vào ảnh đầu vào trừ việc giảmnhiễu.
Dựa trên nghiên cứu này, thuật toán sử dụng serie các bộ lọc truyền thấpcó hướng theo các hướng khác nhau, và đánh giá một lớp các hình chiếu kernel từ từng ảnh. Điều này tạo ra một sự tính tốn chính xác về phép biến đổi Radon. Vì vậy thuật tốn xây dựng lại kernel mờ dùng phép biến đổi ngẫu nhiên nghịch đảo. Khi nhận được kernel tốt thuật toán sẽ kết hợp với việc lọc nhiễu trong giải chập cuối cùng để giảm nhiễu và thu được ảnh chất lượng tốt.
</div><span class="text_page_counter">Trang 34</span><div class="page_container" data-page="34">27
<b><small>2.2. Khôi phục ảnh sử dụng phương pháp MaximumEntropy </small></b>
Phương pháp Maximum Entropy là phương pháp dựa trên nguyên tắc cơ bản vật lý thống kê bản chất nằm ở chỗ giả định rằng ảnh được tạo thành từ một số lượng lớn các lượng tử, mỗi một lượng tử có cường độ q, và đồng khả năng cho bất kỳ vùng lượng tử tại điểm ảnh bất kỳ, khi đó chúng được phát các khóa một cách ngẫu nhiên. Xác suất có được một tập điểm ảnh (n1, n2,…,nL) với tỉ lệ với sự suy thoái N!/n1!n2!...nL!. Ở đây ta đã giảm một hằng số bình thường hóa tổng thể của p (lI). Ảnh được áp dụng maximum entropy. Phương trình 2-15 tương tự với xác suất phân bổ không gian của các hạt lý tưởng, thuật toán là entropy Boltzmann. Một entropy ảnh của mẫu ban đầu được đề xuất bởi Friede(1972).
Có ba vấn đề cơ bản của phương phápnày:
<small>- </small>Có các dạng entropy cạnh tranh, ngay cả đối với cùng một ảnh.
<small>- </small>Với một chương trình entropy bất kỳ thì ảnh maximum entropy khơng phải là ảnh ưutiên.
<small>- </small>Entropy phụ thuộc vào lượng tử q - là tập tùy ý và không liên quan đến bất kỳ lượng tử vật lý nào tạo nên ảnh. Do những vấn đề này mà phương pháp maximum entropy đã hướng theo vật lý thốngkê.
Có các phương pháp sử dụng hàm thiết lập với tối thiểu. Kavel sử
<i>dụng phương pháp thay thế liên quan đến trung bình H1 cho kernel. Dựa </i>
vào nghiên cứu của You và Kavel, Chan và Wong mở rộng ý tưởng của họ thành trung bình TV cho cả ảnh và kernel, trong nhiều trường hợp hàm kernel có các cạnh sắc (như là mờ do chuyển động và mờ không tập trung). Các tác giả sử dụng các phương pháp giảm thiểu thay thế đối với việc khôi phục ảnh vàkernel.
<b>2.3. Khôi phục ảnh dùng TV và phép lặp Bregman </b>
Lin và cộng sự mở rộng hàm TV để có thêm các ràng buộc trên kernel
</div><span class="text_page_counter">Trang 35</span><div class="page_container" data-page="35">28
trong bài toán và sử dụng phép lặp Bregman để cải thiện kết quả. Nhiều nghiên cứu gầnđây xử lý mờ thay đổi về không gian và các hàm không cục bộ.
Một phương pháp khác là áp dụng các kỹ thuật lọc khác nhau. Fish và cộng sự sử dụng thuật toán Richarson-Lucy để thực hiện phương pháp giảm thiểu thay thế sử dụng định lý Bayes, và cải thiện kết quả từ bộ lọc Weiner.
<b>Hình 12: Khơi phục ảnh dùng phương pháp Fish </b>
Sử dụng các công thức vi phân thành phần đưa ra bởi Osher và Rudin để cách lọc ảnh bị mờ do rung máy ảnh. Phương pháp này cấu trúc lại các cạnh bằng cách tìm các điểm cong, và tìm vị trí cạnh chínhxác.
Alvarez và Mazorra sử dụng phương pháp tương tự nhưng đặt điều kiện trước cho ảnh phân tán để nó có thể xử lý giải mở và giảm nhiễu một cách đồng thời. Gilboa và cộng sự mở rộng ý tưởng này bằng cách sử dụng quá trình phân tán phức để xử lý mạnh vớinhiễu.
Có các nghiên cứu đáng kể về sự kết hợp một số hàm trong một vài công việc xử lý ảnh. Chan và cộng sự sử dụng bộ lọc để khôi phục ảnh và inpaint như một phương thức duynhất.
Bar và cộng sự đã kết hợp với phát hiện cạnh bằng kernel dạng
<i>Gaussian. Sử dụng điều kiện thực L1 để bỏ nhiễu dạng hạt nhỏ trong bài toán </i>
giải mờ. Giải mờ và xoá bỏ nhiễu dạng xung thơng qua sự kết hợp mơ hình Mumford-Shah và các mơ hình tổng biến trong việc thiết lập đa kênh, và kết
</div><span class="text_page_counter">Trang 36</span><div class="page_container" data-page="36">29
hợp khôi phục ảnh bằng phân vùng với tham sốkernel.
<b><small>2.4. Khôi phục ảnh dùng Tổng biếnthể </small></b>
Tổng biến thể hay total variance là đại lượng đo tổng độ khác biệt của một điểm ảnh với các lân cận của điểm đó. Trước năm 1990, đã có nhiều tài liệu biểu diễn tổng biến thể bằng hàm năng lượng dạng L2 trên các gradient.
Trong các trường hợp này, hệ thống tuyến tính thu được dễ giải, nhưng không cho được kết quả với chất lượng mong muốn. Ngoài ra, nếu so sánh hàm |u| với |u|2 trên cùng một tập các ràng buộc tương đồng, các phương pháp dựa trên |u| có thể tạo ra kết quả tốt hơn. Ta có thể sử dụng dạng Euler-Lagrange của tổng biến thể của các gradient và thu được đường cong trung bình củaPDE.
<b>2.5. Khơi phục ảnh dùng vùng mẫu </b>
Thuật tốn này giải quyết vấn đề khôi phục ảnh nhằm mục đích loại bỏ một số đối tượng của ảnh hoặc sửa chữa phần ảnh bị hỏng bằng cách thay thế các vùng trống bằng cách sử dụng thông tin trong phần còn lại của ảnh. Phương pháp khôi phục ảnh đề xuất ở đây được xây dựng trên quan điểm: dựa trên các mẫu có tính tương tự địa phương với vùng khôi phục.
Phương pháp này sử dụng các vùng mẫu. Thuật toán chạy lặp với các điểm ảnh trống nằm trên đường biên với phần ảnh có đủ thơng tin. Với mỗi lần lặp, một bản mẫu được xác định, bản mẫu này sẽ được so sánh đối chiếu với các vùng khác, để tìm vùng có độ tương tự cao nhất. Hàm đánh giá độ tương tự này mang tính địa phương bởi nó chỉ áp dụng cho một phần của ảnh gần với điểm ảnh đang xét.
Khi đã tìm ra vùng có độ tương tự cục bộ cao nhất, vùng đó được dùng để vá vào phần trống của điểm ảnh đang xét.
Trong thuật toán này, kết quả và phụ thuộc nhiều vào trình tự vá. Với mỗi trình tự lặp tìm điểm trống cần vá, sẽ có một bản mẫu, khác với bản mẫu
</div><span class="text_page_counter">Trang 37</span><div class="page_container" data-page="37">30
trong trình tự vá khác. Bởi vậy, ảnh sẽ được vá khác nhau khi trình tự duyệt các điểm trống khác nhau.
<i>Trong hình 12 , điểm ảnh p của ảnh I bị trống. p nằm trên đường biên với vùng có đủ thơng tin, của sổ nhỏ màu xanh lá cây tại p xác định ra mẫu. Mẫu này sẽ được đối sánh với vùng ảnh có đủ thơng tin, ở gần p. </i>
<b>Hình 13: Khôi phục ảnh dùng vùng mẫu“xác định mẫu tại p” </b>
<b>Hình 14: Khơi phục ảnh dùng vùng mẫu </b>
Việc tính tốn tương tự tạo ra trọng số dựa trên cạnh và sự khác biệt cấu trúc giữa các mẫu ứng cử viên khôi phục. Phương pháp này cho phép chọn mẫu khôi phục dựa trên một số yếu tố.
<b>2.6. Khôi phục ảnh dùng bản vá có kết cấu </b>
Efros và Leung trong [12] đề xuất một phương pháp tổng hợp kết cấu từ một kết cấu mẫu. Phương pháp này được áp dụng khôi phục ảnh.
Thuật toán như sau: Khoảng trống ảnh được lấp đầy theo đệ quy. Tại mỗi điểm ảnh trống P nằm bên cạnh ranh giới với vùng đủ thông tin, vùng trống được vá bằng các giá trị của trong vùng đủ thông tin tại điểm ảnh Q sao
</div><span class="text_page_counter">Trang 38</span><div class="page_container" data-page="38">Khoảng cách hình ảnh được lấp đầy một cách đệ quy, từ ranh giới vùng trắng và vùng có thơng tin. Mỗi "ô trống" điểm ảnh P tại ranh giới được làm đầy với các giá trị của các điểm ảnh Q (nằm bên ngồi vùng trắng, ví dụ như Q là một điểm ảnh với thông tin hợp lệ). Như vậy các khu vực lân cận Ψ(Q) của Q (một miếng vá vng có trung tâm tại Q) phần lớn tương tự như khu vực Ψ(P) của P. Điều này có thể được thể hiện như một vấn đề tối ưu hóa:
Và các chỉ số i, j chạy theo chiều dài bản vá (ví dụ: nếu <small></small> là bản vá có độ rộng dài là 11*11, thì 0 ≤ i, j ≤ 10 khi. Khi P được lấp đầy, thuật toán đánh dấu P khơng cịn là điểm trắng nữa, để khơng phải quay lại điểm P lần nữa.
</div><span class="text_page_counter">Trang 39</span><div class="page_container" data-page="39">32
Những thiếu sót chính của thuật tốn này là chi phí tính tốn cao, việc lựa chọn kích thước vùng kề (là một tham số toàn ảnh do người dùng lựa chọn, nhưng thay đổi tùy thuộc vào nội dung ảnh), thứ tự lấp đầy (có thể tạo ra ranh giới chưa được nối với một số đối tượng) và thực tế là không xử lý tốt với các cạnh ảnh. Ngoài ra, kết quả khá là kém nếu khoảng trống ảnh lớn và phân tán, ví dụ như một ảnh có 80% các điểm ảnh đã bị mất do nhiễu ngẫu nhiên.
Criminisi và cộng sự [4] cải thiện thuật tốn này ở hai khía cạnh. Thứ nhất, họ đã thay đổi thứ tự điền thành một phương pháp ưu tiên, trong đó điểm ảnh trống ở các cạnh có độ ưu tiên cao hơn so với các điểm ảnh trống trên vùng bằng phẳng. Do đó, có thể khơi phục chính xác cạnh mà có thể bị mất trong thuật toán đầu.
Thứ hai, họ sao chép tồn bộ các bản vá lỗi thay vì từng điểm đơn lẻ, vì vậy phương pháp này nhanh hơn đáng kể.
Vẫn có một số thiếu sót như khơng có khả năng xử lý với phối cảnh và cần phải tự chọn kích thước vùng kề (ở đây có hai kích thước để thiết lập, một cho các bản vá để so sánh và một cho các bản vá để sao chép). Ngoài ra, các đối tượng có cạnh cong có thể khơng được khơi phục chính xác.
Ashikhmin [2] đóng góp cũng như cải thiện phương pháp ban đầu của Efros và Leung [12]. Với ý tưởng giảm chi phí tính toán của các thủ tục, Ashikhmin đề xuất tìm kiếm các ứng viên tốt nhất Q để sao chép giá trị của đó vào điểm ảnh trống P, khơng tìm kiếm tồn bộ ảnh mà chỉ tìm kiếm trong số các ứng cử viên của các điểm kề của P đã được khôi phục. Tốc độ đạt được với kỹ thuật đơn giản này là đáng kể, và cũng có một ảnh hưởng rất tích cực liên quan đến chất lượng ảnh đầu ra.
Trong khi hầu hết các phương pháp khơi phục ảnh cố gắng trở nên hồn toàn tự động (ngoài việc thiết lập một số thông số theo cách thủ công), có
</div>
