GIẢI THUẬT LMMSE THỰC HIỆN SIÊU PHÂN GIẢI ẢNH VÀ VIDEO TRÊN KIT ARM AT91SAM9RL

Thầy hướng dẫn: PGS.TS. Lê Tiến
Thường
GIẢI THUẬT LMMSE THỰC HIỆN
SIÊU PHÂN GIẢI ẢNH VÀ VIDEO
TRÊN KIT ARM AT91SAM9RL

TRƯỜNG ĐẠI HỌC BÁCH KHOA TP HCM
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN VIỄN THÔNG
Nội dung
o
Tổng quan siêu phân giải
o
Mô hình suy giảm ảnh
o
Siêu phân giải ảnh theo phương pháp MMSE
o
Phương pháp thực hiện
o
Kết quả mô phỏng
o
Kết quả phần cứng
o
Siêu phân giải Video theo phương pháp MMSE
o
Phương pháp thực hiện
o
Kết quả mô phỏng
o
Kết luận
Siêu phân giải

Mục tiêu: tăng độ phân giải cho ảnh và video
Siêu phân gi i nh HR t nhi u nh ả ả ừ ề ả
LR
Siêu phân gi i video HR t video LRả ừ
Phạm vi ứng dụng
o
Cải thiện ảnh/video chất
lượng kém gây ra bởi:
o
Chất lượng camera
o
Giới hạn đường truyền
o
…
o
Trong nhiều lĩnh vực:
dân dụng,, quân sự, y tế,
…
Mô hình suy giảm ảnh

Mỗi ảnh LR quan sát được tạo ra từ ảnh HR thông qua mô hình

Suy giảm(linear distortion) : gây ra bởi camera, thông qua
hàm PSF. Mô hình suy giảm tuyến tính :
Mô hình suy gi m nhả ả

Lấy mẫu: giới hạn Nyquist -> data tần số cao bị mất

Nhiễu: nhiễu trắng có mật độ phổ trải đều.
Mô hình suy giảm ảnh

c l ng Ướ ượ
d ch chuy nị ể
N i suy nh ộ ả
HR
Siêu phân giải ảnh

Vấn đề:

Giải quyết:
nh g cẢ ố
nh LRẢ
Ước lượng dịch xoay

Mô hình đơn giản: xoay A, dịch b

Ước lượng xoay được ước lượng thông qua biến đổi
Fourier:
Dịch xoay các
ảnh LR
Đưa lên mắc
lưới HR
Nội suy theo
nearest, cubic
Nội suy ảnh HR- Miền không gian
Nội suy ảnh HR- Miền tần số
H: bộ lọc PSF làm mờ ảnh HR
F: bộ lọc tái tạo ảnh HR
Yêu cầu: cho biết PSD, mô hình suy giảm, chỉ ước lượng dịch
nh g cẢ ố
nh LRẢ

nh SRẢ
Nội suy ảnh HR- Miền tần số
o
Các thông số cần cho việc tái tạo
o
Mô hình suy giảm
o
Mô hình nhiễu cộng
o
Mô hình dịch chuyển
o
Mật độ phổ công suất ảnh HR: ước lượng từ LR
Mật độ phổ công suất ảnh HR
o
Lí tưởng: được tính trực tiếp từ ảnh HR:
o
Năng lượng tập trung ở miền tần số thấp, suy giảm nhanh khi tần số
tăng.
nh lenaẢ
PSD
Mật độ phổ công suất ảnh HR

Thực tế : ước lượng từ ảnh LR

Mô hình ước lượng vô hướng đơn giản :
Tái tạo ảnh SR

Xem xét tín hiệu một chiều bị suy giảm:

Xem xét ở hai tần số cụ thể:


Hay có thể viết y=H*x  tìm ngịch đảo của H để tái tạo ảnh :
THỰC TẾ
i
Y ( ) ( ) ( ) ( ). ( )
i i
H X H X
β β
Ω = Ω Ω + Ω − Ω −
0
0 0
1 1
1
Y ( )
( ) ( )
( )
( ) ( )
Y ( ) ( )
H H
X
H H
X
α
α
β
β
β
Ω
Ω Ω −
Ω

 
 
 
=
 ÷
 ÷
 ÷
Ω Ω −
Ω Ω −
 
 
 
0 1
1
0 1
( ) ( )
( ) ( )
F F
H F
F F
α α
α α
β β
−
Ω Ω
 
= =
 ÷
Ω − Ω −
 

1
. *( *)
T
opt xx xx
F D S H DN H S H
−
= +
Mô phỏng trên
Matlab
Sử dụng trên ngôn ngữ C,
phần cứng máy tính
Sử dụng ngôn ngữ C
trên KIT ARM9
Tổng hợp, so sánh
với phương pháp
khác
Ti n hành thu t toánế ậ
Biết PSD, hàm suy giảm PSF
Ước lượng PSD, một ảnh LR
Ước lượng PSD , nhiều ảnh LR
Ước lượng PSD, một
ảnh và nhiều ảnh LR
Ước lượng PSD,
một ảnh và nhiều
ảnh LR
Tổng hợp , so sánh
với nội suy
Nearest.
Kết quả mô phỏng
Biết PSD: ảnh cho kết quả

tốt, đặc biệt với D=2,3.
2 3 4
24
25
26
27
28
29
30
Super-Resolution, Known PSF
dB
D=2, PSNR = 29.13 dB
Ảnh LR 137x142
Kết quả mô phỏng
o
Ước lượng PSD,
một ảnh LR:
o
Với D=2: ảnh cho
chất lượng tốt.
o
Với D=4: ảnh HR
có chất lượng
không tốt. 21.1dB
Ảnh B4 256x256
D=2, PSNR=23.21
D=4,
PSNR=21.1
Kết quả mô phỏng
o

Tăng thông tin từ các
ảnh LR -> chất lượng
tái tạo tốt hơn
1 2 3 4
20
21
22
23
24
25
26
27
Super Resolution Result
PSNR
Number of LR Frames
dB
nh sân bay, Ả
500x700
B n nh LR, D=4ố ả
PSNR = 26.4
Thực hiện phần cứng

Thời gian & chất lượng thực hiện C trên máy tính = Maltab

Thời gian thực hiện trên KIT lâu:

Bộ nhớ, xử lí nhiều biến HRxHR, số phức.

Tính toán FFT và IFFT nhiều lần
Number of

LR
Time used
(minute)
4 30
3 21
2 15
1 9
Number of
LR
Time used
(minute)
4
70
3
50
2
36
1
22
nh 256x256Ả
nh 512x512Ả
Tổng hợp kết quả

Thực hiện với ngôn ngữ C cho kết quả tương đối gần
với Matlab

Phương pháp tốt hơn nhiều so với Nearest
Number of
LR
Nearest Matlab KIT

4 23.84 dB 25.51
dB
25.8 dB
3 24.77 dB 25.6 dB 25.9 dB
2 23.61 dB 25.3 dB 25.5 dB
1 22.55 dB 24.68
dB
24.5 dB
Ảnh Hạ Long 512x512
Siêu phân giải Video
Các vấn đề mới :
o
Dữ liệu các frame thay đổi theo thời gian
o
Chuyển động của các frame là tùy ý
o
Quá trình ước lượng phức tạp hơn.
Chia nhỏ các block
Tính toán dich xoay
cho từng block
Khôi phục block HR
bằng MMSE
Siêu phân giải Video – Chia block

Phù hợp mô hình chuyển động cục bộ của video

Phương pháp MMSE :
Với
1
( )

T
xx nn xy
A HR H R HR
−
= +
,
T
y A x
=
Quá trình thực hiện

Thực hiện phương pháp chia nhỏ block

Thực hiện phương pháp MMSE với toàn bộ ảnh

Tái tạo một số Video theo phương pháp MMSE.
Phương pháp chia nhỏ block

Ảnh LR được phân biệt: base và extra

Ảnh base LR được nội suy tạo mắc lưới HR “thô”

Các extra LR được chia nhỏ thành block

Ước lượng độ dich chuyển và sai số của từng extra block
với HR block tương ứng

Loại bỏ các block có sai số lớn hơn ngưỡng cho trước

Thêm các thông tin extra, dùng nội suy bicubic hay

nearest để tái tạo block HR.
Ph ng pháp chia nh blockươ ỏ
-
Frame thứ 10 và 11 trong video
Foreman
- Motion Vector ước lượng cho block 8x8