báo cáo đồ án tốt nghiệp xây dựng ứng dụng phát hiện mặt người dựa trên màu da

XÂY DỰNG ỨNG DỤNG PHÁT
XÂY DỰNG ỨNG DỤNG PHÁT
HIỆN MẶT NGƯỜI DỰA TRÊN
HIỆN MẶT NGƯỜI DỰA TRÊN
MÀU DA
MÀU DA




Sinh viên thực hiện : Nguyễn Hoài Sơn
Sinh viên thực hiện : Nguyễn Hoài Sơn




Lớp CNPM – K48
Lớp CNPM – K48
Giáo viên hướng dẫn: ThS Lương Mạnh Bá
Giáo viên hướng dẫn: ThS Lương Mạnh Bá

NỘI DUNG
NỘI DUNG
•
Bài toán phát hiện mặt người
•
Phương pháp phát hiện mặt người dựa trên

màu da.
•
Xây dựng ứng dụng phát hiện mặt người.




BÀI TOÁN PHÁT HIỆN
BÀI TOÁN PHÁT HIỆN
MẶT NGƯỜI
MẶT NGƯỜI

BÀI TOÁN PHÁT HIỆN MẶT NGƯỜI
BÀI TOÁN PHÁT HIỆN MẶT NGƯỜI
•
Nội dung:
–
Đưa vào một bức ảnh đám đông (có 1 hoặc
nhiều khuôn mặt), cần xác định vị trí và kích
thước của các khuôn mặt xuất hiện trong ảnh.

BÀI TOÁN PHÁT HIỆN MẶT NGƯỜI
BÀI TOÁN PHÁT HIỆN MẶT NGƯỜI
Mô hình bài toán

BÀI TOÁN PHÁT HIỆN MẶT NGƯỜI
BÀI TOÁN PHÁT HIỆN MẶT NGƯỜI
Phát hiện mặt người

BÀI TOÁN PHÁT HIỆN MẶT NGƯỜI

BÀI TOÁN PHÁT HIỆN MẶT NGƯỜI
•
Phương pháp: có nhiều phương pháp và hướng
tiếp cận khác nhau. Chia thành 2 nhóm chính:
–
Các phương pháp dựa trên học máy:
adaboot, máy vector hỗ trợ (SVM),
–
Các phương pháp dựa trên đặc trưng: màu
da, các bộ phận mắt, mũi, miệng,

BÀI TOÁN PHÁT HIỆN MẶT NGƯỜI
BÀI TOÁN PHÁT HIỆN MẶT NGƯỜI
•
Đánh giá phương pháp:
–
Một số tiêu chí đánh giá:
•
Tỉ lệ số khuôn mặt phát hiện đúng.
•
Tỉ lệ phát hiện sai.
•
Thời gian thực hiện, tài nguyên tiêu tốn.
–
Không có phương pháp hoàn hảo. Nó có thể
phát hiện tốt trên loại ảnh này, nhưng lại kém
trên loại ảnh khác.
–
Có phương pháp chỉ phát hiện trên ảnh màu,
có phương pháp chỉ phát hiện trên ảnh xám.

PHƯƠNG PHÁP PHÁT
PHƯƠNG PHÁP PHÁT
HIỆN MẶT NGƯỜI DỰA
HIỆN MẶT NGƯỜI DỰA
TRÊN MÀU DA
TRÊN MÀU DA

GIỚI THIỆU PHƯƠNG PHÁP
GIỚI THIỆU PHƯƠNG PHÁP
•
Đây là phương pháp phát hiện mặt người trong
ảnh màu.
•
Phương pháp không đặt ra giả thiết về hướng,
kích thước cũng như số lượng khuôn mặt trong
ảnh.
•
Phương pháp có tốc độ thực hiện nhanh, có thể
thực hiện trong thời gian thực.

CÁC BƯỚC THỰC HIỆN
CÁC BƯỚC THỰC HIỆN
•
Phát hiện màu da
•
Lọc nhiễu

•
Xác định các vùng trắng
•
Phân loại vùng trắng

MÔ HÌNH PHƯƠNG PHÁP
MÔ HÌNH PHƯƠNG PHÁP



PHÁT HIỆN MÀU DA
PHÁT HIỆN MÀU DA
•
Xác định xem điểm nào trong ảnh màu vào là
màu da, điểm nào không. Điểm màu da được
gán bằng 1, không phải màu da gán 0. Kết quả
thu được ảnh nhị phân.
•
Dựa trên 2 tiêu chí:
–
Công thức màu da
–
Histogram màu da
•
1 điểm trong ảnh được coi là màu da nếu thỏa
mãn cả 2 tiêu chí này.

PHÁT HIỆN MÀU DA
PHÁT HIỆN MÀU DA
•

Công thức màu da: xây dựng trên hệ màu
YCrCb:

PHÁT HIỆN MÀU DA
PHÁT HIỆN MÀU DA
Sự phân bố các điểm màu da trong không gian
màu YCrCb

PHÁT HIỆN MÀU DA
PHÁT HIỆN MÀU DA
•
Dựa trên histogram màu da:
–
Tổng hợp histogram trên tập ảnh màu da
được chuẩn bị trước.
–
Histogram trên nền H,S của hệ màu HSV.
–
Chuẩn hóa histogram – chia chiều cao của
các cột cho tổng số điểm để quy chiều cao
các cột về [0; 1).

PHÁT HIỆN MÀU DA
PHÁT HIỆN MÀU DA
Một số ảnh màu da được sử dụng trong tổng hợp
histogram.

PHÁT HIỆN MÀU DA
PHÁT HIỆN MÀU DA
•

Xác định màu da dựa trên histogram: với mỗi
điểm ảnh trong ảnh vào:
–
Chuyển sang hệ màu HSV
–
Xác định giá trị của cột (H,S) đó trong
histogram. Nếu lớn hơn 1 giá trị ngưỡng thì
coi là màu da.

PHÁT HIỆN MÀU DA
PHÁT HIỆN MÀU DA
Ví dụ minh họa


LỌC NHIỄU
LỌC NHIỄU
•
Lọc nhiễu có thể dùng bộ lọc trung bình hoặc
trung vị.
•
Bộ lọc trung vị kích thước cao thì lọc tốt nhưng
thời gian lâu:
–
Với ảnh nhị phân có cách thực hiện lọc trung
vị riêng, tiết kiệm thời gian.
–
Để cân đối với thời gian thực hiện, sử dụng
bộ lọc trung vị kích thước 5 x 5

LỌC NHIỄU

LỌC NHIỄU
Minh họa kết quả lọc nhiễu

XÁC ĐỊNH CÁC VÙNG TRẮNG
XÁC ĐỊNH CÁC VÙNG TRẮNG
•
Dựa trên giải thuật gán nhãn.
–
Mỗi điểm trắng được gán 1 nhãn (1 số nguyên). Các
điểm trong cùng 1 vùng được gán cùng 1 nhãn, nhãn
đó là chỉ số của vùng (ID). Mỗi vùng có 1 chỉ số riêng,
được đánh theo trình tự tìm thấy vùng.
•
Có cài đặt loại bỏ các liên kết yếu giữa các vùng
(ví dụ về liên kết yếu)


Begin
End
Điểm đang xét là điểm trắng
và chưa gán nhãn?
DSVT = Ø, SLVT  0, HangDoi = Ø
Khởi tạo cho mảng nhãn
Đưa con trỏ về điểm đầu tiên trong ảnh
Chuyển sang điểm tiếp theo
Tạo một vùng trắng mới
SLVT  SLVT + 1
Nhãn điểm đó = SLVT
Đưa điểm vào vùng trắng, vào hàng đợi
HangDoi khác rỗng?

Lấy điểm ra khỏi
hàng đợi
Hàng xóm có phải là điểm
trắng và chưa gán nhãn?
Gán nhãn SLVT cho điểm đó
Đưa vào vùng trắng, vào hàng đợi
Thêm vùng trắng vào DSVT
Hết ảnh?
Lặp cho 4
hàng xóm
(trái, phải,
trên, dưới)
ĐS
S
Đ
Đ
S
Đ
Thuật toán gán nhãn
Thuật toán gán nhãn

Thuật toán xác định và
Thuật toán xác định và
loại bỏ liên kết yếu
loại bỏ liên kết yếu
(phương dọc)
(phương dọc)
Đ
S
Begin

End
sl  0
Điểm trắng and sl <= Nguong?
sl <= Nguong?
Là điểm trắng và
sl <= Nguong?
sl  sl + 1,
Nhảy lên điểm tiếp theo
sl  sl + 1,
Nhảy xuống điểm tiếp theo
Đưa con trỏ về vị trí điểm ngay dưới
điểm đang xét
sl <= Nguong?
Gán điểm đang xét
thành đen
Đ
S
S
Đ
Đ
S

XÁC ĐỊNH CÁC VÙNG TRẮNG
XÁC ĐỊNH CÁC VÙNG TRẮNG
Kết quả minh họa