Nghiên cứu một số kỹ thuật phát hiện hướng mặt người trong ảnh
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (460.9 KB, 27 trang )
ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG
----------------
NGUYỄN QUANG HUY
NGHIÊN CỨU MỘT SỐ KỸ THUẬT
PHÁT HIỆN HƯỚNG MẶT NGƯỜI TRONG ẢNH
LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH
Thái Nguyên - 2012
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG
----------------
NGUYỄN QUANG HUY
NGHIÊN CỨU MỘT SỐ KỸ THUẬT
PHÁT HIỆN HƯỚNG MẶT NGƯỜI TRONG ẢNH
Chuyên ngành: Khoa học máy tính
Mã số: 60.48.01
LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH
NGƯỜI HƯỚNG DẪN KHOA HỌC
PGS.TS Đỗ Năng Toàn
Thái Nguyên - 2012
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
1
LỜI CẢM ƠN
Trước tiên, em xin bày tỏ lòng biết ơn sâu sắc tới Thầy giáo, người
hướng dẫn khoa học PGS.TS. Đỗ Năng Toàn (Viện Công nghệ thông tin Viện Khoa học và Công nghệ Việt Nam). Thầy đã giúp đỡ em rất nhiều trong
quá trình định hướng nghiên cứu, tìm hiểu, xây dựng và phát triển bài toán để
em có thể hoàn thành luận văn chuyên đề: "Nghiên cứu một số kỹ thuật phát
hiện hướng mặt người trong ảnh".
Em chân thành biết ơn các Thầy giáo công tác tại Viện Công nghệ thông
tin - Viện Khoa học và Công nghệ Việt Nam, trường Đại học Công nghệ
thông tin và Truyền thông - Đại học Thái Nguyên, đã truyền đạt, trang bị kiến
thức để em có thể tìm hiểu, nghiên cứu và thực hiện được đề tài luận văn.
Em chân thành cảm ơn Thư viện trường Đại học Công nghệ thông tin và
Truyền thông, Trung tâm học liệu - Đại học Thái Nguyên đã hết sức tạo điều
kiện, phương tiện cho chúng em tìm hiểu, tham khảo, tra cứu tư liệu nhằm
phục vụ cho công việc viết luận văn tốt nghiệp.
Cuối cùng, em xin bày tỏ lòng biết ơn đến đồng nghiệp, Khoa Công nghệ
thông tin, Ban giám hiệu trường Cao đẳng nghề Việt - Đức Vĩnh Phúc đã tạo
điều kiện để em hoàn thành khóa học này.
Thái Nguyên, tháng 8 năm 2012
Học viên
Nguyễn Quang Huy
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
2
LỜI CAM ĐOAN
Luận văn "Nghiên cứu một số kỹ thuật phát hiện hướng mặt người
trong ảnh" là công trình nghiên cứu của bản thân tôi dưới sự hướng dẫn trực
tiếp của PGS.TS. Đỗ Năng Toàn - Viện Công nghệ thông tin, Viện Khoa học
và Công nghệ Việt Nam.
Các số liệu trong luận văn đã được công bố trong các tài liệu mà tôi tham
khảo, liệt kê trong phần tài liệu tham khảo cuối tập luận văn.
Luận văn này không trùng hợp về mặt hình thức cũng như nội dung với
bất kỳ một luận văn nào.
Nếu trái với các điều trên, tôi xin hoàn toàn chịu trách nhiệm.
Thái Nguyên, tháng 8 năm 2012
Học viên
Nguyễn Quang Huy
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
3
MỤC LỤC
Lời cảm ơn .................................................................................................... i
Lời cam đoan ................................................................................................. ii
Mục lục .......................................................................................................... iii
Danh mục các ký hiệu, các chữ viết tắt ........................................................ iv
Danh mục các hình vẽ ................................................................................... v
PHẦN MỞ ĐẦU ........................................................................................... 1
CHƢƠNG 1: KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ NHẬN DẠNG MẶT
NGƢỜI .......................................................................................................... 4
1.1. Khái quát về xử lý ảnh ........................................................................... 4
1.1.1. Ảnh số .......................................................................................... 4
1.1.2. Biểu diễn ảnh số ........................................................................... 5
1.1.2.1. Mô hình Raster ............................................................... 5
1.1.2.1. Mô hình Vector ............................................................... 6
1.1.3. Xử lý ảnh số ................................................................................. 7
1.1.4. Thu thập ảnh số ............................................................................ 8
1.1.5. Nắn chỉnh biến dạng ảnh số ......................................................... 8
1.1.6. Nén ảnh ........................................................................................ 9
1.1.7. Trích chọn đặc điểm ..................................................................... 10
1.1.8. Nhận dạng ảnh ............................................................................. 11
1.2. Nhận dạng mặt người và những khó khăn của nhận dạng khuôn mặt .... 12
1.2.1. Nhận dạng mặt người ................................................................... 12
1.2.2. Các ứng dụng liên quan đến nhận dạng mặt người...................... 12
1.2.3. Những khó khăn và thách thức của nhận dạng khuôn mặt .......... 13
1.2.4. Các hướng tiếp cận liên quan đến nhận dạng khuôn mặt ............ 14
1.3. Bài toán phát hiện hướng mặt người trong ảnh ...................................... 16
1.3.1. Giới thiệu tổng quát bài toán ........................................................ 16
1.3.2. Mô hình mặt người trong không gian 3D .................................... 17
CHƢƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN HƢỚNG MẶT
NGƢỜI TRONG ẢNH ................................................................................ 19
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
4
2.1. Phát hiện hướng mặt người trong ảnh dựa trên tâm mắt ........................ 19
2.1.1. Tách mặt người trong ảnh ............................................................ 19
2.1.1.1. Sử dụng ngưỡng màu ...................................................... 19
2.1.1.2. Phương pháp trừ ảnh với nền không đổi ........................ 20
2.1.2. Chuẩn hóa ảnh .............................................................................. 21
2.1.3. Cắt và xoay chuẩn ảnh ................................................................. 21
2.1.3.1. Xác định tâm mắt ............................................................ 21
2.1.3.2. Xoay ảnh và tắt khung mặt ............................................. 23
2.1.3.3. Chuẩn sáng ảnh ............................................................... 24
2.2. Phát hiện hướng mặt người trong ảnh dựa theo các đặc trưng Haar ...... 25
2.2.1. Nhận dạng đối tượng dựa theo các đặc trưng Haar ..................... 25
2.2.1.1. Giới thiệu khái quát ........................................................ 25
2.2.1.2. Đặc trưng Haar (Haar Like Feature)............................... 26
2.2.1.3. Huấn luyện các bộ nhận dạng Haar ................................ 31
2.2.1.4. Chuỗi các bộ nhận dạng Haar ......................................... 33
2.2.1.5. Bộ nhận dạng Haar riêng lẻ ............................................ 35
2.2.1.6. Kiến trúc hệ thống .......................................................... 36
2.2.2. Xác định mắt, mũi, miệng và vùng bao quanh khuôn mặt .......... 37
2.2.3. Tính toán góc quay theo 3 chiều .................................................. 38
2.2.3.1. Xác định góc quay theo hướng ................................... 38
2.2.3.2. Xác định góc quay theo hướng .................................... 39
2.2.3.3. Xác định góc quay theo hướng .................................... 40
CHƢƠNG 3: CHƢƠNG TRÌNH THỬ NGHIỆM ................................... 42
3.1. Bài toán phát hiện hướng mặt người trong ảnh ...................................... 42
3.2. Tư thế khuôn mặt người .......................................................................... 42
3.3. Các tư thế khác nhau của khuôn mặt ...................................................... 43
3.4. Chương trình thử nghiệm ........................................................................ 57
3.5. Một số trường hợp đặc biệt ..................................................................... 50
PHẦN KẾT LUẬN ....................................................................................... 53
TÀI LIỆU THAM KHẢO ........................................................................... 55
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
5
DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT
SAT: Summed Area Table
Bảng tổng hợp vùng
RSAT: Rotated Summed Area Table
Bảng tổng hợp vùng quay
CART: Classification And Regression Tree Cây nhận dạng và hồi quy
HCI: Human Computer Interaction
Tương tác người máy
TP: True Positive
Phát hiện đúng
FP: False Positive
Phát hiện sai
HCC: Haar Cascade Classifier
Bộ nhận dạng theo tầng Haar
NB: Neighbour
Láng giềng
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
6
DANH MỤC CÁC HÌNH VẼ
Hình 1.1: Quá trình hiển thị, chỉnh sửa và lưu trữ ảnh thông qua DIB
Hình 1.2: Sự chuyển đổi giữa các mô hình biểu diễn ảnh
Hình 1.3: Hệ tọa độ 3D trên khuôn mặt và các góc quay tương ứng
Hình 2.1: Phương pháp trừ ảnh với nền không đổi
Hình 2.2: Sơ đồ thực hiện xác định tâm mắt
Hình 2.3: Xác định góc nghiêng dựa theo tâm mắt
Hình 2.4: Cân bằng mức xám cho hình ảnh
Hình 2.5: Bốn đặc trưng Haar - Like cơ bản
Hình 2.6: Các đặc trưng mở rộng của các đặc trưng Haar-Like cơ sở
Hình 2.7: Cách tính Integral Image của ảnh
Hình 2.8: Cách tính nhanh tổng các điểm ảnh của vùng D trên ảnh
Hình 2.9: Cách tính tổng điểm ảnh của vùng D với đặc trưng xoay 45o
Hình 2.10: Một vài nguyên mẫu được sử dụng trong xác định vùng mắt
Hình 2.11: Dựng thẳng, xoay các hình chữ nhật trong cửa sổ phát hiện
Hình 2.12: Một số mẫu dương dùng trong việc xác định khuôn mặt
Hình 2.13: Một số mẫu âm dùng trong việc xác định khuôn mặt
Hình 2.14: Chuỗi các nhận dạng theo tầng
Hình 2.15: Kết quả sau khi phát hiện các đặc điểm
Hình 3.1: Khuôn mặt chuẩn và các tư thế thay đổi
Hình 3.2: Tư thế khuôn mặt khi hướng sang trái
Hình 3.3: Tư thế khuôn mặt khi hướng sang phải
Hình 3.4: Tư thế khuôn mặt khi hướng lên trên
Hình 3.5: Tư thế khuôn mặt khi hướng xuống dưới
Hình 3.6: Tư thế khuôn mặt khi hướng lên trên sang trái
Hình 3.7: Tư thế khuôn mặt khi hướng lên trên sang phải
Hình 3.8: Tư thế khuôn mặt khi hướng xuống dưới sang trái
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
7
Hình 3.9: Tư thế khuôn mặt khi hướng xuống dưới sang phải
Hình 3.10: Giao diện chính của chương trình
Hình 3.11: Chương trình nhận dạng các thành phần trên khuôn mặt
Hình 3.12: Chương trình nhận dạng nhiều khuôn mặt
Hình 3.13: Sự xuất hiện của mắt kính trên khuôn mặt
Hình 3.14: Sự xuất hiện của chiếc mũ trên khuôn mặt
Hình 3.15: Sự xuất hiện của cả kính và mũ trên khuôn mặt
Hình 3.16: Khuôn mặt không được nhận dạng bởi góc quay quá lớn
Hình 3.17: Khuôn mặt không được nhận dạng do tư thế che khuất
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
8
PHẦN MỞ ĐẦU
Hiện nay, cùng với sự phát triển của xã hội, vấn đề an ninh bảo mật
đang được yêu cầu khắt khe tại mọi quốc gia trên thế giới. Các hệ thống nhận
dạng con người được ra đời với độ tin cậy ngày càng cao. Một trong các bài
toán nhận dạng con người rất được quan tâm hiện nay là nhận dạng khuôn
mặt. Vì nhận dạng khuôn mặt là cách mà con người sử dụng để phân biệt
nhau. Bên cạnh đó, việc thu thập xử lý thông tin qua ảnh để nhận biết đối
tượng đang được quan tâm và ứng dụng rộng rãi. Với phương pháp này chúng
ta có thể thu nhận được nhiều thông tin từ đối tượng mà không cần tác động
nhiều đến đối tượng nghiên cứu. Sự phát triển của khoa học máy tính tạo môi
trường thuận lợi cho bài toán nhận dạng mặt người từ ảnh số. Các hệ thống
nhận dạng offline đã ra đời và có độ tin cậy cao, tuy nhiên các hệ thống nhận
dạng online lại chưa đáp ứng được nhiều.
Hơn một thập kỷ qua có rất nhiều công trình nghiên cứu về bài toán xác
định khuôn mặt người từ ảnh đen trắng, xám đến ảnh màu như ngày hôm nay.
Các nghiên cứu đi từ bài toán đơn giản, mỗi ảnh chỉ có một khuôn mặt người
nhìn thẳng vào thiết bị thu hình và đầu ở tư thế thẳng đứng trong ảnh đen
trắng. Cho đến ngày hôm nay bài toán mở rộng cho ảnh màu, có nhiều khuôn
mặt trong cùng một ảnh, có nhiều tư thế, góc nghiêng thay đổi trong ảnh.
Không những vậy, bài toán còn mở rộng cả phạm vi, từ môi trường xung
quanh khá đơn giản (trong phòng thí nghiệm) cho đến môi trường xung quanh
rất phức tạp (như trong tự nhiên) nhằm đáp ứng nhu cầu thật sự và rất nhiều
của con người.
Trong thực tế các hệ thống nhận dạng mặt người chỉ có thể nhận dạng
và nhận dạng chính xác nếu các bức ảnh chứa khuôn mặt ở tư thế thẳng đứng,
vuông góc với trục ống kính của máy ảnh. Tuy nhiên có rất nhiều ảnh đầu vào
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
data error !!! can't not
read....
data error !!! can't not
read....
data error !!! can't not
read....
data error !!! can't not
read....
data error !!! can't not
read....
data error !!! can't not
read....
data error !!! can't not
read....
data error !!! can't not
read....
data error !!! can't not
read....
data error !!! can't not
read....
data error !!! can't not
read....
data error !!! can't not
read....
data error !!! can't not
read....
data error !!! can't not
read....
data error !!! can't not
read....
data error !!! can't not
read....
