Đồ án tốt nghiệp đại học nghiên cứu thuật toán biến đổi ảnh gabor wavelet và xây dựng ứng dụng nhận dạng ảnh mặt người

ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
MỤC LỤC.
MỞ ĐẦU 3
Chương 1 - TỔNG QUAN VỀ NHẬN DẠNG MẶT NGƯỜI 7
1.2. Mô hình bài toán nhận dạng mặt người: 10
1.3. Một số thuật toán nhận dạng mặt người: 14
1.4. Nhận xét: 16
Chương 2 - NHẬN DẠNG MẶT NGƯỜI DỰA TRÊN THUẬT TOÁN
BIẾN ĐỔI SÓNG GABOR 18
Phần A- Các phép toán liên quan: 18
2.a.1- Phép cuộn: 18
2.a.2 Tính chất của biến đổi Fourier: 19
Phần B: Áp dụng biến đổi sóng Gabor cho bài toán nhận dạng mặt người 20
2.b.1 Mô tả sóng Gabor 2 chiều: 20
2.b.2 Trích Rút Đặc Trưng : 23
2.b.3. Qui trình so khớp : 26
Chương 3 : CÀI ĐẶT CHƯƠNG TRÌNH VÀ CÁC CẢI TIẾN 33
3.1- Sơ đồ Logic của chương trình: 33
1
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
3.4. Thực hiện cuộn ảnh mặt nguời với ảnh Gabor : 36
3.5 .Tìm điểm đặc trưng, vector đặc trưng : 38
3.6. Tìm độ giống nhau của hai khuôn mặt 40
3.7 - Tổ chức cơ sở dữ liệu: 44
3.8 - Thiết kế chương trình nhận dạng mặt người: 45
Chức năng 1: 46
Chức năng 2: 47
48
Chức năng 3: 50
CHƯƠNG 4 : KẾT LUẬN: 59
4.1 - Kết quả đạt được: 59

a.Phần lý thuyết: 59
b. Phần chương trình: 59
4.2 - Đánh giá kết quả: 59
4.3-Điểm hạn chế : 63
4.4 - Khả năng ứng dụng thực Rễn của đề tài: 64
4.5 - Hướng phát triển của đề tài: 65
Tài liệu tham khảo : 66
2
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
MỞ ĐẦU.
Cùng với sự phát triển mạnh mẽ của truyền thông và khoa học máy
tính thì sự quan tâm đến vấn đề bảo mật ngày càng tăng. Hiện nay, công
nghệ hiện đại đã đã cho phép việc xác thực dựa vào “bản chất” của từng cá
nhân. Công nghệ này dựa trên lĩnh vực được gọi là sinh trắc học. Kiểm soát
bằng sinh trắc học là những phương pháp tự động cho phép xác thực hay
nhận dạng một cá nhân dựa vào các đặc trưng sinh lý học của người đó như
đặc điểm vân tay, gương mặt, gen,…hoặc dựa trên những đặc điểm liên
quan đến đặc trưng hành vi như dạng chữ viết, cách gõ phím, giọng nói…
Vì những hệ thống nhận dạng bằng sinh trắc học sử dụng thông tin sinh trắc
học của con người nên kết quả chính xác và đặc biệt là rất khó bị giả mạo.
Các đặc trưng sinh lý học là duy nhất ở mỗi người và rất hiếm khi
thay đổi, trong khi đó đặc trưng hành vi có thể thay đổi bất thường do các
3
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
yếu tố tâm lý như căng thẳng, mệt mỏi hay bệnh tật. Chính vì lý do này, các
hệ thống nhận dạng dựa trên đặc trưng sinh lý tỏ ra ổn định hơn các hệ
thống dựa vào hành vi. Tuy nhiên, nhận dạng bằng các đặc trưng hành vi có
ưu điểm là dễ sử dụng và thuận tiện hơn: thay vì phải đặt mắt trước một
máy quét điện tử hay lấy ra một giọt máu, người dùng sẽ cảm thấy thoải
mái hơn khi được yêu cầu ký tên hay nói vào một micro.

Nhận dạng gương mặt là một trong số ít các phương pháp nhận dạng
dựa vào đặc trưng sinh lý cho kết quả chính xác cao đồng thời rất thuận tiện
khi sử dụng. Hơn nữa, trong số các đặc trưng sinh lý học, gương mặt của
mỗi người là yếu tố đầu tin và quan trọng nhất cho việc nhận biết lẫn nhau
cũng như biểu đạt cảm xúc. Khả năng nhận dạng nói chung và khả năng
nhận biết gương mặt người nói riêng của con người thật đáng kinh ngạc.
Chúng ta có khả năng nhận ra hàng ngàn gương mặt của những người mình
đã gặp, đã giao tiếp trong cuộc sống chỉ bằng một cái nhìn thoáng qua, thậm
chí sau nhiều năm không gặp cũng như sự thay đổi trên gương mặt do tuổi
tác, cảm xúc, trang phục, màu tóc,…Do đó, việc nghiên cứu các đặc tính
của khuôn mặt người đã thu hút được rất nhiều các nhà nghiên cứu.
Chính vì những lý do trên, từ những năm 1970, nhận dạng mặt người
đã thu hút sự quan tâm của nhiều nhà nghiên cứu trong các lĩnh vực như
bảo mật, tâm lý học, xử lý ảnh và thị giác máy tính.
Các phương pháp nhận dạng mặt người từ những giai đoạn đầu đã
tổng kết được những điểm quan trọng trên khuôn mặt người đó là : mắt,
đỉnh mũi, miệng, cạnh cằm và mối quan hệ về khoảng cách giữa các điểm
trên để diễn tả cho mỗi khuôn mặt. Tuy nhiên, những phương pháp đã đưa
ra đã không đạt được kết quả tốt trong trường hợp khuôn mặt bị xoay đi
một góc và trường hợp sự chiếu sáng có sự thay đổi lớn.
Sự thay đổi lớn về độ co giãn và mức chiếu độ chiếu sáng là những
vấn đề quan trọng được đặt ra đối với việc nhận dạng mặt người cần phải
giải quyết. Phương pháp so khớp bằng đồ thị co giãn và các biểu đồ Topo
sử dụng biến đổi sóng nhằm miêu tả ảnh về mặt hình dáng sinh học của
khuôn mặt. Trong phương pháp này thì các vector sẽ được tạo ra bằng cách
4
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
lấy mẫu qua kết quả biến đổi sóng của ảnh mặt người tại các nút của đồ thị
so khớp.
Trong đề tài này em sẽ đề cập đến một phương pháp hữu hiệu đối với

trường hợp bị xoay của ảnh và sự thay đổi trong điều kiện chiếu sáng.
Phương pháp này sử dụng biến đổi sóng Gabor để xây dựng vector đặc
trưng của khuôn mặt dựa trên việc chọn các “chóp” (những điểm có sự đột
biến mạnh) của ảnh kết quả sau phép biến đổi sóng Gabor. Những điểm này
sẽ được chọn làm các điểm đặc trưng cho khuôn mặt thay vì sử dụng các
nút đồ thị đã được xác định trước trong phép so khớp đồ thị co giãn. Những
điểm đặc trưng đó thường tập trung ở: mắt, lông mày, mũi, miệng, cạnh
cằm, má lúm đồng tiền, nốt ruồi, vết sẹo, v.v… Đây là những điểm có ý
nghĩa rất cao trong việc nhận dạng.
Vì vậy trong đồ án tốt nghiệp của mình, em đã chọn đề tài “ Nghiên
cứu thuật toán biến đổi ảnh Gabor Wavelet và xây dựng ứng dụng nhận
dạng ảnh mặt người ” để có điều kiện tiếp cận với phương pháp nhận dạng
mặt người dựa trên các điểm đặc trưng sinh học của khuôn mặt như: mắt,
lông mày, mũi, miệng, cạnh cằm, má lúng đồng tiền, nốt ruồi, vết sẹo… Cụ
thể nhiệm vụ của đề tài bao gồm các nội dung sau :
- Tìm hiểu về biến đổi sóng Gabor dùng cho ảnh mặt người.
- Tìm hiểu phương pháp tìm điểm đặc trưng, vector đặc trưng của
ảnh mặt người sau khi đã biến đổi Gabor.
- Tìm hiểu phương pháp so sánh sự giống nhau giữa hai ảnh mặt
người dựa trên các điểm đặc trưng, vector đặc trưng.
- Cài đặt và thử nghiệm chương trình nhận dạng ảnh mặt người theo
thuật toán biến đổi sóng Gabor.
- Đánh giá kết quả và đề xuất các cải tiến.
Mục tiêu của đồ án là nghiên cứu thuật toán biến đổi ảnh mặt người
bằng sóng Gabor và xây dựng ứng dụng nhận dạng ảnh mặt người. Vì vậy
đồ án được trình bày trong 4 chương với bố cục như sau:
Chương 1: Tổng quan về nhận dạng mặt người: nêu lên tầm quan
trọng của các ứng dụng nhận dạng mặt người trong thực tế.
5
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

Chương 2: Nhận dạng mặt người dựa trên thuật toán biến đổi
sóng Gabor:
+ Trình bày về một số phép toán liên quan có xử dụng trong quá trình
dùng sóng Gabor cho bài toán nhận dạng mặt người.
+ Trình bày về lý về sóng Gabor được áp dụng trong bài toán nhận
dạng ảnh mặt người.
+ Trình bày cách trích chọn đặc trưng, vector đặc trưng và cách so
khớp hai ảnh mặt người với nhau dựa trên thuật toán biến đổi sóng Gabor.
Chương 3: Cài đặt chương trình và các cải tiến:
+ Trình bày cụ thể cách cài đặt mặt nạ sóng Gabor, cách tìm điểm
đặc trưng, vector đặc trưng , cách so khớp hai ảnh mặt người với nhau và
tổ chức Cơ sở dữ liệu cho bài toán nhận dạng ảnh mặt người dựa trên biến
đổi sóng Gabor.
+Trình bày các chức năng của chương trình nhận dạng mặt người và
một số cải tiến nhằm giải quyết một số trường hợp trong thực tế.
Chương 4: Kết luận: các kết quả, một số hạn chế, khả năng ứng
dụng, hướng phát triển của đề tài.
Trong quá trình thực hiện đề tài em xin chân thành cảm ơn thầy giáo:
đã tận tình hướng dẫn, chỉ bảo từng nội dung của đồ án, các thầy, cô giáo
khoa Công Nghệ Thông Tin đã có nhiều giúp đỡ chuyên sâu về công nghệ
xử lý ảnh, để em có thể hoàn thành nội dung đồ án tốt nghiệp của mình.
6
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
Chương 1 - TỔNG QUAN VỀ NHẬN DẠNG MẶT NGƯỜI.
1.1. Nhận dạng ảnh mặt người là gì?
Trong thế giới ngày nay, với sự phát triển mạnh mẽ của khoa học kỹ
thuật số và mạng toàn cầu, vấn đề đảm bảo an toàn về thông tin cũng như
vật chất trở nên ngày càng quan trọng. Việc làm giả ảnh, hộ chiếu, giấy tờ
về tài chính, thẻ tín dụng, tem bảo vệ, mã vạch,… để vượt biên mua vũ khí,
tiến hành các nghiệp vụ ngân hàng, hợp pháp hoá thu nhập xảy ra ngày

càng nhiều.
Phần lớn các hệ thống thông tin hiện nay các thông tin xác thực
người truy cập không đặc trưng cho bản thân họ và chỉ là những gì họ đang
sở hữu: số chứng minh thư nhân dân, chìa khoá, mật mã, thẻ tín dụng hoặc
họ tên. Rõ ràng các thông tin hay vật dụng này không mang tính đặc trưng
mà chỉ mang tính xác thực với người sử dụng, nếu chúng bị đánh cắp hoặc
sao chép thì kẻ trộm hoàn toàn có quyền truy cập và sử dụng hệ thống. Hiện
nay các công nghệ hiện đại đã cho phép việc xác thực dựa vào bản chất của
từng cá nhân.
7
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
Hình 1.1: Các ví dụ về giấy tờ, phương tiện được dùng trong việc
xác thực.
8
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
Hình 1.2: Các lĩnh vực trắc sinh học được dùng trong xác thực.
Nhận dạng gương mặt là một trong số các phương pháp nhận dạng
dựa vào đặc tính sinh lý có nhiều ứng dụng quan trọng và thuận tiện khi sử
dụng. Ngày nay nhận dạng mặt người đã được quan tâm và được coi như là
một trong các lĩnh vực quan trọng nhất trong khoa học nhận dạng là do nhu
cầu ứng dụng nhận dạng mặt người trong các lĩnh vực (kinh tế, thi hành luật
pháp, điều tra tội phạm, bảo mật,…) ngày càng nhiều.
9
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
Vậy nhận dạng mặt người là gì? Đó là so sánh các ảnh mặt người với
nhau, chỉ ra mức độ tương tự giữa các mặt được so sánh và đưa ra quyết
định về tính đồng nhất giữa chúng.
Hình 1.3: Mô tả về nhận dạng mặt người.
1.2. Mô hình bài toán nhận dạng mặt người:
Trong an ninh hệ thống nhận dạng được dùng để nhận dạng tội phạm

(đã có trong cơ sở dữ liệu) tại các sân bay, nhà ga, hay tại các khu vực cấm
không cho người lạ xâm nhập.
Trong một số công ty, nhà máy quản lý ngày công làm việc của công
nhân bằng việc quét thẻ mỗi khi công nhân tan ca. Nếu số lượng công nhân
của công ty lớn thì việc người quản lý kiểm soát rất khó khăn .Trong trường
hợp này hệ thống nhận dạng mặt người sẽ trở nên rất hữu ích để chống việc
công nhân không đi làm nhưng nhờ người khác quét thẻ hộ.
Ngoài ra, hệ thống dò tìm vị trí khuôn mặt người và nhận dạng ảnh
khuôn mặt có thể triển khai rất nhiều ứng dụng khác trong thực tế:
- Hệ thống tương tác giữa người và máy: giúp những người dị tật
hoặc khiếm khuyết có thể trao đổi. Những người dùng ngôn ngữ tay có thể
giao tiếp với những người bình thường. Những người bại liệt thông qua một
số ký hiệu nháy mắt có thể biểu lộ những gì họ muốn, Đó là các bài toán
điệu bộ của bàn tay, điệu bộ của khuôn mặt,
10
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
- Hệ thống quan sát, theo dõi và bảo vệ. Các hệ thống camera sẽ xác
định đâu là con người và theo dõi con người đó xem họ có vi phạm gì hay
không, ví dụ xâm phạm khu vực không được vào,
- Kiểm tra trạng thái người lái xe có ngủ gật không, nếu ngủ gật đưa
ra thông báo cần thiết.
- Hãng máy chụp hình Cannon đã ứng dụng xác định vị trí khuôn
mặt người vào máy chụp hình thế hệ mới để cho kết quả hình ảnh đẹp, nhất
là khuôn mặt con người.
- Trong điều khiển Robot.

Tuy nhiên, nhận dạng mặt người là một trong những bài toán khó
khăn nhất trong lĩnh vực nhận dạng ảnh. Một gương mặt người không chỉ là
đối tượng ba chiều mà còn là một thực thể mang tính động rất cao. Ngoài
ra, nhận dạng mặt người còn phụ thuộc vào nhiều yếu tố: chất lượng ảnh

của thiết bị thu, nền phức tạp, sự dịch chuyển, xoay theo ba chiều, cảm xúc
thể hiện trên khuôn mặt, Hiện nay chất lượng của các hệ thống dò tìm và
nhận dạng ảnh khuôn mặt người chưa cao. Người ta vẫn chưa tìm ra được
phương pháp trích chọn các đặc trưng của khuôn mặt mà vẫn chỉ sử dụng
các đặc trưng của ảnh. Một số phương pháp được triển khai ứng dụng
nhưng tốc độ xử lý, nhận dạng ảnh còn chậm, không đáp ứng thời gian
thực. Do đó vẫn khó có thể triển khai các ứng dụng thực tế.
Nhận dạng mặt người có thể được ứng dụng rộng rãi trong rất nhiều
lĩnh vực khác nhau. Ở mỗi lĩnh vực chúng ta sẽ có mô hình cụ thể để giải
quyết bài toán nhận dạng mặt người riêng. Chúng ta có thể chia các loại hệ
thống nhận dạng mặt người thành các mô hình chính sau đây:
Nhận dạng Online:
Mô hình này sử dụng thiết bị Camera để theo rõi, giám sát. Đây là
những ứng dụng thường được triển khai ở các nhà ga, cửa khẩu, sân bay
nơi có đông người qua lại. Hệ thống liên tục tách các ảnh khuôn mặt từ
những ảnh chụp được, đối sánh với Cơ sở dữ liệu để xác định những đối
tượng cần quan tâm. Về yêu cầu :
11
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
- Đảm bảo độ chính xác.
- Đảm bảo thời gian thực.
Nhận dạng trong tập cơ sở dữ liệu hữu hạn:
Xác thực một người có đúng là người mà anh ta tự nhận hay không
(hệ thống cửa bảo mật tự động, kiểm tra giấy chứng minh nhân dân, thẻ
căn cước, giấy phép lái xe, giấy ra vào cơ quan ).Về yêu cầu:
- Đảm bảo về độ chính xác.
- Thời gian cho phép nhiều hơn so với mô hình nhận dạng Online. Ví
dụ: Hệ thống cửa bảo mật tự động thì thời gian có thể chấp nhận được
khoảng từ 15s đến 30s.
Nhận dạng trong tập cơ sở dữ liệu lớn:

Xác nhận một người là ai trong Cơ sở dữ liệu của hệ thống như Cơ
sở dữ liệu về đối tượng hình sự, Cơ sở dữ liệu về chứng minh thư nhân
dân Về yêu cầu:
- Đảm bảo độ chính xác.
- Thời gian cần để xác thực cho phép lâu hơn các mô hình
khác.
Việc định vị chính xác vị trí khuôn mặt và tìm một số điểm đặc trưng
trên khuôn mặt có ý nghĩa quyết định đến hiệu quả của hệ thống nhận dạng
mặt người. Từ đó áp dụng vào các ứng dụng thực tế: hệ thống chống trộm,
quản lý nhân công bằng ảnh thẻ,
Cấu trúc điển hình của hệ thống nhận dạng mặt người gồm có 2 bộ
phận chính:
+ Bộ dò tìm (Face Image Detector): có nhiệm vụ xác định vị trí của
gương mặt trong một ảnh bình thường.
+ Bộ phận nhận dạng hay phân lớp gương mặt (Face Recognizer): để
xác định người có gương mặt tương ứng là ai trong cơ sở dữ liệu.
Để xây dựng một hệ thống nhận dạng mặt người thường thực hiện
các bước sau:
1.2.1: Tiền xử lý (Pre-Processing):
12
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
Giai đoạn này để nâng cao chất lượng của ảnh số giúp cho việc phát
hiện vị trí mặt người và quá trình nhận dạng đạt hiệu quả hơn. Các công
việc trong giai đoạn này có thể là: chuẩn hoá kích cỡ ảnh (Image size
normalization), hiệu chỉnh độ sáng, tối của ảnh (Histogram equalization,
illumination normalization), lọc nhiễu (median filtering).
1.2.2: Tách khuôn mặt (Face Detection):
Giai đoạn tách khuôn mặt từ ảnh ban đầu là một giai đoạn quan trọng
và khó khăn góp phần quan trọng đến kết quả nhận dạng, việc phát hiện
khuôn mặt từ ảnh ban đầu gắn với điều kiện không ổn định của dữ liệu ảnh:

độ sáng của ảnh, kích thước và hướng của khuôn mặt, góc quay,… Vì vậy,
với hệ thống nhận dạng mặt người cần phải có một số tiêu chuẩn ràng buộc:
+ Ảnh với màu tự nhiên chiếu sáng và độ đậm đều (không quá tối và
không quá sáng).
+ Kích thước của khuôn mặt không quá lớn hoặc quá nhỏ.
+Khuôn mặt phải được chụp trực diện, mắt mở tự nhiên.
+ Không có vật gì che khuôn mặt: mũ, khăn, tóc.
1.2.3 : Trích chọn đặc trưng:
Giai đoạn này tìm ra các đặc trưng chính của khuôn mặt, từ các đặc
trưng này hình thành các véc tơ đặc trưng, các vector này được sử dụng để
đối sánh sự giống nhau giữa ảnh khuôn mặt cần tìm và ảnh trong cơ sở dữ
liệu.
1.2.4 : So sánh (Comparison):
Thực hiện việc so sánh giữa các vector đặc trưng để chọn ra khoảng
cách giữa ảnh cần tìm và ảnh trong cơ sở dữ liệu. Một số khoảng cách
thường được sử dụng là khoảng cách Ơclít, Mahalanobis,…
13
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
1.3. Một số thuật toán nhận dạng mặt người:
Rất nhiều nghiên cứu tập trung vào lĩnh vực nhận dạng ảnh mặt
người điển hình mhư:
Năm 1966, Bledsoe đã xây dựng hệ nhận dạng bán tự động đầu tiên
có sự tương tác giữa người và máy. Đặc trưng dùng để phân lớp là các dấu
hiệu cơ bản được con người thêm vào các ảnh. Các tham số sử dụng trong
quá trình nhận dạng là những khoảng cách chuẩn và tỉ lệ giữa các điểm như
góc của đôi mắt, góc của miệng, chóp mũi và điểm cằm .
Năm 1971, phòng thí nghiệm Bell đưa ra hệ nhận dạng dựa vào
vector đặc trưng chiều và sử dụng các kỹ thuật phân lớp mẫu để nhận dạng.
Tuy nhiên, các đặc trưng này được lựa chọn một cách rất chủ quan (như
màu tóc, chiều dài vành tai,…) và rất khó khăn cho quá trình tự động hoá

Fischer và Elschlager năm 1973 đã cố gắng đo lường các đặc trưng tương
tự nhau một cách tự động. Họ đưa ra một thuật toán tuyến tính so khớp các
đặc trưng cục bộ kết hợp với các độ đo thích nghi toàn cục để tìm kiếm và
định lượng các đặc trưng của gương mặt.
14
Tiền xử lý
Rút trích
đặc trưng
Bộ nhận dạng/
Phân lớp
gương mặt
Nhận dạng/
Loại bỏ
Tách khuôn mặt
CSDL mặt
người
Cập nhật CSDL
Hình 1.4: Mô hình hệ thống nhận dạng mặt người.
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
Hệ thống của Kanade năm 1973 có lẽ là hệ thống đầu tiên và là một
trong số ít các hệ thống trong đó các bước nhận dạng được thực hiện hoàn
toàn tự động, sử dụng chiến lược điều khiển từ trên xuống được định hướng
bởi các đặc trưng được chọn. Hệ thống này tìm tập các tham số của gương
mặt từ một ảnh đưa vào, sau đó sử dụng các kỹ thuật nhận dạng để so khớp
với tập tham số của các ảnh đã biết. Đây là kỹ thuật thống kê thuần tuý chủ
yếu phụ thuộc vào phân tích histogram cục bộ và các giá trị độ xám tuyệt
đối.
Năm 1991, M. Turk và A. Pentland đã sử dụng phương pháp phân
tích thành phần chính trong lý thuyết thông tin để đặc trưng cho các ảnh
mặt người. Ý tưởng chính của phương pháp này là tìm kiếm một không

gian có số chiều nhỏ hơn, thực chất là tìm kiếm một hệ vector cơ sở sao cho
hình chiếu của đám mây điểm trên chúng thể hiện rõ nét nhất hình dạng của
đám mây điểm. Đám mây điểm ở đây chính là tập các vector ảnh mặt trong
không gian có chiều bằng kích thước của ảnh. Mỗi ảnh mặt người sau đó sẽ
được chiếu lên không gian con này, và bộ thông số nhận được từ phép chiếu
này được xem như vector đặc trưng cho từng ảnh mặt.
Năm 1998, K. Okada, J. Steffens, T. Maurer, Hai Hong, E. Elagin, H.
Neven và Christoph đưa ra mô hình nhận dạng mặt người bằng sóng Gabor
và phương pháp phù hp đồ thị bó. Với ý tưởng dùng đồ thị để biểu diễn
gương mặt, các vị trí này được gọi là các vị trí chuẩn. Khi thực hiện so
khớp đồ thị với một ảnh, các điểm chuẩn sẽ được trích ra từ ảnh và được so
sánh với tất cả các điểm chuẩn tương ứng trong các đồ thị khác nhau, và đồ
thị nào phù hợp nhất với ảnh sẽ được chọn.
Năm 1998, J. Huang, C. Liu và H. Wechsler đề xuất thuật toán căn
cứ trên tính tiến hoá và di truyền cho các tác vụ nhận dạng khuôn mặt.
Trong các tiếp cận này, hai mắt sẽ được dò tìm trước tiên và thông tin này
được xem là vết để quan sát gương mặt, trình xử lí dò tìm mắt được tiếp tục
thực hiện bằng cách sử dụng một thuật toán lai để kết hợp thao tác học và
tiến hoá .
15
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
Năm 1998, Oi Bin Sun, Chian Prong Lam và Jian Kang Wu sử dụng
phương pháp tìm vùng hai chân mày, hai mắt, mũi miệng và cằm. Ảnh
khuôn mặt thẳng ban đầu được chiếu theo chiều ngang để tìm các giá trị
điềm ảnh thoả ngưỡng cho trước, đồ thị biểu diễn theo trục ngang sẽ định vị
biên trên và biên dưới của hình chữ nhật bao các đặc trưng cục bộ của
khuôn mặt. Tương tự với chiều đứng để tìm ra đường biên bên trái và phải
cho các vùng đặc trưng.
Năm 1998, A. Nefian và Monson H. Hayes trình bày hướng tiếp cận
theo mô hình Marko ẩn (HMM) trong đó ảnh khuôn mặt được lượng hoá

thành chuỗi quan sát trên khuôn mặt theo quan niệm dựa trên thứ tự xuất
hiện các đặc trưng khuôn mặt {hai chân mày, hai lông mi, mũi, miệng,
cằm}. Trong chuỗi quan sát đó, mỗi quan sát là một vector nhiều chiều sẽ
được sử dụng để đặc trưng cho mỗi trạng thái trong chuỗi trạng thái của
HMM. Mỗi người sẽ được ước lượng bởi một mô hình của HMM .
Năm 2001, Guodong Guo, Stan Z. Li, Kap Luk Chan sử dụng
phương pháp SVM để nhận dạng khuôn mặt, sử dụng chiến lược kết hợp
nhiều bộ phận loại nhị phân để xây dựng bộ phân loại SVM đa lớp.
1.4. Nhận xét:
Nhận dạng mặt người là một trong những bài toán khó khăn nhất trong
lĩnh vực nhận dạng ảnh. Một khuôn mặt người không chỉ là đối tuợng ba
chiều mà còn là một thực thể mang tính động rất cao. Ngoài ra, do ảnh mặt
người thường được chụp trong điều kiện môi trường tự nhiên nên thông
thường nền ảnh rất phức tạp và độ chiếu sáng có thể rất kém là một ví dụ về
một bức ảnh với nền phức tạp có chứa mặt người.
Các yếu tố xuất hiện trên ảnh tạo nên khó khăn cho hệ thống nhận dạng
có thể được phân thành các loại sau đây:
 Máy ảnh không rõ và nhiễu.
 Nền phức tạp.
 Độ sáng.
 Sự dịch chuyển, xoay, biến đổi tỉ lệ giữa các thành phần.
 Cảm xúc thể hiện trên gương mặt .
16
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
 Hoá trang, kiểu tóc.
Hiện nay có rất nhiều nghiên cứu về lĩnh vực nhận dạng ảnh mặt
người. Nhưng nhiều phương pháp đưa ra mới chỉ dựa vào các đặc trưng của
ảnh chứ chưa tiếp cận được với các đặc trưng của khuôn mặt trong ảnh (tức
những đặc trưng sinh trắc học của khuôn mặt).
Trong đề tài này, em sẽ đề cập đến một phương pháp hữu hiệu đối

với trường hợp bị xoay của ảnh và sự thay đổi trong điều kiện chiếu sáng.
Đó là phương pháp sử dụng sóng Gabor. Phương pháp này sử dụng những
điểm có sự đột biến mạnh trong biến đổi sóng Gabor. Những điểm này
thường tập trung ở: mắt, lông mày, mũi, miệng, cạnh cằm, má lúm đồng
tiền, nốt ruồi, vết sẹo, v.v… (những điểm có ý nghĩa rất cao trong việc nhận
dạng). Vì vậy, đề tài sẽ cố gắng tiếp cận với phương pháp nhận dạng mặt
người dựa vào các đặc trưng sinh trắc học của mặt người và thực hiện cài
đặt chương trình nhận dạng mặt người theo mô hình “Nhận dạng với tập Cơ
sở dữ liệu hữu hạn” làm cơ sở để triển khai ứng dụng trong thực tế như hệ
thống cửa bảo mật tự động Đồng thời đưa ra các cải tiến để giải quyết các
bài toán nhận dạng mặt người trong thực tế như nhận dạng đối với các đối
tượng bịt mặt,…
17
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
Chương 2 - NHẬN DẠNG MẶT NGƯỜI DỰA TRÊN THUẬT TOÁN
BIẾN ĐỔI SÓNG GABOR.
Phần A- Các phép toán liên quan:
2.a.1- Phép cuộn:
Để phục vụ cho đề tài, ở đây tôi sẽ nêu một số điểm cơ bản về phép
cuộn mà sẽ được ứng dụng vào để giải quyết các vấn đề được đề cập đến
trong đề tài.
2.a.1.1 - Định nghĩa:
Phép cuộn của f và g được ký hiệu là: f*g. Nó được định nghĩa như là
số nguyên của tích hai hàm sau khi nó được đảo ngược và dịch chuyển. Hay
nói cách khác nó là một dạng đặc biệt của biến đổi nguyên:
Tổng quát hơn, nếu hàm f và hàm g là những hàm giá trị phức trên R
d
thì phép cuộn của chúng được định nghĩa là:
∫ ∫
−=−=

d d
R R
dyygyxfdyyxgyfxgf )()()()())(*(
2.a.1.2- Thuật toán cuộn nhanh:
Thuật toán cuộn nhanh phổ biến nhất là sử dụng thuật toán biến đổi
nhanh Fourier (FFT).
2.a.1.3- Định lý về phép cuộn:
Ta sẽ có định lý về phép cuộn như sau:
F{f*g}=F{f}.F{g}
Ở đây F{f} là biểu diễn biến đổi Fourier của f.
Điểm lưu ý :
Giả sử:
+ Ma trận A có kích thước (ma ,na).
+ Ma trận B có kích thước (mb,nb).
Khi đó phép cuộn hai chiều giữa A và B cho kết quả là ma trận C với
kích thước của C là (ma + mb - 1 , na + nb -1).
18
∫∫
∞
∞−
∞
∞−
−=−=
ττττττ
dgtfdtgftgf )().()().())(*(
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
Vì vậy, nếu chúng ta thực hiện phép cuộn giữa A và B thông qua
phép nhân chập ( là phép nhân các phần tử tương ứng với nhau) thì chúng ta
phải thực hiện như sau :
Bước 1: Chuyển A và B về kích thước (ma+mb-1, na+nb-1) bằng

cách trèn thêm 0 vào xung quanh A và B đến khi đạt được kích thước như
trên. Khi này ta sẽ được hai ma trận có kích thước (ma+mb-1, na+nb-1) là
A’ và B’.
Bước 2 : Biến đổi Fourier thuận cho A’ và B’ lần lượt được C và D.
Bước 3 : Thực hiện nhân chập giữa C và D bằng cách nhân các phần
tử tương ứng của hai ma trận C và D với nhau ta được ma trận E có kích
( ma+mb-1, na+nb-1).
Bước 4: Biến đổi Fourier ngược đối với E.
Bước 5: Từ ma trận E ta loại bỏ những vị trí mà ta đã chèn thêm 0
tương ứng ở trong A hoặc B. Phần còn lại sau khi loại bỏ E chính là kết quả
của phép cuộn A và B.
2.a.2 Tính chất của biến đổi Fourier:
Cho một hàm f(x) liên tục. Biến đổi Fourier của f(x), kí hiệu F(u), u
biểu diễn tần số không gian, được định nghĩa:
dxixuxfuF )2exp().()(
π
−=
∫
∞
∞−
Trong đó :
f(x) : biểu diễn biên độ tín hiệu
)2exp( ixu
π
−
: biểu diễn pha.
Biến đổi ngược của F(u) cho f(x) được định nghĩa :
duixuxFuf )2exp().()(
π
−=

∫
∞
∞−

19
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
Phần B: Áp dụng biến đổi sóng Gabor cho bài toán nhận dạng mặt
người.
2.b.1 Mô tả sóng Gabor 2 chiều:
Quá trình sử lý ảnh mặt người bằng bộ lọc Gabor đó là chọn mối liên
hệ về mặt sinh học và đặc tính riêng. Bộ lọc Gabor có nhiều mức co dãn và
nhiều hướng khác nhau. Biến đổi Gabor đối với ảnh xám
)(xI

xung quanh
pixel
),(
0
yxx
=

được định nghĩa thông qua phép cuộn:

∫∫
−=
xdxIxxxI
jj

2
00

)()(:))(*(
ψψ
( 3.1)
với họ của các Gabor là :

)]
2
exp())[exp(
2
exp()(
2
2
22
2
2
δ
δδ
ψ
−−−=
xki
xkk
x
j
jj
j



(3.2)
trong đó hình dạng của các mặt phẳng sóng với vector sóng

j
k

đã được giới
hạn bởi hàm bao Gaussian. Chúng ta thiết lập riêng biệt với 5 tần số ( ν = 0,
…,4 ) và 8 hướng khác nhau (w = 0,…,7):

)sin,cos(),(
wwjyjxj
kkkkk
ϕϕ
νν
==

(3.3)
π
ν
ν
.2
2
2
+
−
=
k
(3.4)
8
.
π
ϕ

w
w
=
(3.5)
ở đây j = w + 8ν và σ = 2π là độ lệch chuẩn của hàm Gaussian. Hình ảnh
của phần thực và phần ảo của sóng Gabor được thể hiện ở hình 3.1:
20
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
Hình 2.1 : Phần thực và phần ảo của các sóng Gabor.
Như vậy chúng ta sẽ có 40 mặt phẳng sóng được dùng có hình ảnh như sau:
Hình 2.2 : Các bộ lọc Gabor tương ứng với 5 mức tần số và 8 hướng.
21
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
Một ảnh khi được thể hiện bằng biến đổi Gabor sẽ cho phép miêu tả
cả hai yếu tố là: cấu trúc tần số không gian và quan hệ không gian. Phép
cuộn ảnh với các bộ lọc phức Gabor với 5 mức tần số ( ν=0,…,4 ) và 8
hướng ( w=0,…,7 ) nó thể hiện được đầy đủ hình ảnh tần số về cả độ lớn và
pha ( hình 2.2 ). Trong hình 2.3, một ảnh đầu vào là ảnh mặt người và kết
quả của các biến đổi dùng bộ lọc Gabor.
Từ biến đổi Gabor cho ảnh mặt người chúng ta có thể mã hoá mặt người
thông qua các lưới được xây dựng từ các điểm đặc trưng ( hình 2.4). Đây là
phương pháp có thể được dùng trong việc nhận dạng mặt người.
Hình 2.3 : Ví dụ về kết quả thể hiện ảnh mặt người thông qua các bộ
lọc Gabor : a) ảnh mặt người gốc , b) Kết quả qua các bộ lọc.
22
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
Hình 2.4 : Ví dụ về việc so khớp dựa trên đồ thị các điểm.
Ở đây thay vì dùng các nút đồ thị thì các điểm có sự biến đổi mạnh sẽ
được dùng trong việc so sánh các mẫu với nhau. Đây là phương pháp không
chỉ giảm bớt được sự phức tạp trong tính toán mà còn có thể cải thiện được

hiệu quả trong nhận dạng.
2.b.2 Trích Rút Đặc Trưng :
Thuật toán trích rút đặc trưng cho phương pháp đã được đề xuất gồm
có hai bước chính ( hình 2.6 ) : (1) Xác định vị trí điểm đặc trưng, (2) Tính
toán vector đặc trưng.
2.b.2.1. Xác định vị trí vector đặc trưng :
Trong bước này, các vector đặc trưng sẽ được trích rút từ các điểm
mang nội dung thông tin lớn trên ảnh mặt người. Trong hầu hết các phương
pháp dựa trên đặc trưng thì các đặc trưng của mặt thường là mắt, mũi và
miệng. Tuy nhiên, trong phương pháp đưa ra ở đây chúng ta không cố định
vị trí và cũng như số lượng các điểm đặc trưng. Số lượng các vector đặc
trưng và vị trí của nó có thể thay đổi để miêu tả tốt hơn các thành phần cấu
tạo nên khuôn mặt của các mặt người khác nhau như má lúng đồng tiền, nốt
ruồi, v.v…Đây chính là các đặc trưng có giá trị rất lớn trong việc nhận dạng
mặt người ( hình 2.5 ).
23
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
Hình 2.5 a : Những điểm đặc trưng là những điểm thuộc vùng cạnh mặt,
mặt, mắt, mũi, long mày được tìm thấy thông qua biến đổi sóng Gabor.
Hình 2.5b : Các điểm đặc trưng là những điểm kỳ dị được tìm thấy thông
qua biến đổi sóng Gabor.
24
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
Hình 2.6: Sơ đồ của quá trình tìm điểm đặc trưng, vector đặc trưng thông
qua thuật toán biến đổi sóng Gabor.
Từ các ảnh sau khi dùng bộ lọc Gabor để biến đổi ảnh mặt người,
chúng ta sẽ tìm kiếm vị trí các điểm đặc trưng trong cửa sổ W
0
có kích
thước WxW theo sự hướng dẫn sau đây :

Một điểm đặc trưng có vị trí tại ( x
0
,y
0
) nếu như :
)),((max),(
0
),(
00
yxRyxR
j
Wyx
j
∈
=
(3.6)
∑ ∑
= =
>
1 2
1 1
21
00
),(
1
),(
N
x
N
y

jj
yxR
NN
yxR
(3.7)
j=1,…,40.
25