Nhận dạng ảnh mặt người bằng phương pháp PCA

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
VIỆN ĐIỆN TỬ- VIỄN THÔNG

ĐỒ ÁN
TỐT NGHIỆP ĐẠI HỌC
Tên đề tài:
Nhận dạng ảnh mặt người bằng phương pháp PCA
Sinh viên thực hiện:
Giáo viên hướng dẫn:

Hà Nội, tháng 1 năm 2020


TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
VIỆN ĐIỆN TỬ- VIỄN THÔNG

ĐỒ ÁN
TỐT NGHIỆP ĐẠI HỌC
Tên đề tài:
Nhận dạng ảnh mặt người bằng phương pháp PCA
Sinh viên thực hiện:
Người hướng dẫn:
Cán bộ phản biện:

2


ĐÁNH GIÁ QUYỂN ĐỒ ÁN TỐT NGHIỆP
(Dùng cho giảng viên hướng dẫn)
Tên giảng viên đánh giá:...............................................................................................................................
Họ và tên sinh viên:..........................................................................MSSV:.................................................

Tên đồ án:.....................................................................................................................................................
......................................................................................................................................................................
Chọn các mức điểm phù hợp cho sinh viên trình bày theo các tiêu chí dưới đây:
Rất kém (1); Kém (2); Đạt (3); Giỏi (4); Xuất sắc (5)
Có sự kết hợp giữa lý thuyết và thực hành (20)
1
2
3
4

Nêu rõ tính cấp thiết và quan trọng của đề tài, các vấn đề và các giả
thuyết (bao gồm mục đích và tính phù hợp) cũng như phạm vi ứng dụng
của đồ án
Cập nhật kết quả nghiên cứu gần đây nhất (trong nước/quốc tế)
Nêu rõ và chi tiết phương pháp nghiên cứu/giải quyết vấn đề
Có kết quả mơ phỏng/thực nghiệm và trình bày rõ ràng kết quả đạt
được

1

2

3

4

5

1
1

2
2

3
3

4
4

5
5

1

2

3

4

5

1

2

3

4

5

1

2

3

4

5

1

2

3

4

5

1

2

3

4

5

1

2

3

4

5

Có khả năng phân tích và đánh giá kết quả (15)
5
6
7

Kế hoạch làm việc rõ ràng bao gồm mục tiêu và phương pháp thực hiện
dựa trên kết quả nghiên cứu lý thuyết một cách có hệ thống
Kết quả được trình bày một cách logic và dễ hiểu, tất cả kết quả đều
được phân tích và đánh giá thỏa đáng
Trong phần kết luận, tác giả chỉ rõ sự khác biệt (nếu có) giữa kết quả đạt
được và mục tiêu ban đầu đề ra đồng thời cung cấp lập luận để đề xuất
hướng giải quyết có thể thực hiện trong tương lai

Kỹ năng viết quyển đồ án (10)

8

9

Đồ án trình bày đúng mẫu quy định với cấu trúc các chương logic và đẹp
mắt (bảng biểu, hình ảnh rõ ràng, có tiêu đề, được đánh số thứ tự và
được giải thích hay đề cập đến; căn lề thống nhất, có dấu cách sau dấu
chấm, dấu phảy v.v.), có mở đầu chương và kết luận chương, có liệt kê
tài liệu tham khảo và có trích dẫn đúng quy định
Kỹ năng viết xuất sắc (cấu trúc câu chuẩn, văn phong khoa học, lập luận
logic và có cơ sở, từ vựng sử dụng phù hợp v.v.)

Thành tựu nghiên cứu khoa học (5) (chọn 1 trong 3 trường hợp)
Có bài báo khoa học được đăng hoặc chấp nhận đăng/Đạt giải SVNCKH
giải 3 cấp Viện trở lên/Có giải thưởng khoa học (quốc tế hoặc trong
nước) từ giải 3 trở lên/Có đăng ký bằng phát minh, sáng chế
Được báo cáo tại hội đồng cấp Viện trong hội nghị SVNCKH nhưng
10b không đạt giải từ giải 3 trở lên/Đạt giải khuyến khích trong các kỳ thi
quốc gia và quốc tế khác về chuyên ngành (VD: TI contest)
10c Khơng có thành tích về nghiên cứu khoa học
Điểm tổng
10a

5

2
0
/50
3


Điểm tổng quy đổi về thang 10

Nhận xét khác (về thái độ và tinh thần làm việc của sinh viên)
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
Ngày: … / … / 20…
Người nhận xét
(Ký và ghi rõ họ tên)

4


ĐÁNH GIÁ QUYỂN ĐỒ ÁN TỐT NGHIỆP
(Dùng cho cán bộ phản biện)
Giảng viên đánh giá:.....................................................................................................................................
Họ và tên sinh viên:.......................................................................... MSSV:................................................
Tên đồ án:.....................................................................................................................................................
......................................................................................................................................................................
Chọn các mức điểm phù hợp cho sinh viên trình bày theo các tiêu chí dưới đây:
Rất kém (1); Kém (2); Đạt (3); Giỏi (4); Xuất sắc (5)
Có sự kết hợp giữa lý thuyết và thực hành (20)
1
2
3
4

Nêu rõ tính cấp thiết và quan trọng của đề tài, các vấn đề và các giả
thuyết (bao gồm mục đích và tính phù hợp) cũng như phạm vi ứng dụng

của đồ án
Cập nhật kết quả nghiên cứu gần đây nhất (trong nước/quốc tế)
Nêu rõ và chi tiết phương pháp nghiên cứu/giải quyết vấn đề
Có kết quả mơ phỏng/thực nghiệm và trình bày rõ ràng kết quả đạt
được

1

2

3

4

5

1
1

2
2

3
3

4
4

5
5

1

2

3

4

5

1

2

3

4

5

1

2

3

4

5

1

2

3

4

5

1

2

3

4

5

1

2

3

4

5

Có khả năng phân tích và đánh giá kết quả (15)
5
6
7

Kế hoạch làm việc rõ ràng bao gồm mục tiêu và phương pháp thực hiện
dựa trên kết quả nghiên cứu lý thuyết một cách có hệ thống
Kết quả được trình bày một cách logic và dễ hiểu, tất cả kết quả đều
được phân tích và đánh giá thỏa đáng
Trong phần kết luận, tác giả chỉ rõ sự khác biệt (nếu có) giữa kết quả đạt
được và mục tiêu ban đầu đề ra đồng thời cung cấp lập luận để đề xuất
hướng giải quyết có thể thực hiện trong tương lai

Kỹ năng viết quyển đồ án (10)

8

9

Đồ án trình bày đúng mẫu quy định với cấu trúc các chương logic và đẹp
mắt (bảng biểu, hình ảnh rõ ràng, có tiêu đề, được đánh số thứ tự và
được giải thích hay đề cập đến; căn lề thống nhất, có dấu cách sau dấu
chấm, dấu phảy v.v.), có mở đầu chương và kết luận chương, có liệt kê
tài liệu tham khảo và có trích dẫn đúng quy định
Kỹ năng viết xuất sắc (cấu trúc câu chuẩn, văn phong khoa học, lập luận
logic và có cơ sở, từ vựng sử dụng phù hợp v.v.)

Thành tựu nghiên cứu khoa học (5) (chọn 1 trong 3 trường hợp)
Có bài báo khoa học được đăng hoặc chấp nhận đăng/Đạt giải SVNCKH

giải 3 cấp Viện trở lên/Có giải thưởng khoa học (quốc tế hoặc trong
nước) từ giải 3 trở lên/Có đăng ký bằng phát minh, sáng chế
Được báo cáo tại hội đồng cấp Viện trong hội nghị SVNCKH nhưng
10b không đạt giải từ giải 3 trở lên/Đạt giải khuyến khích trong các kỳ thi
quốc gia và quốc tế khác về chuyên ngành (VD: TI contest)
10c Khơng có thành tích về nghiên cứu khoa học
Điểm tổng
10a

5

2
0
/50
5


Điểm tổng quy đổi về thang 10
Nhận xét khác của cán bộ phản biện
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
......................................................................................................................................................................
Ngày: … / … / 20…
Người nhận xét
(Ký và ghi rõ họ tên)

6

Lời cam đoan của sinh viên

7


Lời cảm ơn

Trước tiên em xin được bày tỏ sự trân trọng và lòng biết ơn đối với thầy giáo TS.
- giảng viên viện Điện tử - Viễn thông. Trong suốt thời gian học và làm đồ án tốt nghiệp,
thầy đã dành rất nhiều thời gian để tận tình chỉ bảo, hướng dẫn, định hướng cho em thực
hiện đồ án.
Em xin gửi lời cảm ơn sâu sắc đến các thầy cô đang giảng dạy, nghiên cứu tại
trường đại học Bách Khoa Hà Nội, đặc biệt là các thầy cô đang công tác tại Viện Điện Tử
- Viễn Thông, những người đã truyền dạy cho em không chỉ là kiến thức mà cịn cả ngọn
lửa đam mê, tình u với khoa học trong suốt năm năm vừa qua. Em xin trân thành cảm
ơn các thầy cơ vì những bài giảng bổ ích, những chia sẻ kinh nghiệm quý giá trong cuộc
sống, cơng việc để em có được những kiến thức như ngày hôm này. Em chúc các thầy cô
luôn luôn mạnh khỏe và thành công trong công việc và trong cuộc sống.
Mặc dù đã nỗ lực, cố gắng rất nhiều nhưng đồ án vấn khơng tránh khỏi thiếu sót.
Em rất mong nhận được những ý kiến đống góp của các thầy cơ để đề tài của em được
hồn thiện hơn.
Em xin chân thành cảm ơn!
Hà Nội, năm 2020
Sinh viên

8

Lời mở đầu

Nhận dạng mặt người (Face recognition) là một lĩnh vực nghiên cứu của ngành
Computer Vision, và cũng được xem là một lĩnh vực nghiên cứu của ngành Biometrics
(tương tự như nhận dạng vân tay – Fingerprint recognition, hay nhận dạng mống mắt –
Iris recognition). Xét về nguyên tắc chung, nhận dạng mặt có sự tương đồng rất lớn với
nhận dạng vân tay và nhận dạng mống mắt, tuy nhiên sự khác biệt nằm ở bước trích chọn
đặt trưng (feature extraction) của mỗi lĩnh vực.
Trong khi nhận dạng vân tay và mống mắt đã đạt tới độ chín, tức là có thể áp dụng
trên thực tế một cách rộng rãi thì nhận dạng mặt người vẫn cịn nhiều thách thức và vẫn là
một lĩnh vực nghiên cứu thú vị với nhiều người. So với nhận dạng vân tay và mống mắt,
nhận dạng mặt có nguồn dữ liệu phong phú hơn (bạn có thể nhìn thấy mặt người ở bất cứ
tấm ảnh, video clip nào liên quan tới con người trên mạng).
Hiện nay có rất nhiều các các phương pháp nhận dạng khác nhau được xây dựng
để nhận dạng một người cụ thể trong thế giới thực. Tuy nhiên việc nhận dạng được một
người trong thế giới thực là vô cùng khó khăn, bởi vì để nhận dạng được ta phải xây
dựng được tập cơ sở dữ liệu đủ lớn và việc xử lý dữ liệu lớn này đòi hỏi phải nhanh và
chính xác. Nhiệm vụ đặt ra là nghiên cứu và xây dựng một chương trình sử dụng phương
pháp nhận dạng có độ chính xác cao mà khối lượng và thời gian tính tốn lại ít.
Để giải quyết vấn đề trên có một phương pháp cho phép phân tích các thành phần
chính của khn mặt, giảm bớt số thành phần khơng cần thiết tạo ra hiệu quả tính tốn
nhanh mà vẫn đảm bảo được độ chính xác. Đó là phương pháp Principal Components
Analysis (PCA) hay còn gọi là Phương pháp phân tích các thành phần chính. Và đồ án
tập trung nghiên cứu phương pháp PCA để nhận dạng mặt người

9


Mục lục
Danh mục hình vẽ…………………………………………………………….I

Danh mục các từ viết tắt……………………………………………………...IV
Tóm tắt đồ án…………………………………………………………………V
Thesis summary………………………………………………………………VI
Chương 1: Xử lí ảnh, bài tốn nhận dạng mặt người và ứng dụng
1.1 Định nghĩa ảnh và điểm ảnh

………………………………………………1

1.1.1 Xử lí ảnh………………………………………………………………….3
1.1.2 Một số ứng dụng trong xử lí ảnh…………………………………………...6
1.2 Bài tốn nhận dạng mặt người ………………………………………………7
1.2.1 Các ứng dụng đặc trưng của bài toán nhận diện mặt người …………………9
1.3 Một số phương pháp nhận dạng………………………..…………………….11
1.3.1 Phương pháp nhận dang mặt người bằng mạng noron………………………12
1.3.2 Phương pháp phân tích thành phần chính PCA……………………………..13
1.4 Đồ án nhận dạng khn mặt giải quyết vấn đề gì? ……………………………15

1.4 Kết luận chương 1

……………………..……………………………… 15

Chương 2: Phương pháp phân tích PCA và các bước thực hiện
2.1 Một số lý thuyết toán học…….……………………..……………………….17
2.1.1. Độ lệch chuẩn ……….……………………..…………………………….. 17
10


2.1.2 Phương sai

…………………………………………………………… 18

2.1.3 Hiệp phương sai…...………………………………………………………19
2.1.4 Ma trận hiệp phương sai

…………………………………………….. 19

2.1.5 Trị riêng, vector riêng của ma trận ………………………………………. 21
2.2 Sơ lược về phân tích thành phần chính PCA ………………………………. 21
2.3 Thuật toán PCA (Principal Component Analysis)

………………………… 22

2.4 Sơ đồ thuật toán PCA ………………………………………………………22
2.5 Các bước thực hiện phương pháp PCA để nhận diện khuôn mặt ………….. 26
2.6 Kết luận chương 2………………………………………………………….. 40

Chương 3: Cài đặt thư viện, xây dựng dữ liệu và thực hành
3.1 Cài đặt thư viện ………………………………………………………….. 41
3.2 Xây dựng tập dữ liệu các khuôn mặt ………………………………………..50
3.3 Xử lí tập dữ liệu …………………………………………………………… 52
3.4 Nhận dạng khuôn mặt (ảnh test)

………………………………………..54

3.5 Đánh giá phương pháp ……………………………………………………. 56
3.6 Ưu, nhược điểm của phương pháp…………………………………………..58
3.8 Kết luận chương 3 và đề xuất ………………………………………………59

Kết luận………………………………………………………………………60
Tài liệu tham khảo…………………………………………………………... 61

11


Danh mục hình vẽ
Hình 1.1: Hệ màu R-G-B………………………………………………………. 3
Hình 1.2. Q trình xử lí ảnh…………………………………………………….4
Hình 1.3: Các bước xử lí ảnh…………………………………………………….4
Hình 1.4: Hỉnh ảnh nhận dạng mặt người…………………………………………7
Hình 1.5: Hình ảnh nhận dạng khn mặt…………………………………………11
Hình 1.6: Ví dụ về mạng noron……………………………………………………12
Hình 1.7: Ví dụ về phương pháp PCA…………………………………………......14
Hình 2.1: Hình ảnh mục tiêu phương pháp PCA……………………………………16
Hình 2.2: Ví dụ về kỳ vọng và phương sai………………………………………….20
Hình 2.3: Ví dụ hình ảnh cơ sở dữ liệu……………………………………………..27
Hình 2.4: Hình ảnh minh họa việc biểu diễn khn mặt…………………………….34
Hình 2,5: Hình mơ tả chuyển đổi khn mặt………………………………………..35
Hình 2.6: Diễn giải hình học của phương pháp PCA………………………………...36
Hình 2.7: Ví dụ về giảm chiều trong PCA…………………………………………..37
Hình 3.1: Cài đặt python……………………………………………………………41
Hình 3.2: Chạy thử python trên powershell………………………………………….42
Hình 3.3: Cài đặt thư viện PIL……………………………………………………....42
Hình 3.4: Khai báo thư viện PIL……………………………………………………43


Hình 3.5: Đọc ảnh và hiển
thị……………………………………………………43
Hình 3.6: Chuyển đổi ảnh sang ảnh
xám…………………………………………44
Hình 3.7: Resize hình ảnh theo kích thước tùy
chọn………………………………45

Hình 3.8: Xoay hình ảnh theo góc
45º……………………………………………46
Hình 3.9: Cắt một vùng hình
ảnh…………………………………………………46
Hình 3.10: Tăng độ sáng hình ảnh

………………………………………………47
Hình 3.11: Cài đặt thư viện numy

………………………………………………48
Hình 3.12: Khai báo và sử dụng thư viện numpy
…………………………………48
Hình 3.13: Đưa hình ảnh thành mảng dãy số (array)
…………………………..49
Hình 3.14 Làm phẳng dãy số (flatten)

……………………………………………49
Hình 3.15: Cài đặt và sử dụng
notepad……………………………………………50
Hình 3.16: Xây dựng tập ảnh dữ liệu

……………………………………………..50
Hình 3.17 Hình ảnh tập ảnh dữ liệu khn mặt
…………………………………..51
13


Hình 3.18: Chuyển đổi tập ảnh dữ liệu sang ảnh
xám………………………………52
Hình 3.19: Chuyển tập dữ liệu thành một ma trận để xử lí

…………………………53
Hình 3.20: Hình ảnh mặt trung bình và các eigen faces
……………………………53
Hình 3.21: Ánh xạ từng bức ảnh thành các thành phần chính
……………………..54
Hình 3.22: Hình ảnh tập ảnh
test…………………………………………………..55
Hình 3.23: Ánh xạ các hình ảnh test thành các thành phần
chính……………………55
Hình 3.24: Kết quả nhận
dạng…………………………………………………..

56

Hình 4.1: Tập dữ liệu
test……………………………………………………… 57
Hình 4.2: Đưa tập dữ liệu test thành ảnh
xám……………………………………57
Hình 4.3: Kết quả nhận
dạng……………………………………………………

58

14


Danh mục các từ viết tắt

RGB

Red - Green - Blue
Principal Component Analysis

PCA
Phân tích thành phần chính
XLA

Xử lí ảnh

PIL

Thư viện PIL

TDL

Tập dữ liệu

ĐT-VT

Điện tử viễn thông

ĐATN

Đồ án tốt nghiệp

15


Tóm tắt đồ án

Nội dung chính của đồ án này xoay quanh các vấn đề, giải pháp khi xây dựng
công cụ hỗ trợ nhận dạng ảnh mặt người. Cụ thể đồ án sẽ trình bày những nội
dung sau:
Các vấn đề và hướng giải pháp: các vấn đề khi xây dựng công cụ nhận dạng
mặt người. Các ứng dụng đặc trưng của bài toán nhận dạng mặt người là những
nội dung sẽ được trình bày trong chương 1.
Lí thuyết và cách thực hiện phương pháp nhận dạng mặt người (PCA) sẽ được
trình bày chi tiết và cụ thể trong chương 2.
Xây dựng tập ảnh dữ liệu và tiến hành nhận dạng khuôn mặt sẽ được minh họa
chi tiết trong chương 3.
Đánh giá thử nghiệm và kết luận, đưa ra những đánh giá về ưu nhược điểm của
phương pháp nhận dạng và các kết luận chung của đồ án

16


Thesis summary

The main content of this thesis revolves around problems and solutions when
building tools to support image recognition of human faces. Specifically, the
thesis will present the following:
Problems and solutions: problems when developing a human face recognition
tool. Typical applications of the problem of face recognition are the content that
will be presented in chapter 1.
The theory and implementation of human face recognition (PCA) method will
be presented in detail in chapter 2.
Building a data file and proceed facial recognition will be illustrated in detail in
chapter 3.
Assessing trials and conclusions, making assessments about advantages and
disadvantages of recognition methods and general conclusions of projects.

17


Chương 1
Xử lí ảnh, bài tốn nhận dạng mặt người và ứng dụng
Trong chương này, ta sẽ tìm hiểu khái niệm lý thuyết ảnh số, các thông số trong một bức
ảnh và những yếu tố cần thiết cần đi sâu vào nghiên cứu trong việc nhận dạng ảnh mặt
người. Tiếp theo đó là tìm hiểu bài tốn nhận dạng khn mặt và các ứng dụng của nó.

1.1 Định nghĩa ảnh và điểm ảnh
Gốc của ảnh (ảnh tự nhiên) là ảnh liên tục về không gian và độ sáng. Để xử lí bằng máy
tính, ảnh cần phải được số hóa. Số hóa ảnh là sự biến đổi gần đúng một ảnh liên tục thành
một tập điểm phù hợp với ảnh thật về vị trí (khơng gian) và độ sáng (mức xám). Khoảng
cách giữa các điểm ảnh đó được thiết lập sao cho mắt người không phân biệt được ranh
giới giữa chúng. Mỗi điểm như vậy gọi là điểm ảnh (Picture Element) hay gọi là pixel.
Trong khuôn khổ ảnh hai chiều, mỗi pixel ứng với cặp tọa độ (x, y).
Điểm ảnh (Pixel) là một phần tử của ảnh số tại tọa độ (x, y) với độ xám hoặc màu nhất
định. Kích thước và khoảng cách giữa các điểm ảnh đó được chọn thích hợp sao cho mắt
người cảm nhận sự liên tục về không gian và mức xám (hoặc màu) của ảnh số gần như
ảnh thật. Mỗi phần tử trong ma trận được gọi là một phần tử ảnh.
Trong một hình ảnh xám 8bit, giá trị của điểm ảnh từ 0 - 255. Giá trị của pixel tại bất kỳ
điểm nào tương ứng với cường độ của photon tại điểm đó. Mỗi giá trị điểm ảnh tỷ lệ
thuận với cường độ ánh sáng. Mỗi ảnh điểm có một màu duy nhất, được chỉ định như một
tỉ lệ nhất định của 3 màu cơ bản Đỏ, Lục và Lam.
Độ phân giải (resolution) của ảnh là mật độ điểm ảnh được ấn định trên một ảnh số được
hiển thị.
Theo định nghĩa, khoảng cách giữa các điểm ảnh phải được chọn sao cho mắt người vẫn
thấy được sự liên tục của ảnh. Việc lựa chọn khoảng cách thích hợp tạo nên một mật độ
phân bổ, đó chính là độ phân giải và được phân bố theo trục x và y trong không gian hai

chiều.
Bằng cách phối hợp liều lượng khác nhau của 3 màu cơ bản nói trên chúng ta có thể tạo ra
gần như bất cứ màu nào. Theo thời gian, phạm vi sử dụng của thuật ngữ “ảnh điểm” đã


được mở rộng và hiện nay chúng ta sử dụng thuật ngữ này trong tùy vào từng ngữ cảnh cụ
thể. Một ảnh số thường được tạo bởi hàng triệu ảnh điểm cá thể.
Ví dụ: Độ phân giải của ảnh trên màn hình CGA (Color Graphic Adaptor) là một lưới
điểm theo chiều ngang màn hình: 320 điểm chiều dọc x 200 điểm chiều ngang (320x200).
Rõ ràng, cùng một màn hình CGA 12’’ ta thấy mịn hơn màn hình CGA17’’.
Lí do là vì cùng một mật độ (độ phân giải) nhưng diện tích màn hình rộng hơn thì độ mịn
(liên tục của các điểm) kém hơn.
Mức xám của ảnh
Một điểm ảnh (pixel) có hai đặc trưng cơ bản là vị trí (x,y) của điểm ảnh và độ xám của
nó. Dưới đây ta xem xét một số khái niệm đặc trưng thường dùng trong xử lí ảnh.
-

Mức xám của điểm ảnh là cường độ sáng của nó được gán bằng giá trị số tại điểm
đó.

-

Các thang giá trị mức xám thơng thường: 16, 32, 64, 128, 256(Mức 256 là mức
phổ dụng. Là vì từ kỹ thuật máy tính dùng 1 byte (8 bit) để biểu diễn mức xám:
Mức xám dùng 1 byte biểu diễn = 256 mức, từ 0 - 255).

-

Ảnh đen trắng là ảnh có hai màu đen , trắng (khơng chứa màu khác) với mức xám
ở các điểm ảnh có thể khác nhau.

-

Ảnh nhị phân: ảnh chỉ có 2 mức đen trắng phân biệt tức dùng 1 bit mô tả 2 mức
khác nhau. Nói cách khác: Mỗi điểm ảnh của ảnh nhị phân chỉ có thể là 0 hoặc 1.

-

Ảnh màu: trong khuôn khổ lý thuyết ba màu (Red, Blue, Green) để tạo nên thế
giới màu, người ta dùng 3 byte để mơ tả mức màu, khi đó các giá trị màu 16,7
triệu màu.

-

Một ảnh RGB được lưu trữ dưới dang mảng dữ liệu có kích thước 3 chiều
mxnx3 định nghĩa các giá trị màu red, green và blue cho mỗi pixel riêng biệt.
Ảnh RGB không sử dụng palette. Màu của mỗi pixel được quyết định bởi sự kết
hợp giữa các giá trị (Red, Green, Blue) được lưu trữ trong một mặt phẳng màu
tại vị trí của pixel. Định dạng file đồ hoạ lưu trữ ảnh RGB giống như một ảnh

2


24 bits trong đó R, G, B chiếm tương ứng 8 bit một. Điều này cho phép nhận
được 16 triệu màu khác nhau

Hình 1.1: Hệ màu RGB

1.1.1 Xử lí ảnh
Xử lý ảnh là một trong những mảng quan trọng nhất trong kỹ thuật thị giác máy tính, là

tiền đề cho nhiều nghiên cứu thuộc lĩnh vực này. Hai nhiệm vụ cơ bản của quá trình xử lý
ảnh là nâng cao chất lượng thơng tin hình ảnh và xử lý số liệu cung cấp cho các q trình
khác trong đó có việc ứng dụng thị giác vào điều khiển.
Quá trình bắt đầu từ việc thu nhận ảnh nguồn (từ các thiết bị thu nhậnảnh dạng số hoặc
tương tự) gửi đến máy tính. Dữ liệu ảnh được lưu trữ ở định dạng phù hợp với quá trình
xử lý. Người lập trình sẽ tác động các thuật toán tương ứng lên dữ liệu ảnh nhằm thay đổi
cấu trúc ảnh phù hơp với các ứng dụng khác nhau.
Quá trình xử lý nhận dạng ảnh được xem như là quá trình thao tác ảnh đầu vào nhằm cho
ra kết quả mong muốn. Kết quả đầu ra của một q trình xử lý ảnh có thể là một ảnh “đã
được xử lý” hoặc một kết luận.
Photoshop là một ví dụ của xử lí ảnh : từ một hình ảnh được chụp từ máy ảnh, ta có thể
chỉnh sửa, xử lý để làm ảnh đẹp hơn hoặc phù hợp nhu cầu người dung như: làm mờ, lấy
biên, chỉnh độ nét, chỉnh độ phân giải, phục hồi và nhận dạng ảnh….

3


Hình 1.2. Q trình xử lí ảnh
Ảnh có thể xem là tập hợp các điểm ảnh và mỗi điểm ảnh được xem như là đặc trưng
cường độ sáng hay một dấu hiệu nào đó tại một vị trí nào đó của đối tượng trong khơng
gian và nó có thể xem như một hàm n biến P(c,c1,c2,…).Do đó,ảnh trong xử lý ảnh có thể
xem như ảnh n chiều .
Sự chọn lựa cách biểu diễn thích hợp cho một vùng ảnh chỉ mới là một phần trong việc
chuyển đổi dữ liệu ảnh thơ sang một dạng thích hợp hơn cho các xử lý về sau

Tiền xử lý

Trích rút đặc
trưng

Đối sánh, kết
luận

Hình 1.3: Các bước xử lí ảnh
a. Tiền xử lý:
Ở bước này, ảnh sẽ được cải thiện về độ tương phản, khử nhiễu, khử bóng, khử độ
lệch,v.v… với mục đích làm cho chất lượng ảnh trở lên tốt hơn nữa, chuẩn bị cho các
bước xử lý phức tạp hơn về sau trong quá trình XLA. Quá trình này thường được thực
hiện bởi các bộ lọc
4


b. Trích chọn đặc điểm:
Kết quả của bước phân đoạn ảnh thường được cho dưới dạng dữ liệu điểm ảnh thơ, trong
đó hàm chứa biên của một vùng ảnh, hoặc tập hợp tất cả các điểm ảnh thuộc về chính
vùng ảnh đó. Trong cả hai trường hợp, sự chuyển đổi dữ liệu thơ này thành một dạng
thích hợp hơn cho việc xử lý trong máy tính là rất cần thiết.
Để chuyển đổi chúng, câu hỏi đầu tiên cần phải trả lời là nên biểu diễn một vùng ảnh dưới
dạng biên hay dưới dạng một vùng hoàn chỉnh gồm tất cả những điểm ảnh thuộc về nó.
Biểu diễn dạng biên cho một vùng phù hợp với những ứng dụng chỉ quan tâm chủ yếu
đến các đặc trưng hình dạng bên ngồi của đối tượng, ví dụ như các góc cạnh và điểm uốn
trên biên chẳng hạn. Biểu diễn dạng vùng lại thích hợp cho những ứng dụng khai thác các
tính chất bên trong của đối tượng, ví dụ như vân ảnh hoặc cấu trúc xương của nó.
Sự chọn lựa cách biểu diễn thích hợp cho một vùng ảnh chỉ mới là một phần trong việc
chuyển đổi dữ liệu ảnh thô sang một dạng thích hợp hơn cho các xử lý về sau. Chúng ta
cịn phải đưa ra một phương pháp mơ tả dữ liệu đã được chuyển đổi đó sao cho những
tính chất cần quan tâm đến sẽ được làm nổi bật lên, thuận tiện cho việc xử lý chúng.
c. Đối sánh, nhận dạng:
Nhận dạng tự động (automatic recognition), mô tả đối tượng, phân loại và phân nhóm các
mẫu là những vấn đề quan trọng trong thị giác máy, được ứng dụng trong nhiều ngành

khoa học khác nhau.
Ví dụ mẫu có thể là ảnh của vân tay, ảnh của một vật nào đó được chụp, một chữ viết,
khn mặt người hoặc một ký đồ tín hiệu tiếng nói. Khi biết một mẫu nào đó, để nhận
dạng hoặc phân loại mẫu đó.Hệ thống nhận dạng tự động bao gồm ba khâu tương ứng với
ba giai đoạn chủ yếu sau đây:
-

Thu nhận dữ liệu và tiền xử lý.

-

Biểu diễn dữ liệu.

-

Nhận dạng, ra quyết định.

Bốn cách tiếp cận khác nhau trong lý thuyết nhận dạng là:
-

Đối sánh mẫu dựa trên các đặc trưng được trích chọn.
5


-

Phân loại thống kê.

-

Đối sánh cấu trúc.

-

Phân loại dựa trên mạng nơ-ron nhân tạo.

Trong các ứng dụng rõ ràng là khơng thể chỉ dùng có một cách tiếp cận đơn lẻ để phân
loại “tối ưu” do vậy cần sử dụng cùng một lúc nhiều phương pháp và cách tiếp cận khác
nhau. Do vậy, các phương thức phân loại tổ hợp hay được sử dụng khi nhận dạng và nay
đã có những kết quả có triển vọng dựa trên thiết kế các hệ thống lai (hybrid system) bao
gồm nhiều mơ hình kết hợp.
Chúng ta cũng có thể thấy rằng, khơng phải bất kỳ một ứng dụng xử lí ảnh nào cũng bắt
buộc phải tuân theo tất cả các bước xử lý đã nêu ở trên, ví dụ như các ứng dụng chỉnh sửa
ảnh nghệ thuật chỉ dừng lại ở bước tiền xử lý. Một cách tổng quát thì những chức năng xử
lý bao gồm cả nhận dạng và giải thích thường chỉ có mặt trong hệ thống phân tích ảnh tự
động hoặc bán tự động, được dùng để rút trích ra những thơng tin quan trọng từ ảnh, ví dụ
như các ứng dụng nhận dạng ký tự quang học, nhận dạng chữ viết tay v.v…

1.1.2 Một số ứng dụng trong xử lí ảnh
Như đã nói ở trên, các kỹ thuật xử lý ảnh trước đây chủ yếu được sử dụng để nâng cao
chất lượng hình ảnh, chính xác hơn là tạo cảm giác về sự gia tăng chất lượng ảnh quang
học trong mắt người quan sát. Thời gian gần đây, phạm vi ứng dụng xử lý ảnh mở rộng
khơng ngừng, có thể nói hiện khơng có lĩnh vực khoa học nào không sử dụng các thành
tựu của công nghệ xử lý ảnh số .
Trong y học các thuật toán xử lý ảnh cho phép biến đổi hình ảnh được tạo ra từ nguồn bức
xạ X -ray hay nguồn bức xạ siêu âm thành hình ảnh quang học trên bề mặt film x-quang
hoặc trực tiếp trên bề mặt màn hình hiển thị. Hình ảnh các cơ quan chức năng của con
người sau đó có thể được xử lý tiếp để nâng cao độ tương phản, lọc, tách các thành phần
cần thiết (chụp cắt lớp) hoặc tạo ra hình ảnh trong khơng gian ba chiều (siêu âm 3 chiều).
Trong lĩnh vực địa chất, hình ảnh nhận được từ vệ tinh có thể được phân tích để xác định

cấu trúc bề mặt trái đất. Kỹ thuật làm nổi đường biên (image enhancement) và khôi phục
hình ảnh (image restoration) cho phép nâng cao chất lượng ảnh vệ tinh và tạo ra các bản
đồ địa hình 3-D với độ chính xác cao.

6


Trong ngành khí tượng học, ảnh nhận được từ hệ thống vệ tinh theo dõi thời tiết cũng
được xử lý, nâng cao chất lượng và ghép hình để tạo ra ảnh bề mặt trái đất trên một vùng
rộng lớn, qua đó có thể thực hiện việc dự báo thời tiết một cách chính xác hơn. Xử lý ảnh
cịn được sử dụng rộng rãi trong lĩnh vực hình sự và các hệ thống bảo mật hoặc kiểm sốt
truy cập: q trình xử lý ảnh với mục đích nhận dạng vân tay hay khuôn mặt cho phép
phát hiện nhanh các đối tương nghi vấn cũng như nâng cao hiệu quả hệ thống bảo mật cá
nhân cũng như kiểm sốt ra vào.
Ngồi ra, có thể kể đến các ứng dụng quan trọng khác của kỹ thuật xử lý ảnh tĩnh cũng
như ảnh động trong đời sống như tự động nhận dạng, nhận dạng mục tiêu qn sự, máy
nhìn cơng nghiệp trong các hệ thống điều khiển tự động, nén ảnh tĩnh, ảnh động để lưu và
truyền trong mạng viễn thơng v.v
1.2 Bài tốn nhận dạng mặt người
Hệ thống nhận dạng mặt người là một hệ thống nhận vào là một ảnh hoặc một đoạn video
(một chuỗi các ảnh). Qua xử lý tính tốn hệ thống xác định được vị trí mặt người trong
ảnh (nếu có) và xác định là người nào trong số những người hệ thống đã được biết (qua
quá trình học) hoặc là người lạ

Hình 1.4: Hỉnh ảnh nhận dạng mặt người
Những khó khăn của nhận dạng khn mặt

7

a. Tư thế góc chụp : Ảnh chụp khn mặt có thể thay đổi rất nhiều bởi vì góc chụp giữa
camera và khuôn mặt.Chẳng hạn như : chụp thẳng, chụp xéo bên trái 450 hay xéo bên
phải 450 ,chụp từ trên xuống, chụp từ dưới lên,v.v…). Với các tư thế khác nhau, các thành
phần trên khuôn mặt như mắt, mũi, miệng có thể bị khuất một phần hoặc thậm chí khuất
hết. Khn mặt đang nhìn thẳng nhưng góc chụp của máy ảnh lại lệch nhiều so với hướng
nhìn thẳng của khuôn mặt hoặc là lúc chụp ảnh mặt người quay nghiêng sang một bên nào
đó nhiều đều là những khó khăn rất lớn trong bài toán nhận diện mặt người.
b.Sự xuất hiện hoặc thiếu một số thành phần của khuôn mặt: Các đặc trưng như râu mép,
râu hàm, mắt kính,v.v… có thể xuất hiện hoặc khơng. Vấn đề này làm cho bài tốn càng
khó khăn hơn rất nhiều.
c.Sự biểu cảm của khn mặt: Biểu cảm của khn mặt người có thể làm ảnh hưởng đáng
kể lên các thông số của khuôn mặt. Chẳng hạn,cùng một khuôn mặt một người, nhưng có
thể sẽ rất khác khi họ cười hoặc sợ hãi….
d.Sự che khuất: Khn mặt có thể bị che khuất bởi các đối tượng khác hoặc các khuôn
mặt khác.
e. Hướng của ảnh: Các ảnh của khn mặt có thể biến đổi rất nhiều với các góc quay
khác nhau của trục camera. Chẳng hạn chụp với trục máy ảnh nghiêng làm cho khuôn mặt
bị nghiêng so với trục của ảnh.
f. Điều kiện của ảnh: Ảnh được chụp trong các điều kiện khác nhau về: chiếu sang, về
tính chất camera (máy kỹ thuật số, máy hồng ngoại,v.v…) ảnh hưởng rất nhiều đến chất
lượng ảnh khuôn mặt.
g. Nền ảnh phức tạp: nền của ảnh phức tạp là một trong những khó khăn nhất trong bài
tốn nhận diện khn mặt người trong ảnh, khn mặt người sẽ dễ bị nhầm lẫn với nhiều
khung cảnh phức tạp xung quanh và ảnh hưởng rất nhiều đến quá trình phân tích và rút
trích các đặc trưng của khn mặt trong ảnh, có thể dẫn đến khơng nhận ra khuôn mặt
hoặc là nhận nhầm các khung cảnh xung quanh thành khuôn mặt người.
h. Màu sắc của da mặt: màu sắc của da mặt quá tối hoặc gần với màu sắc của khung cảnh
môi trường xung quanh cũng là một khó khăn với bài tốn nhận diện mặt người. Nếu màu
sắc của da người q tối thì thuật tốn sẽ gặp khó khăn trong việc nhận diện các đặc trưng
và có thể khơng tìm ra được khn mặt người.

8