Mạng nơron nhận dạng khuân mặt người

LỜI MỞ ĐẦU
Hiện nay, cùng với sự phát triển của xã hội, vấn đề án ninh
bảo mặt đang được yêu cầu khắt khe tại mọi quốc gia trên thế giới.
Các hệ thống nhận dạng con người được ra đời với độ tin cậy ngày
càng cao. Một trong những bài toán nhận dạng con người rất được
quan tâm tới hiện nay là nhận dạng khn mặt. Vì nhận dạng khn
mặt là cách mà con người sử dụng để phân biệ tnhau. Bên cạnh đó,
ngày nay việc thu nhập, xử lý thơng tin qua ảnh để nhận biết đối
tượng đang được quan tâm và wungs dụng rộng rãi. Với phương
pháp này, chúng ta có thể thu nhận được nhiều thơng tin từ đối
tượng mà không cần tác động đến đối tượng nghiên cứu. Sự phát
triển của khoa học máy tính tạo ra mơi trường thuận lợi cho bài tốn
nhận dạng mặt người từ ảnh số. Các hệ thống nhận dạng offline đã
ra đời và có độ tin cậy cao, tuy nhiên các hệ thống nhận dạng online
lại chưa đáp ứng được nhiều.
Trong khuôn khổ đồ án này, chúng em sẽ tiếp tục giải quyết
bài tốn nhận dạng offline. Trong đó đối tượng được thu thập thành
các file dữ liệu và đượ chuyển về trung tâm. Tại đó, các số liệu sẽ
được phân tích xử lý.


MỤC LỤC
CHƯƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG KHUÔN MẶT...........................................................4
1.1

Tổng quan về hệ thống nhận dạng khuôn mặt...............................................................4

1.2

Một số ứng dụng của hệ thống nhận dạng khuôn mặt..................................................4

1.3

Mô tả bài tốn nhận dạng khn mặt.............................................................................5

1.4

Những khó khăn và thách thức trong bài tốn nhận diện khn mặt.........................5

1.5

Kết luận chương................................................................................................................5

CHƯƠNG 2: CÁC PHƯƠNG PHÁP NHẬN DIỆN KHUÔN MẶT......................................................6
2.1 Phương pháp dựa trên tri thức.............................................................................................6
2.1.1 Phương pháp của Yang và Huang.......................................................................................6
2.1.2

Phương pháp của Kotropoulos và Pitas......................................................................7

2.2 Phương pháp dựa trên đặc trưng bất biến..........................................................................8
2.2.1 Các đặc trưng của khuôn mặt.............................................................................................8
2.2.2 Kết cấu của khuôn mặt........................................................................................................9
2.2.3 Màu sắc da...........................................................................................................................9
2.2.4

Đa đặc trưng...............................................................................................................10

2.3 Phương pháp so sánh khớp mẫu.........................................................................................10
2.4 Phương pháp dựa trên diện mạo........................................................................................11
CHƯƠNG 3: PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG KHN MẶT - PCA..........................13

3.1

Vai trị PCA trong xử lý tín hiệu nhiều chiều.................................................................13

3.1.1

Dữ liệu nhiều chiều.....................................................................................................13

3.1.2

Tín hiệu nhiều chiều...................................................................................................13

3.1.3

Vai trị PCA trong xử lý tín hiệu nhiều chiều.............................................................13

3.2

Cơ sở tốn học................................................................................................................14

3.2.1

Một số khái niệm toán học sử dụng trong PCA........................................................14

3.2.2

Thuật toán PCA...........................................................................................................16

3.3 Minh họa thuật toán PCA.....................................................................................................19
3.4 Ứng dụng PCA trong nhận diện khuôn mặt........................................................................22

3.5 Kết luận chương....................................................................................................................32
CHƯƠNG 4: MẠNG NEURON.....................................................................................................33
4.1

Các khái niệm chung về mạng neuron...........................................................................33

4.1.1

Mạng neuron sinh học................................................................................................33

4.1.2

Mạng nơ-ron nhân tạo...............................................................................................33

4.1.3

Mô hình tốn học và kiến trúc mạng nơ-ron............................................................34

4.1.3.1

Mơ hình tốn học của một nơ-ron nhân tạo............................................................34

4.1.3.2

Các thành phần cơ bản của mạng nơ-ron nhân tạo.................................................34


4.1.3.3
4.1.4

Kiến trúc mạng nơ-ron...............................................................................................36
Huấn luyện mạng nơ-ron.................................................................................................37

4.1.4.1

Học có giám sát (Supervised learning):.........................................................................38

4.1.4.2

Học không giám sát (Unsupervised Learning):.............................................................38

4.1.4.3

Học tăng cường............................................................................................................38

4.2

Kết luận chương...............................................................................................................39

CHƯƠNG 5: CHƯƠNG TRÌNH MƠ PHỎNG................................................................................40
5.1

Chuyển đổi giữa các dữ liệu...........................................................................................40

5.2

Các phép toán số học cơ bản đối với dữ liệu ảnh........................................................40

5.3

Các hàm hiện thị ảnh trong Matlab...............................................................................41

5.4

Các hàm khác được sử dụng trong để tài.....................................................................43

5.5

Giới thiệu chương trình.................................................................................................44

5.6

Lưu đồ thuật tốn...........................................................................................................46

5.7

Chương trình mơ phỏng...................................................................................................51


CHƯƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG KHUÔN
MẶT
1.1

Tổng quan về hệ thống nhận dạng khuôn mặt

Nhận dạng mặt người (Face recognition) là một lĩnh vực nghiên cứu của
ngành Computer Vision, và cũng được xem là một lĩnh vực nghiên cứu của
ngành Biometrics (tương tự như nhận dạng vân tay – Fingerprint recognition,
hay nhận dạng mống mắt – Iris recognition). Xét về nguyên tắc chung, nhận
dạng mặt có sự tương đồng rất lớn với nhận dạng vân tay và nhận dạng mống

mắt, tuy nhiên sự khác biệt nằm ở bước trích chọn đặt trưng (feature
extraction) của mỗi lĩnh vực.
Hệ thống nhận dạng khn mặt là một ứng dụng máy tính tự động xác
định hoặc nhận dạng một người nào đó từ một bức hình ảnh kỹ thuật số hoặc
một khung hình video từ một nguồn video

Hình 1: Mơ hình hệ thống nhận dạng khuôn mặt
1.2

Một số ứng dụng của hệ thống nhận dạng khuôn mặt
Nhận dạng khuôn mặt đã được ứng dụng nhiều trong các lĩnh vực:
- Hệ thống tương tác giữa người và máy (điều khiển máy tính qua các cử
động của khuôn mặt).
- Hệ thống nhận dàng người (giúp các cơ quan an ninh quản lý tốt cho
con người).
- Hệ thống quan sát, bảo vệ, quản lý việc ra vào cho các cơ quan và công
ty.
- Hệ thống trợ giúp lái xe, hệ thống phân tích cảm xúc trên khuôn mặt và
hệ thống nhận dạng khuôn mặt cho các máy ảnh kỹ thuật số ...

Ứng dụng nhận diện khuôn mặt trong điều tra tội phạm là một bước tiến
đáng hoan nghênh. Tuy nhiên, trong nhiều lĩnh vực khác, nhận diện khuôn
mặt đang vướng phải những vấn đề liên quan đến pháp lý, đặc biệt là ở Mỹ và
các nước phát triển ở Châu Âu. Việc Facebook phải tắt hoàn tồn tính năng


nhận diện khuôn mặt ở Châu Âu vào tháng 10 năm ngoài do vi phạm quyền
tự do cá nhân chỉ mới là sự khởi đầu. Đấy là chưa kể đến những bằng sáng
chế vốn làm đau đầu các công ty muốn triển khai công nghệ này. Rõ ràng,
công nghệ nhận diện khuôn mặt vẫn chưa thể được ứng dụng một cách rộng

rãi trong tất cả các lĩnh vực của cuộc sống.
1.3

Mơ tả bài tốn nhận dạng khn mặt

Nhận dạng khn mặt người là một kỹ thuật máy tính để xác định các vị
trí và kích thước của các khn mặt người trong các ảnh bất kì. Kỹ thuật này
nhận biết các đặc trưng của khuôn mặt và bỏ qua những thứ khác như: tịa
nhà, cây cối, cơ thể ...

1.4

Những khó khăn và thách thức trong bài tốn nhận diện khn
mặt
Việc xác định khn mặt người có những khó khăn nhất định như sau:

- Hướng (pose) của khuôn mặt đối với máy ảnh, như: nhìn thẳng, nhìn
nghiêng hay nhìn từ trên xuống. Cùng trong một ảnh có thể có nhiều
khn mặt ở những tư thế khác nhau.
- Sự có mặt của các chi tiết không phải là đặc trưng riêng của khn mặt
người, như: râu quai nón, mắt kính,...
- Các nét mặt (facial expression) khác nhau trên khuôn mặt, như: vui,
buồn, ngạc nhiên,...
- Mặt người bị che bởi các đối tượng khác có trong ảnh.
1.5
Kết luận chương
Qua chương này, ta đã có cái nhìn tổng quan về hệ thống nhận dạng
khn mặt cũng như các khó khăn trong q trình thực hiện và nắm được mơ
hình nhận dạng khn mặt.

CHƯƠNG 2: CÁC PHƯƠNG PHÁP NHẬN DIỆN KHUÔN
MẶT
2.1 Phương pháp dựa trên tri thức
Trong hướng tiếp cận này, các luật sẽ phụ thuộc rất lớn vào tri thức của
những tác giả nghiên cứu về bài tốn xác định khn mặt người. Đây là
hướng tiếp cận dạng top-down. Dễ dàng xây dựng các luật cơ bản để mô tả
các đặc trưng của khn mặt và các quan hệ tương ứng. Ví dụ, một khn mặt
thường có hai mắt đối xứng nhau qua trục thẳng đứng ở giữa khn mặt và có
một mũi, một miệng. Các quan hệ của các đặc trưng có thể được mơ tả như
quan hệ về khoảng cách và vị trí. Thơng thường các tác giả sẽ trích đặc trưng
của khn mặt trước tiên để có được các ứng viên, sau đó các ứng viên này sẽ
được xác định thông qua các luật để biết ứng viên nào là khuôn mặt và ứng
viên nào không phải khuôn mặt. Thường áp dụng quá trình xác định để giảm
số lượng xác định sai.
2.1.1 Phương pháp của Yang và Huang
Hệ thống gồm 3 mức luật
- Mức cao nhất, dùng một khung cửa sổ quét trên ảnh và thông qua một
tập luật để tìm các ứng viên có thể là khn mặt
- Mức kế tiếp, dùng một tập luật để mô tả tổng q hình dáng khn mặt.
- Mức cuối, dùng một tập luật khác để xem xét ở mức chi tiết các đặc
trưng khn mặt.

Hình 2: (a) Ảnh ban đầu có độ phân giải n=1; (b), (c), và (d) Ảnh có độ phân
giải n=4, 8, và 16.


Hình 3: Một loại tri thức của nghiên cứu phân tích trên khn mặt
Các luật ở mức cao nhất để tìm ứng viên như: “vùng trung tâm khn
mặt” (phần tối màu trong Hình 3) có bốn phần với một mức độ đều cơ bản”,

“phần xung quanh bên trên của một khn mặt (phần sáng hơn trong hình 3)
có một mức độ đều cơ bản”, và “mức độ khác nhau giữa các giá trị xám trung
bình của phần trung tâm và phần bao bên trên là đáng kể”. Độ phân giải thấp
nhất (mức mộ) của ảnh dùng để tìm ứng viên khn mặt mà cịn tìm ở các
mức phân giải tốt hơn. Ở mức hai, xem xét biểu đồ histogram của các ứng
viên để loại bớt ứng viên nào không phải là khn mặt, đồng thời dị ra cạnh
bao xung quanh ứng viên. Ở mức cuối cùng, những ứng viên nào cịn lại sẽ
được xem xét các đặc trưng của khn mặt về mắt và miệng. Hai ông đã dùng
một chiến lược “từ thô đến mịn” hay “làm rõ dần” để giảm số lượng tính tốn
trong xử lý. Mặc dù tỷ lệ chính xác chưa cao, nhưng đây là tiền đề cho nhiều
nghiên cứu sau này.

2.1.2

Phương pháp của Kotropoulos và Pitas

Phương pháp tương tự dùng trên độ phân giải thấp. Hai ông dùng
phương pháp chiếu để xác định các đặc trưng khuôn mặt, Kanade đã thành
công với phương pháp chiếu để xác định biên của khuôn mặt .


Với I(x,y) là giá trị xám của một điểm trong ảnh có kích thước m x n ở
tại vị trí (x,y), các hàm để chiếu ảnh theo phương ngang và thẳng đứng được
định nghĩa như sau:

Dựa trên biểu đồ hình chiếu ngang, có hai cực tiểu địa phương khi hai
ơng xét q trình thay đổi độ đốc của HI, đó chính là cạnh bên trái và phải của
hai bên đầu. Tương tự với hình chiếu dọc VI, các cực tiểu địa phương cũng
cho ta biết vị trí miệng, đỉnh mũi, và hai mắt. Các đặc trưng này đủ để xác
định khuôn mặt.

2.2 Phương pháp dựa trên đặc trưng bất biến
Đây là hướng tiếp cận theo kiểu bottom-up. Các tác giả cố gắng tìm các
đặc trưng khơng thay đổi của khn mặt người để xác định khuôn mặt người.
Dựa trên nhận xét thực tế, con người dễ dàng nhận biết các khuôn mặt và các
đối tượng trong các tư thế khác nhau và điều kiện ánh sáng khác nhau, thì
phải tồn tại các thuộc tính hay đặc trưng khơng thay đổi. Có nhiều nghiên cứu
đầu tiên xác định các đặc trưng khn mặt rồi chỉ ra có khn mặt trong ảnh
hay không. Các đặc trưng như: lông mày, mắt, mũi, miệng, và đường viền của
tóc được trích bằng phương pháp xác định cạnh. Trên cơ sở các đặc trưng này,
xây dựng một mơ hình thống kê để mơ tả quan hệ của các đặc trưng này và
xác định sự tồn tại của khuôn mặt trong ảnh. Một vấn đề của các thuật tóan
theo hướng tiếp cân đặc trưng cần phải điều chỉnh cho phù hợp điều kiện ánh
sáng, nhiễu, và bị che khuất. Đơi khi bóng của khn mặt sẽ tạo thêm cạnh
mới, mà cạnh này lại rõ hơn cạnh thật sự của khn mặt, vì thế nếu dùng cạnh
để xác định sẽ gặp khó khăn.
2.2.1 Các đặc trưng của khn mặt
Sirohey đưa một phương pháp xác định khuôn mặt từ một ảnh có hình
nền phức tạp . Phương pháp dựa trên cạnh (dùng phương pháp Candy và
heuristics) để loại bỏ các cạnh để còn lại duy nhất 5 một đường bao xung
quanh khn mặt. Một hình ellipse dùng để bao khuôn mặt, tách biệt vùng


đầu và hình nền. Tỷ lệ chính xác của thuật tóan là 80%. Cũng dùng phương
pháp cạnh như Sirohey, Chetverikov và Lerch dùng một phưong pháp dựa
trên blob và streak (hình dạng giọt nước và sọc xen kẽ), để xác định theo
hướng các cạnh . Hai ông dùng hai blob tối và ba blob sáng để mô tả hai mắt,
hai bên gị má, và mũi. Mơ hình này dùng các treak để mơ tả hình dáng ngồi
của khn mặt, lơng mày, và mơi. Dùng ảnh có độ phân giải thấp theo biến
đổi Laplace để xác định khuôn mặt thông qua blob.
Leung trình bày một mơ hình xác suất để xác định khn mặt ở trong

ảnh có hình nền phức tạp trên cơ sở một bộ xác định đặc trưng cục bộ và so
khớp đồ thị ngẫu nhiên . Ý chính là xem bài tốn xác định khn mặt như là
bài tốn tìm kiếm với mục tiêu là tìm thứ tự các đặc trưng chắc chắn của
khuôn mặt để tạo thành giống nhất một mẫu khuôn mặt. Dùng năm đặc trưng
(hai mắt, hai lỗ mũi, phần nối giữa mũi và miệng) để mơ tả một khn mặt.
Ln tính quan hệ khoảng cách với các đặc trưng cặp (như mắt trái, mắt
phải), dùng phân bố Gauss để mơ hình hóa. Một mẫu khn mặt được đưa ra
thơng qua trung bình tương ứng cho một tập đa hướng, đa tỷ lệ của bộ lọc đạo
hàm Gauss. Từ một ảnh, các đặc trưng ứng viên được xác định bằng cách so
khớp từng điểm ảnh khi lọc tương ứng với vector mẫu (tương tự mối tương
quan), chọn hai ứng viên đặc trưng đứng đầu để tìm kiếm cho các đặc trưng
khác của khn mặt. Giống như xây dựng một đồ thị quan hệ mỗi node của
đồ thị tương ứng như các đặc trưng của một khuôn mặt, đưa xác suất vào để
xác định. Tỷ lệ xác định chính xác là 86%.
2.2.2 Kết cấu của khn mặt
Khn mặt con người có những kết cấu riêng biệt mà có thể dùng để
phân loại so với các đối tượng khác. Augusteijn và Skufca cho rằng hình dạng
của khn mặt dùng làm kết cấu phân loại , gọi là kết cấu giống khn mặt
(face-like texture). Tính kết cấu qua các đặc trưng thống kê thứ tự thứ hai
(SGLD) trên vùng có kích thước 16x16 điểm ảnh. Có ba loại đặc trưng được
xem xét: màu da, tóc, và những thứ khác. Hai ông dùng mạng neural về mối
tương quan cascade cho phân loại có giám sát các kết cấu và một ánh xạ đặc
trưng tự tổ chức Kohonen để gom nhóm các lớp kết cấu khác nhau. Hai tác
giả đề xuất dùng phương pháp bầu cử khi không quyết định được kết cấu đưa
vào là kết cấu của da hay kết cấu của tóc.
Manian và Ross dùng biến đổi wavelet để xây dựng tập dữ liệu kết cấu
của khuôn mặt trong ảnh xám thông qua nhiều độ phân giải khác nhau kết hợp
xác suất thông kê để xác định khuôn mặt người. Mỗi mẫu sẽ có chín đặc
trưng. Tỷ lệ chính xác là 87%, tỷ lệ xác định sai là 18%.

2.2.3 Màu sắc da
Thông thường các ảnh màu không xác định trực tiếp trên toàn bộ dữ
liệu ảnh mà các tác giả dùng tính chất sắc màu của da người (khn mặt
người) để chọn ra được các ứng viên có thể là khuôn mặt người (lúc này dữ
liệu đã thu hẹp đáng kể) để xác định khuôn mặt người.
2.2.4

Đa đặc trưng

Gần đây có nhiều nghiên cứu sử dụng các đặc trưng tồn cục như: màu
da người, kích thước, và hình dáng để tìm các ứng viên khn mặt, rồi sau đó
sẽ xác định ứng viên nào là khn mặt thơng qua dùng các đặc trưng cục bộ
(chi tiết) như: mắt, lơng mày, mũi, miệng, và tóc. Tùy mỗi tác giả sẽ sử dụng
tập đặc trưng khác nhau.
Ehsan và Jonh dùng tập hệ số Gabor wavelet ở các hướng khác nhau để
trích các đặc trưng của khn mặt. Sau đó dùng entropy cục bộ để xác định
khuôn mặt trong ảnh xám và khn mặt được chụp thẳng hay tựa thẳng nhưng
có các vị trí khác nhau. Tỷ lệ chính xác là 94%.
2.3 Phương pháp so sánh khớp mẫu
Trong so khớp mẫu, các mẫu chuẩn của khuôn mặt (thường là khuôn
mặt được chụp thẳng) sẽ được xác định trước hoặc xác định các tham số
thông qua một hàm. Từ một ảnh đưa vào, tính các giá trị tương quan so với
các mẫu chuẩn về đường viền khuôn mặt, mắt, mũi và miệng. Thông qua các
giá trị tương quan này mà các tác giả quyết định có hay khơng có tồn tại
khn mặt trong ảnh. Hướng tiếp cận này có lợi thế là rất dễ cài đặt, nhưng
không hiệu quả khi tỷ lệ, tư thế, và hình dáng thay đổi (đã được chứng minh).
Nhiều độ phân giải, đa tỷ lệ, các mẫu con, và các mẫu biến dạng được xem
xét thành bát biến về tỷ lệ và hình dáng.
a) Xác định các mẫu trước

Craw đưa ra một phương pháp xác định khuôn mặt người dựa vào các
mẫu về hình dáng của các ảnh được chụp thẳng (dùng vẻ bề ngồi của hình
dáng khn mặt) . Đầu tiên dùng phép lọc Sobel để tìm các cạnh. Các cạnh
này sẽ được nhóm lại theo một số ràng buộc. Sau đó, tìm đường viền của đầu,
q trình tương tự được lặp đi lặp lại với mỗi tỷ lệ khác nhau để xác định các
đặc trưng khác như: mắt, lơng mày, và mơi. Sau đó Craw mơ tả một phương
thức xác định dùng một tập có 40 mẫu để tìm các đặc trưng khn mặt và
điều khiển chiến lược dị tìm .
b) Các mẫu bị biến dạng


Yuille dùng các mẫu biến dạng để mơ hình hóa các đặc trưng của khn
mặt, mơ hình này có khả năng linh hoạt cho các đặc trưng khuôn mặt. Trong
hướng tiếp cận này, các đặc trưng khuôn mặt được mô tả bằng các mẫu được
tham số hóa. Một hàm năng lượng (giá trị) được định nghĩa để liên kết các
cạnh, đỉnh, và thung lũng trong ảnh để tương ứng với các tham số trong mẫu.
Mơ hình này tốt nhất khi tối thiểu hàm năng lượng qua các tham số, Mặc dù
kết quả tốt với mẫu biến dạng trong theo vết đối tượng trên đặc trưng khơng
mơ hình theo lưới, một hạn chế của hướng tiếp cận này là các mẫu biến dạng
phải được khởi tạo trong phạm vi gần các đối tượng để xác định.
2.4 Phương pháp dựa trên diện mạo
Trái ngược với các phương pháp so khớp mẫu với các mẫu đã được
định nghĩa trước bởi những chuyên gia, các mẫu trong hướng tiếp cận này
được học từ các ảnh mẫu. Một các tổng quát, các phương pháp theo hướng
tiếp cận này áp dụng các kỹ thuật theo hướng xác suất thống kê và máy học
để tìm những đặc tính liên quan của khn mặt và khơng phải là khn mặt.
Các đặc tính đã được học ở trong hình thái các mơ hình phân bố hay các hàm
biệt số nên dùng có thể dùng các đặc tính này để xác định khn mặt người.
Đồng thời, bài tốn giảm số chiều thường được quan tâm để tăng hiệu quả
tính tốn cũng như hiệu quả xác định.

Có nhiều phương pháp áp dụng xác suất thống kê để giả quyết. Một
ảnh hay một vector đặc trưng xuất phát từ một ảnh được xem như một biến
ngẫu nhiên x, và biến ngẫu nhiên có đặc tính là khn mặt hay khơng phải
khn mặt bởi cơng thức tính theo các hàm mật độ phân lớp theo điều kiện.
P(x | khuôn mặt) và P(x | ~ khn mặt)
Có thể dùng phân loại Bayes hoặc khả năng cực đại để phân loại một
ứng viên là khuôn mặt hay không phải là khuôn mặt. Không thể cài đặt trực
tiếp phân loại Bayes bởi vì số chiều của x khá cao, bởi vì P(x | khn mặt) và
P(x | ~ khuôn mặt) là đa phương thức, và chưa thể hiểu nếu xây dựng các
dạng tham số hóa một cách tự nhiên cho P(x | khuôn mặt) và P(x | ~ khn
mặt) Có khá nhiều nghiên cứu theo hướng tiếp cận này quan tâm xấp xỉ có
tham số hay khơng có tham số cho P(x | khn mặt) và P(x | ~ khuôn mặt) .
Các tiếp cận khác trong hướng tiếp cận dựa trên diện mạo là tìm một
hàm biệt số (như: mặt phẳng quyết định, siêu phẳng để tách dữ liệu, hàm


ngưỡng) để phân biệt hai lớp dữ liệu: khuôn mặt và khơng phải khn mặt.
Bình thường, các mẫu ảnh được chiếu vào khơng gian có số chiều thấp hơn,
rồi sau đó dùng một hàm biệt số (dựa trên các độ đo khoảng cách) để phân
loại, hoặc xây dựng mặt quyết định phi tuyến bằng mạng neural đa tầng. Hoặc
dùng SVM (Support Vector Machine) và các phương thức kernel, chiếu hoàn
toàn các mẫu vào khơng gian có số chiều cao hơn để dữ liệu bị rời rạc hồn
tồn và ta có thể dùng một mặt phẳng quyết định phân loại các mẫu khuôn
mặt và không phải khuôn mặt.
Dựa trên tri thức (knowledge-based)
· Đặc trưng bất biến (feature invariant)
· Đối sánh mẫu (template matching)
Dựa vào diện mạo (appearance-based) phương pháp này thường dùng
một mơ hình máy học nên cịn được gọi là phương pháp dựa trên máy học
(machine learning-based).

Dựa trên tri thức (knowledge-based)
· Đặc trưng bất biến (feature invariant)
· Đối sánh mẫu (template matching)
Dựa vào diện mạo (appearance-based) phương pháp này thường dùng
một mơ hình máy học nên cịn được gọi là phương pháp dựa trên máy học
(machine learning-based).
·Dựa trên tri thức (knowledge-based)
·Đặc trưng bất biến (feature invariant)
·Đối sánh mẫu (template matching)
Dựa vào diện mạo (appearance-based) phương pháp này thường dùng
một mô hình máy học nên cịn được gọi là phương pháp dựa trên máy học
(machine learning-based).
Dựa trên tri thức (knowledge-based)
·Đặc trưng bất biến (feature invariant)
·Đối sánh mẫu (template matching)


Dựa vào diện mạo (appearance-based) phương pháp này thường dùng
một mơ hình máy học nên cịn được gọi là phương pháp dựa trên máy học
(machine learning-based).

CHƯƠNG 3: PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC
TRƯNG KHN MẶT - PCA
3.1 Vai trị PCA trong xử lý tín hiệu nhiều chiều
3.1.1

Dữ liệu nhiều chiều

Dữ liệu nhiều chiều: dữ liệu hình ảnh (image data), dữ liệu video, dữ
liệu audio, dữ liệu văn bản (document data), dữ liệu viết tay (handwritten

data) ... Các dữ liệu này được biểu diễn bởi các thuộc tính khơng gian, thời
gian ...
-> Khái niệm: dữ liệu k – chiều là dữ liệu được hoàn toàn xác định bởi
vector các giá trị thuộc tính ( x1, ..., xk) trong khơng gian k – chiều.
3.1.2

Tín hiệu nhiều chiều

Tín hiệu nhiều chiều là tín hiệu biến thiên theo nhiều hơn 1 biến độc
lập.
Ví dụ:
+ Tín hiệu hình ảnh: ~(x,y);
+ Tín hiệu tivi đen trắng: ~(x,y,t)...
Xử lý tín hiệu nhiều chiều là việc thực hiện phép tốn trên tín hiệu
nhiều chiều, nhằm biến đổi tín hiệu, rút trích thơng tin ...
3.1.3

Vai trị PCA trong xử lý tín hiệu nhiều chiều

Dữ liệu có số chiều lớn, do đó cần phải tìm cách đưa dữ liệu về khơng
gian có chiều nhỏ hơn -> PCA là một trong những phương pháp như thế
Phép phân tích thành phần chính (PCA – Principal Component
Analyssis) là một thuật toán để được sử dụng để tạo ra một ảnh mới từ ảnh
ban đầu. Ảnh mới này có kích thước nhỏ hơn rất nhiều so với ảnh đầu vào và
vẫn mang những đặc trưng cơ bản nhất của ảnh cần nhận dạng. PCA không
quan tâm đến việc tìm ra các đặc điểm cụ thể của thực thể cần nhận dạng và
mối quan hệ giữa các đặc điểm đó. Tất cả các chi tiết đó đều được thể hiện ở
ảnh mới được tạo ra từ PCA.

Về bản chất, PCA tìm ra một khơng gian mới theo hướng biến thiên
mạng nhất của một tập hợp các vector trong không gian cho trước. Trong
không gian mới, người ta hy vọng rằng việc phân loại sẽ mang lại kết quả tốt
hơn so với không gian ban đầu.

3.2 Cơ sở toán học
3.2.1

Một số khái niệm toán học sử dụng trong PCA

Các đặc trưng số của vector ngẫu nhiên:
a)

Kỳ vọng (mean, expected value)
 Ý nghĩa: giá trị “mong muốn”, biểu diễn giá trị trung bình của một
biến.
 Biểu diễn tốn học
Với X biến ngẫu nhiên rời rạc:
µ=

b)

c)

Độ lệch chuẩn (Standard Deviation)
 Ý nghĩa: đo tính biến động của giá trị mang tính thống kê. Nó cho thấy
sự chênh lệch về giá trị của từng thời điểm đánh giá so với giá trị trung
bình.
 Biểu diễn tốn học
Phương sai (variance)

 Ý nghĩa: phương sai của một biến ngẫu nhiên là thước đo sự phân tán
thống kê của biến đó, nó hàm ý các giá trị của biến đó thương ở cách
giá trị kỳ vọng bao xa.
 Biểu diễn toán học

d)

Hiệp phương sai (covariance)
 Ý nghĩa: Là độ đo sự biến thiên cùng nhau của hai biến ngẫu nhiên
(phân biệt với phương sai – đo mức độ biến thiên của một biến) .
 Biểu thức toán học
Trường hợp đặc biệt:

Khi đó:

Trị riêng, vector riêng của ma trận hiệp phương sai
a)

Ma trận hiệp phương sai (convariance matrix)
X là vector cột, mỗi thành phần Xi là biến ngẫu nhiên có phương sai
xác định và
 Xây dựng ma trận hiệp phương sai với các thành phần Si,j là hiệp
phương sai:


b)

Trị riêng, vector riêng

 Khái niệm
Cho
Vector

là ma trận vuông.
gọi là vector riêng ứng với trị riêng

nếu:

 Tính chất
- Trị riêng là nghiệm của phương trình đặc trưng
- Một giá trị riêng có thể có nhiều vector riêng.
- Mỗi vector riêng chỉ ứng với một trị riêng duy nhất.
- Mọi trị riêng của A đều khác khơng thì A khả nghịch.
- Nếu là trị riêng của A là là trị riêng của
.
 Phương pháp giải tìm trị riêng, vector riêng
- Bước 1: giải phương trình đặc trưng tìm trị riêng
- Bước 2: Giải hệ phương trình thuần nhất tìm vectỏ riêng
3.2.2

ứng với

Thuật toán PCA

Cho ma trận

Các bước của PCA lần lượt như sau:
Bước 1: Tiền xử lí.
Bước 2: Xây dụng khơng gian mới.

Bước 3: Chuyển dữ liệu từ không gian ban đầu vào khơng gian mới.
a) Tiền xử lí


- Dữ liệu ban đầu có thể có giá trị thay đổi bất thường, do vậy cần phải có
một bước tiền xử lí để chuẩn hóa giá trị trên các cột của ma trận X.
- Có 2 cách tiền xử lí thường được dùng cho PCA
+ Centered PCA
+ Normed PCA
Centered PCA
Mang tất cả các feature (của các cột của X) về cùng một gốc tọa độ:
Sau bước tiền xử lí, ma trận
bước tiếp theo

sẽ là đầu vào cho

Trong đó n là số dòng của X, gj là giá trị trung bình
của cột thứ j của X.
Normed PCA
Mang tất cả các feature về cùng một gốc tọa độ, đồng
thời chuẩn hóa về cùng một quãng độ chênh lệch
chuẩn bằng 1:
Trong đó

là độ lệch chuẩn của cột thứ j trong X

Xét trận X có kích thước n x p, Ma trận hiệp
phương sai của X:

Tính chất:

- Các thành phần nằm trên đường chéo của Sx là phương sai của một kiểu đo
riêng biệt nào đó;
- Các thành phần khơng nằm trên đường chéo là hiệp phương sai giữa hai
kiểu đo nào đó. (tức là nói lên tính tương quan giữa hai kiểu đo, như vậy
trường hợp tốt nhất là các kiểu đo là không tương quan tức là hiệp phương
sai giữa chúng bằng 0)


Sau khi nhận được ma trận

cần biến đổi nó về ma trận Y sao cho:

là

ma

trận

đường

chéo

Thực chất là tìm phép biến đổi P:

Sử dụng tính chất:

Suy ra

Đặt:
Người ta chứng minh được: A là ma trận đối xứng và có thể phân tích dưới

dạng
Trong đó E là ma trận gịm các vector riêng của A xếp theo cột, và
Chọn
=>
=>
Do đó:

Thỏa mãn là ma trận đường chéo.
b) Xây dựng không gian mới


Tính ma trận hiệp phương sai
là ma trận positive semidefinite kích thước p x p.
Có m trị riêng
Tìm trị riêng của V theo thứ tự giảm dần
Và vector riêng tương ứng
Các vector Ui hồn tồn độc lập tuyến tính, và chính là các trục của khơng
gian mới
c) Chuyển dữ liệu (Từ không gian ban đầu vào không gian mới)
Xây dựng không gian mới từ k vector đầu tiên (từ lớn đến nhỏ) trong m
vector riêng của V(kNhư vậy gọi:

Khi đó tọa độ các điểm trong hệ tọa độ mới là
3.3 Minh họa thuật tốn PCA
GĐ 1: Tiền xử lí
 Bước 1: Thu thập dữ liệu
 Bước 2: Chuẩn hóa dữ liệu
GĐ 2: Xây dựng không gian mới
 Bước 3: Xây dựng ma trận hiệp phương sai

 Bước 4: Xác định trị riêng, vector riêng
 Bước 5: Lựa chọn các thành phần xây dụng vector đặc trưng
GĐ 3: Chuyển dữ liệu từ không gian ban đầu vào không gian mới
 Bước 6: Chuyển dữ liệu và không gian mới




3.4 Ứng dụng PCA trong nhận diện khuôn mặt
Ý tưởng chính:
Mục tiêu của phương pháp PCA là “giảm số chiều” của 1 tập vector
sao cho vẫn đảm bảo được “tối đa thông tin quan trọng nhất” . Tức Feature
selection ( giữ lại k thuộc tính nguyên gốc ban đầu).


Tất nhiên, khi loại bỏ 1 số thành phần của x để thu được y thì sẽ gây
ra sai số (lỗi) !!
 Phương pháp PCA sẽ cố gắng tìm phép biến đổi tuyến tính T thỏa: y
= T.x sao cho trung bình bình phương lỗi (MSE) là bé nhất.
Cách để tìm được T:
Gọi M là vector trung bình của tất cả các vector x trong tập mẫu.
Gọi ma trận hiệp phương sai của các phần tử x trong tập mẫu là C. C
được tính theo
cơng thức sau:

Người ta chứng minh được rằng:
“Nếu T là ma trận m hàng, mỗi hàng là 1 vector riêng của C, đồng thời
m vector riêng này phải ứng với m trị riêng lớn nhất. Khi đó T chính là phép
biến đổi thỏa MSE nhỏ nhất”.
 Nói tóm lại, phương pháp PCA quy về việc đi tìm trị riêng

(eigenvalues) và vector riêng (eigenvectors) của ma trận hiệp phương sai C
của tập mẫu X. Sau đó, ta chỉ giữ lại K vector riêng ứng với K trị riêng lớn
nhất để làm cơ sở cho không gian mới này.
Tính tốn các Eigenfaces
Bước 1:
Sử dụng các ảnh khn mặt I1, I2, … In (tập các khuôn mặt huấn luyện) với
khn mặt phải chính diện & tất cả ảnh phải cùng kích thước.


Bước 2:
Biểu diễn mọi ảnh Ii thành vector
Ví dụ: Để đơn giản ta giả sử chỉ có 4 ảnh trong tập huấn luyện (kích thước
3x3). Ta tính tốn được:

1

Bước 3:

2

3

4


Tính vector khn mặt trung bình theo cơng thức:
Cụ thể ta có:

=

Bước 4:
Trừ vector khn mặt trung bình:
Cụ thể ta có:

3214

Bước 5:
Tính ma trận hiệp phương sai (covariance) C:

1/M

C sẽ có kích thước N2xN2
Trong đó:
Cụ thể ta có:

A sẽ có kích thước là N2xM