Nhận dạng ảnh mặt người sử dụng mạng nơron

..

ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC CNTT&TT

TRẦN XUÂN TỨ

NHẬN DẠNG ẢNH MẶT NGƯỜI SỬ DỤNG MẠNG NƠRON

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Thái Ngun - 2011

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC CNTT&TT

TRẦN XUÂN TỨ

NHẬN DẠNG ẢNH MẶT NGƯỜI SỬ DỤNG MẠNG NƠRON

Chuyên ngành: Khoa học máy tính
Mã số: 60 48 01

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

NGƯỜI HƯỚNG DẪN KHOA HỌC

PGS.TS ĐỖ NĂNG TỒN

Thái Nguyên - 2011

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Lời cam đoan
Tôi xin cam đoan luận văn “Nhận dạng ảnh mặt người sử dụng mạng
nơron” này là cơng trình nghiên cứu của riêng tôi. Các số liệu sử dụng trong
luận văn là trung thực. Các kết quả nghiên cứu được trình bày trong luận văn
chưa từng được cơng bố tại bất kỳ cơng trình nào khác.
Trần Xn Tứ

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Lời cảm ơn
Tôi xin chân thành cảm ơn Thầy giáo PGS.TS Đỗ Năng Tồn đã tận
tình chỉ dạy và hướng dẫn tơi trong suốt thời gian nghiên cứu hồn thành luận
văn. Để có kết quả như ngày hơm nay cơng lao của các Thầy, Cô giáo là vô
cùng to lớn. Tôi xin chân thành cảm ơn các Thầy, Cô giáo Viện Công nghệ
thông tin và Khoa Công nghệ thông tin - Đại học Thái Nguyên đã tận tình
giảng dạy, trang bị những vốn kiến thức và kinh nghiệm quý báu để tơi có
được kết quả tốt nhất trong học tập.
Tơi xin bày tỏ lòng biết ơn sâu sắc đến gia đình, bạn bè và đồng nghiệp

đã ln giúp đỡ, động viên để tơi hồn thành tốt chương trình học và đề tài
nghiên cứu của mình.

Thái Nguyên, ngày 02 tháng10 năm 2011

Trần xuân Tứ

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




i
MỤC LỤC
Trang
Trang phụ bìa
Lời cam đoan
Mục lục .............................................................................................. i
Danh mục các ký hiệu, các chữ viết tắt ................................................... ii
Danh mục các bảng ............................................................................ iii
Danh mục các hình vẽ, đồ thị ............................................................... iv
Phần mở đầu ....................................................................................... 1
Chương 1: khái quát về xử lý ảnh và trích chọn đặc trưng .......................... 5
1.1 Khái quát về xử lý ảnh .......................................................................... 5
1.1.1 Xử lý ảnh, các vấn đề cơ bản trong xử lý ảnh.................................. 5
1.1.2 Thu nhận và biểu diễn ảnh .............................................................. 6
1.2 Trích chọn đặc trưng ............................................................................. 9
1.2.1 Phương pháp phân tích thành phần chính ........................................ 9
1.2.2 Phương pháp phân tách tuyến tính ................................................ 19
1.2.3 Phương pháp xử lý hình thái ......................................................... 22

Chương 2: Mạng nơron.......................................................................35
2.1 Giới thiệu về mạng nơ-ron .................................................................. 35
2.1.1 Lịch sử phát triển .......................................................................... 35
2.1.2 Mơ hình mạng nơ-ron nhân tạo ..................................................... 37
2.2 Phạm vi ứng dụng của mạng nơ-ron .................................................... 47
2.2.1 Các lĩnh vực ứng dụng mạng nơ-ron ............................................. 47
2.2.2 Ưu và nhược điểm của mạng nơ-ron ............................................. 48
2.3 Thuật toán học lan truyền ngược ......................................................... 48
Chương 3: Nhận dạng ảnh mặt người sử dụng mạng Nơron ...................... 53
3.1 Bài toán ............................................................................................... 53
3.2 Thiết kế hệ thống ................................................................................ 53
3.2.1 Trích chọn đặc trưng ..................................................................... 53
3.2.2 Thiết kế mạng nơron ..................................................................... 54
3.3 Chương trình ....................................................................................... 54
3.3.1 Cơ sở dữ liệu ảnh .......................................................................... 54
3.3.2 Môi trường cài đặt ........................................................................ 56
3.3.3 Cài đặt .......................................................................................... 56
3.4 Kiểm thử và đánh giá .......................................................................... 57
Phần Kết luận .................................................................................... 59
Tài liệu tham khảo .............................................................................61

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




ii

Danh mục các ký hiệu, các chữ viết tắt
LDA (Linear Discriminant Analysis): Phương pháp phân tách tuyến tính

LMS (Least Mean Square): Phương pháp bình phương trung bình tối
thiểu
ORL (Olivetti Research Laboratory, Surrey University): Cơ sở dữ liệu
ảnh dùng trong luận văn
PCA (Principal Components Analysis): Phương pháp phân tích thành
phần chính

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




iii

Danh mục các bảng
Bảng 3.1. Các module chính của chương trình ........................................56

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




iv

Danh mục các hình vẽ, đồ thị
Hình 1.1. Quá trình xử lý ảnh. ........................................................................ 5
Hình 1.2. Các bước cơ bản trong một hệ thống xử lý ảnh. .............................. 6
Hình 1.3 Quá trình hiển thị và chỉnh sửa, lưu trữ ảnh thơng qua DIB ............. 7
Hình 1.4. Sự chuyển đổi giữa các mơ hình biểu diễn ảnh ............................... 8
Hình 1.5. Ví dụ vector thường và vetor riêng ............................................... 13

Hình 1.6. Ví dụ về sự ổn định của vector riêng đối với việc lấy tỉ lệ............. 14
Hình 1.7. Ảnh gốc trong cơ sở dữ liệu ORL ................................................. 18
Hình 1.8. Ảnh sau khi biến đổi theo PCA ..................................................... 18
Hình 1.9. Ví dụ minh họa LDA .................................................................... 19
Hình 1.10. Ảnh sau khi biến đổi theo LDA .................................................. 22
Hình 1.11. Sự liên thơng .............................................................................. 23
Hình 1.12. Phép dãn ảnh nhị phân ................................................................ 26
Hình 1.13. Phép co ảnh nhị phân .................................................................. 27
Hình 1.14. Phép dãn ảnh tổng quát dựa theo phép cộng Minkowski ............. 30
Hình 1.15. So sánh các kết quả của hai phép co ảnh ..................................... 32
Hình 1.16. Ảnh sau khi xử lý hình thái ......................................................... 34
Hình 2.1. Mơ hình nơ ron sinh học ............................................................... 37
Hình 2.2. Một số dạng hàm kích hoạt của nơron .......................................... 39
Hình 2.3. Mơ hình một nơ-ron...................................................................... 42
Hình 2.4. Các thành phần cơ bản của mạng nơron nhân tạo ......................... 43
Hình 2.5. Mạng truyền thẳng một lớp ........................................................... 45
Hình 2.6. Mô tả cấu trúc của mạng nơ ron truyền thẳng nhiều lớp................ 46
Hình 2.7. Mạng một lớp có nối ngược ........................................................ 46
Hình 2.8. Mạng nhiều lớp có nối ngược ...................................................... 47
Hình 2.9. Mạng nơron l lớp .......................................................................... 49
Hình 3.1. Ảnh gốc được bổ sung ảnh gương................................................. 53
Hình 3.2. Ảnh gốc trong bộ ảnh ORL........................................................... 55
Hình 3.3. Giao diện chính của chương trình ................................................. 57

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




1

Phần mở đầu
- Đặt vấn đề:
+ Giới thiệu tổng quan về đề tài
Trong luận văn này trình bày khái quát về xử lý ảnh, các phương pháp
trích chọn đặc trưng. Mạng nơron và sử dụng mạng Nơron trong bài toán
nhận dạng ảnh mặt người.
+ Lý do chọn đề tài
Hiện nay, cùng với sự phát triển như vũ bão của công nghệ thơng tin nói
chung và sự phát triển trong lĩnh vực thị giác máy nói riêng, các hệ thống phát
hiện và nhận dạng mặt người đang ngày càng có nhiều ứng dụng trong thực tế
như vấn đề an ninh, nhận dạng người dùng trong các hệ thống bảo mật, nhận
dạng người trên các bằng lái xe, hộ chiếu, nhận dạng người trong các hệ thống
tương tác người-máy, trong lĩnh vực giải trí…
Đặc biệt sau thảm họa ngày 11/9, các chính phủ trên toàn thế giới đã bắt
đầu chú ý hơn tới các mức an ninh ở sân bay và biên giới. Ngân sách hằng
năm của các nước đã tăng lên nhiều cho các kỹ thuật hiện đại để xác định,
nhận dạng và lần theo các đối tượng nghi vấn. Nhu cầu tăng lên trong các ứng
dụng này đã giúp các nhà khoa học có thêm quỹ để phát triển các dự án
nghiên cứu. Mặc dù việc nhận dạng mặt người khơng thể chính xác được như
các phương pháp nhận dạng khác như nhận dạng vân tay, nhưng nó vẫn nhận
được sự quan tâm lớn của các nhà nghiên cứu trong lĩnh vực thị giác máy. Lý
do chủ yếu là trên thực tế, mặt người vẫn là cách truyền thống để con người
nhận ra nhau.
Trong thế kỷ 20 có rất nhiều mơ hình tính tốn mơ phỏng bộ não của
người được nghiên cứu trong đó có mạng nơron. Mạng nơ-ron có khả năng

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

2
giải quyết hàng loạt các bài tốn như tính tốn tối ưu, nhận dạng, điều khiển
và được ứng dụng trong nhiều lĩnh vực của công nghệ thông tin.
Một mạng nơron nhân tạo bao gồm một tập các đơn vị xử lý cơ bản, gọi
là nơron, chúng truyền thông tin bằng cách gửi các tín hiệu cho nhau qua các
kênh kết nối có trọng số. Mỗi nơron thực hiện một cơng việc tương đối đơn
giản: nhận tín hiệu từ các nơron lân cận hoặc từ nguồn bên ngồi, tính tốn tín
hiệu ra rồi truyền sang cho các nơron khác. Ngoài việc xử lý này, nhiệm vụ
thứ hai của nơron là điều chỉnh lại các trọng số. Hệ thống sẽ được thực hiện
song song vì nhiều nơron có thể thực hiện tính tốn ở cùng thời điểm. Xuất
phát trong hồn cảnh đó tôi đã quyết định lựa chọn đề tài: “Nhận dạng ảnh
mặt người sử dụng mạng Nơron” là một việc làm khơng chỉ có ý nghĩa khoa
học và cịn mang đận tính thực tiễn nhất khi thực tế đang đặt ra những yêu cầu
đòi hỏi.

- Nội dung nghiên cứu
+ Mục tiêu nghiên cứu và tính cấp thiết của đề tài
Đề tài nghiên cứu các phương pháp trích chọn đặc trưng, nghiên cứu về
mạng nơron và ứng dụng thuật toán lan truyền ngược để giải bài tốn nhận
dạng ảnh mặt người .
Tính cấp thiết của đề tài: Hiện nay tình trạng bất ổn về an ninh, chính trị
và nạn khủng bố trên thế giới ngày càng phức tạp do vậy vấn đề nhận dạng
người dùng trong các hệ thống bảo mật, nhận dạng người trên các bằng lái xe,
hộ chiếu, nhận dạng người trong các hệ thống tương tác người-máy, trong
lĩnh vực giải trí… càng trở nên quan trọng và cấp thiết.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

3
+ Phạm vi nghiên cứu và ứng dụng
Nghiên cứu các ứng dụng của mạng nơron trong bài toán nhận dạng ảnh
mặt người. Từ dó cài đặt chương trình phân cơng nhiệm vụ trong hệ thống
nhận dạng mặt người.
Trong khuôn khổ của đề tài chỉ tập trung nghiên cứu cơ sở lý thuyết và cài
đặt thử nghiệm chương trình trên máy tính.
+ Ý nghĩa khoa học
Tìm hiểu nhận dạng ảnh mặt người sử dụng mạng Nơron, phục vụ ứng
dụng trong thực tế như vấn đề an ninh, nhận dạng người dùng trong các hệ
thống bảo mật, nhận dạng người trên các bằng lái xe, hộ chiếu, nhận dạng
người trong các hệ thống tương tác người-máy, trong lĩnh vực giải trí . . .
+ Phương pháp nghiên cứu
Nghiên cứu lý thuyết: thu nhận từ internet, các tài liệu từ thầy hướng dẫn
Thu thập tài liệu, đọc, hiểu
Tổng hợp đánh giá, phân tích những vấn đề về cơ sở khoa học, cơ sở lý
luận của lĩnh vực nghiên cứu.
Nghiên cứu lý thuyết tổng hợp và cài đặt thử nghiệm.
+ Các kết quả dự kiến đạt được
Giới thiệu tổng quan về xử lý ảnh, bài tốn nhận dạng ảnh mặt người
Trình bày Mạng nơron, Sử dụng thuật toán Lan truyền ngược để giải bài
toán nhận dạng ảnh mặt người.
Cài đặt thử nghiệm chương trình nhận dạng ảnh mặt người.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

4

- Bố cục luận văn
Luận văn được trình bày trong 3 chương, có phần mở đầu, phần kết luận,
phần mục lục, phần tài liệu tham khảo. Các nội dung cơ bản của luận văn
được trình bày theo cấu trúc như sau:
Chương 1: Khái quát về xử lý ảnh và trích chọn đặc trưng
Trình bày khái quát về xử lý ảnh, phương pháp tích chọn đặc trưng
Chương 2: Mạng nơron
Mạng nơron nhân tạo, mơ hình mạng nơron nhân tạo, liên kết giữa các
nơron, hàm kích hoạt và quy tắc xác định tín hiệu ra. Sử dụng thuật tốn Lan
truyền ngược để giải bài toán nhận dạng ảnh mặt người.
Chương 3: Nhận dạng ảnh mặt người sử dụng mạng Nơron

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




5

Chương 1: khái quát về xử lý ảnh và trích chọn đặc trưng
1.1 Khái quát về xử lý ảnh
1.1.1 Xử lý ảnh, các vấn đề cơ bản trong xử lý ảnh
- Xử lý ảnh
Con người thu nhận thông tin qua các giác quan, trong đó thị giác đóng
vai trị quan trọng nhất. Những năm trở lại đây với sự phát triển của phần
cứng máy tính, xử lý ảnh và đồ hoạ đó phát triển một cách mạnh mẽ và có

nhiều ứng dụng trong cuộc sống. Xử lý ảnh và đồ hoạ đóng một vai trị quan
trọng trong tương tác người máy.
Quá trình xử lý ảnh được xem như là quá trình thao tác ảnh đầu vào
nhằm cho ra kết quả mong muốn. Kết quả đầu ra của một quá trình xử lý ảnh
có thể là một ảnh “tốt hơn” hoặc một kết luận.
Ảnh
Ảnh

“Tốt hơn”

XỬ LÝ ẢNH

Kết luận

Hình 1.1. Quá trình xử lý ảnh.
Ảnh có thể xem là tập hợp các điểm ảnh và mỗi điểm ảnh được xem như
là đặc trưng cường độ sáng hay một dấu hiệu nào đó tại một vị trí nào đó của
đối tượng trong khơng gian và nó có thể xem như một hàm n biến P(c1, c2,...,
c n). Do đó, ảnh trong xử lý ảnh có thể xem như ảnh n chiều.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




6
Sơ đồ tổng quát của một hệ thống xử lý ảnh:

Hệ quyết định
Thu nhận ảnh

(Scanner,
Camera,Sensor)

Tiền xử
lý

Trích chọn
đặc điểm

Đối sánh rút
ra kết luận

Hậu
xử lý
Lưu trữ

Hình 1.2. Các bước cơ bản trong một hệ thống xử lý ảnh.
- Các vấn đề cơ bản trong xử lý ảnh
+ Nắn chỉnh biến dạng
+ Khử nhiễu
+ Chỉnh mức xám
+ Trích chọn đặc điểm
+ Nhận dạng
+ Nén ảnh
1.1.2 Thu nhận và biểu diễn ảnh
- Thu nhận
Các thiết bị thu nhận ảnh bao gồm camera, scanner các thiết bị thu nhận
này có thể cho ảnh đen trắng. Các thiết bị thu nhận ảnh có 2 loại chính ứng
với 2 loại ảnh thông dụng Raster, Vector.
Các thiết bị thu nhận ảnh thông thường Raster là camera các thiết bị thu

nhận ảnh thông thường Vector là sensor hoặc bàn số hố Digitalizer hoặc
được chuyển đổi từ ảnh Raster.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




7

- Biểu diễn ảnh
Ảnh trên máy tính là kết quả thu nhận theo các phương pháp số hoá được
nhúng trong các thiết bị kỹ thuật khác nhau. Quá trình lưu trữ ảnh nhằm 2
mục đích: Tiết kiệm bộ nhớ, giảm thời gian xử lý
Việc lựa chọn độ phân giải thích hợp tuỳ thuộc vào nhu cầu sử dụng và
đặc trưng của mỗi ảnh cụ thể, trên cơ sở đó các ảnh thường được biểu diễn
theo 2 mơ hình cơ bản
+ Mơ hình Raster
Đây là cách biểu diễn ảnh thơng dụng nhất hiện nay, ảnh được biểu diễn
dưới dạng ma trận các điểm (điểm ảnh). Thường thu nhận qua các thiết bị như
camera, scanner. Tuỳ theo yêu cầu thực thế mà mỗi điểm ảnh được biểu diễn
qua 1 hay nhiều bít
Mơ hình Raster thuận lợi cho hiển thị và in ấn. Ngày nay công nghệ phần
cứng cung cấp những thiết bị thu nhận ảnh Raster phù hợp với tốc độ nhanh
và chất lượng cao cho cả đầu vào và đầu ra. Một thuận lợi cho việc hiển thị
trong môi trường Windows là Microsoft đưa ra khuôn dạng ảnh DIB (Device
Independent Bitmap) làm trung gian. Hình 1.3 thể hiện quy trình chung để
hiển thị ảnh Raster thơng qua DIB.
Paint

BMP
PCC
.
.
.

DIB

Cửa sổ
Thay đổi

Hình 1.3. Quá trình hiển thị và chỉnh sửa, lưu trữ ảnh thơng qua DIB

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




8

+ Mơ hình Vector
Biểu diễn ảnh ngồi mục đích tiết kiệm không gian lưu trữ dễ dàng cho
hiển thị và in ấn còn đảm bảo dễ dàng trong lựa chọn sao chép di chuyển tìm
kiếm… Theo những yêu cầu này kỹ thuật biểu diễn vector tỏ ra ưu việt hơn.
Trong mơ hình vector người ta sử dụng hướng giữa các vector của điểm
ảnh lân cận để mã hoá và tái tạo hình ảnh ban đầu ảnh vector được thu nhận
trực tiếp từ các thiết bị số hoá như Digital hoặc được chuyển đổi từ ảnh Raster
thơng qua các chương trình số hố
Cơng nghệ phần cứng cung cấp những thiết bị xử lý với tốc độ nhanh và
chất lượng cho cả đầu vào và ra nhưng lại chỉ hỗ trợ cho ảnh Raster. Do vậy,

những nghiên cứu về biểu diễn vectơ đều tập trung từ chuyển đổi từ ảnh
Raster.
RASTER

Vecter

VECTOR

hóa

Raster

RASTER

hóa

Hình 1.4. Sự chuyển đổi giữa các mơ hình biểu diễn ảnh

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




9

1.2 Trích chọn đặc trưng
Phần này sẽ trình bày về các phương pháp trích chọn đặc trưng được sử
dụng trong luận văn. Mục đích thứ nhất của việc trích chọn đặc trưng là giảm
số chiều của dữ liệu. Dữ liệu ảnh mặt người có số điểm ảnh lớn (cỡ vài nghìn
đến vài chục nghìn điểm ảnh), do đó cần có một phép biến đổi để giảm lượng

thông tin sử dụng để biểu diễn, đồng thời không làm mất quá nhiều thơng tin
quan trọng. Mục đích thứ hai của việc trích chọn đặc trưng là giúp phân biệt
tốt hơn đối với các mẫu dữ liệu. Các ảnh mặt người sẽ được biểu diễn trong
một khơng gian mới sao cho có thể làm nổi bật được sự khác biệt giữa các
ảnh với nhau. Các phần sau sẽ trình bày về phương pháp phân tích thành phần
chính, phương pháp phân tách tuyến tính và phương pháp xử lý hình thái ảnh
mặt người.
1.2.1 Phương pháp phân tích thành phần chính
Phương pháp phân tích thành phần chính (PCA – Principal Components
Analysis) là một kỹ thuật thống kê hữu ích trong các ứng dụng nhận dạng mặt
người và nén ảnh, đồng thời đây cũng là một kỹ thuật phổ biến cho việc tìm
kiếm các mẫu trong khơng gian dữ liệu có số chiều lớn.
Mục đích của phương pháp phân tích này có thể diễn đạt ngắn gọn như
sau: Ảnh gốc có kích thước 112×92 (10304 điểm ảnh). Những ảnh này cần
được rút gọn sao cho lượng thơng tin dùng để biểu diễn ảnh đó giảm đi, đồng
thời không làm mất những đặc điểm quan trọng nhất của khuôn mặt.
Ảnh gốc cần 10304 giá trị để biểu diễn trong khi ảnh biến đổi chỉ cần 49
giá trị.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




10

* Cơ sở toán học
- Lý thuyết thống kê
Các nhà thống kê thường quan tâm đến việc lấy mẫu trên một tập dữ liệu.
Ví dụ về cuộc bầu cử, tập dữ liệu là toàn bộ dân số trong một đất nước, trong

khi đó mẫu là một tập con của dân số nhà thống kê muốn đánh giá.
Một vấn đề lớn của thống kê học là thông qua phương pháp đánh giá một
mẫu của dân số, kết quả thống kê cho phép đánh giá được xu hướng chính của
tồn bộ dân số.
Xét một tập ví dụ X = [1 2 4 6 12 15 25 45 68 67 65 98]. Chỉ số dưới của
ký hiệu X được dùng để trỏ tới một số cụ thể trong tập. Ví dụ X3 trỏ tới số thứ
ba trong X với giá trị là 4. Lưu ý rằng X1 là số đầu tiên trong X. Ngồi ra ký
hiệu n cịn được sử dụng để chỉ tổng số các phần tử trong tập X.
Giá trị trung bình của mẫu là:
=

∑

(1.1)

Giá trị trung bình khơng thể hiện được nhiều về dữ liệu ngoại trừ điểm
trung bình. Ví dụ, hai tập sau có cùng một giá trị trung bình là 10, nhưng
chúng hồn tồn khác nhau: [0 8 12 20] và [8 9 11 12]. Sự khác nhau đó là sự
trải rộng của dữ liệu. Độ lệch chuẩn của tập dữ liệu sẽ đánh giá được sự trải
rộng của dữ liệu. Độ lệch chuẩn là khoảng cách trung bình từ điểm trung bình
của dữ liệu đến các điểm. Cơng thức tính như sau:

=

∑

(

− )
( − 1)

(1.2)

Phương sai là một hàm đo khác về sự trải rộng của dữ liệu trong một tập.
Thực tế nó gần như giống hồn tồn với độ lệch chuẩn:

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




11
=

∑

(

− )
( − 1)

(1.3)

Như vậy đây chỉ là bình phương của độ lệch chuẩn. s2 là ký hiệu thường
dùng cho phương sai của một mẫu. Cả hai phương pháp này đều đánh giá độ
trải rộng của dữ liệu. Độ lệch chuẩn là phương pháp thơng dụng hơn, bên
cạnh đó phương sai cũng được sử dụng.
Độ lệch chuẩn và phương sai chỉ thực hiện trên một chiều, do đó chúng
cũng chỉ có thể tính tốn được cho mỗi chiều của tập dữ liệu một cách độc lập
với các chiều khác. Tuy nhiên, nếu có một phương pháp đánh giá được sự

biến đổi của các chiều từ giá trị trung bình của mỗi chiều khác, khi đó sẽ rất
hữu ích đối với việc thống kê dữ liệu.
Hiệp phương sai là một phương pháp như vậy. Hiệp phương sai luôn
đánh giá giữa hai chiều. Để tính hiệp phương sai giữa một chiều với chính nó,
có thể sử dụng phương sai. Với một tập dữ liệu ba chiều (x, y, z), ta có thể
đánh giá hiệp phương sai giữa các chiều x và y, giữa y và z, giữa z và x.
Cơng thức tính hiệp phương sai gần giống với cơng thức tính phương sai.
Cơng thức tính phương sai có thể được viết lại như sau:
( )=

∑

(

− )( − )
( − 1)

(1.4)

Tương tự, công thức tính hiệp phương sai được viết như sau:
( , )=

∑

(

− )( − )
( − 1)

(1.5)

Công thức (1.5) tương tự công thức (1.4), ngoại trừ ở nhân tử thứ hai, giá
trị của X được thay bằng giá trị của Y. Việc này có thể được diễn đạt như sau:
“Với mỗi điểm dữ liệu, tính tích của độ sai khác giữa giá trị x và giá trị trung

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




12
bình của x, với độ sai khác giữa giá trị y và giá trị trung bình của y. Cộng tất
cả vào rồi chia cho (n1)”.
Từ cơng thức tính cov(X,Y) trên, bằng cách đổi chỗ hai nhân tử
(

− )( − ) ta suy ra cov(X,Y) = cov(Y,X).
Hiệp phương sai chỉ đánh giá được quan hệ giữa hai chiều. Nếu dữ liệu có

nhiều hơn hai chiều, có thể có nhiều hơn một giá trị hiệp phương sai được
tính. Ví dụ, từ một tập dữ liệu ba chiều (x, y, z) ta có thể tính cov(x,y), cov(y,z)
và cov(z,x). Với một tập dữ liệu n chiều, sẽ có (

!
)!∗

giá trị hiệp phương sai

khác nhau.
Các giá trị hiệp phương sai giữa tất cả các chiều khác nhau được tính tốn

rồi đưa vào một ma trận.
Ma trận hiệp phương sai của một tập dữ liệu n chiều là:
×

=

,

=

,

(1.6)

ở đây Cnn là ma trận n hàng, n cột và Dimi là chiều thứ i. Tồn bộ cơng thức
trên có nghĩa là với một tập dữ liệu n chiều, ma trận hiệp phương sai của dữ
liệu là ma trận n hàng, n cột (ma trận vuông) với phần tử tại hàng i, cột j là giá
trị hiệp phương sai giữa hai chiều thứ i và thứ j.
Một số điểm chú ý: Trên đường chéo chính, các giá trị chính là hiệp
phương sai giữa một chiều và chính nó, đó là phương sai của chiều đó. Điểm
thứ hai là, vì cov(a,b) = cov(b,a) nên ma trận hiệp phương sai là ma trận đối
xứng qua đường chéo chính.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




13
- Đại số ma trận

Phần này trình bày một số kiến thức cơ bản về đại số ma trận được dùng
trong PCA. Đặc biệt trong đó sẽ xét các vector riêng và giá trị riêng của một
ma trận cho trước.
Hai ma trận có thể được nhân với nhau, với điều kiện chúng có kích thước
phù hợp. Vector riêng là một trường hợp đặc biệt của việc này. Xét hai phép
nhân giữa một ma trận và một vector như hình 1.5.
ℎườ
ê

2
2
2
2

3
1
11
×
=
1
3
5
3
3
12
3
×
=
= 4×
8

1
2
2

Hình 1.5. Ví dụ vector thường và vetor riêng
Trong trường hợp thứ nhất, vector kết quả không phải là một bội số của
vector gốc, trong khi đó ở trường hợp thứ hai, vector kết quả bằng đúng 4 lần
vector gốc. Vector

3
(trường hợp thứ hai) biểu diễn một mũi tên từ gốc
2

(0,0) đến điểm (3,2). Ma trận bên cạnh là ma trận vng, có thể coi như một
ma trận biến đổi. Nếu nhân ma trận này vào phía trái của vector, kết quả sẽ là
một vector khác đã được biến đổi từ vị trí gốc của nó. Vector này (và tất cả
các bội số của nó, vì chiều dài của vector không ảnh hưởng đến kết quả) là
một vector riêng của ma trận biến đổi đó.
Các vector riêng có một số tính chất. Thứ nhất, vector riêng chỉ có thể
được xác định được đối với các ma trận vuông. Không phải mọi ma trận
vng đều có vector riêng. Nếu một ma trận nn có vector riêng thì số lượng
đó là n.
Thứ hai, khi nhân vector riêng với một số nào đó, vector kết quả vẫn sẽ
bằng đúng số lần như vậy của vector gốc (hình 1.6). Lý do là khi lấy một tỉ lệ

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

14
nào đó của vector, chỉ đơn giản độ dài của nó bị thay đổi, khơng ảnh hưởng
đến chiều của vector. Cuối cùng, mọi vector riêng của một ma trận là trực
giao, nghĩa là chúng vng góc với nhau, bất kể dữ liệu có bao nhiêu chiều.
Điều này rất quan trọng bởi vì nó có ý nghĩa lớn khi biểu diễn dữ liệu theo các
vector trực giao này thay vì biểu diễn theo các trục x và y.
3
6
=
2
4
2 3
6
24
6
×
=
= 4×
2 1
4
16
4
2×

Hình 1.6. Ví dụ về sự ổn định của vector riêng đối với việc lấy tỉ lệ
Giá trị riêng có quan hệ chặt chẽ với vector riêng. Thực tế là trên hình 1.5
đã xuất hiện một giá trị riêng. Trong cả hai ví dụ trên, số lần vector gốc được
tăng lên sau khi nhân với ma trận vuông luôn cố định, số lần này là 4. Vậy 4
là giá trị riêng ứng với vector riêng đó. Khơng cần biết bội số nào của vector
riêng đã được lấy trước khi đem nhân với ma trận vuông, vector kết quả nhận

được luôn bằng 4 lần vector gốc (hình 1.6).
Hiện nay có rất nhiều thư viện tốn học hỗ trợ việc tìm các vector riêng và
giá trị riêng của các ma trận, ví dụ gói phần mềm newmat trên trang web
hay các bộ cơng cụ trong thư viện lập trình của
MATLAB.

* Phương pháp PCA
Phương pháp phân tích thành phần chính cho phép xác định các mẫu
trong một tập dữ liệu và biểu diễn dữ liệu theo cách có thể làm nổi bật được
sự giống nhau và khác nhau giữa các mẫu. Vì các mẫu có thể rất khó tìm ra
trong dữ liệu nhiều chiều (do không thể biểu diễn trực quan bằng đồ họa), nên
PCA là một công cụ hữu hiệu để phân tích dữ liệu. Phương pháp này bao gồm
một số bước cơ bản sau:

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




15
Bước 1: Lấy dữ liệu
Bước 2: Hiệu chỉnh theo giá trị trung bình
Để tính PCA thuận lợi, các giá trị trên mỗi chiều của dữ liệu sẽ được trừ
đi giá trị trung bình của chiều đó. Tất cả các giá trị x bị trừ đi ̅ (trung bình
giá trị x của tất cả các điểm) và tất cả các giá trị y bị trừ đi

(trung bình giá trị

y của tất cả các điểm). Tập dữ liệu nhận được có giá trị trung bình là 0.
Bước 3: Tính ma trận hiệp phương sai

Bước 4: Tính vector riêng và giá trị riêng của ma trận hiệp phương sai

Vì ma trận hiệp phương sai vng nên có thể tính vector riêng và giá trị
riêng của ma trận này. Chúng cho biết những thông tin hữu ích về dữ liệu.
Điều lưu ý quan trọng rằng các vector riêng ở đây đều là vector đơn vị,
nghĩa là độ dài của chúng bằng 1. Điều này rất quan trọng trong PCA. Hầu hết
các gói phần mềm tốn học, khi tính vector riêng đều trả về kết quả là các
vector đơn vị.
Bước 5: Chọn các thành phần và xác lập vector đặc trưng
Các vector riêng và giá trị riêng tính được ở phần trước với các giá trị
riêng khá khác nhau. Vector riêng ứng với giá trị riêng cao nhất sẽ là thành
phần chính của tập dữ liệu.
Một cách tổng quát, sau khi tìm được các vector riêng từ ma trận hiệp
phương sai, bước tiếp theo là sắp xếp chúng theo giá trị riêng, từ cao đến thấp.
Nghĩa là các thành phần được sắp xếp theo thứ tự tầm quan trọng giảm dần.
Khi đó, các thành phần ít có ý nghĩa có thể được bỏ qua nếu cần. Một số
thơng tin đã bị lược bỏ, nhưng vì giá trị riêng của chúng nhỏ nên dữ liệu
không bị mất nhiều. Khi bỏ qua một số thành phần, dữ liệu thu được sẽ có số
chiều ít hơn dữ liệu gốc. Nói cách khác, nếu dữ liệu gốc có n chiều, sau khi

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




16
tính được n vector riêng và giá trị riêng, p vector riêng đầu tiên được chọn,
khi đó dữ liệu cuối cùng chỉ còn p chiều.
Tiếp theo cần xác lập một vector đặc trưng, thực chất là tên gọi của một
ma trận các vector. Vector này được xây dựng bằng cách lấy các vector riêng

muốn giữ lại, rồi đặt chúng theo các cột để tạo thành ma trận:
_Đặ _ ư

=(

..

)

(1.7)

Bước 6: Xác định tập dữ liệu mới
Bước này là bước cuối cùng trong PCA đồng thời là bước đơn giản nhất.
Sau khi các thành phần (vector riêng) được chọn để giữ lại trong dữ liệu và
thiết lập vector đặc trưng, tiến hành chuyển vị vector và nhân vào phía trái tập
dữ liệu gốc đã chuyển vị.
Dữ_liệu_cuối = Vector_Đặc_trưng  Dữ_liệu_điều_chỉnh
trong đó:
 Vector_Đặc_trưng là ma trận với các vector riêng trong các cột đã
chuyển vị sao cho chúng nằm theo các hàng, với vector riêng ý nghĩa
nhất nằm trên cùng.
 Dữ_liệu_điều_chỉnh là dữ liệu đã được điều chỉnh theo giá trị trung
bình sau đó chuyển vị, nghĩa là các dữ liệu nằm trên mỗi cột, với mỗi
hàng theo mỗi chiều khác nhau.
 Dữ_liệu_cuối là tập dữ liệu cuối cùng, với các điểm dữ liệu nằm theo
cột, còn các chiều là theo hàng.
Kết quả là dữ liệu gốc được biểu diễn chỉ theo các vector đã chọn. Tập dữ
liệu gốc có hai trục x, y và dữ liệu được biểu diễn theo chúng. Dữ liệu cũng có
thể được biểu diễn theo bất kỳ trục nào trong số đó. Nếu các trục này vng
góc với nhau thì việc biểu diễn là hiệu quả nhất. Đó là tầm quan trọng của sự

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




17
trực giao của các vector riêng. Dữ liệu đã được biểu diễn theo hai vector riêng
thay vì biểu diễn theo các trục x và y. Trong trường hợp tập dữ liệu mới được
giảm về số chiều, nghĩa là bỏ qua một số vector riêng, dữ liệu mới chỉ được
biểu diễn theo các vector đã chọn.
Bây giờ là việc áp dụng phân tích thành phần chính đối với tập dữ liệu
ảnh. Trong luận văn, tập dữ liệu ảnh được lấy từ cơ sở dữ liệu ORL (Olivetti
Research Laboratory, Surrey University). Mỗi ảnh có kích thước 112×92, có
thể được coi là một vector 10304 chiều, hoặc tương đương với một điểm
trong không gian 10304 chiều. Hình 1.7 là một số ảnh gốc trong cơ sở dữ liệu.
Áp dụng PCA để giảm số chiều của không gian khổng lồ trên, kết quả thu
được là các ảnh đã được biến đổi sau khi phân tích theo các thành phần đặc
trưng, các vector riêng được chọn theo các giá trị riêng tương ứng có giá trị
lớn hơn 10-3, số lượng vector riêng là 49, nghĩa là mỗi ảnh biểu diễn một điểm
trong không gian 49 chiều (hình 1.8).

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên