Phân tích dáng đi người sử dụng thông tin đường bao

ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC BÁCH KHOA

TRẦN ANH TÚ

PHÂN TÍCH DÁNG ĐI NGƯỜI SỬ DỤNG
THÔNG TIN ĐƯỜNG BAO

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Đà Nẵng – Năm 2017


ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC BÁCH KHOA

TRẦN ANH TÚ

PHÂN TÍCH DÁNG ĐI NGƯỜI SỬ DỤNG
THÔNG TIN ĐƯỜNG BAO

Chuyên ngành: Khoa học máy tính
Mã số: 60480101

LUẬN VĂN THẠC SĨ

NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. HUỲNH HỮU HƯNG

Đà Nẵng – Năm 2017

i
LỜI CAM ĐOAN
Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi dưới sự hướng dẫn
trực tiếp của TS. Huỳnh Hữu Hưng.
Mọi tham khảo dùng trong luận văn đều được trích dẫn rõ ràng tên tác giả, tên
công trình, thời gian, địa điểm công bố.
Mọi sao chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, tôi xin chịu
hoàn toàn trách nhiệm.
Tác giả

Trần Anh Tú


ii
MỤC LỤC

LỜI CAM ĐOAN .................................................................................................................. i
MỤC LỤC............................................................................................................................. ii
DANH MỤC CÁC TỪ VIẾT TẮT ..................................................................................... v
DANH MỤC CÁC BẢNG ................................................................................................. vii
DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ .......................................................................... viii
MỞ ĐẦU ............................................................................................................................... 1
1. Lý do chọn đề tài .............................................................................................................. 1
2. Mục đích và nhiệm vụ nghiên cứu.................................................................................. 1
2.1. Mục đích nghiên cứu ............................................................................................. 1
2.2. Nhiệm vụ nghiên cứu ............................................................................................. 1
3. Đối tượng và phạm vi nghiên cứu .................................................................................. 1
3.1. Đối tượng nghiên cứu ............................................................................................ 1
3.2. Phạm vi nghiên cứu ............................................................................................... 2
4. Phương pháp nghiên cứu ................................................................................................ 2

4.1. Phương pháp lý thuyết .......................................................................................... 2
4.2. Phương pháp thực nghiệm.................................................................................... 2
5. Giải pháp đề xuất ............................................................................................................. 2
6. Ý nghĩa khoa học và thực tiễn của đề tài ....................................................................... 3
6.1. Ý nghĩa khoa học của đề tài .................................................................................. 3
6.2. Ý nghĩa thực tiễn của đề tài .................................................................................. 3
7. Kết quả dự kiến ................................................................................................................ 3
8. Cấu trúc luận văn ............................................................................................................ 3
CHƯƠNG 1 - NGHIÊN CỨU TỔNG QUAN ................................................................... 5
1.1. GIỚI THIỆU CHUNG VỀ XỬ LÝ ẢNH ................................................................... 5
1.2. TỔNG QUAN CÁC VẤN ĐỀ CƠ BẢN TRONG XỬ LÝ ẢNH .............................. 5
1.2.1. Nắn chỉnh biến dạng ........................................................................................... 5
1.2.2. Khử nhiễu ............................................................................................................ 6
1.2.3. Chỉnh mức xám ................................................................................................... 6
1.2.4. Trích chọn đặc trưng .......................................................................................... 7
1.2.5. Nhận dạng ........................................................................................................... 7
1.2.6. Nén ảnh ................................................................................................................ 8
1.3. CÁC GIAI ĐOẠN TRONG DÁNG ĐI Ở NGƯỜI .................................................... 9
1.3.1. Giai đoạn tựa (chống) ....................................................................................... 10
1.3.2. Giai đoạn đu đưa .............................................................................................. 11
1.3. QUÁ TRÌNH XỬ LÝ VÀ NHẬN DẠNG DÁNG ĐI ............................................... 12
1.3.1. Các giai đoạn của hệ thống nhận dạng dáng đi ............................................. 12
1.3.2. Dữ liệu vào ......................................................................................................... 13
1.3.3. Tiền xử lý ........................................................................................................... 13


iii
1.3.4. Trích chọn đặc trưng ........................................................................................ 17
1.3.5. Nhận dạng ......................................................................................................... 18
1.4. CÁC ỨNG DỤNG DỰA TRÊN PHÂN TÍCH DÁNG ĐI ....................................... 18

1.4.1. Ứng dụng trong lĩnh vực an ninh .................................................................... 18
1.4.2. Ứng dụng trong lĩnh vực bảo mật ................................................................... 19
1.4.3. Ứng dụng trong lĩnh vực y tế ........................................................................... 19
1.5. NHỮNG THÁCH THỨC TRONG NHẬN DẠNG DÁNG ĐI ............................... 20
1.5.1. Bài toán có quá nhiều chiều ............................................................................. 20
1.5.2. Hiện tượng bị che khuất ................................................................................... 20
1.5.3. Môi trường không kiểm soát ........................................................................... 20
1.5.4. Nhận diện thời điểm bắt đầu và kết thúc ở một thì ....................................... 21
1.5.5. Lựa chọn đặc trưng phù hợp ........................................................................... 21
1.5.6. Tốc độ xử lý và tính chính xác trong nhận dạng ........................................... 21
1.6. KẾT LUẬN CHƯƠNG 1 ........................................................................................... 21
CHƯƠNG 2 - PHÁT HIỆN VÀ PHÂN TÍCH DÁNG ĐI DỰA TRÊN THÔNG TIN
ĐƯỜNG BAO ..................................................................................................................... 22
2.1. TIỀN XỬ LÝ ............................................................................................................... 22
2.1.1. Phát hiện chuyển động và truy dấu ................................................................ 22
2.1.2. Mô hình nền (Background Modeling) ............................................................ 22
2.1.3. Sự khác biệt (Differencing) .............................................................................. 23
2.1.4. Hậu xử lý và truy dấu....................................................................................... 23
2.2. Trích chọn đặc trưng .................................................................................................. 25
2.2.1. Biểu diễn đường bao (Silhouette) .................................................................... 25
2.2.2. Huấn luyện và phép chiếu (Projection) .......................................................... 26
2.2.3. Đặc trưng HOG ................................................................................................ 29
2.3. KỸ THUẬT NHẬN DẠNG ........................................................................................ 30
2.3.1. Đo lường sự tương tự (Similarity Measures) ................................................. 30
2.3.2. Phân lớp ............................................................................................................. 33
2.3.3. Kỹ thuật sử dụng mạng nơ-ron nhân tạo - ANN ........................................... 34
2.3.4. Kỹ thuật sử dụng máy vector hỗ trợ - SVM................................................... 36
2.3.5. Sử dụng mô hình Markov ẩn - HMM ............................................................. 38
2.3. KẾT LUẬN CHƯƠNG 2 ........................................................................................... 39
CHƯƠNG 3: THỰC NGHIỆM VÀ ĐÁNH GIÁ ............................................................ 40

3.1. THU THẬP DỮ LIỆU ................................................................................................ 40
3.2. TRIỂN KHAI CÀI ĐẶT ............................................................................................ 40
3.2.1. Tiền xử lý ........................................................................................................... 40
3.2.2. Trích chọn đặc trưng ........................................................................................ 41
3.2.3. Huấn luyện ........................................................................................................ 44
3.2.4. Triển khai nhận dạng trên nền tảng di động ................................................. 46


iv
3.3. KẾT QUẢ THỰC NGHIỆM ..................................................................................... 49
3.3.1. Kết quả huấn luyện .......................................................................................... 49
3.3.2. Kết quả nhận dạng ........................................................................................... 52
3.3.3. So sánh với các phương pháp khác ................................................................. 52
3.4. NHẬN XÉT KẾT QUẢ .............................................................................................. 53
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ........................................................................ 54
TÀI LIỆU THAM KHẢO ................................................................................................. 55


v
PHÂN TÍCH DÁNG ĐI NGƯỜI SỬ DỤNG THÔNG TIN ĐƯỜNG BAO
Học viên: Trần Anh Tú

Chuyên ngành: Khoa học máy tính

Mã số: 60480101

Trường Đại học Bách khoa – ĐHĐN

Khóa: 32

Tóm tắt – Ngày nay, các nghiên cứu trong lĩnh vực thị giác máy tính hỗ trợ rất nhiều cho
công tác y tế, đặc biệt là các nghiên cứu phân tích dáng đi giúp nhận dạng một đối tượng
hoặc phân tích dáng đi của bệnh nhân. Trong luận văn này này đề xuất giải pháp phân tích
dáng đi sử dụng thông tin đường bao, sau đó nhận dạng và đưa ra kết quả dựa trên dữ liệu
đã phân lớp. Quá trình xử lý bao gồm các bước: (1) thu nhận các đặc trưng đường biên cơ
thể thông qua việc sử dụng camera hoặc tập dữ liệu mẫu; (2) tính toán các thông số đặc
trưng đặc trưng của đường bao; (3) huấn luyện dữ liệu đặc trưng và thu được mô hình dữ
liệu đã phân lớp; (4) tiến hành nhận dạng và so sánh dữ liệu nhận dạng với dữ liệu đã phân
lớp để đưa ra kết luận.
Từ khóa – Nhận dạng dáng đi, nhận dạng dáng đi người, định danh người, phân tích đường
bao, phân tích dáng đi.

SILHOUETTE ANALYSIS-BASED GAIT RECOGNITION
Abstract - Nowadays, visual computing studies support a great deal of medical work,
especially gait analysis studies that help identify an object or analyze the gait of a patient.
This thesis proposes a parsimensional solution that uses envelope information, then
identifies and outputs based on classified data. The process consists of the following steps:
(1) acquiring bodily features through the use of Kinect; (2) calculation of characteristic
parameters including joint location and envelope characteristics; (3) specific data training
and obtained stratified data model; (4) Identify and compare identifiers with classed data
to make conclusions.
Key words – Gait recognition, human gait recognition, human identification, silhouette
analysis, gait analysis.


vi
DANH MỤC CÁC TỪ VIẾT TẮT
2D

Two Dimension

3D

Three Dimension

ANN

Artificial Neural Network

BPNN

Back propagation neural network

CSDL

Cơ sở dữ liệu

DoG

Difference of Gaussian

HMM

Hidden Markov Model

HOG

Histogram Orientation Gradient

K-NN

K-Nearest Neighbors

MEM

Maximum Entropy Model

MLP

Multi-layer Perceptrons

PCA

Principal Components Analysis

RGB

Red-Green-Blue

SIFT

Scale Invariant Feature Transforms

SV

Support vector

SVM

Support Vector Machines

VR

Virtual reality

THPT

Trung học phổ thông

PCA

Principal Component Analysis


vii
DANH MỤC CÁC BẢNG
Số hiệu bảng
3.1

Tên bảng
So sánh độ chính xác với các phương pháp khác

Trang
53


viii
DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ
Số hiệu
hình vẽ

0.1
1.1
1.2
1.3
1.4
1.5
1.6
1.7
1.8
1.9
1.10
1.11
1.12

Tên hình vẽ

Trang
3
6
7
9
9
11
12
13
14
15
15
16
17

2.5
2.6
2.7

Sơ đồ phương pháp dự kiến
Quá trình xử lý ảnh
Ảnh thu nhận và ảnh mong muốn
Các thì của dáng đi bình thường
Mô tả khung xương chân cho giai đoạn chống
Mô tả khung xương chân cho giai đoạn đu đưa
Các giai đoạn của hệ thống nhận dạng dáng đi
Một số hình ảnh các gian đoạn của bước chân
Ví dụ chuyển ảnh RGB sang ảnh nhị phân
Ví dụ về quá trình chuyển đổi ảnh và lọc nhiễu
Phân đoạn ảnh dựa trên ngưỡng của lược đồ mức xám
Mô tả tách biên từ ảnh nhị phân
Phân đoạn dựa theo vùng
Một ví dụ về đối tượng ở sân bay không thể nhận dạng
khuôn mặt
Một mô hình nhận diện dáng đi để mở khoá cửa tự động
Một ví dụ về phân tích dáng đi trong y học
Ví dụ của tách đường bao đang chuyển động
Sự thay đổi của các đường bao trong một mẫu dáng đi
Biểu diễn đường bao
Minh họa PCA: tìm các trục tọa độ mới sao cho dữ liệu có
độ biến thiên cao nhất
Ảnh sau khi tính gradient và chia thành các cell
Phân tích chu kì dáng đi
Phân lớp dựa vào thuật toán K-NN

2.8

Mô hình nơ-ron sinh học

35

2.9
2.10

36
36

2.12

Mô hình cấu trúc một nơ-ron trong ANN
Học sửa lỗi thông qua các điều chỉnh trọng số
Ánh xạ dữ liệu từ không gian gốc sang không gian đặc
trưng cho phép phân chia dữ liệu bởi siêu phẳng
Siêu phẳng tối ưu với mức lề cực đại

2.13

Ví dụ về quá trình phân lớp của SVM đa lớp

38

2.14

Tham số xác suất của một mô hình Markov ẩn

39

1.13
1.14
1.15
2.1
2.2
2.3
2.4

2.11

19
20
20
24
25
26
29
30
32
34

37
38


ix
3.1

41

3.3
3.4

Một số ví dụ về dữ liệu gốc từ camera
Ba vector đặc trưng đầu tiên cho mỗi góc nhìn được tạo bởi
quá trình huấn luyện
Mô hình nhận dạng dáng đi
Giao diện ứng dụng nhận dạng iOS

3.5

Kết quả bước đầu tiên của quá trình huấn luyện

49

3.6

Kết quả sau khi huấn luyện 2000 bước
Biểu đồ tương quan giữa độ chính xác và số bước huấn
luyện
Biểu đồ tương quan giữa cross-entropy và số bước huấn
luyện
Biểu đồ luồng dữ liệu huấn luyện

50

3.2

3.7
3.8
3.9

43
47
48

52
52
53


1
MỞ ĐẦU
1. Lý do chọn đề tài
Các phương pháp sinh trắc học để nhận diện con người dựa trên đặc điểm sinh
lý/hành vi của đối tượng như nhận dạng khuôn mặt, giọng nói, mống mắt, vân tay, hình
dạng tay và dáng đi, đã và đang đóng vai trò ngày càng quan trọng trong việc nhận dạng
con người dựa trên tính phổ biến và độc đáo của chúng.
Nhận dạng dựa trên dáng đi là một công nghệ sinh trắc học sử dụng để nhận dạng
con người từ dáng đi và kích thước cơ thể. Ưu điểm của phương pháo này là dáng đi
khó có thể thay đổi, khó có thể bắt chước trong một thời gian dài liên tục [4]. Không
giống như các phương pháp sinh trắc học khác như ngón tay, mống mắt mặc dù khó
nhưng vẫn có thể thay đổi được. Nhận dạng dáng đi có thể được sử dụng ở một khoảng
cách tương đối lớn mà không bị phát hiện bởi đối tượng.
Như vậy chúng ta có thể thấy được ưu điểm của nhận dạng dáng đi so với các
phương pháp sinh trắc học khác. Tuy nhiên, các phương pháp phổ thông hiện nay chỉ sử
dụng dữ liệu 2D có độ chính xác không cao [3].

Từ những lí do trên, tôi đề xuất chọn đề tài luận văn cao học là: “Phân tích dáng
đi người sử dụng thông tin đường bao” dự kiến có thể nâng cao độ chính xác bằng
cách sử dụng thông tin đường bao (Silhouette) với một hoặc nhiều camera.
2. Mục đích và nhiệm vụ nghiên cứu
2.1. Mục đích nghiên cứu
Mục tiêu chính của đề tài là sử dụng một hoặc nhiều camera để ghi nhận quá trình
chuyển động của đối tượng, sau đó trích thông tin đặc trưng, từ đó phân tích dáng đi.
2.2. Nhiệm vụ nghiên cứu
-

Luận văn tập trung nghiên cứu những vấn đề sau:
Tìm hiểu các loại camera và bộ SDK hỗ trợ ghi nhận dáng đi.
Nghiên cứu các phương pháp phân tích dáng đi.
Nghiên cứu phương pháp mới hoặc cải tiến phương pháp cũ sử dụng một hoặc
nhiều camera và sử dụng dữ liệu đường bao, sau đó phân tích và đánh giá.
Triển khai thực nghiệm để kiểm chứng kết quả.

3. Đối tượng và phạm vi nghiên cứu
3.1. Đối tượng nghiên cứu
Luận văn tập trung tìm hiểu những vấn đề sau:
- Khung hình hoặc đoạn video thu được từ camera hoặc từ các bộ dữ liệu có sẵn.
- Các phương pháp huấn luyện học máy.
- Các phương pháp nhận dạng dựa trên dáng đi.


2
3.2. Phạm vi nghiên cứu
Luận văn tập trung trong phạm vi: nghiên cứu phân tích dáng đi với dữ liệu từ
camera hoặc dữ liệu có sẵn, cụ thể là dáng đi bình thường ở tư thế đứng.
4. Phương pháp nghiên cứu

4.1. Phương pháp lý thuyết
-

Luận văn tập trung nghiên cứu một số lý thuyết như sau:
Tìm hiểu các tài liệu hiện có về nhận dạng sinh trắc học khác nhau.
Tìm hiểu các phương pháp trích chọn đặc trưng khác nhau.
Tìm hiểu các tài liệu hiện có về nhận dáng dáng đi khác nhau.
Nghiên cứu bài báo liên quan.

4.2. Phương pháp thực nghiệm
Luận văn nghiên cứu một số vấn đề về thực nghiệm như sau:
- Ghi nhận dữ liệu từ camera hoặc sử dụng dữ liệu có sẵn
- Phân tích và đánh giá dữ liệu ở trên để kiểm chứng và so sánh tính hiệu quả với
các phương pháp khác
5. Giải pháp đề xuất
Quá trình xử lý và các phương pháp dự kiến được nghiên cứu sử dụng:

Hình 0.1 – Sơ đồ phương pháp dự kiến
• Tiền xử lý: Từ dữ liệu thu nhận được ta thực hiện xử lý ảnh cơ bản bao gồm: căn
chỉnh ảnh, chuẩn hóa ánh sáng, loại bỏ nhiễu, tách ngưỡng, lọc tần số, lọc màu da...
• Trích chọn đặc trưng: Có thể dựa vào đặc điểm không gian (phân bố mức xám,
phân bố xác suất, biên độ, điểm uốn…), đặc điểm biến đổi, đặc điểm biên và đường


3
biên… của ảnh để trích chọn đặc trưng phù hợp với mục đích nhận dạng. Mục tiêu của
trích chọn đặc trưng là dựa trên các tín hiệu thu được để mô tả các đối tượng bằng các
giá trị xấp xỉ bằng nhau đối với các đối tượng cùng loại, và khác xa nhau nếu khác loại.
Số lượng đặc trưng càng ít càng tốt. Đầu ra của công đoạn này được gọi là véc tơ đặc
trưng của đối tượng.

• Huấn luyện hệ thống: Dựa trên các thông số sau khi trích chọn đặc trưng từ các
dữ liệu, có thể sử dụng các phương pháp học máy như: Mạng nơ-ron nhân tạo (Artificial
Neural Network- ANN), Mô hình Markov ẩn (Hidden Markov Model - HMM), máy
vector hỗ trợ (Support Vector Machines - SVM), mô hình cực đại hóa Entropy
(Maximum Entropy Model - MEM) … để huấn luyện tập dữ liệu, đồng thời sử sụng các
phương pháp đánh giá chất lượng của tập dữ liệu. Kết quả thu được là cơ sở dữ liệu đã
được phân lớp.
• CSDL đã phân lớp: Tập dữ liệu đạt chất lượng cao đã được huấn luyện và đánh
giá ở bước huấn luyện hệ thống.
• Nhận dạng dáng đi: Thực hiện việc so khớp giữa các véc tơ đặc trưng được trích
chọn ở dữ liệu người dùng với các đặc trưng đã được huấn luyện và đánh giá (trong
CSDL đã phân lớp) ở tập dữ liệu mẫu phục vụ quá trình nhận dạng, đưa ra kết luận mẫu
nhận dạng thuộc phân lớp nào.
6. Ý nghĩa khoa học và thực tiễn của đề tài
6.1. Ý nghĩa khoa học của đề tài
Về mặt khoa học, đề tài sẽ mang ý nghĩa cung cấp về mặt lý thuyết và phương
pháp phân tích dáng đi, được áp dụng trong các hướng nghiên cứu sâu hơn, cụ thể hơn.
6.2. Ý nghĩa thực tiễn của đề tài
Về mặt thực tiễn, kết quả đề tài có thể được ứng dụng trong các hệ thống an ninh
để nhận dạng các đối tượng cần thiết, và trong lĩnh vực y tế để chuẩn đáng các căn bệnh
liên quan tới khung xương thông qua dáng đi.
7. Kết quả dự kiến
Luận văn dự kiến sẽ đạt được những kết quả sau:
- Hiểu được các kĩ thuật xử lý ảnh và học máy cơ bản
- Đưa ra được giải pháp cho vấn đề phân tích/nhận dạng dáng đi một cách hiệu
quả.
- Xây dựng chương trình thực nghiệm phân tích/nhận dạng dáng đi để kiểm chứng.
8. Cấu trúc luận văn
Nội dung của luận văn được trình bày với các phần chính như sau:
Mở đầu

4
Chương 1 - Nghiên cứu tổng quan: Chương này trình bày một số vấn đề liên
quan tới phân tích dáng đi như các lý thuyết về nhận dạng dáng đi, các phương pháp
xử lí ảnh, các ứng dụng dựa trên nhận dạng dáng đi.
Chương 2 - Phát hiện và phân tích dáng đi dựa trên thông tin đường bao:
Trong chương này trình bày cách phát hiện phân đoạn dáng đi thành chu kì, một số kỹ
thuật trích chọn đặc trưng thường được sử dụng để phục vụ cho bài toán nhận dạng.
Đồng thời giới thiệu một số kỹ thuật nhận dạng dáng đi phổ biến như: K-NN, SVM, ANN
và HMM.
Chương 3 - Triển khai và nhận xét: Chương này trình bày về việc xây dựng hệ
thống phân tích và nhận dạng dáng đi.
Kết luận và hướng phát triển.


5
CHƯƠNG 1 - NGHIÊN CỨU TỔNG QUAN
1.1. GIỚI THIỆU CHUNG VỀ XỬ LÝ ẢNH
Con người thu nhận thông tin qua các giác quan, trong đó thị giác đóng vai trò
quan trọng nhất. Những năm trở lại đây với sự phát triển của phần cứng máy tính, xử lý
ảnh và đồ hoạ đó phát triển một cách mạnh mẽ và có nhiều ứng dụng trong cuộc sống.
Xử lý ảnh và đồ hoạ đóng một vai trò quan trọng trong tương tác người máy.
Quá trình xử lý ảnh được xem như là quá trình thao tác ảnh đầu vào nhằm cho ra
kết quả mong muốn. Kết quả đầu ra của một quá trình xử lý ảnh có thể là một ảnh “tốt
hơn” hoặc một kết luận. [2]

Hình 1.1 - Quá trình xử lý ảnh
Ảnh có thể xem là tập hợp các điểm ảnh và mỗi điểm ảnh được xem như là đặc
trưng cường độ sáng hay một dấu hiệu nào đó tại một vị trí nào đó của đối tượng trong

không gian và nó có thể xem như một hàm n biến P (c1, c2..., cn). Do đó, ảnh trong xử
lý ảnh có thể xem như ảnh n chiều.
1.2. TỔNG QUAN CÁC VẤN ĐỀ CƠ BẢN TRONG XỬ LÝ ẢNH
Ảnh và điểm ảnh: Điểm ảnh được xem như là dấu hiệu hay cường độ sáng tại
một toạ độ trong không gian của đối tượng và ảnh được xem như là 1 tập hợp các điểm
ảnh. Mức xám, màu: Là số các giá trị có thể có của các điểm ảnh của ảnh.
1.2.1. Nắn chỉnh biến dạng
Ảnh thu nhận thường bị biến dạng do các thiết bị quang học và điện tử.

Hình 1.2 - Ảnh thu nhận và ảnh mong muốn [2]


6
Để khắc phục người ta sử dụng các phép chiếu, các phép chiếu thường được xây
dựng trên tập các điểm điều khiển.

Giả sử ảnh bị biến đổi chỉ bao gồm: Tịnh tiến, quay, tỷ lệ, biến dạng bậc nhất tuyến
tính. Khi đó hàm f có dạng:
f (x, y) = (a1x + b1y + c1, a2x + b2y + c2)
Ta có:

Giải hệ phương trình tuyến tính tìm được a1, b1, c1 Tương tự tìm được a2, b2, c2
Xác định được hàm f
1.2.2. Khử nhiễu
Có 2 loại nhiễu cơ bản trong quá trình thu nhận ảnh
-

Nhiều hệ thống: là nhiễu có quy luật có thể khử bằng các phép biến đổi
Nhiễu ngẫu nhiên: vết bẩn không rõ nguyên nhân → khắc phục bằng các phép
lọc

1.2.3. Chỉnh mức xám
Nhằm khắc phục tính không đồng đều của hệ thống gây ra. Thông thường có 2
hướng tiếp cận:


7
-

-

Giảm số mức xám: Thực hiện bằng cách nhóm các mức xám gần nhau thành một
bó. Trường hợp chỉ có 2 mức xám thì chính là chuyển về ảnh đen trắng. Ứng
dụng: In ảnh màu ra máy in đen trắng.
Tăng số mức xám: Thực hiện nội suy ra các mức xám trung gian bằng kỹ thuật
nội suy. Kỹ thuật này nhằm tăng cường độ mịn cho ảnh

1.2.4. Trích chọn đặc trưng
Các đặc điểm của đối tượng được trích chọn tuỳ theo mục đích nhận dạng trong
quá trình xử lý ảnh. Có thể nêu ra một số đặc điểm của ảnh sau đây:
-

-

Đặc điểm không gian: Phân bố mức xám, phân bố xác suất, biên độ, điểm uốn…
Đặc điểm biến đổi: Các đặc điểm loại này được trích chọn bằng việc thực hiện
lọc vùng (zonal filtering). Các bộ vùng được gọi là “mặt nạ đặc điểm” (feature
mask) thường là các khe hẹp với hình dạng khác nhau (chữ nhật, tam giác, cung
tròn…)
Đặc điểm biên và đường biên: Đặc trưng cho đường biên của đối tượng và do

vậy rất hữu ích trong việc trích trọn các thuộc tính bất biến được dùng khi nhận
dạng đối tượng. Các đặc điểm này có thể được trích chọn nhờ toán tử gradient,
toán tử la bàn, toán tử Laplace, toán tử “chéo không” (zero crossing) …

Việc trích chọn hiệu quả các đặc điểm giúp cho việc nhận dạng các đối tượng ảnh
chính xác, với tốc độ tính toán cao và dung lượng nhớ lưu trữ giảm xuống.
1.2.5. Nhận dạng
Nhận dạng tự động (automatic recognition), mô tả đối tượng, phân loại và phân
nhóm các mẫu là những vấn đề quan trọng trong thị giác máy, được ứng dụng trong
nhiều ngành khoa học khác nhau. Tuy nhiên, một câu hỏi đặt ra là: mẫu (pattern) là gì?
Watanabe, một trong những người đi đầu trong lĩnh vực này đã định nghĩa: “Ngược lại
với hỗn loạn (chaos), mẫu là một thực thể (entity), được xác định một cách ang áng
(vaguely defined) và có thể gán cho nó một tên gọi nào đó”. Ví dụ mẫu có thể là ảnh
của vân tay, ảnh của một vật nào đó được chụp, một chữ viết, khuôn mặt người hoặc
một ký đồ tín hiệu tiếng nói. Khi biết một mẫu nào đó, để nhận dạng hoặc phân loại mẫu
đó có thể:
Hoặc phân loại có mẫu (supervised classification), chẳng hạn phân tích phân biệt
(discriminant analyis), trong đó mẫu đầu vào được định danh như một thành phần của
một lớp đã xác định.
Hoặc phân loại không có mẫu (unsupervised classification hay clustering) trong
đó các mẫu được gán vào các lớp khác nhau dựa trên một tiêu chuẩn đồng dạng nào đó.
Các lớp này cho đến thời điểm phân loại vẫn chưa biết hay chưa được định danh.


8
Hệ thống nhận dạng tự động bao gồm ba khâu tương ứng với ba giai đoạn chủ yếu
sau đây:
1. Thu nhận dữ liệu và tiền xử lý.
2. Biểu diễn dữ liệu.
3. Nhận dạng, ra quyết định.

Bốn cách tiếp cận khác nhau trong lý thuyết nhận dạng là:
1.
2.
3.
4.

Đối sánh mẫu dựa trên các đặc trưng được trích chọn.
Phân loại thống kê.
Đối sánh cấu trúc.
Phân loại dựa trên mạng nơ-ron nhân tạo.

Trong các ứng dụng rõ ràng là không thể chỉ dùng có một cách tiếp cận đơn lẻ để
phân loại “tối ưu” do vậy cần sử dụng cùng một lúc nhiều phương pháp và cách tiếp cận
khác nhau. Do vậy, các phương thức phân loại tổ hợp hay được sử dụng khi nhận dạng
và nay đã có những kết quả có triển vọng dựa trên thiết kế các hệ thống lai (hybrid
system) bao gồm nhiều mô hình kết hợp.
Việc giải quyết bài toán nhận dạng trong những ứng dụng mới, nảy sinh trong cuộc
sống không chỉ tạo ra những thách thức về thuật giải, mà còn đặt ra những yêu cầu về
tốc độ tính toán. Đặc điểm chung của tất cả những ứng dụng đó là những đặc điểm đặc
trưng cần thiết thường là nhiều, không thể do chuyên gia đề xuất, mà phải được trích
chọn dựa trên các thủ tục phân tích dữ liệu.
1.2.6. Nén ảnh
Nhằm giảm thiểu không gian lưu trữ. Thường được tiến hành theo cả hai cách
khuynh hướng là nén có bảo toàn và không bảo toàn thông tin. Nén không bảo toàn thì
thường có khả năng nén cao hơn nhưng khả năng phục hồi thì kém hơn. Trên cơ sở hai
khuynh hướng, có 4 cách tiếp cận cơ bản trong nén ảnh:
1. Nén ảnh thống kê: Kỹ thuật nén này dựa vào việc thống kê tần xuất xuất hiện của
giá trị các điểm ảnh, trên cơ sở đó mà có chiến lược mã hóa thích hợp. Một ví dụ
điển hình cho kỹ thuật mã hóa này là *.TIF
2. Nén ảnh không gian: Kỹ thuật này dựa vào vị trí không gian của các điểm ảnh để

tiến hành mã hóa. Kỹ thuật lợi dụng sự giống nhau của các điểm ảnh trong các
vùng gần nhau. Ví dụ cho kỹ thuật này là mã nén *.PCX
3. Nén ảnh sử dụng phép biến đổi: Đây là kỹ thuật tiếp cận theo hướng nén không
bảo toàn và do vậy, kỹ thuật thướng nến hiệu quả hơn. *.JPG chính là tiếp cận
theo kỹ thuật nén này.


9
4. Nén ảnh Fractal: Sử dụng tính chất Fractal của các đối tượng ảnh, thể hiện sự lặp
lại của các chi tiết. Kỹ thuật nén sẽ tính toán để chỉ cần lưu trữ phần gốc ảnh và
quy luật sinh ra ảnh theo nguyên lý Fractal
1.3. CÁC GIAI ĐOẠN TRONG DÁNG ĐI Ở NGƯỜI
Việc phân biệt các giai đoạn của dáng đi là một bước quan trọng trong quá trình
phân đoạn và nhận dạng dáng đi.
Dáng đi được định nghĩa là chuỗi liên tục thành nhịp các giai đoạn đu đưa (swing)
và tựa (support) của hai chân khi bàn chân hoặc ở trong không (đu đưa) hoặc tiếp xúc
với đất (tựa). Dáng đi được đặc trưng bởi có một giai đoạn tựa kép trong đó cả hai chân
tiếp xúc với đất, xen kẽ với các giai đoạn tựa đơn khi chân kia đưa tới trước để bước
tiếp. Trong khi đi không có giai đoạn hai chân đều hở đất (nghĩa là giai đoạn bay).

Hình 1.3 - Các giai đoạn của dáng đi bình thường [24]
Trong đó:
IC = Initial Contact (chạm gót);
LR = Loading Response (đáp ứng tải);
M-St = Mid support (giữa thì tựa);
T-St = Terminal support (cuối thì tựa);

PS = Preswing (tiền đu đưa);
I-Sw = Initial swing (đầu giai đoạn đu đưa);
M-Sw = Mid swing (giữa giai đoạn đu đưa);

T-Sw = Terminal swing (cuối giai đoạn đu
đưa).


10

1.3.1. Giai đoạn tựa (chống)
Là khi bàn chân tiếp xúc với đất (từ điểm bàn chân chạm đất đến khi bàn chân
rời khỏi đất). Giai đoạn này thường được chia thành chạm gót, bàn chân bằng (hoặc đáp
ứng tải), giữa thì tựa, cuối thì tựa (nhấc gót), và tiền đu đưa (nhấc ngón chân). [24]

Hình 1.4 - Mô tả khung xương chân cho giai đoạn chống. [25]
1.3.1.1. Thì chạm đất
Thì chạm đất điển hình xảy ra là gót chạm. Hông gập 30 độ, gối hầu như duỗi
hoàn toàn, cổ chân ở vị trí trung tính. Khi phản lực mặt đất ở phía trước khớp hông, cơ
duỗi hông (cơ mông lớn và cơ hamstring) đang kích hoạt để duy trì sự ổn định khớp
hông. Tại gối, phản lực mặt đất tạo một mô men ngoại lực duỗi vốn được trung hòa bằng
hoạt động của cơ hamstring. Bàn chân được củng cố trong vị thế trung tính bằng các cơ
gập mặt lưng cổ chân.
1.3.1.2. Thì chuyển trọng lượng
Trong thì này, sự đón nhận trọng lượng và hấp thụ sốc đạt được khi duy trì sự
tiến lên phía trước. Hông duỗi và tiếp tục duỗi ở cuối thì đứng.
Phản lực mặt đất ở phía trước hông và các cơ duỗi hông phải hoạt động để kháng
lại việc gập hông không kiểm soát này. Sự duỗi hông chủ động ngụ ý rằng các cơ duỗi
hông co chủ động hướng tâm. Với vị trí của phản lực mặt đất giờ đây nằm sau khớp gối,
thì một mô men ngoại lực gập gối được tạo ra. Mô men ngoại lực này bị sự co cơ ly tâm
của cơ tứ đầu kháng lại cho phép gối gập khoảng 20 độ. Với phản lực mặt đất phía sau
cổ chân, thì mô men ngoại lực làm gập mặt lòng bàn chân xuất hiện khiến bàn chân
nhanh chóng hạ thấp xuống còn 10 độ gập mặt lòng. Hoạt động này được các cơ gập
mặt lưng cổ chân kiểm soát, là các cơ vốn kích hoạt ly tâm. Ở cuối thì chuyển trọng

lượng, bàn chân tiếp xúc hoàn toàn với mặt đất.


11
1.3.1.3. Giữa thì chống
Trong suốt giữa thì chống, chân chống đỡ toàn bộ trọng lượng cơ thể trong khi
chân đối bên đu ra trước. Vec tơ phản lực mặt đất đi qua khớp hông, xóa bỏ nhu cầu
hoạt động duỗi khớp hông. Tại gối, phản lực mặt đất chuyển từ vị trí phía sau ra vị trí
phía trước, tương tự như thế cũng xóa bỏ nhu cầu hoạt động cơ tứ đầu đùi. Sự duỗi gối
xảy ra và được kiềm lại thụ động bởi bao dây chằng sau của gối, và cũng có thể bị kềm
lại chủ động bởi hoạt động ly tâm của cơ khoeo và cơ sinh đôi. Tại cổ chân, phản lực
mặt đất ở phía trước cổ chân, vì thế sinh ra một mô men ngoại lực gập mặt lưng cổ chân.
Mô men này bị trung hòa bởi các cơ gập mặt lòng cổ chân, là các cơ co ly tâm hạn chế
sự gập mặt lưng xảy ra trong suốt thì này.
1.3.1.4. Cuối thì chống
Ở cuối thì chống, khối cơ thể tiếp tục tiến ra trước trên chân chống trong khi thân
đổ ra trước. Phản lực mặt đất tại khớp hông giờ đây nằm ở phía sau, tạo ra một mô men
lực duỗi thụ động ngược lại bởi các dây chằng chậu đùi. Hông duỗi tối đa. Tại gối, phản
lực mặt đất di chuyển từ trước ra sau. Khi nhấc gót khỏi mặt đất, phản lực mặt đất di
chuyển nhiều hơn ra trước khớp cổ chân, kích hoạt một mô men ngoại lực làm gập mặt
lưng cổ chân mô men này được hoạt động của các cơ gập mặt lòng cổ chân cân bằng.
Trong suốt thì này, cổ chân đang gập mặt lòng, và do đó hoạt động của các cơ gập mặt
lòng cổ chân chuyển từ co ly tâm sang hướng tâm.
1.3.2. Giai đoạn đu đưa
Xảy ra từ lúc bàn chân rời đất đến khi bàn chân đó chạm đất lại. Giai đoạn này
thường được chia thành đầu thì đu đưa, giữa thì đu đưa và cuối thì đu đưa. [25]
Tỷ lệ thời gian tương ứng sử dụng trong hai giai đoạn đu đưa và tựa này thay đổi
đáng kể khi đi và chạy. Khi đi bình thường thì tựa chiếm 60%, giai đoạn đu đưa chiếm
40%. Khi đi nhanh và chạy, thời gian giai đoạn tựa giảm đi. Ví dụ chạy vừa 55%, chạy
nhanh 50%.

Hình 1.5 - mô tả khung xương chân cho giai đoạn đu đưa. [25]


12
1.3.2.1. Tiền thì đu
Trong suốt tiền thì đu, chân đu bắt đầu đẩy tới để đu. Thì này xảy ra khi chân đối
bên tiến từ thì gót chạm đất đến thì chuyển trọng lượng. Khi đã duỗi tối đa, khớp hông
bắt đầu gập do hoạt động kết hợp của cơ thắt lưng chậu, cơ áp hông và thẳng đùi, lúc
này co hướng tâm. Gối nhanh chóng gập đến 40 độ khi phản lực mặt đất nhanh chóng
di chuyển ra sau gối. Việc gập gối có thể được kiểm soát bằng hoạt động của cơ thẳng
đầu đùi. Cổ chân gập mặt lòng khoảng 20 độ do sự tiếp tục co cơ hướng tâm của các cơ
gập mặt lòng cổ chân.
1.3.2.2. Đầu thì đu
Trong suốt đầu thì đu, chân đu bị đẩy ra trước. Gập hông xảy ra do đà gập hông
đã kích hoạt từ tiền thì đu và do sự tiếp tục co cơ hướng tâm của các cơ gập hông. Cơ
thẳng đầu đùi và cơ rộng ngoài hoạt động độc lập trong suốt đầu thì đu, với hoạt động
cơ thẳng đùi trực tiếp liên quan đến tốc độ đi. Cơ thẳng đùi hoạt động trong cả thì chuyển
trọng lượng lẫn tiền và đầu thì đu, dù ở tốc độ đi nào, với tính biến thiên nhiều trong
mẫu hoạt động của cơ. Một số người tham gia thể hiện nhiều hoạt động hơn ở nửa sau
giai đoạn đứng, trong khi những người khác có độ lớn điện cơ đồ cao hơn ở nửa đầu giai
đoạn đứng. Gối tiếp tục gập khoảng 65 độ. Gối gập xuất hiện thụ động do kết quả kết
hợp của gập hông và đà của tiền thì đu. Cơ gập mặt lưng cổ chân co hướng tâm gập cổ
chân vào mặt lưng để tạo sự nhấc mũi chân.
1.3.2.3. Giữa thì đu
Ở giữa thì đu chân đu tiếp tục tiến tới trước, chủ yếu là thụ động như con lắc, từ
lực quán tính được kích hoạt ở tiền và đầu thì đu. Đà được kích hoạt ở đầu thì đu làm
gập hông thụ động. Gối bắt đầu duỗi thụ động do trọng lực. Cổ chân vẫn ở vị thế trung
tính với các cơ gập mặt lưng tiếp tục hoạt động.
1.3.2.4. Cuối thì đu

Ở cuối thì đu, đà đã được kích hoạt trước đó được kiểm soát để tạo sự thẳng trục
ổn định cho chân ở thì chạm đất. Ở khớp hông và khớp gối, sự co cơ ly tâm của cơ
hamstrings giảm tốc độ gập hông và kiểm soát duỗi gối. Các cơ gập mặt lưng cổ chân
tiếp tục hoạt động cho phép cổ chân ở vị thế trung tính khi chạm đất.
1.3. QUÁ TRÌNH XỬ LÝ VÀ NHẬN DẠNG DÁNG ĐI
1.3.1. Các giai đoạn của hệ thống nhận dạng dáng đi
Tiến trình nhận dạng dáng đi cơ bản có dạng như sau:
DỮ LIỆU VÀO

TIỀN XỬ LÝ

TRÍCH CHỌN
ĐẶC TRƯNG

NHẬN DẠNG

Hình 1.6 – Các giai đoạn của hệ thống nhận dạng dáng đi


13
1.3.2. Dữ liệu vào
Dữ liệu vào có thể là một hình ảnh, hoặc một chuỗi các hình ảnh (video), được
chụp bởi một camera hướng về đối tượng cần nhận dạng. Tuy nhiên, có nhiều hệ thống
sử dụng hai hoặc nhiều camera để thu được nhiều thông tin về các dáng đi. Ưu điểm của
hệ thống này là có thể ghi nhận được nhiều góc nhìn khác nhau.

Hình 1.7 - Một số hình ảnh các gian đoạn của bước chân. [26]
1.3.3. Tiền xử lý
Tiền xử lý là nhiệm vụ quan trọng trong hệ thống nhận dạng dáng đi. Mục đích cơ
bản của giai đoạn này là tối ưu hình ảnh thu được từ giai đoạn trước để chuẩn bị trích

xuất các đặc trưng trong giai đoạn tiếp theo. Chất lượng hình ảnh thu được phụ thuộc
vào điều kiện sáng và và chất lượng của thiết bị ghi hình. Một hình ảnh chất lượng thấp
sẽ ảnh hưởng tới độ chính xác của hệ thống. Vì vậy, tiền xử lý ảnh là bắt buộc để nâng
cao chất lượng ảnh đồng thời cải thiện độ chính xác của hệ thống được đề xuất. Từ hình
ảnh thu nhận được ở dữ liệu vào ta có thể thực hiện xử lý ảnh cơ bản như: căn chỉnh
ảnh, chuẩn hóa ánh sáng, loại bỏ nhiễu, phân đoạn ảnh, lọc màu da... Dưới đây là một
số kỹ thuật tiền xử lý thường được áp dụng trong giai đoạn này:
a. Chuyển ảnh RGB sang ảnh nhị phân
Ảnh màu RGB nên được chuyển sang dạng ảnh xám hoặc chuyển sang ảnh trong
không gian màu YcbCr (Y là độ sáng và Cb, Cr là hai thành phần màu) trước khi nó
được chuyển sang ảnh nhị phân.
Bước chuyển từ ảnh RGB thành ảnh xám ta cần làm cho 3 thành phần R, G, B
bằng nhau theo công thức (1.1):
G=αR+βG+γB với điều kiện α+β+γ=1
(1.1)


14
Để thực hiện chuyển từ RGB sang YCbCr có nhiều công thức theo chuẩn khác
nhau, theo chuẩn ITU-R BT.601 sẽ như sau:
Y = (0.257 * R) + (0.504 * G) + (0.098 * B) + 16
Cr = V = (0.439 * R) - (0.368 * G) - (0.071 * B) + 128
Cb = U = -(0.148 * R) - (0.291 * G) + (0.439 * B) + 128 [1]
(1.2)
Ảnh nhị phân là ảnh mà giá trị của các điểm ảnh chỉ được biểu diễn bởi một trong
hai giá trị 0 (màu đen) hoặc 1 (màu trắng). Để chuyển sang ảnh nhị phân thì nhất thiết
phải chỉ rõ ngưỡng để phân vùng ảnh thành đen hoặc thành trắng tương ứng với 0 hoặc
1. Có nhiều kỹ thuật để tìm giá trị ngưỡng, phương pháp thông dụng nhất do Otsu đề
xuất [9].
Như vậy, sau khi chuyển ảnh gốc RGB sang ảnh nhị phân chúng ta thu được ảnh

đen trắng mà trong đó những điểm ảnh trong người có màu trắng (1) và điểm ảnh nền
có màu đen (0), minh họa ở hình 1.8.

(a)

(b)

Hình 1.8 - Ví dụ chuyển ảnh RGB sang ảnh nhị phân
(a) Ảnh gốc – (b) Ảnh nhị phân biểu biễn bởi 0 và 1
b. Lọc nhiễu
Trong ảnh nhị phân, có thể có một số giá trị 0 trong người và có một số giá trị 1
trong khu vực nền. Khi đó, nền có những số 1 được biết đến như nhiễu xung quanh và
dáng đi có một vài số 0 được biết đến như nhiễu dáng đi. Những nhiễu này có thể dẫn
đến một vấn đề trong việc phát hiện đường viền của dáng đi vì vậy cần phải loại bỏ các
nhiễu này. Một phương pháp bộ lọc hình thái học đã được áp dụng sử dụng chuỗi các
sự giãn nở và xói mòn để có được một đường viền mịn, khép kín, và hoàn chỉnh của một
cử chỉ [6].