Phát triển một số kỹ thuật phát hiện lái xe ngủ gật dựa trên trạng thái mắt và hành vi gật lắc

BỘ GIÁO DỤC VÀ ĐÀO TẠO

VIỆN HÀN LÂM KHOA HỌC
VÀ CÔNG NGHỆ VIỆT NAM

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ

LÂM THÀNH HIỂN

PHÁT TRIỂN MỘT SỐ KỸ THUẬT PHÁT HIỆN
LÁI XE NGỦ GẬT DỰA TRÊN TRẠNG THÁI MẮT
VÀ HÀNH VI GẬT LẮC

Chuyên ngành:

Cơ sở toán học cho tin học

Mã số:

62 46 01 10

LUẬN ÁN TIẾN SĨ TOÁN HỌC

Hà Nội – 2017


iv

MỤC LỤC
LỜI CAM ĐOAN ...................................................................................................... i
LỜI CẢM ƠN ........................................................................................................... ii

MỤC LỤC................................................................................................................ iv
DANH MỤC CÁC TỪ VIẾT TẮT ....................................................................... vii
DANH MỤC CÁC BẢNG .................................................................................... viii
DANH MỤC CÁC HÌNH ....................................................................................... ix
MỞ ĐẦU ....................................................................................................................1
1. Phát biểu vấn đề .........................................................................................1
2. Ngữ cảnh, ràng buộc, thách thức................................................................3
3. Mục tiêu nghiên cứu ...................................................................................5
4. Đối tượng, phương pháp và kết quả nghiên cứu ........................................6
5. Bố cục Luận án...........................................................................................7
Chương 1 - CƠ SỞ LÝ THUYẾT VỀ KỸ THUẬT PHÁT HIỆN LÁI XE NGỦ
GẬT ............................................................................................................................9
1.1 Tổng quan về kỹ thuật phát hiện lái xe ngủ gật .......................................9
1.1.1 Hành vi ngủ gật .................................................................................9
1.1.2 Sinh lý giấc ngủ ...............................................................................11
1.1.3 Các phương pháp phát hiện ngủ gật ................................................12
1.1.3.1 ECG & EEG .............................................................................13
1.1.3.2 Chuyển động của vô-lăng.........................................................14
1.1.3.3 Kỹ thuật quang học ..................................................................14
1.1.3.4 Kỹ thuật thống kê .....................................................................14
1.1.4 Các hệ thống xử lý ảnh ....................................................................15
1.1.5 Các hình thái của ảnh ......................................................................16
1.2 Phương pháp tiếp cận bài toán phát hiện ngủ gật của Luận án ..............17
1.3 Một số vấn đề lý thuyết cơ sở ................................................................18
1.3.1 Nhận dạng mẫu ...............................................................................18
1.3.1.1 Các bước cơ bản trong xây dựng hệ nhận dạng .......................19


v
1.3.1.2 Các khái niệm cơ sở .................................................................20

a) Không gian biểu diễn dạng ..............................................................20
b) Không gian diễn dịch .......................................................................20
c) Xác suất tiên nghiệm và Mật độ phân phối xác suất ........................20
1.3.1.3 Các phương pháp học trong nhận dạng ....................................21
1.3.1.4 Bộ nhận dạng Bayes ................................................................22
1.3.2 Kỹ thuật xử lý ảnh số ......................................................................24
1.3.3 Thuật toán Gentleboost ...................................................................25
Tóm tắt Chương 1 ........................................................................................28
Chương 2 KỸ THUẬT PHÁT HIỆN TRẠNG THÁI MẮT VÀ NGỦ GẬT .....29
2.1 Bài toán phát hiện khuôn mặt người trong ảnh ......................................29
2.1.1 Các công trình nghiên cứu liên quan ...............................................29
2.1.2 Đề xuất kỹ thuật phát hiện mặt người .............................................31
2.1.2.1 Xây dựng mô hình nhận dạng khuôn mặt mẫu ........................32
2.1.2.2 Phát hiện khuôn mặt từ ảnh ......................................................36
2.1.2.3 Kết quả thử nghiệm ..................................................................37
2.2 Bài toán phát hiện mắt người trong ảnh .................................................38
2.2.1 Một số kỹ thuật phát hiện mắt người trong ảnh ..............................38
2.2.2 Đề xuất thuật toán phát hiện mắt người trong ảnh ..........................42
2.2.2.1 Thuật toán.................................................................................42
2.2.2.2 Đánh giá độ phức tạp ...............................................................43
2.2.3 Kết quả thử nghiệm .........................................................................43
2.3 Bài toán nhận dạng trạng thái mắt..........................................................44
2.3.1 Kỹ thuật nhận dạng trạng thái mắt ..................................................45
2.3.2 Đề xuất kỹ thuật nhận dạng trạng thái mắt .....................................47
2.3.3 Kết quả thử nghiệm .........................................................................49
2.4 Phát hiện ngủ gật dựa trên trạng thái mắt...............................................50
Tóm tắt Chương 2 ........................................................................................51


vi

Chương 3 - KỸ THUẬT PHÁT HIỆN HÀNH VI GẬT LẮC VÀ TRẠNG THÁI
NGỦ GẬT ................................................................................................................53
3.1 Bài toán phát hiện hành vi gật lắc ..........................................................53
3.1.1 Phát hiện hướng mặt người trong ảnh .............................................54
3.1.2 Đề xuất kỹ thuật ước lượng hướng mặt người ................................59
3.1.2.2 Thử nghiệm mô hình ................................................................65
3.2 Phát hiện gật đầu từ camera ...................................................................66
3.2.1 Thuật toán đề xuất ...........................................................................66
3.2.2 Đánh giá độ phức tạp của thuật toán ...............................................67
3.2.3 Kết quả thử nghiệm .........................................................................68
3.3 Phát hiện ngủ gật dựa trên hành vi gật lắc .............................................70
Tóm tắt Chương 3 ........................................................................................71
Chương 4 -HỆ THỐNG TÍCH HỢP PHÁT HIỆN LÁI XE TRONG TRẠNG
THÁI NGỦ GẬT .....................................................................................................72
4.1 Mô tả hệ thống .......................................................................................72
4.2 Quan hệ giữa trạng thái ngủ gật và trạng thái mắt - hành vi gật đầu .....73
4.2.1 Phân tích hồi qui tuyến tính ............................................................73
4.2.2 Kết quả hồi qui tuyến tính ...............................................................75
4.2.3 Phân tích hồi qui Logistic nhị phân.................................................75
4.3 Kỹ thuật đánh thức lái xe trong trạng thái ngủ gật .................................78
Tóm tắt Chương 4 ........................................................................................80
KẾT LUẬN ..............................................................................................................81
DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ .............................................83
TÀI LIỆU THAM KHẢO ......................................................................................84


vii

DANH MỤC CÁC TỪ VIẾT TẮT
Viết tắt

Tiếng Anh tương ứng

Giải thích tiếng Việt

AAM

Active Appearance Model

Mô hình ngoại quan tích cực

ATGT

Traffic safety

An toàn giao thông

CERT

Computer Expression
Recognition Toolbox

Hộp công cụ nhận dạng biểu hiện
máy tính

CSDL

Database

Cơ sở dữ liệu

c.s.

et al.

Cộng sự

ECG

Electrocardiogram

Điện tâm đồ

ECR

Eye Closure Rate

Tỷ lệ đóng mắt

EEG

Electroencephalography

Điện não đồ

FACS

Facial Action Coding System

Hệ mã hóa hoạt động mặt

FNM

Facial Normal Model

Mô hình pháp tuyến khuôn mặt

HR

Heart Rate

Nhịp tim

HRV

Heart Rate Vairability

Sự biến thiên nhịp tim

HVG

Nodding and shaking behavior

Hành vi gật lắc

IR

Infra-red

Tia hồng ngoại

KM

Human face

Khuôn mặt

LBP

Local Binary Pattern

Mẫu hình Nhị phân Cục bộ

LF/HF

Low Frequency/High Frequency Tần số thấp/Tần số cao

OLS

Ordinary Least Square

Bình phương sai số bé nhất

PERCLOSE Percentage of Eye Closure

Tỷ lệ phần trăm nhắm (đóng) mắt

PVT

Psychomotor Villiance Task

Nhiệm vụ cảnh giác tâm lý

PCA

Principle Component Analysis

Phân tích thành phần chính

SVM

Support Vector Machine

Máy vector hỗ trợ

SWM

Steering Wheel Movement

Chuyển động của vô-lăng


viii

DANH MỤC CÁC BẢNG
Bảng 2.1: Một số kết quả ví dụ so sánh cường độ ảnh .............................................35
Bảng 2.2: So sánh tính hiệu quả của kỹ thuật phát hiện khuôn mặt .........................38
Bảng 3.1: Kết quả thử nghiệm thuật toán đề xuất.....................................................66
Bảng 3.2: Đánh giá độ phức tạp................................................................................67
Bảng 4.1: Hệ số hồi qui Logistic cho mô hình LM1 và LM2...................................77

Bảng 4.2: So sánh hiệu quả của hai mô hình LM1 và LM2 .....................................78


ix

DANH MỤC CÁC HÌNH
Hình 0.1. Tương quan giữa tỷ lệ tai nạn và số giờ lái xe ............................................2
Hình 0.2: Hệ thống phát hiện và cảnh báo lái xe ngủ gật của hãng Denso.................2
Hình 0.3: Sơ đồ nhận dạng trạng thái mắt ..................................................................5
Hình 1.1: Hệ thống nhận dạng trạng thái ngủ gật .....................................................19
Hình 2.1: Mẫu khuôn mặt trong phương pháp định vị .............................................31
Hình 2.2. Ảnh ví dụ của phép so sánh cường độ ......................................................35
Hình 2.3: Hệ thống camera với 2 vòng đèn LEDs ....................................................39
Hình 2.4: Trạng thái sáng và tối của con ngươi ........................................................40
Hình 2.5: Kết quả thử nghiệm...................................................................................44
Hình 2.6: Các mẫu eigeneye .....................................................................................47
Hình 2.7: Hệ thống phát hiện ngủ gật dựa trên trạng thái mắt..................................50
Hình 2.8: Biểu đồ theo dõi trạng thái ngủ gật dựa vào trạng thái mắt ......................52
Hình 3.1: Mô hình hệ thống ......................................................................................53
Hình 3.2: Ước lượng hướng đầu từ dữ liệu Kinect ...................................................54
Hình 3.3: Đối tượng hình dạng và kết cấu hình ảnh .................................................56
Hình 3.4: Mô hình pháp tuyến khuôn mặt ................................................................58
Hình 3.5: Xác định các tham số mô hình Lm, Ln và Lf .............................................59
Hình 3.6: Mô hình mặt đề xuất .................................................................................61
Hình 3.7: Giao diện sinh dữ liệu từ mô hình 3D.......................................................66
Hình 3.8: Sự phân bố các giá trị tham số dm .............................................................68
Hình 3.9: Sự phân bố các giá trị tham số khác .........................................................68
Hình 3.10: Một số mẫu phát hiện chính xác tập điểm đặc trưng ..............................69
Hình 3.11: Một số mẫu phát hiện không chính xác tập điểm đặc trưng ...................69
Hình 3.12: Biểu đồ theo dõi trạng thái ngủ gật dựa vào hành vi gật lắc...................70

Hình 4.1: Hệ thống tích hợp......................................................................................72
Hình 4.2: Tấm lót ghế có chế độ rung mát-xa ..........................................................79
Hình 4.3: Đánh thức lái xe ngủ gật ...........................................................................79


1

MỞ ĐẦU
1. Phát biểu vấn đề
Tai nạn giao thông là một vấn nạn đe dọa nghiêm trọng tính mạng con người.
Và đây không chỉ là vấn nạn ở Việt Nam ta mà là một hiện tượng mang tính toàn cầu
[92]. Cụ thể là, ở Việt Nam, số liệu thống kê gần đây cho thấy, trung bình mỗi ngày
vẫn có hàng chục người bị thiệt mạng và hàng trăm người bị thương hoặc thương tật
suốt đời bởi chính tai nạn giao thông; chẳng hạn như, chỉ tính từ ngày 16-12-2014
đến 15-9-2015, trên cả nước đã xảy ra 16.459 vụ tai nạn giao thông, làm chết 6.518
người, làm bị thương 14.868 người [1]. Hiệp hội Du lịch Đường bộ An toàn Quốc tế
(ASIRT) chỉ ra rằng, trong rất nhiều các nguyên nhân dẫn đến cái chết của con người
thì, hiện nay, tai nạn giao thông đứng ở vị trí thứ 9 (sau dịch bệnh, chiến tranh, v.v...)
và nếu tình hình không được cải thiện thì nó đứng ở vị trí thứ 5 vào năm 2030 [6]. Rõ
ràng đây là một sự mất mát khủng khiếp, nó đồng nghĩa với mỗi ngày có hàng nghìn
gia đình trên thế giới phải gánh chịu sự mất mát và đau thương từ sự “ra đi” hay từ
sự tật nguyền, giảm hoặc mất khả năng lao động của người thân; xã hội mất đi những
công dân tài năng, có thể đóng góp sức lao động trực tiếp hay gián tiếp tạo ra của cải
vật chất cho xã hội. Chính vì vậy, an toàn giao thông được xem là vấn đề quan trọng
không chỉ của Việt Nam mà là của mọi quốc gia trên thế giới.
Một trong những nguyên nhân chính gây ra tai nạn giao thông là do lái xe ngủ
gật. Theo ước lượng của Cơ quan Quản lý An toàn Giao thông Quốc lộ Hoa Kỳ
(SHSA), tại Hoa Kỳ, mỗi năm có khoảng 328.000 vụ tai nạn giao thông xảy ra do sự
buồn ngủ và mệt mỏi của lái xe, đã dẫn đến khoảng 6.400 người chết, gây thiệt hại
109 tỷ USD hàng năm (chưa kể tổn thất của các phương tiện giao thông) [28]. Các

nghiên cứu của cơ quan này cũng cho thấy 52% số vụ tự gây tai nạn của các xe tải
hạng nặng là do sự buồn ngủ của lái xe; và 37% người dân trưởng thành được khảo
sát cho biết họ đã ngủ gà ngủ gật khi lái xe ít nhất một lần.
Ngủ gật là biểu hiện thường thấy khi mệt mỏi, như tập trung lái xe liên tục trong
thời gian dài; khi đó khả năng quan sát và phản ứng của lái xe bị giảm đáng kể, không


2
kịp phản xạ để tránh tình huống nguy hiểm khi tới gần chướng ngại vật hoặc phương
tiện giao thông khác. Chính vì vậy, buồn ngủ ảnh hưởng nghiêm trọng đến khả năng
lái xe [10]; và chỉ cần vài giây ngủ gật thì tai nạn có thể xảy ra và gây ra những hậu
quả nặng nề. Như có thể thấy trên Hình 0.1, tồn tại một mối tương quan mạnh mẽ
giữa số giờ làm việc của lái xe và số vụ tai nạn liên quan [59].
Trước tình hình tai nạn giao thông diễn biến ngày càng phức tạp với mức độ
ngày càng nghiêm trọng, vấn đề đảm bảo an toàn giao thông đối với nhiều quốc gia
trên thế giới đã trở thành vấn đề vô cùng quan trọng và cấp thiết. Xã hội ngày càng
phát triển, văn minh thì sự an toàn và sức khỏe của con người càng phải được đề cao.

Hình 0.1. Tương quan giữa tỷ lệ tai nạn và số giờ lái xe
Trong những năm qua, nhiều nhà khoa học trên thế giới đã và đang nỗ lực không
ngừng trong việc nghiên cứu và phát triển các phương tiện giao thông thông minh, có
độ an toàn cao. Do đó, sử dụng các hệ thống trợ giúp theo dõi mức độ cảnh giác của
lái xe và cảnh báo lái xe lúc mệt mỏi là việc làm có ý nghĩa nhằm phòng chống tai
nạn [45]. Cho đến nay, nhiều hệ thống phát hiện và cảnh báo lái xe ngủ gật đã được
xây dựng và phát triển [87], [2]; trong đó, phải kể đến hệ thống phát hiện và cảnh báo
lái xe ngủ gật của hãng Denso như trong Hình 0.2.

Hình 0.2: Hệ thống phát hiện và cảnh báo lái xe ngủ gật của hãng Denso

3
Một khâu khó khăn của việc phát hiện lái xe ngủ gật là cần phải giải quyết vấn
đề phát hiện mặt người trong tình trạng nghiêng, tức là khuôn mặt không thẳng với
camera thu nhạn. Do vậy, trạng thái lắc lư của xe hay chớp mắt của lái xe càng gây
khó khăn cho khâu này, vốn dĩ cũng đã là khâu khó khăn trong bài toán phát hiện mặt
người [42]. Các kỹ thuật cảnh báo nhằm đánh thức lái xe được sử dụng có thể là cảnh
báo âm thanh, như đưa ra các lời khuyên “bạn buồn ngủ”, “Bạn đang buồn ngủ, hãy
dừng xe lại ngay”. Hoặc rung chỗ ngồi, rung tay lái, phun khí vào cổ lái xe hoặc
chuyển sang chế độ lái tự động hoặc dừng.
Do đó, để góp phần làm giảm thiểu tai nạn giao thông do tình trạng ngủ gật của
lái xe, tác giả chọn nghiên cứu đề tài “Phát triển một số kỹ thuật phát hiện lái xe
ngủ gật dựa trên trạng thái mắt và hành vi gật lắc” để thực hiện Luận án này bởi vì
một hệ thống phát hiện buồn ngủ hiệu quả và thân thiện có thể giúp dành lại cuộc
sống cho nhiều người và làm cho thế giới trở thành một nơi tốt hơn để sống.

2. Ngữ cảnh, ràng buộc, thách thức
Gần đây, các phương pháp phát hiện buồn ngủ sử dụng trí tuệ nhân tạo đã và
đang được nhiều nhà nghiên cứu đặc biệt quan tâm nhằm hướng đến chế tạo ra những
chiếc xe thông minh. Theo đó, người ta tích hợp cơ chế tự động phát hiện ngủ gật vào
hệ thống xe nhằm cảnh báo lái xe, ngăn ngừa tai nạn xảy ra; cụ thể, các phương pháp
phát hiện buồn ngủ có thể được chia thành ba nhóm chính: (1) Dựa vào phương tiện;
(2) Dựa vào hành vi của lái xe; và (3) Dựa vào sinh lý của lái xe [65], [72].
Để phát hiện sự buồn ngủ, các phương pháp dựa vào phương tiện sử dụng một
số đại lượng đo lường như: độ lệch khỏi vị trí làn đường, khoảng cách giữa xe của lái
xe và xe trước nó, chuyển động của vô-lăng, áp lực lên bàn đạp ga, v.v... Các đại
lượng này được giám sát một cách liên tục thông qua việc đặt các cảm biến vào các
thành phần của xe như vô-lăng, bàn đạp ga và phân tích dữ liệu thu được từ các cảm
biến này. Bất kỳ sự thay đổi nào vượt ngưỡng cho phép báo hiệu khả năng xảy ra tình
trạng lái xe ngủ gật [63], [26]. Tuy nhiên, vì các hệ thống này quá phụ thuộc chất
lượng đường và ánh sáng, chúng chỉ có thể hoạt động tốt trên đường cao tốc và chỉ

4
làm việc được trong các tình huống hạn chế [61]. Một nhược điểm nữa của các hệ
thống này là chúng không thể phát hiện được sự buồn ngủ khi nó chưa ảnh hưởng
đến tình trạng của xe. Khi lái xe trong trạng thái buồn ngủ nhưng xe vẫn còn trong
làn đường thích hợp thì các hệ thống này không thể phát hiện được.
Trong khi đó, các phương pháp dựa vào vào trạng thái của lái xe lại được phân
thành hai nhóm chính: Phương pháp sử dụng tín hiệu sinh lý và phương pháp sử dụng
thị giác máy tính. Cụ thể, phương pháp sử dụng tín hiệu sinh lý sử dụng các tín hiệu
điện não đồ (Electroencephalography - EEG) và điện tâm đồ (Electrocardiogram ECG) để phát hiện buồn ngủ [95]. Điện não đồ là tín hiệu sinh lý được sử dụng phổ
biến nhất trong việc phát hiện buồn ngủ. Phổ năng lượng của sóng não EEG cũng
được sử dụng như một chỉ số để phát hiện sự buồn ngủ [64], [94]. Từ điện tâm đồ,
hai chỉ số thường được xác định và sử dụng để phát hiện buồn ngủ là nhịp tim (Heart
Rate - HR) và độ biến thiên nhịp tim (Heart Rate Variability - HRV). Các nghiên cứu
cho thấy nhịp tim có sự khác nhau đáng kể khi con người ở trong trạng thái tỉnh táo
hay mệt mỏi. Vì vậy, nhịp tim có thể được sử dụng để phát hiện buồn ngủ [89], [33].
Nhiều nhà nghiên cứu khác đo lường sự buồn ngủ bằng độ biến thiên nhịp tim [4],
[14], [50], [80]. Nhược điểm chính của các phương pháp phát hiện buồn ngủ sử dụng
tín hiệu sinh lý là chúng tạo sự bất tiện cho lái xe khi yêu cầu người lái xe phải mang
theo các thiết bị, mũ EEG trong khi lái xe [65]. Do đó, các phương pháp thuộc nhóm
thị giác máy tính được sử dụng rộng rãi hơn vì không gây khó chịu và không thực
hiện bất kỳ xáo trộn nào đối với lái xe. Tuy nhiên, [23] chỉ ra rằng cách tiếp cận này
cũng còn một số hạn chế nhất định trong việc triển khai đại trà trong thực tiễn; chẳng
hạn, nhược điểm của các hệ thống dựa trên tia hồng ngoại là chúng chỉ hoạt động tốt
vào ban đêm mà không làm việc tốt trong ánh sáng ban ngày do sự phản xạ ánh sáng
mặt trời làm cho nó không thể phát hiện phản xạ võng mạc của sóng hồng ngoại,
trong khi phương pháp sử dụng ánh sáng ban ngày thường tìm vị trí của khuôn mặt
và đôi mắt bằng cách sử dụng các kỹ thuật thị giác máy tính [21].
Cảm biến trạng thái lái xe (Driver State Sensor), được phát triển bằng các máy

nhìn (Seeing Machines), là một sản phẩm thương mại thuộc loại này [76]. Cảm biến


5
trạng thái lái xe sử dụng cách theo dõi khuôn mặt và thu nhận thông tin về việc mở
mí mắt và tỷ lệ nhắm mắt để phát hiện sự buồn ngủ. [93] sử dụng bộ phân loại
AdaBoost để phát hiện khuôn mặt và sử dụng cường độ hình ảnh để phát hiện các
đồng tử của mắt; sau đó, họ thực hiện phép biến đổi đối xứng xuyên tâm và sử dụng
máy vector hỗ trợ (Support Vector Machine - SVM) để tìm vị trí của mắt. Sau khi
tìm thấy vị trí của mắt, họ sử dụng các mẫu nhị phân cục bộ (Local Binary Patterns LBP) và bộ phân loại SVM để xác định trạng thái mắt. Sơ đồ hệ thống của họ được
cho trong Hình 0.3 [93].

Hình 0.3: Sơ đồ nhận dạng trạng thái mắt
Máy vector hỗ trợ được sử dụng để xác định tình trạng mắt của người lái xe
[29]. Các tác giả đã sử dụng hệ thống phát hiện buồn ngủ của họ như là một module
mới cho Hệ thống hỗ trợ lái xe tiên tiến (Advanced Driver Assistance System ADAS). Nếu vùng mắt đã được phát hiện thành công, khi đó có thể sử dụng hình ảnh
vùng mắt để phát hiện xem mắt là mở hoàn toàn, mở một phần hoặc khép kín hoàn
toàn [9]. Họ sử dụng Phép phân tách giá trị kỳ dị (Singular Value Decomposition
SVD), các hạng tử gọi là Eigen-eyes và đưa ra quyết định nhóm hình ảnh nào là nhóm
có mắt ở trong đó. Ngoài ra, dữ liệu về ngáp cũng được sử dụng như là một dấu hiệu
về sự buồn ngủ [5], [56], [7], [73], [78]. Họ kết hợp hai loại dữ liệu về trạng thái
miệng và trạng thái mắt để phát hiện buồn ngủ. Tuy nhiên, ngáp chỉ là một yếu tố dự
báo tiêu cực trước khi xảy ra tai nạn [90]. Lái xe ngáp ít hơn trong những khoảnh
khắc trước khi ngủ.

3. Mục tiêu nghiên cứu
Mục tiêu của Luận án này là phát triển một số kỹ thuật phát hiện hỗ trợ đánh


6

thức lái xe trong trạng thái ngủ gật dựa trên nền tảng các kỹ thuật thị giác máy tính.

4. Đối tượng, phương pháp và kết quả nghiên cứu
Đối tượng nghiên cứu của Luận án: trạng thái (hành vi) ngủ gật, dựa trên trạng
thái mắt và hành vi gật lắc đầu của lái xe.
Phạm vi nghiên cứu: đầu vào là ảnh đã tiền xử lý và phương pháp xử lý là trên
cơ sở thị giác máy tính.
Phương pháp: Để phát hiện lái xe buồn ngủ, Luận án đề xuất thuộc nhóm dựa
vào trạng thái lái xe sử dụng thị giác máy tính. Các kỹ thuật phát hiện buồn ngủ được
phát triển trong Luận án này bao gồm:
• Kỹ thuật dựa vào trạng thái mắt;
• Kỹ thuật dựa vào hành vi gật lắc;
• Kỹ thuật kết hợp dựa vào trạng thái mắt và hành vi gật lắc.
Lý do chọn phát triển các kỹ thuật này là vì những triệu chứng của sự mệt mỏi
và mất tập trung chủ yếu xuất hiện trong mắt người lái xe và một đặc điểm quan trọng
của người lái xe khi ngủ gật là tư thế gục đầu. Hơn nữa, việc xử lý vùng mắt thay vì
toàn bộ vùng mặt có độ phức tạp tính toán nhỏ hơn.
Quá trình phát hiện lái xe buồn ngủ dựa vào trạng thái mắt bao gồm việc giải
quyết liên tiếp ba vấn đề: phát hiện khuôn mặt, phát hiện mắt và phát hiện trạng thái
mắt của lái xe trong ảnh. Để phát hiện khuôn mặt, Luận án sử dụng Mô hình pháp
tuyến khuôn mặt (Facial Normal Model - FNM). Để phát hiện mắt lái xe trong ảnh,
Luận án xử dụng kỹ thuật Haar-Adaboost [88] cho 4 đối tượng sau: mặt, đôi mắt, mắt
trái, mắt phải. Để xác định trạng thái mắt, Luận án đề xuất áp dụng kỹ thuật phân tích
thành phần chính (Principle Component Analysis - PCA) [86]. Để có được kỹ thuật
hiệu quả phát hiện ngủ gật, các thuật toán trên đã được cải tiến bằng việc xem xét các
đặc trưng của mắt trong trạng thái ngủ gật. Thuật toán phát hiện khuôn mặt sử dụng
Mô hình pháp tuyến khuôn mặt đề xuất trong Luận án có khả năng tự động tính toán
các thông số của mô hình thay vì phải xác định trước giá trị của các thông số này.
Việc phát triển kỹ thuật dựa trên hành vi gật lắc cần có phương pháp ước lượng

7
hướng đầu. Phương pháp ước lượng hướng đầu đề xuất trong Luận án được thiết kế
dựa trên kỹ thuật xác định vị trí khuôn mặt người, kết hợp với giải thuật Mô hình
ngoại quan tích cực (Active Appearance Model - AAM) và Mô hình pháp tuyến
khuôn mặt. Khi ngủ gật thì hướng đầu thường ở trạng thái nghiêng, tức là khuôn mặt
không thẳng với camera thu nhận. Đây là một vấn đề thách thức cần được giải quyết
mới có thể phát hiện ngủ gật một cách hiệu quả. Để giải quyết vấn đề này, Luận án
đề xuất việc kết hợp kỹ thuật ước lượng hướng đầu dựa trên Mô hình pháp tuyến
khuôn mặt.
Luận án này đề xuất kỹ thuật phát hiện lái xe buồn ngủ bằng cách kết hợp hai
kỹ thuật: dựa vào trạng thái mắt và dựa vào hành vi gật lắc. Kỹ thuật kết hợp này
được thực hiện sau khi xác định được mối quan hệ giữa các yếu tố như trạng thái mắt,
hành vi gật lắc và trạng thái ngủ gật bằng cách phân tích thống kê dùng mô hình hồi
qui tuyến tính và hồi qui logistic nhị phân. Hệ thống tích hợp kỹ thuật kết hợp này
của Luận án có thể phát hiện chính xác đến 99% trạng thái ngủ gật của lái xe.

5. Bố cục Luận án
Ngoài phần Mở đầu và phần Kết luận về đề tài nghiên cứu, nội dung chính của
Luận án này được trình bày trong 4 chương như sau:
1) Chương 1 – Tổng quan: Chương này trình bày tổng quan về các vấn đề liên quan
đến việc phát hiện ngủ gật nhằm làm nền tảng cho việc xây dựng các kỹ thuật được
đề xuất trong các chương sau. Cụ thể, chương này trình bày các công trình nghiên
cứu về: lý thuyết nhận dạng, hành vi ngủ gật, sinh lý giấc ngủ, các phương pháp phát
hiện ngủ gật, các lý thuyết liên quan về xử lý kỹ thuật số và các bài toán liên quan
như: phát hiện khuôn mặt người trong ảnh, phát hiện mắt, nhận dạng trạng thái mắt,
phát hiện hành vi gật lắc.
2) Chương 2 - Kỹ thuật phát hiện trạng thái mắt và ngủ gật: Chương này trình bày
ba bài toán nền tảng để xây dựng kỹ thuật phát hiện trạng thái ngủ gật của lái xe. Ba
bài toán đó gồm: bài toán phát hiện khuôn mặt người trong ảnh; bài toán phát hiện

mắt người trong ảnh; và bài toán nhận dạng trạng thái mắt. Các thuật toán đề xuất để


8
giải quyết ba bài toán này được thử nghiệm thực tế để đánh giá hiệu quả của chúng.
Ngoài ra, với kết quả đạt được từ bài toán nhận dạng trạng thái mắt, Luận án cũng
xây dựng kỹ thuật phát hiện ngủ gật của lái xe dựa trên trạng thái mắt.
3) Chương 3 - Kỹ thuật phát hiện hành vi gật lắc và trạng thái ngủ gật: Hành vi
ngủ gật có liên quan mật thiết với trạng thái của mắt cũng như hành vi gật lắc đầu của
lái xe; do đó, chương này trình bày sơ lược về bài toán phát hiện hành vi gật lắc thông
qua kỹ thuật xác định hướng mặt người trong ảnh và kỹ thuật phát hiện hành vi gật
lắc đầu của lái xe. Với kết quả khả quan đạt được từ kỹ thuật đề xuất, Luận án xây
dựng kỹ thuật phát hiện ngủ gật dựa vào hành vi gật lắc của lái xe.
4) Chương 4 - Hệ thống tích hợp phát hiện lái xe trong trạng thái ngủ gật: Với
những kết quả đạt được từ hai kỹ thuật phát hiện ngủ gật trong Chương 2 và Chương
3, Chương 4 trình bày việc tích hợp hai kỹ thuật đó vào thành hệ thống phát hiện lái
xe trong trạng thái ngủ gật. Để làm được điều đó, Luận án tiến hành xác định mối
quan hệ giữa trạng thái ngủ gật với trạng thái mắt và hành vi gật đầu thông qua kỹ
thuật phân tích hồi qui tuyến tính và hồi qui logistic nhị phân.


9

Chương 1
CƠ SỞ LÝ THUYẾT VỀ KỸ THUẬT
PHÁT HIỆN LÁI XE NGỦ GẬT

1.1 Tổng quan về kỹ thuật phát hiện lái xe ngủ gật
1.1.1 Hành vi ngủ gật
Cải thiện an toàn công cộng và giảm tai nạn giao thông là một trong những mục

tiêu quan trọng của các hệ thống giao thông thông minh (Intelligent Transport System
- ITS). Một trong những nhân tố quan trọng nhất trong các tai nạn là lái xe mệt mỏi
và đơn điệu. Mệt mỏi làm giảm nhận thức điều khiển và khả năng ra quyết định để
điều khiển xe. Nghiên cứu cho thấy rằng thường sau 2-3 giờ lái xe liên tục thì lái xe
bị mệt mỏi và giảm khả năng điều khiển xe an toàn [70]. Những giờ đầu buổi chiều,
sau khi ăn trưa và vào lúc nửa đêm là khoảng thời gian mà lái xe thường rất dễ buồn
ngủ hơn so với các thời điểm khác. Ngoài ra, uống rượu, nghiện ma túy và sử dụng
các loại thuốc kích thích cũng có thể dẫn đến sự hạn chế trong ý thức lái xe an toàn
[70], [52]. [79] cho biết khoảng 20% các tai nạn và 30% các tai nạn gây tử vong ở
các quốc gia là do lái xe buồn ngủ và thiếu tập trung. Trong đó, có khoảng 50% số
vụ tai nạn thuộc loại “tự gây tai nạn” (tức là xe tự đâm va vào các vật cản hay trật làn
đường và gặp nạn) hoặc tai nạn liên quan đến xe tải hạng nặng.
Thực tế, có sự khác nhau giữa các khái niệm: sự mệt mỏi, buồn ngủ và mất tập
trung. Theo quan điểm sinh lý học và tâm lý học, các khái niệm của sự mệt mỏi và
buồn ngủ là khác nhau, nhưng trong cơ sở lý thuyết liên quan trong các lĩnh vực ITS,
mệt mỏi và buồn ngủ là những thuật ngữ đồng nghĩa. Thiếu cảnh giác là một thuật
ngữ có nghĩa là thiếu ý thức và có thể bao gồm buồn ngủ, mất tập trung hoặc cả hai
[79]. Cho tới nay, chưa có một định nghĩa chính xác và khoa học nào cho khái niệm
“sự mệt mỏi”; do đó, không có bất kỳ tiêu chí định lượng để đo lường nó.
Mệt mỏi xảy ra trong ba loại khác nhau: mệt mỏi cảm giác, mệt mỏi cơ và mệt


10
mỏi nhận thức; trong đó, chỉ có mệt mỏi cảm giác và mệt mỏi cơ bắp là có thể đo
lường được và không có cách nào để đo lường sự mệt mỏi về nhận thức [11], [44].
Mặc dù chưa có một định nghĩa chính xác cho “sự mệt mỏi” nhưng nhiều nghiên cứu
đã chỉ ra mối liên hệ giữa sự mệt mỏi/buồn ngủ và nhiệt độ cơ thể, sức đề kháng, mắt
chuyển động, nhịp thở, nhịp tim và hoạt động của não [52], [44], [13], [58]. Tuy
nhiên, những công cụ tốt nhất để đo sự mệt mỏi và buồn ngủ là giám sát hoạt động
của não, nhưng trong cách tiếp cận này, các tín hiệu não phải được tiếp nhận từ các

điện cực kết nối với đầu lái xe; do đó, cách này còn được gọi là phương pháp xâm
nhập. Sau khi giám sát các hoạt động của não, các triệu chứng quan trọng nhất của
sự mệt mỏi được xuất hiện trong mắt. Theo các nghiên cứu, độ trễ giữa các kích thích
thị giác và phản ứng của nó là một trong những biện pháp chính để xác định ý thức.
Độ trễ này được gọi bằng một tham số gọi là “Nhiệm vụ cảnh giác tâm lý”
(Psychomotor Villiance Task - PVT), cho thấy tốc độ phản ứng của một người đối
với kích thích thị giác của người đó. Nghiên cứu cho thấy rằng có một mối quan hệ
rất chặt chẽ giữa PVT và tỷ lệ phần trăm của mí mắt khép kín trong một khoảng thời
gian. Tỷ lệ đóng mí mắt theo thời gian gọi là PERCLOS [68]. Vì vậy, có một mối
quan hệ chặt chẽ giữa mệt mỏi và tỷ lệ đóng mắt. Hệ thống giám sát khuôn mặt người
lái xe sử dụng mối quan hệ này để ước tính lái xe mệt mỏi / buồn ngủ.
Việc thực hiện một nhiệm vụ nào đó một cách đơn điệu cũng có thể làm giảm
sự tập trung và gây mất tập trung. Đơn điệu được gây ra bởi ba lý do chính: (1) thiếu
sự quan tâm cá nhân, (2) làm một nhiệm vụ lặp đi lặp lại trong thời gian dài và (3)
các yếu tố bên ngoài (giống như nói chuyện với điện thoại di động). Đơn điệu trong
lái xe thường được gây ra bởi các nguyên nhân thứ hai và thứ ba. Kéo dài thời gian
lái xe trên đường cao tốc với lưu lượng giao thông đều đều có ảnh hưởng tiêu cực đến
sự tập trung của lái xe. Trong trường hợp này, lái xe có thể không mệt mỏi nhưng do
sự đơn điệu của việc lái xe nên sự tập trung dần dần được giảm xuống và người lái
xe không điều khiển xe một cách cẩn thận. Lái xe mất tập trung cũng có thể được gây
ra bằng cách nói chuyện với mọi người hoặc điện thoại di động và nghe nhạc [11],
[42].


11
1.1.2 Sinh lý giấc ngủ
Ngủ là một quá trình phức tạp với nhiều thành phần sinh lý, hành vi đồng thời
liên quan đến mức độ yêu cầu nghỉ ngơi và làm việc của mỗi cá nhân. Ngủ là tình
trạng cơ thể nghỉ ngơi, tự tu bổ để phục hồi. Cho đến nay, nghiên cứu về giấc ngủ
còn nhiều vấn đề mở. Nhưng cơ bản thì khi ngủ, hoạt động của não bộ biến chuyển

qua nhiều giai đoạn, theo chu kỳ, mỗi chu kỳ kéo dài từ 90 đến 120 phút. Độ sâu của
giấc ngủ cũng thay đổi tùy từng giai đoạn và từng thời điểm sinh trưởng của cơ thể
con người. Ngủ đầy đủ đem lại cảm giác khoẻ mạnh sảng khoái vào buổi sáng, đầu
óc minh mẫn, sáng suốt. Ngược lại, thiếu ngủ làm ta cảm thấy mệt mỏi, dễ nhầm lẫn,
trí nhớ kém, trở nên khó chịu, cáu gắt, năng suất làm việc kém, quan hệ với người
xung quanh cũng trở nên khó khăn.
Ngủ ít hơn so với yêu cầu sinh học gây ra sự tích lũy mất ngủ hoặc nợ ngủ [24].
Trong trường hợp ngủ không đủ giấc, vấn đề tăng nợ ngủ xảy ra và cơ thể đòi hỏi
phải ngủ đề bù lại giấc. Thời gian ngủ bù tương ứng của mỗi người cũng khác nhau;
hoàn cảnh ngủ, thói quen ngủ của mỗi cá nhân và thời lượng ngủ là những yếu tố
quyết định đến mức độ phục hồi của cơ thể khi ngủ [12]. Việc hạn chế và phân mảnh
giấc ngủ cũng có liên hệ chặt chẽ với tình trạng mất ngủ; đồng thời, các tác nhân khác
như sự căng thẳng nhiều ngày do công việc, học tập, gia đình, sức khỏe, lối sống và
các yếu tố môi trường cũng ảnh hưởng nghiêm trọng đến sự suy giảm về số lượng và
chất lượng của giấc ngủ.
Khi phân tích về mặt sức khỏe của lái xe, buồn ngủ và mệt mỏi nhiều khi được
sử dụng có tính chất thay thế, mặc dù chúng không đồng nghĩa. Mệt mỏi là một hiện
tượng phức tạp và có thể hiểu là khả năng suy giảm của một cá nhân trong khả năng
thực hiện các công việc thuộc về thể chất hoặc tâm thần. Trong khi đó buồn ngủ mang
một tính chất cụ thể hơn so với mệt mỏi, cụ thể hơn là nó gắn với việc suy giảm sự
tỉnh táo. Buồn ngủ đại diện cho những đòi hỏi sinh lý của cơ thể về một giấc ngủ,
cũng như cảm giác đói khát của cơ thể. Biểu hiện cơ bản dễ nhận biết của sự buồn
ngủ đó là hành vi ngáp [39].


12
1.1.3 Các phương pháp phát hiện ngủ gật
Gần đây, các kỹ thuật sử dụng trí tuệ nhân tạo đã và đang được nhiều nhà nghiên
cứu trong lĩnh vực giao thông vận tải quan tâm đặc biệt nhằm hướng đến chế tạo ra
chiếc xe thông minh. Theo đó, việc tích hợp cơ chế tự động phát hiện ngủ gật vào hệ

thống xe có thể giúp ngăn ngừa nhiều tai nạn; chẳng hạn, người ta có thể đặt các cảm
biến vào các thành phần tiêu chuẩn của xe như vô-lăng, chân ga, và phân tích các tín
hiệu được gửi bởi các cảm biến để phát hiện lái xe buồn ngủ [63], [26], [71]. Hoặc,
một số nghiên cứu khác tập trung vào các kỹ thuật đo các tín hiệu sinh lý như nhịp
tim, nhịp đập của mạch máu và ghi điện não đồ (EEG) [34]; tuy nhiên, các phương
pháp này có nhược điểm về tính thực tế vì nó đòi hỏi tài xế phải đeo bộ EEG trong
quá trình lái xe, điều này tạo sự bất tiện cho lái xe cũng như hiệu quả hoạt động của
hệ thống cũng bị giảm do yếu tố tiết mồ hôi của lái xe [65].
Còn một vài nghiên cứu khác đề xuất các giải pháp tập trung vào hệ thống thị
giác máy tính để phát hiện và nhận ra những chuyển động trên khuôn mặt và hình
dáng thay đổi xảy ra trong quá buồn ngủ [77], [91]. Những nghiên cứu đó cho thấy,
ưu điểm của kỹ thuật thị giác máy tính là sự gọn nhẹ; và do đó, người dùng rất thuận
tiện khi sử dụng hệ thống. Hầu hết các nghiên cứu về thị giác máy tính đã được công
bố thường dùng phương pháp tiếp cận về sự chớp mắt và sự chuyển động của đầu.
Tuy nhiên, cho đến này, trong việc phát hiện sự mệt mỏi và hệ thống cảnh báo lái xe
ngủ gật, kỹ thuật xử lý hình ảnh đã và đang được sử dụng rộng rãi nhất bởi vì nó có
khả năng phát hiện từ xa.
Để có công nghệ hiện đại giúp ngăn chặn hoặc ít nhất là cảnh báo tình trạng lái
xe mệt mỏi thì chúng ta nhất thiết phải biết rõ những triệu chứng nào của lái xe có
thể được phát hiện nhằm có giải pháp phù hợp. Hiện nay, có nhiều loại công nghệ có
thể phát hiện sự mệt mỏi và ngủ gật của lái xe. Trong đó, người ta thường dùng các
camera để giám sát hành vi của một người nói chung và của lái xe nói riêng; chẳng
hạn như vị trí con ngươi, ngáp, vị trí đầu, và một loạt các yếu tố khác. Nghiên cứu
[69] đề xuất kỹ thuật phát hiện dựa vào bản đồ mắt (eye map) và đường viền miệng
(mouth contour); tuy nhiên, kỹ thuật này có những hạn chế nhất định như nhận định


13
của các tác giả này.
Các phương pháp phát hiện buồn ngủ có thể được chia thành ba nhóm chính:

(1) Dựa vào phương tiện; (2) Dựa vào hành vi; và (3) Dựa vào sinh lý [65], [72]. Cụ
thể là:
• Các phương pháp dựa vào phương tiện: Một vài đại lượng đo lường như độ
lệch khỏi vị trí làn đường, chuyển động của vô-lăng, áp lực trên bàn đạp tăng tốc,
v.v... được giám sát một cách liên tục. Bất kỳ sự thay đổi nào vượt ngưỡng cho phép
báo hiệu khả năng xảy ra tình trạng lái xe ngủ gật.
• Các phương pháp dựa vào hành vi: Các hành vi của lái xe như ngáp, đóng cửa
mắt, mắt nhấp nháy, đầu nghiêng, v.v... được giám sát thông qua một máy ảnh và
chương trình điều khiển có tín hiệu cảnh báo nếu bất cứ triệu chứng buồn ngủ được
phát hiện.
• Các phương pháp dựa vào sinh lý: Các mối tương quan giữa tín hiệu ECG
(Điện tâm đồ) và EOG (Electrooculogram- điện nhãn đồ) như đã trình bày ở trên.
Buồn ngủ được phát hiện thông qua xung nhịp mạch máu, nhịp tim và thông tin điện
não.
Do đó, việc phát hiện buồn ngủ đều được phát triển dựa trên ba nhóm này. Trong
đó, các kỹ thuật cơ bản thường được dùng trong việc phát hiện buồn ngủ gồm có:
ECG & EEG, Chuyển động của vô-lăng (Steering Wheel Movement - SWM), Kỹ
thuật quang học, và Kỹ thuật thống kê.
1.1.3.1 ECG & EEG
Nhiều nhà nghiên cứu xem xét những tín hiệu sinh lý như điện tâm đồ (ECG),
điện não đồ (EEG) để phát hiện buồn ngủ. Nhịp tim (Heart Rate - HR) cũng khác
nhau đáng kể giữa các giai đoạn khác nhau của buồn ngủ, chẳng hạn như sự tỉnh táo
và mệt mỏi. Vì vậy, nhịp tim, có thể dễ dàng xác định bởi tín hiệu ECG, cũng có thể
được sử dụng để phát hiện buồn ngủ. Một số nhà nghiên cứu khác đo lường sự buồn
ngủ bằng sự biến thiên nhịp tim (Heart Rate Variability - HRV); trong đó, tần số thấp
(LF) nằm trong khoảng 0,04-0,14 Hz và tần số cao (HF) nằm trong khoảng 0,15-0,4
Hz [80].


14

Điện não đồ (EEG) là tín hiệu sinh lý được sử dụng phổ biến nhất trong việc
phát hiện buồn ngủ. Tín hiệu EEG có nhiều băng thông tần số, bao gồm băng thông
δ (0,5 - 4Hz) (tương ứng giai đoạn ngủ), băng thông θ (4-8Hz) (tương ứng giai đoạn
buồn ngủ), băng thông α (8-13Hz) (tương ứng giai đoạn thư giãn và các hoạt động
sáng tạo), và băng thông β (13-25Hz) (tương ứng với giai đoạn tỉnh táo). Nếu năng
lượng băng thông α giảm xuống và năng lượng băng thông β tăng lên thì có dấu hiệu
buồn ngủ.
1.1.3.2 Chuyển động của vô-lăng
Kỹ thuật này đo góc lái bằng cảm biến và nó là một trong những kỹ thuật được
sử dụng rộng rãi trong phương pháp phát hiện ngủ gật dựa trên phương tiện. Theo đó,
người ta sử dụng một bộ cảm biến góc gắn trên trục tay lái nhằm giám sát hành vi lái
xe của tài xế. Khi nào buồn ngủ, tài xế thường ít thay đổi góc quay tay lái so với bình
thường [72] bởi vì hành vi lái xe bị ảnh hưởng bởi những đặc điểm như tốc độ, độ
cong và làn chiều rộng, tính cách, kinh nghiệm lái xe, và các trạng thái vui buồn,
hưng phấn, hay mệt mỏi, v.v... Tuy nhiên, kỹ thuật này chỉ phù hợp cho một số môi
trường nhất định và phụ thuộc nhiều vào các đặc điểm địa hình của đường xá thay vì
các đặc trưng và tính năng của phương tiện.
1.1.3.3 Kỹ thuật quang học
Kỹ thuật này thường sử dụng một bộ cảm biến quang học với các đèn LED hồng
ngoại hoặc gần hồng ngoại để chiếu vào con ngươi của lái xe. Nghiên cứu [31] đề
xuất thuật toán dùng trí tuệ nhân tạo để xác định và theo dõi mặt và mắt lái xe bằng
đèn hồng ngoại. Thuật toán điện toán phân tích tỷ lệ chớp mắt và thời gian nhắm mắt
để xác định buồn ngủ. Hệ thống camera này cũng có thể giám sát các đặc trưng khuôn
mặt và vị trí đầu để phát hiện ngủ gật thông qua hành vi ngáp và gật đầu đột ngột.
Phương pháp này khá hiệu quả và tiện dụng cho nên Luận án trình bày chi tiết hơn
trong một chương riêng.
1.1.3.4 Kỹ thuật thống kê
Nhiều nhà nghiên cứu đề xuất sử dụng kỹ thuật thống kê, ví dụ: [83] đề xuất mô

15
hình hồi qui với bình phương nhỏ nhất từng phần (partial least squares regression);
nghiên cứu [32] xác định trạng thái buồn ngủ của lái xe thông qua các thang đo trạng
thái mắt dựa trên thử nghiệm lái xe 90 giờ đồng hồ; hay nghiên cứu [84] dùng mô
hình Markov ẩn (Hidden Markov Model) để nhận diện biểu cảm của khuôn mặt lái
xe, v.v... Đặc biệt là đề xuất ứng dụng hệ thống cảm ứng 3D để xác định hướng đầu
bằng cách kết hợp hình ảnh 2D và 3D của [66]; theo đó, với hình ảnh 3D thu nhận
được từ các cảm ứng và hình ảnh 2D tạo lập, họ sử dụng thuật toán xoay điểm gần
nhất để xác định hướng đầu với 3 bậc tự do theo các góc Euler. Đề xuất này tạo tiền
đề cho các nghiên cứu ứng dụng phát hiện tình trạng lái xe ngủ gật, lơ là, mất tập
trung.
1.1.4 Các hệ thống xử lý ảnh
a) Tiền xử lý
Tiền xử lý là giai đoạn đầu tiên trong xử lý ảnh số. Giai đoạn này bao gồm nhiều
công đoạn khác nhau như: nâng cấp, khôi phục ảnh, nắn chỉnh hình học, khử nhiễu
v.v... Việc chọn xử lý công đoạn nào phụ thuộc vào quá trình xử lý tiếp theo.
b) Trích chọn đặc trưng
Các đặc điểm của đối tượng được trích chọn tuỳ theo mục đích nhận dạng trong
quá trình xử lý ảnh. Để cho việc nhận dạng các đối tượng ảnh chính xác, với tốc độ
tính toán cao và dung lượng nhớ lưu trữ giảm thì các đặc điểm của đối tượng cần
được chọn một cách tối ưu và thuật toán trích chọn cần đảm bảo tính hiệu quả về tốc
độ xử lý và độ chính xác của các đặc điểm trích chọn.
c) Đối sánh, nhận dạng
Trong lĩnh vực thị giác máy tính và các ứng dụng trong nhiều ngành khoa học
khác nhau thì việc nhận dạng, mô tả đối tượng, phân loại và phân nhóm các mẫu một
cách tự động là những vấn đề quan trọng hàng đầu. Để nhận dạng hoặc phân loại một
mẫu ảnh nào đó, chẳng hạn như ảnh của vân tay, ảnh của một vật thể được chụp, một
chữ viết, khuôn mặt người hoặc một ký đồ, v.v... Hệ thống nhận dạng tự động bao
gồm ba khâu tương ứng với ba giai đoạn chủ yếu sau đây:

16
• Thu nhận dữ liệu và tiền xử lý;
• Biểu diễn dữ liệu; và,
• Nhận dạng, ra quyết định.
Trong thực tiễn, người ta thường kết hợp đồng thời nhiều phương pháp, nhiều
cách tiếp cận trên để có kết quả đầu ra “tối ưu”. Do vậy, các giải thuật nhận dạng
thường dùng các phương thức phân loại tổ hợp. Hiện nay, các hệ thống lai (hybrid
systems) dựa trên thiết kế bao gồm nhiều mô hình kết hợp đã và đang được nghiên
cứu phát triển cũng như được áp dụng ngày càng phổ biến hơn.
1.1.5 Các hình thái của ảnh
a) Chuyển ảnh màu thành ảnh cấp xám
Trong lĩnh vực ảnh kỹ thuật số, điểm ảnh (pixel) là đơn vị tế bào của ảnh số.
Các thông số khác nhau trong từng điểm ảnh cho kết quả là ảnh màu hay ảnh xám.
Cụ thể, đối với ảnh màu thì từng pixel mang thông tin của ba màu cơ bản tạo ra bản
màu khả kiến là Đỏ (R- Red), Xanh lá (G- Green) và Xanh biển (B - Blue). Ba màu
cơ bản đó được bố trí sát nhau và có cường độ sáng khác nhau tạo ra những màu sắc
khác nhau trong mỗi pixel của ảnh màu. Thông thường, mỗi màu cơ bản được biểu
diễn bằng tám bit tương ứng 256 mức độ màu khác nhau. Như vậy, mỗi pixel với 3
màu cơ bản tạo ra gần 16,78 triệu màu. Còn đối với ảnh cấp xám thì mỗi pixel mang
thông tin của 256 mức xám (tương ứng với tám bit) như vậy ảnh cấp xám hoàn toàn
có thể tái hiện đầy đủ cấu trúc của một ảnh màu tương ứng thông qua tám mặt phẳng
bit theo cấp xám.
Việc chuyển điểm ảnh màu [x,y] thành ảnh cấp xám thông thường được thực
hiện thông qua một trong những công thức sau đây [17]:
I = 0.2125*Red + 0.7164*Green + 0.0721*Blue;
I = 0.3086*Red + 0.6094*Green + 0.0820*Blue;
I = 0.299*Red + 0.587*Green + 0.114*Blue;
I = 0.5*Red + 0.419*Green + 0.081*Blue.
b) Lược đồ cấp xám của ảnh

17
Lược đồ cấp xám của một ảnh số có mức xám trong khoảng [0,n] là một hàm
rời rạc p(rk) = nk/n; trong đó, nk là số pixel có mức xám thứ rk; n là tổng số pixel trong
ảnh và k = 0,1, 2,...,n. Do đó, p(rk) là giá trị ước lượng một xấp xỉ xác suất xảy ra
mức xám rk.
Sự xuất hiện các mức xám của một ảnh có thể được thể hiện thông qua việc vẽ
đồ thị của hàm p(rk) với tất cả các giá trị của k. Hoặc các mức xám của một ảnh cũng
có thể được thể hiện bằng lược đồ mức xám của ảnh thông qua tần suất xuất hiện mỗi
mức xám qua hệ tọa độ vuông góc xOy; trong đó, trục hoành biểu diễn số mức xám
từ 0 đến N (số bit của ảnh xám), còn trục tung biểu diễn số pixel của mỗi mức xám.

1.2 Phương pháp tiếp cận bài toán phát hiện ngủ gật của Luận án
Trong phạm vi nghiên cứu của đề tài, Luận án xem xét hai kỹ thuật chính: (1)
nhận dạng trạng thái mắt; và (2) phát hiện hành vi gật lắc. Để thực hiện được hai kỹ
thuật đó, Luận án xem xét đến hai bài toán liên quan như: (1) phát hiện khuôn mặt;
và (2) phát hiện mắt. Các bài toán này được xem xét chi tiết trong các chương tiếp
theo. Các bài toán này liên hệ với nhau trong hệ thống phát hiện và đánh thức lái xe
trong trạng thái ngủ gật như sau:
Hình ảnh đầu vào thường được thu nhận qua một trong các loại camera: (1) loại
camera ống chuẩn CCIR với tần số 1/25, mỗi ảnh 25 dòng màu hoặc đen trắng; (2)
loại camera số hoá, là loại photodiot tạo cường độ sáng tại mỗi điểm ảnh; (3) loại
camera quét dòng để tạo dạng ảnh hai chiều. Chất lượng một ảnh thu nhận được phụ
thuộc nhiều vào các yếu tố như chất lượng camera, môi trường xung quanh (ánh sáng,
sự vật, thời gian, v.v...).
Sau khi ảnh được thu nhận, hình ảnh được đưa vào bộ tiền xử lý để nâng cao
chất lượng (giảm nhiễu, tăng độ tương phản) nhằm giúp cho việc tìm kiếm các đặc
trưng yêu cầu được dễ dàng hơn và chính xác hơn. Trong giai đoạn tiền xử lý này,
kích cỡ giữa ảnh trong cơ sở dữ liệu và ảnh cần tìm cũng như vị trí, tư thế ảnh mặt

được chuẩn hóa, độ sáng/tối của ảnh cũng được hiệu chỉnh phù hợp; nhiễu được lọc
tối đa, v.v...


18
Trích chọn đặc trưng là kỹ thuật sử dụng các thuật toán để lấy ra những thông
tin cơ bản của mặt người để hệ thống có thể phát hiện chính xác đâu là mặt người
trong ảnh. Bài toán phát hiện khuôn mặt người trong ảnh được trình bày chi tiết hơn
trong Mục 2.1. Sau khi phát hiện được khuôn mặt người, vị trí mắt được xác định
thông qua bài toán phát hiện mắt người trong ảnh cũng như xác định được trạng thái
đóng/mở của mắt như được trình bày trong Mục 2.2. Cũng từ trạng thái mắt đã được
xác định, chúng ta có thể thiết lập các thông số liên quan để xác định xem lái xe có
rơi vào tình trạng ngủ gật hay không. Đồng thời, hệ thống xác định hướng mặt của
lái xe để phát hiện hành vi gật lắc.
Tóm lại, từ các ý tưởng như trên, kỹ thuật phát hiện lái xe ngủ gật trong Luận
án này được thể hiện trong Hình 1.1; theo đó, hệ thống này sẽ đưa ra cảnh báo tình
trạng ngủ gật khi một trong ba tình huống sau xảy ra:
• Mắt rơi vào trạng thái ngủ gật bất kể hướng mặt có thay đổi hay không;
• Có sự thay đổi hướng mặt đột ngột trong khi mắt vẫn trong trạng thái mở; điều
này xảy ra khi lái xe rơi vào trạng thái “ngủ trong ruột”;
• Việc kết hợp trạng thái mắt và hành vi gật lắc đạt đến một ngưỡng được đặt ra
cho việc xác định trạng thái ngủ gật.

1.3 Một số vấn đề lý thuyết cơ sở
1.3.1 Nhận dạng mẫu
Tất cả các đối tượng (phần tử) có cùng chung một số tính chất đặc trưng điển
hình và được nhóm lại thành các “lớp”. Các tính chất đặc trưng đó có thể được thể
hiện thông qua một phần tử đại diện để phản ánh các phần tử khác trong lớp đó, được
gọi là “mẫu” (sample). Do đó, “nhận dạng” (recognition) chính là đoán nhận cả một
lớp dạng, phân biệt lớp dạng này với lớp dạng khác; hay nói cách khác, nhận dạng là

quá trình phân loại các đối tượng được biểu diễn theo một mô hình nào đó và gán
chúng một tên (gán cho đối tượng một tên gọi, tức là một dạng) dựa theo những quy
luật và mẫu chuẩn [3].