Nhận diện hành động sử dụng hệ thống radar fmcw và mô hình học sâu

ĐẠI HỌC QUỐC GIA TP. HCM
TRƯỜNG ĐẠI HỌC BÁCH KHOA
--------------------

NGUYỄN CHÁNH TRỰC

NHẬN DIỆN HÀNH ĐỘNG SỬ DỤNG HỆ THỐNG RADAR
FMCW VÀ MƠ HÌNH HỌC SÂU
Chun ngành : Kỹ Thuật Viễn Thơng
Mã số: 8520208

LUẬN VĂN THẠC SĨ

TP. HỒ CHÍ MINH, tháng 7 năm 2023


CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI
TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM
Cán bộ hướng dẫn khoa học 1: TS. Trịnh Xuân Dũng
Cán bộ hướng dẫn khoa học 2: TS. Võ Tuấn Kiệt
Cán bộ chấm nhận xét 1 : TS. Huỳnh Phú Minh Cường
Cán bộ chấm nhận xét 2 : TS. Huỳnh Thế Thiện
Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG
Tp. HCM ngày 6 tháng 7 năm 2023.

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:
1. GS.TS. Lê Tiến Thường

(Chủ tịch hội đồng)

2. TS. Nguyễn Đình Long

(Thư Ký)

3. TS. Huỳnh Phú Minh Cường

(Phản biện 1)

4. TS. Huỳnh Thế Thiện

(Phản biện 2)

5. PGS.TS. Đỗ Hồng Tuấn

(Ủy viên)

Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý
chuyên ngành sau khi luận văn đã được sửa chữa (nếu có).

CHỦ TỊCH HỘI ĐỒNG

TRƯỞNG KHOA ĐIỆN – ĐIỆN TỬ


ĐẠI HỌC QUỐC GIA TP.HCM
TRƯỜNG ĐẠI HỌC BÁCH KHOA

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập - Tự do - Hạnh phúc

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ tên học viên: Nguyễn Chánh Trực

MSHV: 1970670

Ngày, tháng, năm sinh: 04/04/1995

Nơi sinh: An Giang

Chuyên ngành: Điện tử - viễn thông

Mã số: 8520208

I. TÊN ĐỀ TÀI: Nhận diện hành động sử dụng hệ thống Radar FMCW và mơ hình
học sâu.
Tên Tiếng Anh: Dynamic Gesture Recognition based on FMCW Radar with Deep
Learning.
II. NHIỆM VỤ VÀ NỘI DUNG:
-

Nghiên cứu hệ thống Radar FMCW và ứng dụng của hệ thống Radar trong đo đạc
thông số khoảng cách và vận tốc của đối tượng.

-

Xây dựng mơ hình thu thập dữ liệu cử chỉ sử dụng hệ thống Radar FMCW.

-

Xây dựng giải thuật nhận diện hành động sử dụng dữ liệu thu thập của hệ thống Radar
FMCW kết hợp mơ hình học sâu.

-

Đánh giá hiệu quả của giải thuật nhận diện hành động với tập dữ liệu đo đạc thực
nghiệm trên Module Radar FMCW.

III. NGÀY GIAO NHIỆM VỤ: 02/2023
IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 06/2023
V. CÁN BỘ HƯỚNG DẪN: Tiến sĩ Trịnh Xuân Dũng, Tiến sĩ Võ Tuấn Kiệt

Tp. HCM, ngày 10 tháng 1 năm 2023
CÁN BỘ HƯỚNG DẪN
(Họ tên và chữ ký)

TS. Trịnh Xuân Dũng

CHỦ NHIỆM BỘ MÔN ĐÀO TẠO
(Họ tên và chữ ký)

TS. Võ Tuấn Kiệt

TRƯỞNG KHOA ĐIỆN – ĐIỆN TỬ
(Họ tên và chữ ký)


LỜI CÁM ƠN
Lời đầu tiên, tôi xin gửi lời cảm ơn chân thành và sâu sắc nhất đến TS. Trịnh
Xuân Dũng, người Thầy – vô cùng nhiệt huyết, tận tâm và là nguồn kiến thức tuyệt
vời – đã hướng dẫn và giúp đỡ tôi từ những năm tháng đại học đến hiện tại và cũng
là người luôn đồng hành và hỗ trợ tơi trong suốt q trình thực hiện luận văn thạc sĩ

này. Bên cạnh đó tơi xin gửi lời cảm ơn đến TS. Võ Tuấn Kiệt người Thầy đã tận
tình hướng dẫn tơi về học sâu một lĩnh vực mà tơi cịn thiếu nhiều kiến thức.
Tơi xin gửi lời cảm ớn đến quý Thầy trong Khoa Điện – Điện Tử đã luôn
hướng dẫn nhiệt huyết qua các môn học từ lúc Đại học cho đến Cao học, bởi dù ít
dù nhiều đã góp phần củng cố và bồi đắp kiến thức để tơi có khả năng hồn thành
luận văn này. Bên cạnh đó, xin được cám ơn các anh em bạn bè gần xa đã hỗ trợ tôi
về mặt kỹ thuật trong quá trình thực hiện đề tài luận văn này. Tôi cũng xin gửi lời
cảm ơn đến bộ môn Viễn Thông, khoa Điện – Điện Tử, trường Đại học Bách Khoa
– ĐHQG TP. HCM đã hỗ trợ tôi có điều kiện về cơ sở vật chất, phịng học để tơi có
thể hồn thành luận văn một cách tốt nhất!
TP. HCM, ngày 07, tháng 06 năm 2023

Nguyễn Chánh Trực

i


TĨM TẮT LUẬN VĂN
Ngày nay, nhiều cơng nghệ nhận diện hành động không tiếp xúc đang được
đẩy mạnh phát triển đặc biệt là sự bùng nổ của các ứng dụng thực tế ảo tăng cường,
trong đó bao gồm cơng nghệ nhận diện bằng hệ thống Radar FMCW kết hợp với
học sâu đem lại nhiều kết quả đáng mong đợi. Luận văn này sẽ trình bày về ứng
dụng hệ thống Radar FMCW mmWave, kết hợp các thuật toán nhận diện dựa trên
mơ hình học sâu gồm CONV1D, LSTM và Transformer trong bài toán nhận dạng
hành động.
Các tập dữ liệu trong bài toán nhận dạng hành động được xây đựng bao gồm
các tập dữ liệu đã được công bố và dữ liệu tự thu thập thực tế. Các mơ hình được
tiến hành huấn luyện và đánh giá dựa trên tập dữ liệu xây dựng được. Mơ hình
LSTM sau khi được huấn luyện trên tập dữ liệu này và đánh giá trên tập dữ liệu
khác bị giảm độ chính xác ít nhất trong ba mơ hình và cũng có độ chính xác cao

nhất (99.17%) sau khi so sánh với hai mơ hình cịn lại. Từ đó có thể thấy mơ hình
LSTM là mơ hình phù hợp cho ứng dụng. Ngồi ra, luận văn còn phát triển một hệ
thống nhận diện hành động sử dụng mơ hình đã được huấn luyện và module Radar
FMCW – IWR1642BOOST qua đó điều khiển trình ứng dụng âm nhạc trên máy
tính từ một số hành động đơn giản.

ii


ABSTRACT
Recently, many contactless gesture recognition technologies are being
promoted especially the explosion of augmented reality applications. The
combination of FMCW Radar system and deep learning bring many desirable
results. This thesis introduces the application of the FMCW mmWave Radar system
with recognition algorithms based on deep learning models including CONV1D,
LSTM and Transformer in gesture recognition problems.
The data sets in the gesture recognition problems are built with published data
sets and actual self-collected data. The models are trained and evaluated based on
the built data set. After being trained on this dataset and evaluated on another
dataset, LSTM model has the least accuracy reduction in the three models and also
has the highest accuracy (99.17%) when comparing with other two models. From
there, it can be seen that the LSTM model is the suitable model for the radar gesture
recognition applications. In addition, the thesis also develops an gesture recognition
system using the trained model and FMCW Radar module - IWR1642BOOST,
thereby controlling the music application on the computer from a number of simple
gestures.

iii

LỜI CAM ĐOAN
Tôi tên Nguyễn Chánh Trực, là học viên cao học chun ngành Kỹ thuật Viễn
thơng, khóa 2019, tại Đại học Quốc gia thành phố Hồ Chí Minh – Trường Đại học
Bách Khoa. Tôi xin cam đoan những nội dung sau đều là sự thật:
-

Cơng trình nghiên cứu này hồn tồn do chính tơi thực hiện dưới sự hướng
dẫn của TS. Trịnh Xuân Dũng và TS. Võ Tuấn Kiệt.

-

Các tài liệu và trích dẫn trong luận văn này được tham khảo từ các nguồn
thực tế, có uy tín và độ chính xác cao.

-

Các số liệu và kết quả của cơng trình này được thực hiện một cách độc lập và
trung thực.
TP. HCM, ngày 07, tháng 06 năm 2023

Nguyễn Chánh Trực

iv


MỤC LỤC
LỜI CÁM ƠN .......................................................................................................... i
TÓM TẮT LUẬN VĂN ......................................................................................... ii
ABSTRACT ........................................................................................................... iii
LỜI CAM ĐOAN .................................................................................................. iv

MỤC LỤC ............................................................................................................... v
DANH SÁCH HÌNH VẼ ..................................................................................... viii
DANH SÁCH TỪ VIẾT TẮT .............................................................................. xi
CHƯƠNG 1. GIỚI THIỆU ................................................................................... 1
1.1. Đặt vấn đề ........................................................................................................ 1
1.2. Mục tiêu và nhiệm vụ của luận văn ............................................................... 1
1.2.1. Mục tiêu ...................................................................................................... 1
1.2.2. Nhiệm vụ luận văn ..................................................................................... 2
1.3. Đối tượng và phạm vi nghiên cứu .................................................................. 2
1.3.1. Đối tượng nghiên cứu ................................................................................. 2
1.3.2. Phạm vi nghiên cứu .................................................................................... 2
1.4. Phương pháp nghiên cứu................................................................................ 2
1.5. Bố cục của luận văn......................................................................................... 3
CHƯƠNG 2. TỔNG QUAN CÁC VẤN ĐỀ NGHIÊN CỨU VÀ CƠ SỞ LÝ
THUYẾT LIÊN QUAN ......................................................................................... 4
2.1. Hệ thống nhận diện hành động ...................................................................... 4
2.2. Hệ thống nhận diện hành động bằng Radar FMCW .................................. 5
2.3. Tổng quan về hệ thống Radar FMCW.......................................................... 5
2.3.1. Cấu tạo và cơ chế hoạt động của hệ thống Radar FMCW ......................... 7
2.3.2. Khoảng cách vật thể đối với Radar và độ phân giải khoảng cách ........... 12
2.3.3. Vận tốc vật thể đối với Radar và độ phân giải vận tốc ............................ 16
2.3.4. Góc đến từ vật thể tới Radar và độ phân giải góc đến ............................. 22
2.4. Một số lý thuyết về học máy và học sâu ...................................................... 27
2.4.1. Mạng nơ-ron nhân tạo .............................................................................. 27
2.4.2. Hàm kích hoạt .......................................................................................... 27
2.4.3. Mạng nơ-ron tích chập (CNN) ................................................................. 28
2.4.4. Mạng nơ-ron hồi quy (RNN) .................................................................... 29
2.4.5. Long Short Term Memory (LSTM) ......................................................... 30
2.4.6. Transformer .............................................................................................. 34
2.5. Kết luận chương ............................................................................................ 37

CHƯƠNG 3. THỰC HIỆN VÀ PHÂN TÍCH ................................................... 38
3.1. Khảo sát bộ dữ liệu hành động tay có sẵn .................................................. 38

v


3.2. Mơ hình lấy mẫu dữ liệu thực tế .................................................................. 42
3.2.1. Tổng quan module IWR1642BOOST ...................................................... 42
3.2.2. Định dạng dữ liệu từ module IWR1642 ................................................... 44
3.2.3. Sơ đồ khối và giải thuật lấy mẫu hành động ............................................ 45
3.2.4. Lấy mẫu dữ liệu ........................................................................................ 46
3.3. Các mơ hình nhận diện hành động .............................................................. 48
3.3.1. CONV1D .................................................................................................. 48
3.3.2. LSTM ....................................................................................................... 50
3.3.3. Transformer .............................................................................................. 51
3.4. Khảo sát kết quả mơ hình nhận diện được huấn luyện ............................. 52
3.4.1. CONV1D .................................................................................................. 52
3.4.2. LSTM ....................................................................................................... 57
3.4.3. Transformer .............................................................................................. 62
3.4.4. Kết luận .................................................................................................... 67
3.5. Kết luận chương ............................................................................................ 70
CHƯƠNG 4. HIỆN THỰC HÓA HỆ THỐNG NHẬN DIỆN HÀNH ĐỘNG
BẰNG RADAR FMCW VÀ MƠ HÌNH HỌC SÂU ......................................... 71
4.1. Tổng quan hệ thống nhận diện hành động ................................................. 71
4.2. Triển khai xây dựng hệ thống thực nhận diện hành động ........................ 71
4.2.1. Mơ hình kết nối phần cứng....................................................................... 71
4.2.2. Mơ hình phần mềm tích hợp vào hệ thống ............................................... 72
4.3. Kết luận chương ............................................................................................ 76
CHƯƠNG 5. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN KẾ TIẾP ................. 77
5.1. Kết luận chung............................................................................................... 77

5.1.1. Các công việc đã thực hiện được ............................................................. 77
5.1.2. Những hạn chế của luận văn .................................................................... 78
5.2. Hướng phát triển ........................................................................................... 78
TÀI LIỆU THAM KHẢO ................................................................................... 79

vi


DANH SÁCH BẢNG
Bảng 2-1: Các hàm kích hoạt thơng dụng .................................................................28
Bảng 3-1: Thơng số cấu hình module IWR1642 ......................................................38
Bảng 3-2: Thống kê số lượng mẫu của từng loại thao tác ........................................39
Bảng 3-3: Thống kê số lượng mẫu của từng loại hành động trong nhóm test của tập
dữ liệu cho trước .......................................................................................................42
Bảng 3-4: Thông tin trong Detected object TLV ......................................................45
Bảng 3-5: Thống kê số lượng mẫu của từng loại hành động theo người tham gia ...47
Bảng 3-6: Thống kê số lượng mẫu của từng loại hành động trong nhóm test của tập
dữ liệu được lấy mẫu thực tế .....................................................................................47
Bảng 3-7: Kết quả đánh giá của mơ hình CONV1D với các nhóm test của bộ dữ liệu
tương ứng với từng trường hợp huấn luyện ..............................................................52
Bảng 3-8: Kết quả đánh giá của mô hình LSTM với các nhóm test của bộ dữ liệu
tương ứng với từng trường hợp huấn luyện ..............................................................57
Bảng 3-9: Kết quả đánh giá của mơ hình Transformer với các nhóm test của bộ dữ
liệu tương ứng với từng trường hợp huấn luyện .......................................................62
Bảng 3-10: Thống kê các kết quả đạt được sau khi huấn luyện của 3 mơ hình học
sâu CONV1D, LSTM, và Transformer .....................................................................67
Bảng 4-1: Ánh xạ các loại thao tác với chức năng điều khiển ..................................75

vii

DANH SÁCH HÌNH VẼ
Hình 2-1: Một số kỹ thuật nhận dạng hành động ........................................................4
Hình 2-2: Sơ đồ khối hệ thống nhận diện hành động bằng Radar FMCW .................5
Hình 2-3: Sơ đồ khối của một hệ thống radar đơn giản ..............................................6
Hình 2-4: Các dạng sóng FMCW ...............................................................................7
Hình 2-5: Sơ đồ giản lược của hệ thống Radar FMCW ..............................................7
Hình 2-6: Sơ đồ cấu tạo đơn giản của bộ phát sóng ...................................................8
Hình 2-7: Tín hiệu Chirp .............................................................................................8
Hình 2-8: Mối quan hệ giữa tần – thời gian của chirp ................................................9
Hình 2-9: Sơ đồ cấu tạo đơn giản của bộ thu sóng ...................................................10
Hình 2-10: Chirp phát và Chirp thu ..........................................................................10
Hình 2-11: Tín hiệu trung tần từ việc trộn tần giữa tín hiệu phát và thu ..................12
Hình 2-12: Khoảng cách d giữa vật thể và radar ......................................................12
Hình 2-13: Thời gian trễ giữa Chirp phát và Chirp thu ............................................13
Hình 2-14: Độ phân giải khoảng cách giữa hai vật thể .............................................13
Hình 2-15: Tín hiệu từ hai vật thể thu về được .........................................................14
Hình 2-16: Tín hiệu có các thành phần tần số bị chồng lấn do không đủ thời gian lấy
mẫu ............................................................................................................................14
Hình 2-17: Tăng thời gian tín hiệu ............................................................................15
Hình 2-18: Tín hiệu tách rời nhau ở miền tần số ......................................................15
Hình 2-19: Tín hiệu IF phải được lấy mẫu trước khi xử lý.......................................16
Hình 2-20: Hai vật thể có cùng khoảng cách với radar.............................................17
Hình 2-21: Hai pha khác nhau của hai tín hiệu có cùng khoảng cách – tần số.........17
Hình 2-22: Độ trễ và độ lệch pha giữa hai Chirp RX liên tiếp .................................18
Hình 2-23: Đỉnh tần số góc của tín hiệu sau biến đổi FFT rời rạc (D-FFT) [7] .......20
Hình 2-24: Một frame của radar................................................................................21
Hình 2-25: Đo góc của một vật thể trước radar cần từ hai kênh thu trở lên .............22
Hình 2-26: Sự chênh lệch về quãng đường đi của sóng phản xạ từ một vật tới 2
anten thu ....................................................................................................................23

viii


Hình 2-27: Phân tích hình học sóng tới anten thu .....................................................24
Hình 2-28: Biến đổi DFFT để tìm các độ lệch pha khác nhau từ các kênh thu ........25
Hình 2-29: Các trường hợp độ lệch pha giữa 2 kênh thu ..........................................26
Hình 2-30: Mạng nơ-ron nhân tạo với các nút màu xanh là nút đầu vào, các nút màu
cam ở giữa là các nút ẩn, nút cam bên phải là nút đầu ra và các nút (+1) được gọi là
độ lệch (bias). Các mũi tên là các trọng số kết nối giữa 2 lớp liền kề. .....................27
Hình 2-31: Sơ đồ tổng quát mạng RNN ....................................................................29
Hình 2-32: Các module lặp của mạng RNN chứa một lớp .......................................30
Hình 2-33: Các module lặp của mạng LSTM chứa bốn lớp .....................................31
Hình 2-34: Giải thích các ký hiệu trong Hình 2-33 ..................................................31
Hình 2-35: Quá trình trạng thái của một tế bào ........................................................32
Hình 2-36: Cổng trạng thái LSTM ............................................................................32
Hình 2-37: Cổng quên ...............................................................................................33
Hình 2-38: Cổng vào và cổng 𝑡𝑎𝑛ℎ ..........................................................................33
Hình 2-39: Quá trình cập nhật trạng thái cũ ..............................................................34
Hình 2-40: Kết quả ngõ ra của cell ...........................................................................34
Hình 2-41: Kiến trúc của mơ hình Transformer .......................................................35
Hình 2-42: Kiến trúc tự tập trung ..............................................................................36
Hình 2-43: Tập trung đa đầu .....................................................................................36
Hình 3-1: Mơ hình lấy mẫu hành động .....................................................................38
Hình 3-2: Mơ tả các loại hành động ..........................................................................39
Hình 3-3: Các mẫu dữ liệu hành động thu được từ radar theo tọa độ X và Y trên các
frame..........................................................................................................................40
Hình 3-4: Histogram của một số loại hành động trong tập dữ liệu cho trước ..........41
Hình 3-5: Sơ đồ khối của module IWR1642BOOST ...............................................43
Hình 3-6: Mặt trước của module IWR1642BOOST .................................................43

Hình 3-7: Mặt sau của module IWR1642BOOST ....................................................44
Hình 3-8: Cấu trúc gói dữ liệu được gửi thơng qua UART ......................................44
Hình 3-9: Mơ hình thu thập dữ liệu cử chỉ ................................................................45

ix


Hình 3-10: Sơ đồ giải thuật lấy mẫu dữ liệu hành động ...........................................46
Hình 3-11: Histogram của một số loại hành động trong tập dữ liệu lấy mẫu thực tế
...................................................................................................................................48
Hình 3-12: Sơ đồ khối mơ hình mạng tích chập một chiều nhận dạng hành động ...49
Hình 3-13: Sơ đồ khối mơ hình mạng LSTM nhận dạng hành động ........................50
Hình 3-14: Sơ đồ khối mơ hình mạng Transformer nhận dạng hành động ..............51
Hình 3-15: Biểu đồ so sánh độ chính xác của các mơ hình sau khi được huấn luyện
với Tập Số 1 ..............................................................................................................69
Hình 3-16: Biểu đồ so sánh độ chính xác của các mơ hình sau khi được huấn luyện
với Tập Số 2 ..............................................................................................................69
Hình 3-17: Biểu đồ so sánh độ chính xác của các mơ hình sau khi được huấn luyện
với cả hai tập dữ liệu .................................................................................................70
Hình 4-1: Sơ đồ khối hệ thống nhận dạng hành động...............................................71
Hình 4-2: Sơ đồ kết nối phần cứng của hệ thống nhận diện hành động ...................72
Hình 4-3: Sơ đồ giải thuật của module Data-Parser .................................................73
Hình 4-4: Sơ đồ giải thuật của module Point-cloud Plotter ......................................74
Hình 4-5: Sơ đồ giải thuật của module Predictor ......................................................75
Hình 4-6: Điều khiển tăng âm lượng bằng thao tác đưa tay lên ...............................76
Hình 4-7: Điều khiển giảm âm lượng bằng thao tác đưa tay xuống .........................76

x

DANH SÁCH TỪ VIẾT TẮT
ADC

Analog-to-digital converter (Bộ chuyển đổi tín hiệu tương tự sang số)

ANN

Artificial neural network (Mạng nơ-ron nhân tạo)

CCW

Counterclockwise (Ngược chiều kim đồng hồ)

CNN

Convolutional Neural Network (Mạng nơ-ron tích chập)

CONV1D Convolution 1-dimension (Tích chập một chiều)
CW

Clockwise (Chiều kim đồng hồ)

D-FFT

Discrete Fast Fourier Transform (Biến đổi Fourier nhanh rời rạc)

DSP

Digital Signal Processing (Xử lý tín hiệu số)

FFT

Fast Fourier Transform (Biến đổi nhanh Fourier)

FMCW

Frequency-Modulated Continuous-Waves (Sóng liên tục được điều chế
tần số)

IF

Intermediate frequency (Trung tần)

LSTM

Long Short Term Memory (Bộ nhớ dài-ngắn)

MCU

Microcontroller Unit

RADAR

Radio Detection and Ranging (Phát hiện và định vị vật thể bằng sóng
vơ tuyến)

ReLU

Rectified Linear Unit

RFCMOS Radio Frequency Complementary Metal-Oxide-Semiconductor (Mạch
bán dẫn cao tần)
RNN

Recurrent Neural Network (Mạng nơ-ron hồi quy)

RX

Receiver (Bộ thu sóng)

SNR

Signal-to-noise ratio (Tỉ số tín hiệu trên nhiễu)

TLV

Type-length-value (Chuẩn mã hóa để truyền thơng tin)

UART

Universal asynchronous receiver-transmitter (Bộ truyền nhận nối tiếp
bất đồng bộ)

xi


CHƯƠNG 1. GIỚI THIỆU
1.1. Đặt vấn đề
Cùng với sự phát triển của khoa học công nghệ hiện nay, công nghệ nhận diện
hành động đã và đang được ứng dụng rộng rãi trong nhiều lĩnh vực như thực tế ảo, trò

chơi, tự động hóa, các thiết bị đeo, điện thoại di động và y tế. Nhận diện hành động có
thể tích hợp trong nhiều loại thiết bị, máy ảnh quang học, hoặc các bộ điều khiển dựa
trên hành động và radar. Ngày nay, công nghệ nhận diện dựa trên máy ảnh quang học
đang được ứng dụng rộng rãi. Tuy nhiên, công nghệ này còn nhiều hạn chế trong cả
phần cứng và phần mềm: cảm biến của máy ảnh rất nhạy với điều kiện ánh sáng, trong
các điều kiện môi trường như bụi, thời tiết, thiếu sáng, dư sáng, vết trầy xước trên thấu
kính đều có thể ảnh hưởng đến chất lượng của dữ liệu. Trên hết, công nghệ dựa trên
máy ảnh có thể trở thành đối tượng tấn cơng, bởi vì các dữ liệu ảnh có thể dễ dàng đưa
vào hệ thống.
Gần đây, công nghệ nhận diện hành động bằng radar đang dần được phổ biến,
không bị ảnh hưởng bởi điều kiện ánh sáng và thời tiết. Hơn nữa, một cảm biến duy
nhất có thể thu thập dữ liệu khoảng cách, hướng trong không gian 2 chiều và 3 chiều,
cũng như vận tốc của vật thể dựa trên nguyên lý Doppler. Những thơng số này có thể
tăng khả năng phân loại và độ chính xác của hệ thống.

1.2. Mục tiêu và nhiệm vụ của luận văn
1.2.1. Mục tiêu
Luận văn nghiên cứu, triển khai hệ thống nhận dạng hành động sử dụng hệ thống
Radar FMCW với các mục tiêu sau:
1. Nghiên cứu hệ thống Radar FMCW và ứng dụng của hệ thống Radar trong đo
đạc thông số khoảng cách và vận tốc của đối tượng.
2. Xây dựng mơ hình thu thập dữ liệu hành động sử dụng hệ thống Radar FMCW.
3. Xây dựng giải thuật nhận diện hành động sử dụng dữ liệu thu thập của hệ thống
Radar FMCW kết hợp mô hình học sâu.

1


4. Đánh giá hiệu quả của giải thuật nhận diện hành động với tập dữ liệu đo đạc
thực nghiệm trên Module Radar FMCW.

1.2.2. Nhiệm vụ luận văn
• Nghiên cứu hệ thống Radar FMCW và ứng dụng của hệ thống Radar trong
đo đạc thông số khoảng cách và vận tốc của đối tượng
• Xây dựng mơ hình thu thập dữ liệu hành động sử dụng hệ thống Radar
FMCW.
• Xây dựng giải thuật nhận diện hành động sử dụng dữ liệu thu thập của hệ
thống Radar FMCW kết hợp mơ hình học sâu.
• Đánh giá hiệu quả của giải thuật nhận diện hành động với tập dữ liệu đo đạc
thực nghiệm trên Module Radar FMCW.

1.3. Đối tượng và phạm vi nghiên cứu
1.3.1. Đối tượng nghiên cứu
Hệ thống nhận diện hành động dùng trong luận văn này được xây dựng dựa trên
tiền đề các giải thuật học sâu như CONV1D, LSTM [1], và Transformer [2] và nền
tảng công nghệ Radar FMCW với bước sóng milimet thơng qua việc sử dụng module
IWR1642BOOST được sản xuất bởi hãng Texas Instruments.

1.3.2. Phạm vi nghiên cứu
Hệ thống FMCW Radar nhận diện hành động dùng trong luận văn này được xây
dựng và áp dụng trong môi trường một phịng làm việc thơng thường, với các vật dụng
và thiết bị văn phòng xung quanh cơ bản như bàn, ghế làm việc, máy tính để bàn.

1.4. Phương pháp nghiên cứu
Phương pháp nghiên cứu được sử dụng trong luận văn là phương pháp tiếp cận
có hệ thống. Các cơng trình liên quan được khảo sát, phân tích, tổng hợp, và đánh giá
ưu nhược điểm. Hệ thống triển khai được mô phỏng để đánh giá hiệu năng và sau đó
tín hiệu dữ liệu thực nghiệm được thu thập thông qua các bài đo trong môi trường thật.
Các hệ thống phần cứng, phần mềm, giải thuật được tích hợp nhằm đánh giá hiệu quả,
đi sâu hơn về việc phân tích các ưu điểm, các kết quả dựa trên tính kỹ thuật và chỉ ra

các vấn đề còn cần được nghiên cứu để tiếp tục phát triển. Cuối cùng đề tài đưa ra một
hệ thống thực tế để chứng minh điều đó.

2


Phương pháp nghiên cứu trình bày qua các bước sau:
1. Tìm kiếm tài liệu, cơng trình nghiên cứu liên quan.
2. Đọc và xem xét tổng quan các cơng trình nghiên cứu, các tài liệu đã tìm
kiếm có liên quan đến đề tài đang hướng tới.
3. Phân tích và phân loại các phương pháp tiếp cận vấn đề của các công trình
nghiên cứu trước đó so sánh ưu, nhược điểm của các phương pháp. Từ đó
đưa ra lựa chọn phương pháp phù hợp.
4. Viết báo cáo đánh giá các kết quả đạt được, đưa ra nhận xét và kiến nghị.

1.5. Bố cục của luận văn
Luận văn này được trình bày với nội dung các chương như sau:
Chương 1 trình bày những nhiệm vụ và mục tiêu của luận văn.
Chương 2 trình bày các khái niệm liên quan về việc xây dựng một hệ thống nhận
diện hành động dùng Radar FMCW, cơ sở lý thuyết và cấu tạo của hệ thống.
Chương 3 trình bày các giải thuật nhận diện hành động, huấn luyện các mơ hình
nhận diện sau đó phân tích và đánh giá kết quả với tập dữ liệu cho trước và tập dữ liệu
lấy mẫu thực tế.
Chương 4 trình bày hệ thống nhận diện hành động hoàn chỉnh với module
IWR1642Boost với giải thuật đã xây dựng và khảo sát ở chương 3.
Cuối cùng, chương 5 đưa ra kết luận đánh giá tổng quát và trình bày về các
hướng phát triển trong tương lai.

3

CHƯƠNG 2. TỔNG QUAN CÁC VẤN ĐỀ NGHIÊN CỨU VÀ CƠ SỞ LÝ
THUYẾT LIÊN QUAN
2.1. Hệ thống nhận diện hành động
Nhận dạng hành động là quá trình xác định các hành động được thực hiện bởi
người dùng bằng máy tính. Từ đó con người có thể điều khiển máy móc bằng hành
động. Chủ yếu có hai phương pháp nhận dạng hành động là dựa trên hành động tĩnh và
động. Phương pháp nhận diện tĩnh chỉ có thể nhận dạng được các hành động đã được
định nghĩa trước. Trong khi đó, cử động có nhiều ý nghĩa thực tế hơn, mặc dù gặp
nhiều khó khăn [3]. Đã có nhiều nghiên cứu phát triển các kỹ thuật nhận dạng dựa trên
thị giác máy tính [4], cảm biến tiếp xúc [5], và radar [6] [7].

Hình 2-1: Một số kỹ thuật nhận dạng hành động

Các kỹ thuật dựa trên hình ảnh như camera sẽ bị ảnh hưởng nhiều bởi ánh sáng
môi trường và gặp nhiều vấn đề liên quan đến bảo mật. Bên cạnh đó các kỹ thuật sử
dụng cảm biến tiếp xúc có thể mang lại độ chính xác tốt hơn và ít phụ thuộc vào mơi
trường bên ngồi, nhưng lại cồng kềnh và khó triển khai mở rộng. Hệ thống nhận diện
bằng radar sẽ hạn chế được sự phụ thuộc vào môi trường ánh sáng, đảm bảo sự riêng
tư, bảo mật và dễ dàng triển khai.

4


2.2. Hệ thống nhận diện hành động bằng Radar FMCW
Radar FMCW là kỹ thuật ngày càng được ứng dụng rộng rãi trong việc đo
khoảng cách và vận tốc chuyển động của các vật thể ở khoảng cách gần (từ vài chục
cm đến vài km). Ngoài ra, các hệ thống Radar FMCW cịn có thể được tích hợp trong
các ứng dụng có độ phức tạp cao như tái tạo hình ảnh vật thể, phân loại đối tượng,
nhận diện hành động nhằm khắc phục các điểm yếu của các công nghệ khác như

camera (vấn đề về bảo mật), cảm biến tiếp xúc (cồng kềnh khó triển khai).
Ngồi ra, với ứng dụng của học sâu, các hành động phức tạp có thể được nhận
dạng mà các phương pháp đã được phát triển trước đây chưa giải quyết được.

Hình 2-2: Sơ đồ khối hệ thống nhận diện hành động bằng Radar FMCW

Hệ thống nhận diện bao gồm một Radar FMCW dùng để thu thập dữ liệu chuyển
động, dữ liệu sẽ được máy tính xử lý và lưu trữ dùng để huấn luyện và nhận dạng.

2.3. Tổng quan về hệ thống Radar FMCW
RADAR (Radio Detection And Ranging), là một kỹ thuật hoặc hệ thống được sử
dụng để xác định phạm vi, góc hoặc vận tốc của các vật thể trong mơi trường bằng
sóng vơ tuyến. Khác với những hệ thống cảm biến thụ động như thị giác máy tính chỉ
có thể nhận được tín hiệu hoặc ánh sáng phản xạ từ môi trường, radar sử dụng một hệ
thống các cảm biến chủ động phát ra các tín hiệu vơ tuyến được điều chế và thu nhận
lại các tín hiệu đó từ các vật thể. Bằng cách tham chiếu các tín hiệu được truyền đi với
tín hiệu thu nhận được, các thông tin của vật thể có thể được xác định. [8]

5


Hình 2-3: Sơ đồ khối của một hệ thống radar đơn giản [8]

Hệ thống radar sóng milimet – mmWave radar, thông thường hoạt động tại các
dãi tần 60 – 64 GHz hoặc 76 – 81 GHz với bước sóng chỉ vài milimet, gần đây đang
được ứng dụng rộng rãi trong thương mại. Lợi ích lớn nhất của các hệ thống mmWave
radar là các phần cao tần và anten có kích thước nhỏ gọn do sử dụng tần số cao. Ngoài
ra mmWave radar có thể cung cấp băng thơng tín hiệu cao lên đến 4 GHz, đồng nghĩa
với độ phân giải cao lên đến 3.375 centimet.
FMCW radar (Frequency-Modulated Continuous Wave radar) là hệ thống radar

phát tín hiệu liên tục với tần số tín hiệu thay đổi theo thời gian. Một thiết bị radar sóng
liên tục nếu khơng sử dụng điều chế tần số có nhược điểm khơng thể xác định được
thơng số khoảng cách đến vật thể vì thiếu thơng tin chỉ thị thời gian cần thiết cho phép
hệ thống xác định được thời gian chính xác giữa thời điểm phát và thu được dùng để
xác định khoảng cách.
Có 3 loại điều chế tần số cơ bản được minh họa trong Hình 2-4 gồm sóng răng
cưa, sóng tam giác và sóng sin.

6


Hình 2-4: Các dạng sóng FMCW

Đối với hệ thống FMCW radar, tần số được thay đổi liên tục theo mộ chu kỳ và
tuân theo quy tắc điều chế dạng xung. Từ đó tín hiệu cũng được bức xạ ra khơng gian
nhà anten phát sau đó được thu lại bởi anten thu và trộn với tín hiệu phát tại bộ trộn
tần (MIXER) cho ra tín hiệu trung tần – IF. Tín hiệu IF này sẽ được đưa qua bộ lọc và
khuếch đại trước khi xử lý.

2.3.1. Cấu tạo và cơ chế hoạt động của hệ thống Radar FMCW
Các hệ thống radar đều được cấu tạo từ những khối cơ bản sau: bộ phát sóng
(transmitter), bộ thu sóng (receiver), bộ khuếch đại nhiễu thấp (low-noise amplifier),
và bộ xử lý tín hiệu (signal processor) [8]. Các hệ thống radar khác nhau sẽ có những
thành phần trong từng khối khác nhau.

Hình 2-5: Sơ đồ giản lược của hệ thống Radar FMCW

7

2.3.1.1 Bộ phát sóng
Bộ phát sóng cơ bản trong hệ thống Radar FMCW (Hình 2-6) bao gồm bộ tạo
sóng với tần số điều chế, một bộ khuếch đại công suất và anten phát [8].
Bộ tạo sóng tạo ra tín hiệu có tần số thay đổi trong khoảng giá trị cho trước, tăng
dần từ tần số nhỏ nhất đến tần số lớn nhất trong một khoảng thời gian nhất định. Tín
hiệu này được gọi là Chirp.

Hình 2-6: Sơ đồ cấu tạo đơn giản của bộ phát sóng

Hình 2-7: Tín hiệu Chirp

Một tín hiệu Chirp đặc trưng bởi tần số bắt đầu 𝑓0 , băng thông B và chu kỳ T. Độ
dốc của một Chirp (S) cho ta thông tin về tốc độ thay đổi của tần số.

8


Có nhiều dạng điều chế tần số tín hiệu, phổ biến nhất là điều chế tần số tuyến tính
tức giá trị tần số tăng tuyến tính theo thời gian, được biểu diễn trên đồ thị thời gian –
tần số như sau:

Hình 2-8: Mối quan hệ giữa tần – thời gian của chirp

Khoảng giá trị tần số điều chế được gọi là “băng thông quét” B. Khoảng thời gian
điều chế được gọi là “thời gian Chirp” 𝑇 = 𝑇𝐶 . Tỉ số giữa hai đại lượng này được gọi
là “độ dốc Chirp”:

𝑆=

𝐵

𝑇𝐶

(2.1)

Tín hiệu sẽ đi qua bộ khuếch đại cơng suất trước khi được lan truyền ra không
gian qua anten.

9


2.3.1.2 Bộ thu sóng

Hình 2-9: Sơ đồ cấu tạo đơn giản của bộ thu sóng

Bắt đầu từ anten thu tiếp nhận sóng phản xạ trở về từ vật thể, tín hiệu thu được đi
qua một bộ lọc thông dải để thu những tín hiệu có tần số trong khoảng băng thơng B.
Sau đó, tín hiệu được khuếch đại qua bộ khuếch đại nhiễu thấp và được đưa vào bộ
trộn tần. Bộ trộn tần là thành phần vô cùng quan trọng có chức năng so sánh Chirp
phát và Chirp thu, tạo ra tín hiệu so sánh làm cơ sở để phân tích các thơng số của vật
thể.
Chirp thu được biểu diễn cùng với Chirp phát như Hình 2-10.

Hình 2-10: Chirp phát và Chirp thu

Chirp phản xạ về radar sau khi đã qua một thời gian 𝜏 ngồi khơng gian. Thời
gian này được gọi là “độ trễ”. Độ trễ này tạo ra sự chênh lệch về mặt tần số giữa 2
chirp thu và phát tại cùng một thời điểm. Bộ trộn tần có nhiệm vụ trích xuất sự khác

10

nhau này bằng cách thực hiện hiệu tần số giữa Chirp phát và thu. Tín hiệu kết quả
mang tần số trung tần – “Intermediate Frequency” được viết tắt là “IF”.
Phương trình cho tín hiệu Chirp biến đổi tần số dạng răng cưa: 𝑓(𝑡) = 𝑆𝑡 + 𝑓0 ,
trong đó 𝑆 =

𝑓𝑚𝑎𝑥 −𝑓0
𝑇

và T là chu kỳ truyền của một tín hiệu chirp.
𝑇

𝜙(𝑡) = 𝜙0 + 2𝜋 ∫ 𝑓(𝑡)𝑑𝑡
0

(2.2)

𝑇

𝑆
= 𝜙0 + 2𝜋 ∫(𝑆𝑡 + 𝑓0 )𝑑𝑡 = 𝜙0 + 2𝜋( 𝑡 2 + 𝑓0 𝑡)
2
0

Từ (2.2) ta xác định được dạng sóng truyền của FMCW:
𝑠(𝑡) = 𝑒 𝑗2𝜋(𝑓0𝑡+0.5𝑆𝑡

2)

(2.3)

Tín hiệu truyền tới vật sau đó phản xạ lại máy thu 𝑠0 (𝑡 − 𝜏), τ là khoảng thời
gian tín hiệu đi và trở về:
1

𝑟(𝑡) = 𝑠0 (𝑡 − 𝜏)𝑒 𝑗2𝜋(𝑓0(𝑡−𝜏)+2𝑆(𝑡−𝜏)

2)

(2.4)

Tín hiệu IF được hình thành bằng cách trộn tín hiệu truyền (2.3) (2.3) và tín hiệu
nhận (2.4):
𝑆𝐼𝐹 = 𝑒 𝑗2𝜋(𝑆𝜏𝑡+𝑓0𝜏)

(2.5)

Từ phương trình sóng IF (2.5, ta tính được tần số IF:
𝑓𝐼𝐹 = 𝑆𝜏 =

11

𝑆2𝑑
𝑐

(2.6)