Hệ thống đáp tự động cho máy bay không người lái sử dụng thị giác máy tính

ĐẠI HỌC QUỐC GIA TP. HCM
TRƯỜNG ĐẠI HỌC BÁCH KHOA

NGUYỄN HỒNG PHƯỚC

HỆ THỐNG ĐÁP TỰ ĐỘNG CHO MÁY BAY KHÔNG NGƯỜI LÁI
SỬ DỤNG THỊ GIÁC MÁY TÍNH

Chuyên ngành: Kỹ thuật Điều khiển và Tự động hóa
Mã số: 8520216

LUẬN VĂN THẠC SĨ

TP. HỒ CHÍ MINH, tháng 01 năm 2021


CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI
TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG – HCM

Cán bộ hướng dẫn khoa học: ………………………………………………………………………………....

Cán bộ chấm nhận xét 1: ……………………………………………………………………………………….

Cán bộ chấm nhận xét 2: ………………………………………………………………………………….........

Luận văn Thạc sĩ được bảo vệ tại Trường Đại học Bách khoa, ĐHQG Tp.HCM ngày …..
tháng ….. năm ……

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:
1. ……………………………………………………………………………………………………..
2. ……………………………………………………………………………………………………..

3. ……………………………………………………………………………………………………..
4. ……………………………………………………………………………………………………..
5. ……………………………………………………………………………………………………..
Xác nhận của chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành
sau khi luận văn đã được sửa chữa (nếu có).

CHỦ TỊCH HỘI ĐỒNG

TRƯỞNG KHOA ĐIỆN – ĐIỆN TỬ


ĐẠI HỌC QUỐC GIA TP.HCM
TRƯỜNG ĐẠI HỌC BÁCH KHOA

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh phúc

NHIỆM VỤ LUẬN VĂN THẠC SĨ
Họ tên học viên: NGUYỄN HỒNG PHƯỚC

MSHV: 1870056

Ngày, tháng, năm sinh: 11 – 05 – 1995

Nơi sinh: TP. Hồ Chí Minh

Chuyên ngành: Kỹ thuật Điều khiển và Tự động hóa

Mã số: 8520216

I. TÊN ĐỀ TÀI: Hệ thống đáp tự động cho máy bay khơng người lái sử dụng thị giác
máy tính (Vision-based Navigation for Automated Landing System of Unmanned Air
Vehicles).
NHIỆM VỤ VÀ NỘI DUNG: Phát triển thuật toán ứng dụng thị giác máy tính để nhận
dạng và ước lượng khoảng cách tương đối kết hợp với thuật toán điều khiển để xây
dựng hệ thống đáp tự động cho máy bay không người lái.
II. NGÀY GIAO NHIỆM VỤ: 19 / 08 / 2019
III. NGÀY HOÀN THÀNH NHIỆM VỤ: 03 / 01 / 2021
IV. CÁN BỘ HƯỚNG DẪN: Tiến sĩ Ngơ Đình Trí
Tp. HCM, ngày ….. tháng ….. năm …..

CÁN BỘ HƯỚNG DẪN

CHỦ NHIỆM BỘ MÔN ĐÀO TẠO

(Họ tên và chữ ký)

(Họ tên và chữ ký)

TRƯỞNG KHOA ĐIỆN – ĐIỆN TỬ
(Họ tên và chữ ký)


LỜI CẢM ƠN
Lời đầu tiên, tôi xin gửi lời cảm ơn chân thành đến thầy Ngơ Đình Trí đã tận
tình hướng dẫn, hỗ trợ thiết bị và cung cấp những kiến thức hữu ích giúp tơi có thể
hồn thành u cầu đặt ra của đề tài luận văn. Cùng với đó, tơi cũng muốn gửi lời
cảm ơn đến nhóm nghiên cứu gồm bạn Dương Vũ Thành Long và bạn Trần Xn
Tịnh đã có sự hỗ trợ tích cực trong suốt quá trình thực hiện nhiệm vụ luận văn, là
tiền đề quan trọng cho sự thành cơng của đề tài. Ngồi ra, tơi cũng xin gửi lời cảm ơn

đến Phịng thí nghiệm trực thuộc bộ môn Điều khiển và Tự động hóa đã tạo điều
kiện thuận lợi cho tơi thực hiện tốt đề tài nghiên cứu. Mặc dù vẫn còn nhiều hạn chế
về mặt lý luận và thực nghiệm, đề tài cũng đạt được những thành cơng nhất định,
hồn thành được những mục tiêu cơ bản đặt ra ở nhiệm vụ luận văn. Thành công
này đến từ sự nỗ lực, cố gắng của tất cả các thành viên trong nhóm nghiên cứu cũng
như sự hỗ trợ tích cực về mặt kiến thức, kinh nghiệm của thầy Trí và các giảng viên
trong bộ mơn Điều khiển và Tự động hóa. Một lần nữa, tôi xin gửi lời cảm ơn chân
thành đến tất cả những người thầy, người bạn đã hỗ trợ và đi cùng tơi trong suốt q
trình thực hiện đề tài luận văn.


TÓM TẮT LUẬN VĂN
Đề tài đặt ra mục tiêu xây dựng hệ thống đáp tự động cho máy bay không
người lái ứng dụng thị giác máy tính. Mục tiêu đề ra được phân ra làm 3 nhiệm vụ
chính bao gồm:
1. Ứng dụng thuật toán nhận dạng và ước lượng dựa trên thơng tin từ hình
ảnh để xác định khoảng cách tương đối giữa mơ hình bay khơng người lái
và bãi đáp mục tiêu.
2. Ứng dụng thuật toán điều khiển để mơ hình bay có khả năng đáp tự động
trên bãi đáp mục tiêu trong trường hợp đứng yên và di chuyển.
3. Xây dựng mơ hình hệ thống đáp tự động hoàn chỉnh, linh động và đáng tin
cậy dựa trên nền tảng Robot Operating System (ROS)
Hệ thống đáp tự động xây dựng trong đề tài sẽ được kiểm chứng ở cả mơ hình
mơ phỏng dựa trên cơng cụ Gazebo Simulator và các thí nghiệm bay thực tế trên mơ
hình máy bay bốn cánh tự thiết kế dựa trên khung S500.
ABSTRACT
The main purpose of this thesis is constructing automated landing system for
unmanned air vehicles (UAVs) based on vision-based algorithms. This target is
divided into three sub-tasks, including:
1. Applying object detection and pose estimation algorithms based on visual

data to determine relative distances between UAVs and landing target.
2. Applying control algorithms that making UAVs capable of automatically
landing on the target in both static and moving cases.
3. Establishing fully autonomous landing system that are flexible and reliable
based on Robot Operating System (ROS) platform.
The autonomous landing system in this work will be validated for both
simulated model in Gazebo Simulator tool and a series of real flight tests on
customized quadcopter based on S500 frame kit.


LỜI CAM KẾT
Tôi xin cam đoan luận văn “Hệ thống đáp tự động cho máy bay không
người lái ứng dụng thị giác máy tính” là cơng trình nghiên cứu của tơi, dưới sự
hướng dẫn của Tiến sĩ Ngơ Đình Trí và sự cộng tác của nhóm nghiên cứu gồm bạn
Dương Vũ Thành Long và bạn Trần Xuân Tịnh. Kết quả nghiên cứu trong luận văn là
trung thực và chưa được công bố trong các đề tài nghiên cứu của tác giả khác. Các tài
liệu được sử dụng trong đề tài có nguồn gốc, xuất xứ rõ ràng và được trích dẫn đầy
đủ, rõ ràng trong phần Tài liệu tham khảo.
Tp. HCM, ngày ….. tháng ….. năm …..
(Họ tên và chữ ký)

NGUYỄN HỒNG PHƯỚC


MỤC LỤC
CHƯƠNG 1. GIỚI THIỆU ĐỀ TÀI ....................................................................................................... 1
1.1. Lý do chọn đề tài ............................................................................................................................. 1
1.2. Đối tượng và phạm vi nghiên cứu ........................................................................................... 2
1.3. Ý nghĩa khoa học và thực tiễn ................................................................................................... 2
1.4. Mục tiêu đề tài.................................................................................................................................. 3

CHƯƠNG 2. TỔNG QUAN ĐỀ TÀI ...................................................................................................... 4
2.1. Hệ thống định vị ứng dụng thị giác máy tính ..................................................................... 4
2.1.1. Nhận dạng vật thể (Object Detection) ........................................................................... 4
2.1.2. Ước lượng trạng thái (Pose Estimation) ...................................................................... 5
2.2. Thuật toán điều khiển đáp tự động ........................................................................................ 7
2.3. Ứng dụng xây dựng hệ thống đáp tự động.......................................................................... 8
2.4. Nội dung nghiên cứu ..................................................................................................................... 9
CHƯƠNG 3. CƠ SỞ LÝ THUYẾT VÀ GIẢI THUẬT .................................................................. 11
3.1. Hệ thống định vị ứng dụng thuật toán thị giác máy......................................................11
3.1.1. Nhận dạng đối tượng (target detection) ................................................................... 11
3.1.2. Ước lượng trạng thái vật thể (pose estimation) .................................................... 15
3.1.3. Thuật toán hậu xử lý (post-processing) .................................................................... 27
3.2. Xây dựng thuật toán điều khiển đáp tự động ..................................................................30
3.2.1. Giới thiệu mơ hình bay 4 cánh (quadcopter) .......................................................... 30
3.2.2. Thuật toán điều khiển đáp tự động ............................................................................. 30
3.3. Xây dựng hệ thống đáp tự động hoàn chỉnh ....................................................................34
3.3.1. Giới thiệu nền tảng ROS .................................................................................................... 34
3.3.2. Kiến trúc hệ thống đáp tự động .................................................................................... 35
3.3.3. Quy trình hoạt động của hệ thống đáp tự động ..................................................... 36
CHƯƠNG 4. KẾT QUẢ THỰC NGHIỆM ........................................................................................ 38
4.1. Phương pháp thực nghiệm ......................................................................................................38
4.1.1. Giới thiệu phương thức thực nghiệm ......................................................................... 38


4.1.2. Thiết kế hệ thống (phần cứng – phần mềm) ........................................................... 39
4.2. Kết quả và đánh giá .....................................................................................................................44
4.2.1. Mơ hình mơ phỏng .............................................................................................................. 44
4.2.2. Thí nghiệm bay thực tế ..................................................................................................... 56
4.2.3. Thực nghiệm tốc độ xử lý trong mô phỏng và thực tế ........................................ 63
CHƯƠNG 5. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ................................................................ 66

CHƯƠNG 6. CƠNG TRÌNH NGHIÊN CỨU .................................................................................... 68
CHƯƠNG 7. TÀI LIỆU THAM KHẢO.............................................................................................. 76


DANH MỤC HÌNH ẢNH
Hình 1: Ứng dụng máy bay khơng người lái (nguồn: Internet) .............................................. 1
Hình 2: Hệ thống đáp tự động ứng dụng thị giác máy ................................................................ 3
Hình 3: Thuật toán định vị ứng dụng thị giác máy .................................................................... 11
Hình 4: Marker tự thiết kế.................................................................................................................... 12
Hình 5: Sơ đồ thuật tốn nhận dạng ................................................................................................ 13
Hình 6: Kỹ thuật pyramid image (trái) và chọn vùng ảnh quan tâm (ROI) (phải) ..... 14
Hình 7: Mơ hình pinhole camera (nguồn: opencv.org) ........................................................... 15
Hình 8: Quy trình ước lượng thơng số camera ........................................................................... 17
Hình 9: Quy trình phản chiếu đối tượng vào mặt phẳng ảnh ............................................... 18
Hình 10: Ma trận Homography (nguồn: opencv.org) .............................................................. 18
Hình 11: Mơ hình ảnh phản chiếu đối tượng (nguồn: [33]).................................................. 23
Hình 12: Mơ hình mơ tả các hệ trục tọa độ trong đề tài .......................................................... 28
Hình 13: Bảng điều khiển chiều di chuyển của quadcopter theo tốc độ động cơ ....... 30
Hình 14: Hệ thống điều khiển phân lớp (multi-level control) ............................................. 31
Hình 15: Sơ đồ điều khiển Pixhawk (nguồn: ardupilot.org) ................................................. 32
Hình 16: Thuật tốn điều khiển độ cao theo mức ..................................................................... 33
Hình 17: Logo phiên bản ROS Kinetic (nguồn: ros.org) .......................................................... 34
Hình 18: Sơ đồ tổng quan hệ thống đáp tự động ....................................................................... 35
Hình 19: Sơ đồ quy trình hoạt động của hệ thống đáp tự động .......................................... 36
Hình 20: Mơ hình mơ phỏng hệ thống trong cơng cụ Gazebo Simulator ........................ 39
Hình 21: Phần mềm Mission Planner (nguồn: ardupilot.org).............................................. 40
Hình 22: Giao thức MAVLink trên mơ hình bay thực tế (nguồn: ardupilot.org) ......... 41
Hình 23: Sơ đồ kết nối phần cứng..................................................................................................... 41
Hình 24: Mơ hình máy bay 4 cánh (quadcopter) ....................................................................... 43
Hình 25: Mơ hình bộ đo vị trí, vận tốc xe ....................................................................................... 43

Hình 26: Đáp ứng hệ thống theo trục-x của thí nghiệm mơ phỏng giữ vị trí ................ 45
Hình 27: Đáp ứng hệ thống theo trục-y của thí nghiệm mơ phỏng giữ vị trí ................ 46


Hình 28: Đáp ứng hệ thống theo trục-x của thí nghiệm đáp đứng yên ............................ 47
Hình 29: Đáp ứng hệ thống theo trục-y của thí nghiệm đáp đứng yên ............................ 48
Hình 30: Đáp ứng hệ thống theo trục-z của thí nghiệm đáp đứng yên ............................ 48
Hình 31: Giá trị độ cao - vận tốc bãi đáp khi mô phỏng đáp trên quỹ đạo thẳng ........ 50
Hình 32: Quỹ đạo di chuyển khi mô phỏng đáp trên quỹ đạo thẳng ................................. 50
Hình 33: Đồ thị sai số khi mơ phỏng đáp trên quỹ đạo thẳng .............................................. 51
Hình 34: Giá trị độ cao - vận tốc bãi đáp khi mô phỏng đáp trên quỹ đạo phức tạp .. 52
Hình 35: Quỹ đạo di chuyển khi mô phỏng đáp trên quỹ đạo phức tạp .......................... 53
Hình 36: Đồ thị sai số khi mơ phỏng đáp trên quỹ đạo phức tạp ....................................... 53
Hình 37: Giá trị độ cao - vận tốc bãi đáp khi mơ phỏng bám theo quỹ đạo trịn ......... 55
Hình 38: Quỹ đạo di chuyển khi mô phỏng bám theo quỹ đạo trịn .................................. 55
Hình 39: Đồ thị sai số khi mơ phỏng bám theo quỹ đạo trịn ............................................... 56
Hình 40: Thử nghiệm bay thực tế ..................................................................................................... 57
Hình 41: Giá trị độ cao-vận tốc bãi đáp ở thực nghiệm bám theo quỹ đạo trịn .......... 58
Hình 42: Quỹ đạo di chuyển ở thực nghiệm bám theo quỹ đạo trịn ................................ 58
Hình 43: Đồ thị đáp ứng vận tốc ở thực nghiệm bám theo quỹ đạo trịn........................ 59
Hình 44: Giá trị độ cao-vận tốc bãi đáp ở thực nghiệm đáp theo quỹ đạo thẳng ........ 60
Hình 45: Quỹ đạo di chuyển ở thực nghiệm đáp theo quỹ đạo thẳng .............................. 60
Hình 46: Giá trị độ cao-vận tốc bãi đáp ở thực nghiệm đáp theo quỹ đạo phức tạp.. 62
Hình 47: Quỹ đạo di chuyển ở thực nghiệm đáp theo quỹ đạo phức tạp ........................ 62
Hình 48: Đồ thị tốc độ xử lý của hai đề tài luận văn ................................................................. 63
Hình 49: Đồ thị so sánh thời gian chi tiết giữa hai đề tài luận văn (mơ phỏng)........... 64
Hình 50: Đồ thị so sánh thời gian chi tiết giữa hai đề tài luận văn (thực nghiệm) ..... 65
Hình 51: Hội nghị Khoa học máy tính và Cơng nghệ thơng tin 2020 (NICS) ................. 68

DANH MỤC BẢNG BIỂU
Bảng 1: Bảng tỉ lệ điều chỉnh cho thông số PID .......................................................................... 33
Bảng 2: Tổng quan chức năng phần cứng ..................................................................................... 42
Bảng 3: So sánh sai số trong thí nghiệm giữ vị trí giữa hai hệ thống ................................ 46
Bảng 4: So sánh sai số trong thí nghiệm đáp đứng yên giữa hai hệ thống ..................... 48
Bảng 5: So sánh tốc độ xử lý giữa hai đề tài luận văn (trường hợp tối ưu) ................... 64


DANH MỤC TỪ VIẾT TẮT
PID = Proportional – Integral – Derivative = Bộ điều khiển vi tích phân tỉ lệ
ROS = Robot Operating System = Hệ thống hoạt động cho robot
LKF = Linear Kalman Filter = Bộ lọc Kalman tuyến tính
PWM = Pulse Width Modulation = Điều chế độ rộng xung
RMSE = root mean square error = Sai số toàn phương trung bình


CHƯƠNG 1. GIỚI THIỆU ĐỀ TÀI
Tên đề tài: Hệ thống đáp tự động cho máy bay không người lái sử dụng thị giác máy
tính (Vision-based Navigation for Automated Landing System of Unmanned Air
Vehicles).
1.1. Lý do chọn đề tài
Hiện nay, mô hình bay khơng người lái đang được sử dụng trong rất nhiều
ứng dụng ở các lĩnh vực khác nhau như: vận chuyển hàng hóa, xây dựng bản đồ địa
hình, tìm kiếm cứu hộ… Vì vậy, đã và đang có rất nhiều nghiên cứu về xây dựng các
hệ thống tự động cho mơ hình bay khơng người lái để phục vụ con người trong
nhiều lĩnh vực của cuộc sống. Tuy nhiên, giới hạn về mặt kỹ thuật và yêu cầu về các
tiêu chuẩn an toàn đã hạn chế khả năng tự động hóa của các mơ hình bay khơng
người lái trong những nhiệm vụ đơn giản.
Một trong những yêu cầu phức tạp địi hỏi có sự hiện diện của con người
trong các hệ thống tự động cho máy bay không người lái là “khả năng đáp tự động”.

Một cách cổ điển, các ứng dụng đáp tự động thường sử dụng tín hiệu GPS làm thông
tin định vị giữa máy bay và bãi đáp mục tiêu một cách hiệu quả và chính xác. Tuy
nhiên, trong một số trường hợp khi tín hiệu GPS suy giảm hoặc hạn chế do vật cản
(trong nhà, giữa rừng cây…) thì u cầu xây dựng thuật tốn định vị mới có khả năng
nhận dạng và xác định vị trí của bãi đáp mục tiêu là một nhiệm vụ cần thiết và thiết
thực. Phương pháp giải quyết tối ưu cho vấn đề này là ứng dụng thuật toán định vị
bằng thị giác máy tính, đây cũng chính là điều mà đề tài nghiên cứu hướng đến.

Hình 1: Ứng dụng máy bay không người lái (nguồn: Internet)
1


1.2. Đối tượng và phạm vi nghiên cứu
Đối tượng nghiên cứu
Mơ hình máy bay 4 cánh (quadcopter) với các thiết bị ngoại vi (camera,
bộ điều khiển bay, cảm biến…) dựa trên khung S500 và bãi đáp mục tiêu được
đánh dấu bởi marker tự thiết kế.
Phạm vi nghiên cứu
Mơ hình mơ phỏng trong công cụ Gazebo Simulator và các thử nghiệm
bay thực tế đối với bãi đáp mục tiêu trong các trường hợp đứng yên và di
chuyển trên nền sân cỏ trường Đại học Bách Khoa.
1.3. Ý nghĩa khoa học và thực tiễn
Ý nghĩa khoa học
+ Ứng dụng thuật toán thị giác máy cho yêu cầu nhận dạng và ước lượng trạng
thái của bãi đáp mục tiêu so với mơ hình bay khơng người lái.
+ Ứng dụng thuật tốn điều khiển thỏa mãn u cầu đáp tự động cho mơ hình
bay không người lái.
+ Cung cấp cách thức cơ bản để xây dựng một hệ thống tự động hồn chỉnh
cho mơ hình bay khơng người lái.
+ Chứng tỏ khả năng áp dụng thuật toán thị giác máy phức tạp trên hệ thống

nhúng đạt được các yêu cầu cơ bản về điều khiển với thời gian thực.
Ý nghĩa thực tiễn
+ Áp dụng cho việc nhận dạng vật thể từ thông tin biết trước sử dụng cho
những ứng dụng về vận chuyển hàng hóa.
+ Hỗ trợ xây dựng hành trình bay hồn chỉnh cho mơ hình bay khơng người
lái với mục đích thu thập thông tin, xây dựng bản đồ.
+ Ứng dụng cho các hệ thống theo dõi và bám theo các vật thể với các thơng
tin biết trước (hình dạng, kích thước…).

2


1.4. Mục tiêu đề tài
Đề tài nghiên cứu đặt ra mục tiêu xây dựng hệ thống đáp tự động cho mơ hình
bay khơng người lái với những tiêu chí sau:
+ Xây dựng hệ thống định vị có khả năng nhận dạng và ước lượng trạng thái
của bãi đáp mục tiêu với tầm hoạt động rộng theo độ cao từ 30cm đến 8m dựa trên
mơ hình marker tự thiết kế và thuật tốn ước lượng Levenberg-Marquardt.
+ Dựa trên thơng tin ước lượng từ hệ thống định vị, mơ hình bay có khả năng
đáp chính xác trên bãi đáp mục tiêu trong các trường hợp di chuyển (sai số ≤ 25cm)
và đứng yên (sai số ≤ 15cm).
+ Thiết kế hệ thống định vị và điều khiển hồn tồn trên máy tính nhúng mà
khơng có sự can thiệp của các thiết bị bên ngoài (laptop, tay cầm điều khiển…) đáp
ứng được yêu cầu xử lý thời gian thực ở mức 20Hz.
Đề tài luận văn này là sự tiếp nối của một đề tài tương tự đã thực hiện của
nhóm nghiên cứu với những cải tiến như tăng tốc độ xử lý, hiệu chỉnh thuật toán đáp
ứng cho các trường hợp thực nghiệm phức tạp…. Những cải tiến này sẽ được làm rõ
hơn trong các kết quả thực nghiệm so sánh trong Chương 4 của tài liệu này.

Hình 2: Hệ thống đáp tự động ứng dụng thị giác máy

3


CHƯƠNG 2. TỔNG QUAN ĐỀ TÀI
Như đã đề cập ở Chương 1, đề tài nghiên cứu tập trung vào vấn đề xây
dựng hệ thống đáp tự động cho mơ hình bay không người lái. Yêu cầu này sẽ
được phân tách thành 3 nhiệm vụ chính bao gồm:
+ Thiết kế hệ thống định vị sử dụng thị giác máy tính.
+ Áp dụng thuật toán điều khiển đáp tự động.
+ Xây dựng hệ thống đáp tự động hoàn chỉnh từ các thành phần cơ bản.
2.1. Hệ thống định vị ứng dụng thị giác máy tính
Hệ thống định vị ứng dụng thị giác máy tính được cụ thể hóa thành bài tốn
ước lượng trạng thái vật thể (pose estimation) trong hệ trục cố định hoặc hệ trục
tương đối so với vật mốc cho trước. Đây là một bài toán cổ điển được phát triển từ
khi những ứng dụng đầu tiên về thị giác máy tính ra đời (giữa thế kỉ XX) và cải thiện
dần theo thời gian về chất lượng, phương pháp và thời gian tính tốn. Bài tốn này
gồm 2 yếu tố cơ bản gồm: nhận dạng vật thể (object detection) và ước lượng trạng
thái (pose estimation).
2.1.1. Nhận dạng vật thể (Object Detection)
Bài tốn này đặt ra u cầu nhận dạng chính xác tọa độ “đối tượng” trong mặt
phẳng ảnh 2D. Xét trong yêu cầu đề tài, “đối tượng” là vật thể đã biết trước những
thơng tin cơ bản như kích thước, hình dạng, màu sắc… Một cách tổng qt, có 3
phương pháp thường được áp dụng để giải quyết bài toán này, bao gồm:
Phương thức 1: Nhận dạng hình dạng (shape detection)
Phương thức này sử dụng những đặc tính cơ bản của “đối tượng” như màu sắc
và hình dạng thơng qua các phép toản xử lý ảnh cơ bản như phân ngưỡng nhị phân,
bao viền, lọc kích thước, đếm số lượng… để xác định sự tồn tại của “đối tượng” trong
khung ảnh. Một số ví dụ tiêu biểu như: Verbandt [3] áp dụng thuật toán Hough [4]
để xác định đối tượng là các vòng tròn đồng tâm đen – trắng xen kẽ, Tran Le Anh [5]

áp dụng kỹ thuật nhận dạng màu sắc và hình trịn để xác định đối tượng… Phương
pháp này đạt được tốc độ xử lý cao nhưng có điểm hạn chế là dễ rơi vào trường hợp
4


nhận dạng sai do các đặc điểm phân biệt quá đơn giản dễ bị trùng lặp giữa “đối
tượng” và vật thể xung quanh.
Phương thức 2: Nhận dạng đặc điểm mức thấp (low-level features detection)
Phương thức này ứng dụng các thuật tốn tìm kiếm những “đặc điểm”
(features) tương đồng giữa khung ảnh hiện tại và ảnh tham chiếu để xác định sự tồn
tại của “đối tượng”. Các “đặc điểm” hay được sử dụng để nhận dạng là các điểm góc
(điểm có sự thay đổi đột ngột của cường độ sáng, ví dụ: Harris corners [6], thuật
toán SIFT [7], thuật toán FAST [8]…), phân bố màu sắc (color histogram, ví dụ:
Stokman [9]…) hay mã nhị phân (ví dụ: AprilTag [10], ArUco [11]…). Phương pháp
này trích xuất những đặc điểm riêng biệt của “đối tượng” nên có độ tin cậy cao
nhưng đồng thời cũng làm tăng thời gian xử lý một cách đáng kể.
Phương thức 3: Nhận dạng đặc điểm mức cao (high-level features detection)
Một hạn chế nhỏ của phương thức 2 là việc khẳng định sự tồn tại của “đối
tượng” chỉ dựa trên một ảnh tham chiếu nên khơng có khả năng thích nghi với sự
thay đổi của mơi trường, đây là vấn đề mà phương thức 3 có khả năng giải quyết.
Phương thức này áp dụng kỹ thuật huấn luyện dựa trên một tập ảnh tham chiếu
dưới những điều kiện môi trường khác nhau để đưa ra các “điểm chung” (high-level
features) của tồn bộ tập ảnh huấn luyện. Từ đó, áp dụng tìm kiếm sự tồn tại của
“điểm chung” trong khung ảnh hiện tại. Một số thuật toán tiêu biểu như: Haar-like
features [12], YOLO [13], Histogram of Gradient [14] … Phương pháp này có ưu
điểm khi có khả năng nhận dạng các vật thể phức tạp với độ tin cậy cao nhưng bị hạn
chế trong khả năng xử lý thời gian thực.
2.1.2. Ước lượng trạng thái (Pose Estimation)
Bài toán này đặt ra yêu cầu ước lượng trạng thái tương đối (hướng / khoảng
cách) của vật thể này so với vật thể kia trong không gian 3 chiều. Xét trong yêu cầu

đề tài, ta cần xác định khoảng cách / hướng của “bãi đáp mục tiêu” trong hệ trục tọa
độ gắn với “camera”. Bài tốn dựa trên mơ hình pinhole camera với các thông số nôi
tại (tiêu cực, tâm ảnh, hệ số tỉ lệ) được ước lượng từ Matlab toolbox (xây dựng trên
5


cơng trình nghiên cứu của Zhang [15]) và các điểm tương ứng trong mặt phẳng ảnh
(2D) / không gian thực (3D) được xác định từ bài toán “nhận dạng vật thể”. Đầu ra
của bài toán này gồm ma trận xoay (rotation matrix) và vector tịnh tiến (translation
vector) để chuyển đổi hệ trục tọa độ từ tâm của “bãi đáp mục tiêu” sang tâm của
“camera”. Một cách tổng quát, có 2 phương pháp thường được áp dụng để giải quyết
bài toán này, bao gồm:
Phương thức 1: Tính tốn trực tiếp (direct computation)
Phương thức này tính tốn thơng số ước lượng dựa trên phương trình hình
học trong khơng gian 3 chiều xây dựng từ mơ hình pinhole camera. Phương pháp
này u cầu tối thiểu tọa độ 3 điểm trên đối tượng phẳng và tọa độ ảnh của chúng
trong mặt phẳng ảnh 2D để có thể lập và giải phương trình hình học. Bài tốn này
được gọi là “Perspective-n-Problem” (PnP), trong đó n = 3,4,5… điểm được dùng để
ước lượng. Bài toán sử dụng n điểm được khái quát hóa từ tổ hợp các hệ ít điểm kết
hợp thuật tốn chọn lựa và đánh giá. Một số cơng trình nghiên cứu điển hình áp
dụng phương pháp này như: Gao [16] áp dụng cho hệ 3 điểm, Abidi [17] áp dụng cho
hệ 4 điểm, Quan [18] áp dụng cho hệ 5 điểm, Fischer [19] và Lepetit [20] áp dụng
cho hệ n điểm…
Phương thức này có ưu điểm nhờ sự đơn giản và tốc độ tính tốn nhanh hơn
so với phương thức tối ưu hóa hệ số. Tuy nhiên, hạn chế của phương pháp này là
thiếu sự ổn định và yêu cầu đầu vào khắt khe bởi vì nội dung của phương pháp này
là sự tính tốn trực tiếp dựa trên tọa độ các điểm ảnh nên khi có sự thay đổi nhỏ ở
ngõ vào thì ngõ ra sẽ bị thay đổi theo với biên độ lớn. Ngồi ra, một số ràng buộc
hình học làm cho phương pháp này trở nên khá hạn chế trong một số trường hợp
đặc biệt như khi mặt phẳng ảnh song song với mặt phẳng “đối tượng”.

Phương thức 2: Tối ưu hóa hệ số (optimization method)
Phương thức này áp dụng các thuật toán tối ưu sử dụng phương thức lặp để
tối thiểu hóa hàm sai số dựa trên cách tìm cực tiểu địa phương / toàn cục khi
gradient của hàm sai số bằng không. Đề tài xây dựng hàm sai số theo các thông số
6


ước lượng và tối ưu hóa những thơng số đó dựa trên các thuật toán lặp. Một số thuật
toán lặp phổ biến như: Gauss–Newton [21], Levenberg–Marquardt [22] …
Phương pháp này có ưu điểm ở sai số tối ưu và tính ổn định cao hơn so với
phương thức tính tốn trực tiếp. Tuy nhiên, hạn chế của phương pháp này nằm ở
thời gian tính tốn chậm và độ chính xác của trạng thái đầu tiên. Nếu trạng thái đầu
có độ chính xác cao thì số lần lặp sẽ giảm để đạt được sai số tối ưu và ngược lại, nếu
độ chính xác của trạng thái đầu khơng cao thì số lần lặp tăng lên kéo theo thời gian
tính tốn tăng và chất lượng tính tốn bị giảm.
2.2. Thuật tốn điều khiển đáp tự động
Một cách tổng quát, đã và đang có rất nhiều các thuật tốn điều khiển có khả
năng áp dụng cho yêu cầu đáp tự động, tùy thuộc vào cách xây dựng mơ hình tốn
của đối tượng và u cầu về chất lượng điều khiển. Xét trên đặc tính của đề tài luận
văn, cần áp dụng phương pháp điều khiển khơng dựa theo mơ hình tốn của đối
tượng mà chỉ phụ thuộc vào sự thay đổi của giá trị đầu vào là sai số khoảng cách
giữa mơ hình bay so với bãi đáp mục tiêu. Dựa trên yêu cầu đó, có 2 thuật tốn điều
khiển có khả năng đáp ứng một cách tốt nhất và dễ thực hiện đó là: điều khiển logic
mờ (Fuzzy) và điều khiển PID.
Thuật toán 1: Điều khiển logic mờ (Fuzzy logic)
Đây là thuật toán điều khiển ra quyết định dựa trên sai số hiện tại và độ biến
thiên sai số kết hợp với quy luật phân bố đặc tính dựa trên kinh nghiệm kiểm chứng
thực tế dựa trên thuật toán Mamdani [23] hay Sugeno [24]. Một vài hệ thống đáp tự
động đã áp dụng thành công điều khiển Fuzzy như: Olivares-Mendez [25], Shubao
[26]… Hạn chế lớn nhất của thuật toán này nằm ở sự thiếu sót về kinh nghiệm kiểm

chứng khiến tầm hoạt động khi áp dụng thực tế bị giới hạn cho đối tượng đứng yên
hoặc di chuyển với tốc độ không quá lớn.
Thuật toán 2: Điều khiển PID
Đây là thuật toán điều khiển kinh điển dựa trên sai số hiện tại, độ biến thiên
sai số và sự tích lũy sai số theo thời gian tương ứng với bộ thông số tỉ lệ nhất định.
7


Một vài hệ thống đáp tự động ứng dụng thuật tốn điều khiển PID có thể kể đến như:
Liu [27], Nakamura [1] … PID là thuật toán điều khiển hiệu quả cho một tầm hoạt
động rộng và liên tục trên thực tế, tuy nhiên nó có hạn chế ở sự ổn định về chất
lượng đáp ứng cho các trường hợp khác nhau trên thực tế. Sự hạn chế này xuất phát
từ việc các thông số tỉ lệ thường được cố định cho tồn bộ q trình bay nên bộ
thơng số thường chỉ đạt chất lượng tốt cho một số các trường hợp nhất định (đứng
yên hoặc di chuyển) và không tối ưu cho các trường hợp còn lại.
2.3. Ứng dụng xây dựng hệ thống đáp tự động
Như đã đề cập, mục tiêu của đề tài là tập trung phát triển hệ thống đáp tự
động dựa trên thuật toán định vị bằng thị giác máy. Bên cạnh việc chọn lọc và phát
triển thuật toán điều khiển và định vị bằng thị giác máy thì việc kết hợp chúng lại
cũng là một vấn đề cần quan tâm. Để xây dựng một hệ thống điều khiển phức tạp
một cách hiệu quả và ổn định, ta cần phân tách chúng thành những module nhỏ hơn
với các nhiệm vụ chuyên biệt để dễ dàng hơn cho việc quản lý và nâng cấp hệ thống.
Tuy nhiên, có một vấn đề xảy ra với cách thiết kế như vậy đó là sự bất đồng bộ và
cách thức truyền tải thông tin giữa các thành phần trong hệ thống. Đó cũng là lý do
cho sự ra đời của nền tảng hệ thống hoạt động cho Robot (Robot Operating System –
ROS). Đã có rất nhiều các đề tài nghiên cứu đi trước xây dựng hệ thống điều khiển tự
động cho mơ hình bay ứng dụng nền tảng ROS có thể kể đến như:
+ Tianqu [28] thiết kế hệ thống đáp cho mơ hình bay khơng người lái dựa trên
nền tảng ROS được điều khiển dựa trên tín hiệu từ trạm mặt đất. Điểm yếu của hệ
thống này nằm ở khả năng áp dụng trên phạm vi rộng vì khả năng mất mát thông tin

điều khiển do sự cố đường truyền tín hiệu.
+ Falanga [2] trình bày một hệ thống đáp tự động hoàn chỉnh trong đề tài
nghiên cứu của mình dựa trên nền tảng ROS. Đây là một đề tài nghiên cứu hay và
hiệu quả ở việc điều khiển đáp tự động cho môi trường trong nhà xưởng ở độ cao
4m. Điểm thiếu sót của đề tài này là các thực nghiệm kiểm chứng cho môi trường

8


bên ngoài dưới sự ảnh hưởng khác nhau của ánh sáng. Ngoài ra, việc giới hạn độ cao
ở 4m cũng là một điểm hạn chế khác của đề tài nghiên cứu này.
2.4. Nội dung nghiên cứu
Các đề tài nghiên cứu đã được đề cập trong mục 2.1 đến 2.3 đều tồn tại những
hạn chế nhất định về mặt phương pháp hay mức độ ứng dụng trong các trường hợp
cụ thể. Do vậy, đề tài luận văn được trình bày trong tài liệu này sẽ kết hợp các
phương pháp đã đề cập ở các phần trước để đạt mục tiêu xây dựng hệ thống đáp tự
động cho mơ hình bay khơng người lái một cách hiệu quả và đáng tin cậy.
Nội dung nghiên cứu của đề tài gồm những vấn đề sau:
Mục 1: Xây dựng thuật toán định vị ứng dụng thị giác máy
+ Xây dựng thuật toán nhận dạng và ước lượng trạng thái của đối tượng dựa
trên marker tự thiết kế và kỹ thuật phân tích ma trận trận Homography đáp ứng yêu
cầu nhận dạng ở các khoảng cách xa / gần với sai số thấp và có thể xử lý trong thời
gian thực trên máy tính nhúng ở mức 20Hz.
Mục 2: Xây dựng thuật toán đáp tự động
+ Thuật tốn đáp tự động cho mơ hình bay được sử dụng trong bài tốn là
điều khiển PID với thơng số tỉ lệ được hiệu chỉnh dựa trên thông tin về sai số hiện tại
và độ biến thiên sai số trong quá trình bay thực nghiệm được xây dựng trên mơ hình
điều khiển phân lớp.
Mục 3: Xây dựng hệ thống đáp tự động hoàn chỉnh
+ Kết hợp các thành phần cơ bản với nhiệm vụ chuyên biệt (điều khiển, định

vị, thu thập thông tin…) thành một hệ thống tự động hoàn chỉnh dựa trên nền tảng
ROS đạt được yêu cầu về sự linh động trong quá trình thay thế, cập nhật.
Mục 4: Thực nghiệm kiểm chứng kết quả
+ Hệ thống đáp tự động cần đạt các yêu cầu về chất lượng về tầm hoạt động,
tốc độ đáp ứng, khả năng đáp thành công và sai số so với nguồn dữ liệu kiểm chứng
(lấy từ giá trị ground-truth trong công cụ mơ phỏng và tín hiệu vị trí từ cảm biến
trong thí nghiệm thực tế). Chất lượng hệ thống được kiểm chứng ở mơ hình mơ
9


phỏng để đảm bảo tính đúng đắn của thuật tốn định vị và điều khiển cũng như
trong nhiều thí nghiệm thực tế để chứng minh khả năng áp dụng thuật tốn trong
điều kiện mơi trường cụ thể.
Đóng góp của đề tài nghiên cứu:
Đề tài luận văn này là sự phát triển tiếp nối của một đề tài tương tự đã thực
hiện của các bạn trong cùng nhóm nghiên cứu với mục tiêu giải quyết các vấn đề còn
tồn tại và nâng cao khả năng ứng dụng của hệ thống, bao gồm:
+ Tăng tầm hoạt động theo độ cao của thuật toán định vị (nhận dạng và ước
lượng trạng thái) trong khoảng 30cm – 8m dựa vào dạng marker tự thiết kế và thuật
tốn ước lượng Levenberg-Marquardt trong điều kiện ngồi trời sáng.
+ Sử dụng kỹ thuật giảm kích thước dữ liệu hình ảnh để tăng tốc độ đáp ứng
của hệ thống từ 12-18Hz (đã thực hiện) sang 18-25Hz (hiện tại).
+ Cải thiện thuật toán điều khiển PID bằng phương pháp hiệu chỉnh độ lợi
(gain-scheduling) giúp máy bay có khả năng đáp được trên bãi đáp di chuyển thẳng
với vận tốc cao hơn so với đề tài đã thực hiện (2.5 m/s so với 1.5 m/s trong mô
phỏng và 1.5 m/s so với 0.5 m/s trong thực nghiệm).
+ Thêm thông số giá trị đo đạc vận tốc từ cảm biến bay cho bộ lọc Kalman
tuyến tính tăng khả năng ước lượng và dự báo cho hệ thống định vị giúp máy bay có
khả năng đáp hoặc bám trên quỹ đạo phức tạp hơn (gấp khúc, tròn) với vận tốc giới
hạn (< 1 m/s) (đề tài trước chưa thực hiện được).

+ Hoàn thiện phương pháp kiểm nghiệm chất lượng hệ thống trong cả mô
phỏng và thực nghiệm như: thêm thông số đo đạc (tốc độ xử lý cho từng phần của hệ
thống ở mục 4.2.3), so sánh kết quả với thí nghiệm của một đề tài nghiên cứu khác
trong mô phỏng (mục 4.2.1), thực hiện nhiều hơn các trường hợp kiểm nghiệm (đáp
trên quỹ đạo phức tạp, bám theo đường tròn).

10


CHƯƠNG 3. CƠ SỞ LÝ THUYẾT VÀ GIẢI THUẬT
3.1. Hệ thống định vị ứng dụng thuật toán thị giác máy
Thuật toán định vị ứng dụng thị giác máy trong đề tài là một chuỗi các bài
tốn con được mơ tả trong hình ảnh sau:

Hình 3: Thuật tốn định vị ứng dụng thị giác máy
Có thể thấy, thuật tốn định vị được sử dụng gồm 3 bài toán con:
+ Nhận dạng đối tượng (target detection)
+ Ước lượng trạng thái đối tượng (pose estimation)
+ Thuật toán hậu xử lý (post-processing)
3.1.1. Nhận dạng đối tượng (target detection)
3.1.1.1. Marker tự thiết kế
Một trong số các điểm hạn chế của nhiều cơng trình nghiên cứu đi trước là
khả năng thích nghi với sự thay đổi của độ cao. Phần lớn các đề tài nghiên cứu đều
chỉ thường áp dụng duy nhất một kỹ thuật nhận dạng đối tượng và điều đó làm giới
hạn tầm hoạt động của hệ thống trong một khoảng cố định. Thừa hưởng ý tưởng từ
Nakamura [29] về việc kết hợp nhiều kỹ thuật nhận dạng với nhiều loại marker có
kích thước khác nhau, đề tài cũng đề xuất về một thiết kế có sự kết hợp giữa 2 dạng
marker gồm: vùng lớn màu xanh dương và marker nhị phân (ArUco) tương ứng với
2 phương thức nhận dạng 1 và 2 (đề cập ở mục 2.1.1) được mơ tả ở hình sau:

11


Hình 4: Marker tự thiết kế
Marker tự thiết kế thể hiện ở hình trên gồm 2 phần cơ bản:
+ Vùng màu xanh dương: sử dụng để nhận dạng ở vị trí cao với mục
đích xác định sự tồn tại của đối tượng trong vùng nhìn thấy với một
lượng thơng tin vừa đủ (coarse detection).
+ Marker nhị phân (ArUco): là dạng ảnh vuông viền đen chứa mã nhị
phân (đen = 0 / trắng = 1) với kích thước sẵn biết (6 x 6). Marker nhị
phân trong đề tài gồm 2 kích thước khác nhau được sử dụng để nhận
dạng đối tượng ở độ cao vừa và thấp (fine detection).
Việc kết hợp hai phương thức nhận dạng khác nhau với hai loại đặc trưng
tương ứng (màu / mã nhị phân) giúp hệ thống định vị có khả năng nhận dạng mục
tiêu trong vùng nhìn thấy với độ cao thay đổi từ 30cm đến 8m. Đây là một bước cải
tiến so với một số các cơng trình nghiên cứu khác.
3.1.1.2. Thuật tốn nhận dạng đối tượng (object detection)
Như đã đề cập, thuật toán nhận dạng đối tượng được chia làm 2 phần:
nhận dạng màu sắc và nhận dạng mã nhị phân tương ứng với độ cao hiện tại
của mơ hình bay. Sơ đồ thuật tốn nhận dạng được mơ hình hóa trong hình
sau:

12


Hình 5: Sơ đồ thuật tốn nhận dạng
Thuật tốn nhận dạng của đề tài nghiên cứu chia ra làm 3 ý chính:
+ Thuật tốn tiền xử lý (giảm kích thước, chọn vùng quan tâm)
+ Thuật toán nhận dạng màu
+ Thuật toán nhận dạng marker nhị phân

13