Hcmute phát triển xe lăn điện tự hành trong nhà cho người tàn tật nặng dựa vào vật mốc và bản đồ 3d

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
THÀNH PHỐ HỒ CHÍ MINH

CƠNG TRÌNH NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNG

PHÁT TRIỂN XE LĂN ĐIỆN TỰ HÀNH TRONG
NHÀ CHO NGƯỜI TÀN TẬT NẶNG DỰA VÀO
VẬT MỐC VÀ BẢN ĐỒ 3D

MÃ SỐ: T2018-48TĐ

SKC 0 0 6 5 3 4

Tp. Hồ Chí Minh, tháng 04/2019

Luan van


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
THÀNH PHỐ HỒ CHÍ MINH

BÁO CÁO TỔNG KẾT

ĐỀ TÀI KH&CN CẤP TRƯỜNG TRỌNG ĐIỂM

PHÁT TRIỂN XE LĂN ĐIỆN TỰ HÀNH TRONG NHÀ
CHO NGƯỜI TÀN TẬT NẶNG DỰA VÀO VẬT MỐC
VÀ BẢN ĐỒ 3D
Mã số: T2018-48TĐ

Chủ nhiệm đề tài: PGS.TS. Nguyễn Thanh Hải

TP. HCM, 04/2019

Luan van


TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
THÀNH PHỐ HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ

BÁO CÁO TỔNG KẾT

ĐỀ TÀI KH&CN CẤP TRƯỜNG TRỌNG ĐIỂM

PHÁT TRIỂN XE LĂN ĐIỆN TỰ HÀNH TRONG NHÀ
CHO NGƯỜI TÀN TẬT NẶNG DỰA VÀO VẬT MỐC
VÀ BẢN ĐỒ 3D
Mã số: T2018-48TĐ

Chủ nhiệm đề tài: PGS.TS. Nguyễn Thanh Hải
Thành viên đề tài: ThS. Ngô Bá Việt
ThS. Võ Đức Dũng

TP. HCM, 04/2019

Luan van

DANH SÁCH CÁN BỘ THAM GIA THỰC HIỆN ĐỀ TÀI
STT MSCB
1.

Họ và tên

4721
Nguyễn Thanh Hải

ĐH SPKT
ĐTCNYS

Ngô Bá Việt

ĐH SPKT
ĐTCNYS

4695
2.

3.

Đơn vị cơng tác

9602

Võ Đức Dũng

ĐH SPKT
ĐTCNYS

Luan van

Nội dung cơng việc

- Tính toán giải
- pháp, tham gia viết
báo và báo cáo
- Thực hiện giải
thuật và chạy kết quả
- Làm thí nghiệm và
thu thập dữ liệu.
- - Viết chương trình
điều khiển và kiểm
tra chỉnh sửa
- 01 chun đề về dị
tìm vật mốc
- Thư ký đề tài
- Tham gia làm thí
nghiệm


MỤC LỤC

MỤC LỤC .............................................................................................................................. i
DANH SÁCH HÌNH ............................................................................................................ iii
DANH SÁCH BẢNG ............................................................................................................ v
DANH SÁCH TỪ VIẾT TẮT .............................................................................................. vi
THÔNG TIN KẾT QUẢ NGHIÊN CỨU ........................................................................... vii
Chương 1 .............................................................................................................................. 1

MỞ ĐẦU ............................................................................................................................... 1
1.1. Tổng quan về lĩnh vực nghiên cứu, các kết quả nghiên cứu trong và ngồi nước đã
cơng bố................................................................................................................................... 1
1.2. Tính cấp thiết ............................................................................................................. 3
1.3. Mục tiêu đề tài ........................................................................................................... 3
1.4. Cách tiếp cận, phương pháp nghiên cứu, phạm vi nghiên cứu .................................. 4
Chương 2 .............................................................................................................................. 5
THIẾT KẾ MÔ HÌNH XE LĂN ĐIỆN TỰ HÀNH CHO NGƯỜI KHUYẾT TẬT ............ 5
2.1. Thiết kế mơ hình xe lăn điện ..................................................................................... 5
2.2.
Camera Kinect ........................................................................................................... 8
2.2.1 Giới thiệu về camera Kinect ...................................................................................... 8
2.2.2 Thông số kỹ thuật của camera Kinect........................................................................ 9
2.2.3. Thư viện hỗ trợ .......................................................................................................... 9
2.3.
Xây dựng phương trình động lực học của xe lăn..................................................... 10
Chương 3 ............................................................................................................................ 12
NHẬN DẠNG VẬT MỐC VÀ ĐỊNH VỊ XE LĂN ........................................................... 12
3.1. Vai trò của vật mốc đối với quá trình định vị và điều khiển xe lăn điện ................. 12
3.2. Phương pháp nhận dạng các vật mốc trong tự nhiên ............................................... 13
3.2.1. Phát hiện các điểm đặc trưng ................................................................................... 13
3.2.2. Mở rộng các điểm đặc trưng .................................................................................... 14
3.2.3. Xác định mốc tự nhiên ............................................................................................. 16
3.2.4. Đánh giá sự nhận biết vật mốc................................................................................. 16
3.3. Kết quả nhận dạng vật mốc tự nhiên ....................................................................... 18
3.3.1. Kết quả trích đặc trưng của đối tượng trong ảnh ..................................................... 18
3.3.2. Kết nối các điểm đặc trưng ...................................................................................... 19
3.3.3. Xác định các vật mốc tự nhiên................................................................................. 20
3.3.4. Đánh giá việc xác định các vật mốc tự nhiên .......................................................... 24
3.4. Hệ thống định vị sử dụng camera RGB-D............................................................... 26

3.4.1. Phương pháp tính tốn khoảng cách và góc lệch..................................................... 27
3.4.2. Định vị xe lăn dựa vào vật mốc ............................................................................... 29
Chương 4 ............................................................................................................................. 31
ĐIỀU KHIỂN TỰ ĐỘNG CHO XE LĂN DỰA VÀO VẬT MỐC VÀ BẢN ĐỒ 3D ...... 31
4.1. Xây dựng bản đồ 3D từ môi trường......................................................................... 31
i

Luan van


4.2. Xây dựng bản đồ khoảng cách 2D từ bản đồ 3D ..................................................... 32
4.3. Thuật toán điều khiển xe lăn bám vật mốc .............................................................. 34
4.3.1. Tính tốn sự di chuyển của xe lăn khi khơng có vật cản ......................................... 34
4.3.2. Tính tốn sự di chuyển của xe lăn khi có vật cản .................................................... 37
4.4. Các tình huống thực nghiệm .................................................................................... 40
4.4.1. Xe lăn di chuyển trên đường đi khơng có vật cản ................................................... 40
4.4.2. Xe lăn di chuyển trên đường đi có vật cản .............................................................. 41
Chương 5 ............................................................................................................................. 44
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ........................................................................... 44
5.1
Kết Luận .................................................................................................................. 44
5.2
Hướng Phát Triển .................................................................................................... 44
TÀI LIỆU THAM KHẢO ................................................................................................... 45
PHỤ LỤC ............................................................................................................................ 49

ii

Luan van

DANH SÁCH HÌNH
HÌNH

TRANG

Hình 2.1. Sơ đồ khối biểu diễn q trình thu thập dữ liệu từ camera và xác định các thông
số cho việc điều khiển xe lăn điện .......................................................................................... 5
Hình 2.2. Sơ đồ khối hệ thống ............................................................................................... 6
Hình 2.3. Các thiết bị cần thiết trong một chiếc xe lăn di động ............................................. 6
Hình 2.4. Mơ hình xe lăn điện ............................................................................................... 7
Hình 2.5. Sơ đồ khối mơ tả hoạt động của hệ thống xe lăn điện ........................................... 7
Hình 2.6. Kinect X-Box 360 .................................................................................................. 8
Hình 2.7. Cấu tạo camera Kinect ........................................................................................... 9
Hình 2.8. Mơ hình xe lăn chuyển động với 2 bánh xe ......................................................... 10
Hình 3.1. Sơ đồ khối quá trình xác định vật mốc tự nhiên .................................................. 13
Hình 3.2. Mơ tả các đáp ứng trong ảnh ................................................................................ 17
Hình 3.3. Hình ảnh với thơng tin điểm đặc trưng ................................................................ 18
Hình 3.4. Biểu đồ biểu diễn số lượng điểm đặc trưng liên quan đến tốc độ phát hiện điểm
đặc trưng ........................................................................................................................... 19
Hình 3.5. Biểu diễn sự giãn nở với các lần lặp khác nhau với mặt nạ 3 × 3........................ 20
Hình 3.6. Ảnh các đối tượng và ảnh các khung đặc trưng ................................................... 20
Hình 3.7. Quy trình nhận dạng mốc trong mơi trường phịng thí nghiệm tự nhiên ở khoảng
cách 2 m từ camera đến vật thể............................................................................................. 21
Hình 3.8. Quy trình nhận dạng mốc trong mơi trường phịng thí nghiệm tự nhiên ở khoảng
cách 1 m từ camera đến vật thể............................................................................................. 21
Hình 3.9. Mật độ điểm đặc trưng với mười lần thí nghiệm ở năm khoảng cách khác nhau 21
Hình 3.10. Xác định mốc tự nhiên trong mơi trường phịng thí nghiệm ở góc 0o ............... 22
Hình 3.11. Xác định mốc tự nhiên trong mơi trường phịng thí nghiệm ở góc 45o ............. 22
Hình 3.12. Xác định mốc tự nhiên trong mơi trường phịng thí nghiệm ở góc 30o ............. 23

Hình 3.13. Các mốc tự nhiên được phát hiện từ các khu vực khác nhau ............................. 24
Hình 3.14. Nhận dạng các mốc từ các mốc được phát hiện để đánh giá hiệu suất nhận dạng
........................................................................................................................... 25
Hình 3.15. Sơ đồ khối của hệ thống định vị dùng camera RGB-D ..................................... 26
Hình 3.16. Mối quan hệ giữa độ sâu và độ sai lệch ............................................................ 27
Hình 3.17. Biểu diễn vật mốc trong miền tọa độ (OXZ) .................................................... 28
Hình 3.18. Tọa độ xe lăn và vật mốc trong khơng gian phẳng ............................................ 29
Hình 4.1. Hệ trục tọa độ Descartes của ảnh 3D ................................................................... 31
Hình 4.2. Camera Kinect lấy thông tin độ sâu của điểm ảnh ............................................... 31
iii

Luan van


Hình 4.3. Ảnh RGB được chụp từ camera Kinect ............................................................... 32
Hình 4.4. Ảnh đám mây 3D được kết hợp từ ảnh RGB và ảnh độ sâu ................................ 32
Hình 4.5. Bản đồ điểm 3D được lấy từ camera.................................................................... 33
Hình 4.6. Mơ tả việc chuyển đổi bản đồ điểm 3D sang bản đồ 2D với độ cao Yjmin được
định trước ........................................................................................................................... 33
Hình 4.7. Bản đồ khoảng cách 2D theo trục X và trục Z được xây dựng từ bản đồ điểm 3D
hình 4.5
........................................................................................................................... 34
Hình 4.8. Định vị xe lăn dựa vào vật mốc ........................................................................... 35
Hình 4.9. Trường hợp xe lăn ở bên trái của đường đi.......................................................... 35
Hình 4.10. Các thơng số mơ tả cho việc di chuyển của xe lăn trong trường hợp 2 ............. 36
Hình 4.11. Trường hợp xe lăn ở bên phải của đường đi ...................................................... 36
Hình 4.12. Các thơng số mô tả cho việc di chuyển của xe lăn trong trường hợp 3 ............. 37
Hình 4.13. Lưu đồ điều khiển xe lăn tránh vật cản .............................................................. 37
Hình 4.14. Mơ tả vật cản trên đường di chuyển của xe lăn ................................................. 38
Hình 4.15. Xe lăn di chuyển về khoảng trống bên phải và tránh vật cản ............................ 38

Hình 4.16. Xe lăn di chuyển về khoảng trống bên trái và tránh vật cản .............................. 39
Hình 4.17. Xe lăn nhận biết phía trước là vùng trống thông qua bản đồ 2D ....................... 40
Hình 4.18. Xe lăn bám theo vật mốc để di chuyển ở giữa đường và dừng lại ở đích .......... 41
Hình 4.19. Xe lăn phát hiện vật cản và các khoảng trống dựa vào bản đồ 2D .................... 41
Hình 4.20. Xe lăn phát hiện khoảng trống bên phải và di chuyển vượt qua vật cản ........... 42
Hình 4.21. Xe lăn phát hiện vật cản và các khoảng trống dựa vào bản đồ 2D .................... 42
Hình 4.22. Xe lăn phát hiện khoảng trống bên trái và di chuyển vượt qua vật cản ............. 43

iv

Luan van


DANH SÁCH BẢNG
BẢNG

TRANG

Bảng 2.1. Các giá trị của tín hiệu điều khiển xe lăn điện … ................................................ 08
Bảng 2.2. Bảng thống kê bằng thực nghiệm tầm nhìn của camera Kinect … ..................... 09
Bảng 3.1. Kết quả trích xuất các điểm đặc trưng thời gian thực bằng cách sử dụng các bộ
phát hiện đặc trưng ............................................................................................................... 19
Bảng 3.2. Thời gian của quá trình nhận biết vật mốc của phương pháp đề xuất. ................ 24
Bảng 3.3. Độ chính xác của phương pháp nhận dạng được đề xuất .................................... 26

v

Luan van

DANH SÁCH TỪ VIẾT TẮT
SLAM
SIFT
RFID
IR

LIDAR
RANSAC
AC
BCI
DC
DLL
EERUF
GPS
GPIO
HSV
LCD
PCA
RGB
SAD
SVD
SURF
VFH
VFF
3D
2D

Simultaneous localization and mapping
Scale-Invariant Feature Transform
Radio Frequency Identification

Infra-Red
Light Detection And Ranging
Random sample consensus
Alternating Current
Brain – Computer Interface
Direct Current
Dynamic Link Library
Error Eliminating Rapid Ultrasonic Firing
Global Positioning System
General - Purpose Input/Output
Hue – Saturation - Value
Liquid Crystal Display
Principal component analysis
Red – Green - Blue
Sum of Absolute Differences
Singular Value Decomposition
Speeded Up Robust Features
Vector Field Histogram
Virtual Force Field
Three - Dimensional
Two - Dimensional

vi

Luan van


TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
THÀNH PHỐ HỒ CHÍ MINH

CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập - Tự do - Hạnh phúc

KHOA ĐIỆN - ĐIỆN TỬ
Tp. HCM, Ngày

tháng

năm 2019

THƠNG TIN KẾT QUẢ NGHIÊN CỨU
1. Thơng tin chung:
- Tên đề tài: Phát triển xe lăn điện tự hành trong nhà cho người tàn tật nặng dựa
vào vật mốc và bản đồ 3D.
- Mã số: T2018-48TĐ
- Chủ nhiệm: PGS.TS. Nguyễn Thanh Hải
- Cơ quan chủ trì: Đại Học Sư Phạm Kỹ Thuật TP. HCM
- Thời gian thực hiện: 12 tháng
2. Mục tiêu:
Nghiên cứu và phát triển một xe lăn điện tự hành cho người tàn tật nặng sử
dụng Camera, vật mốc và bản đồ 3D không gian trong nhà. Trong đó, hệ thống
Camera và Encoder được gắn trên xe lăn để định vị và tự động tránh va chạm vào
những vật thể trên đường di chuyển.
3. Tính mới và sáng tạo:
Sử dụng camera RGB-D với giá thành thấp hơn so với camera 3D cùng loại để
thu thập thông tin trong không gian di chuyển, giúp định vị và tránh vật cản cho xe lăn
tự hành.
Đề xuất phương pháp nhận dạng và thu thập vật mốc trong môi trường tự
nhiên, phục vụ cho việc định vị trên bản đồ và điều khiển xe lăn tự động.
4. Kết quả nghiên cứu:

Bài báo đăng tạp chí ISI.
5. Sản phẩm:
Bài báo, quyển báo cáo và chương trình máy tính.
6. Hiệu quả, phương thức chuyển giao kết quả nghiên cứu và khả năng áp dụng:
Chuyển giao cho phịng thí nghiệm Xử lý tín hiệu và hình ảnh; Tài liệu tham
khảo trong đào tạo cao học.
Trưởng Đơn vị
(ký, họ và tên)

Chủ nhiệm đề tài
(ký, họ và tên)

Nguyễn Thanh Hải
vii

Luan van


INFORMATION ON RESEARCH RESULTS
1. General information:
Project title: Development of an indoor autonomous electric wheelchair for
heavy disabled based on landmarks and map 3D.
Code number: T2018 – 48TĐ
Coordinator: Assoc. Prof. Nguyen Thanh Hai
Implementing institution: HCMC Univerisy of Technology and Education
Duration: 12 months
2. Objective(s):
Research and develop an indoor autonomous electric wheelchair for people with
disability using camera, landmarks and 3D maps. In particular, the camera and
encoder system is mounted on wheelchair to locate and automatically avoid obstacles

on the road.
3. Creativeness and innovativeness:
The RGB-D sensor is cheap and easy to use for 3D data acquisition in the indoor
environment. Moreover, it can help wheelchair to locate and avoid obstacles on the
road.
Propose a method of identifying and collecting landmarks in the natural
environment, which apply for positioning on maps and controlling wheelchair
automatically.
4. Research results:
An ISI journal article.
5. Products:
One published journal article, one report of the project and one complete
program.
6. Effects, transfer alternatives of reserach results and applicability:
Reference materials for Lab experiments and post-graduate training
.

viii

Luan van


1. Mở Đầu

Chương 1

MỞ ĐẦU
1.1.

Tổng quan về lĩnh vực nghiên cứu, các kết quả nghiên cứu trong và ngoài

nước đã công bố

Ngày nay, trên thế giới người khuyết tật do tai nạn và bệnh tật gây ra ngày càng
có chiều hướng gia tăng. Nhiều báo cáo từ nhiều tổ chức khác nhau cho thấy số lượng
người bị thương tật tăng lên mỗi năm [1, 2]. Một báo cáo gần đây nhất cho thấy có
khoảng 300-400 trường hợp tàn tật mới ở Úc mỗi năm. Theo một thống kê, năm 20042005, có 39% trường hợp thương tật liên quan đến giao thông, 9% liên quan đến nước,
29% liên quan đến té ngã và 10% liên quan đến tai nạn khác.
Người tàn tật nặng luôn cần những chiếc xe lăn điện tiện nghi để không chỉ
phục vụ cho vấn đề di chuyển mà còn tăng cường khả năng độc lập của họ để giảm
bớt sự hổ trợ từ người khác. Hiện nay, tại Việt Nam, người tàn tật đã có điều kiện sử
dụng xe lăn điện. Trong khi đó, trên thế giới, chủ yếu là các nước phát triển, đa số
người tàn tật sử dụng xe lăn điện. Tuy nhiên, ngay cả những xe lăn điện cũng không
hỗ trợ được những người tàn tật nặng trong lúc di chuyển nhất là những người không
thể sử dụng tay để điều khiển xe lăn. Vì thế, những xe lăn thơng minh sẽ rất cần thiết
để giúp họ sinh hoạt hằng ngày tốt hơn [3-5]. Trong thực tế có rất nhiều cách và
phương pháp phát triển xe lăn điện [6]. Nhiều nhà khoa học trên thế giới đã và đang
tập trung phát triển những xe lăn điện có gắn những cảm biến mơi trường và cảm biến
thân thể để giúp người tàn tật nặng có cơ hội tự di chuyển được an tồn, ít nhất là
trong khn viên có giới hạn nhà như khn viên viện dưỡng lão hay trong nhà mà
không cần sự trợ giúp của người khác. Nhận dạng tiếng nói cũng là một phương pháp
được sử dụng cho điều khiển xe lăn điện [7]. Ngoài ra, việc nhận dạng các cử chỉ của
người sử dụng dùng Camera cũng được sử dụng phổ biến như nhận dạng các cử chỉ
trên khuôn mặt của người sử dụng để điều khiển xe lăn đi thẳng, đi lùi, rẽ trái, rẽ phải
[8]; nhận dạng các cử chỉ của bàn tay để điều khiển hướng đi cho xe lăn điện; nhận
dạng số ngón tay được giơ lên để thực hiện các lệnh điều khiển cho xe lăn [9, 10]. Một
cách điều khiển xe lăn khác sử dụng cử chỉ của người sử dụng là việc nhận dạng sự di
chuyển của mắt [11-13]. Ngoài ra, đối với người khuyết tật khơng thể cử động tay
hoặc đầu có thể điều khiển xe lăn bằng cách giao tiếp tín hiệu điện não (EEG) với máy
tính. Các nghiên cứu về việc sử dụng tín hiệu EEG để điều khiển xe lăn cho người
khuyết tật cũng được quan tâm phát triển với mục đích điều khiển thuận tiện cho

người sử dụng với chi phí đầu tư thấp [14, 15].
Tuy nhiên, trong một số trường hợp đặc biệt, khi mà khả năng vận động của
người khuyết tật bị hạn chế hay nói cách khác là người khuyết tật không thể tự điều
khiển được xe lăn theo ý muốn, xe lăn cần được điều khiển tự động để đảm bảo an
toàn cho người sử dụng. Chế độ tự động của xe lăn đồng nghĩa với việc xe lăn phải tự
di chuyển đến đúng nơi mà người sử dụng mong muốn, đồng thời phải tránh được
những vật cản trên đường đi. Trong những năm gần đây, đã có nhiều phương pháp
được áp dụng để xe lăn tự hành như di chuyển theo đường đi đã được vạch sẵn [16],
di chuyển theo tọa độ sử dụng định vị GPS và bộ lọc Kalman [17], di chuyển theo bản
đồ [18]. Cảm biến siêu âm và tia laser được lựa chọn cho các ứng dụng điều khiển xe
1

Luan van


1. Mở Đầu

lăn điện thông minh tránh vật cản [19,20]. Khi lĩnh vực thị giác máy tính phát triển, nó
trở thành một tiềm năng lớn. Camera ngày càng được sử dụng nhiều do khả năng cung
cấp thông tin về môi trường chính xác hơn các loại cảm biến như siêu âm, tia laser.
Camera có thể cung cấp các thơng tin về màu sắc, thông tin 3D về môi trường trong
khi các cảm biến như siêu âm, tia laser chỉ cung cấp thông tin 2D. Trong những năm
gần đây, để thu được những map 3D, một số nhà nghiên cứu đã sử dụng cảm biến
stereo Camera gắn trên xe lăn hay robot di động [21, 22]. Ảnh 3D cho phép xe lăn di
động nhận biết được những thông tin trong không gian và từ đó có những chiến lượt
điều khiển hiệu quả hơn. Lĩnh vực vẽ bản đồ và định vị đã và đang được nghiên cứu
rộng rãi trong lĩnh vực xe lăn hay robot tự hành. Xe lăn hay robot tự hành phải được
cung cấp chi tiết về bản đồ di chuyển để có thể được định vị trong khơng gian di
chuyển. Hơn nữa, tọa độ hiện tại của xe lăn hay robot được dùng làm cơ sở thu thập
thêm những thơng tin mới trong q trình di chuyển [23]. Các thuật toán vẽ bản đồ 3D

dần dần được phát triển như thuật toán SLAM được áp dụng để vẽ bản đồ 3D [24].
Để định vị xe lăn hay robot trong khơng gian di chuyển, có nhiều phương pháp
được thực hiện. Đầu tiên là những phương pháp định vị 2D sử dụng những thơng tin
khoảng cách thu về từ sóng Wifi [25], cảm biến laser kết hợp với RFID [26], định vị
bằng phương pháp tìm những đường thẳng tương đồng trong không gian 2D [27].
Hiện nay, các phương pháp xử lý ảnh dần dần được sử dụng trong định vị robot [28].
Phương pháp xử lý ảnh được sử dụng để nhận biết các vật mốc nhân tạo cố định được
xây dựng sẵn trong khơng gian di chuyển [29], từ đó áp dụng vào việc xác định vị trí
hiện tại của xe lăn trên một bản đồ đã được xây dựng trước trong quá trình di chuyển.
Alcantarilla và các cộng sự đề xuất phương pháp mạnh mẽ và nhanh chóng định vị
cho xe lăn dựa vào thị giác máy tính, trong đó các đặc trưng của hình ảnh được trích
xuất, kết hợp với các thành phần bản đồ để đưa ra vị trí hiện tại của robot tự hành [30,
31].
Ngồi ra, việc bảo vệ xe lăn điện tránh va chạm với vật thể xung quanh cũng là
một vấn đề rất được quan tâm. Bởi vì, người tàn tật nặng rất dễ mất điều khiển khi
điều khiển xe, do vậy rất dễ bị xảy ra tai nạn. Hệ thống sử dụng Camera với các thuật
toán áp dụng vào việc phát hiện vật cản, tìm khoảng trống để xe lăn điện vượt qua vật
cản, có thể giúp người sử dụng cảm thấy an tồn hơn khi di chuyển trong khu vực có
nhiều chướng ngại vật [32-34].
Sự kết hợp của một chiếc xe lăn điện, hệ thống máy tính, hệ thống Camera 3D
và bản đồ cho phép người sử dụng xe lăn cảm thấy thuận lợi hơn trong việc điều khiển
và an toàn hơn khi di chuyển trong môi trường trong nhà. Với hệ thống Camera và
bản đồ, xe lăn có thể xác định vật mốc và di chuyển dọc theo lối đi. Trong q trình di
chuyển của xe lăn, khoảng cách và góc lệch giữa vật mốc và xe lăn được tính tốn để
định vị trên bản đồ và đưa ra quyết định di chuyển phù hợp.
Các nghiên cứu, triển khai trong nước đã làm: Hiện nay trong nước chỉ tập
trung nghiên cứu chế tạo xe lăn điện. Cụ thể là xe lăn điện chạy bằng năng lượng
acqui (Nguyễn Duy Đỉnh, giảng viên trường ĐH Bách khoa Hà Nội; cở sở Đức
Cường, 62/6 Lê Niệm, phường 18, quận Tân Bình, TP.HCM).

2

Luan van


1. Mở Đầu

1.2.

Tính cấp thiết

Thống kê của Liên hiệp quốc năm 2007, trên thế giới có khoảng 10% người
khuyết tật, tương đương với 650 triệu người và 80 % trong số đó sống ở các nước
đang phát triển. Theo Tổng cục Thống kê năm 2009, Việt Nam có khoảng 6,7 triệu
người khuyết tật trên tổng số 85,5 triệu dân, tương đương 7,8% dân số. Việt Nam là
quốc gia có số lượng người khuyết tật khá lớn trong đó 3,6 triệu là nữ và khoảng 1,2
triệu là trẻ em. Những người bị hạn chế trong việc di chuyển và về tinh thần xấp xỉ
50% những người khuyết tật ở Việt Nam.
Xe lăn là phương tiện chủ yếu để người khuyết tật có thể di chuyển đến nơi mà
mình mong muốn. Ngồi loại xe lăn cổ điển thì sự xuất hiện của loại xe lăn có trang bị
động cơ đã giúp cho người sử dụng giảm được nhiều sự vận động. Cùng với sự phát
triển của khoa học kỹ thuật, xe lăn cũng đã có nhiều phát triển. Đã có nhiều nghiên
cứu nhằm tìm ra các phương thức điều khiển xe lăn áp dụng cho từng đối tượng người
khuyết tật khác nhau. Xe lăn điện được trang bị các thiết bị công nghệ cao có thể giúp
cho người khuyết tật di chuyển mà không cần sự trợ giúp. Đơn giản nhất là xe lăn điện
được trang bị Joystick (một cần điều khiển) mà người sử dụng có thể điều khiển
hướng di chuyển của xe lăn theo ý muốn của mình. Để hỗ trợ tốt hơn cho người
khuyết tật, đã có nhiều hướng nghiên cứu điều khiển xe lăn điện sử dụng Camera như
nhận dạng các cử chỉ trên khuôn mặt của người sử dụng để điều khiển xe lăn đi thẳng,
đi lùi, rẽ trái, rẽ phải; nhận dạng các cử chỉ của bàn tay để điều khiển hướng đi cho xe

lăn điện, nhận dạng số ngón tay được giơ lên để thực hiện các lệnh điều khiển cho xe
lăn. Một cách điều khiển xe lăn khác sử dụng cử chỉ của người sử dụng là việc nhận
dạng sự di chuyển của mắt. Ngồi ra, đối với người khuyết tật khơng thể cử động tay
hoặc đầu có thể điều khiển xe lăn bằng cách giao tiếp tín hiệu điện não (EEG) với máy
tính.
Tuy nhiên, trong một số trường hợp đặc biệt, khi mà khả năng vận động của
người khuyết tật bị hạn chế hay nói cách khác là người khuyết tật khơng thể tự điều
khiển được xe lăn theo ý muốn, xe lăn cần được điều khiển tự động để đảm bảo an
toàn cho người sử dụng. Chế độ tự động của xe lăn đồng nghĩa với việc xe lăn phải tự
di chuyển đến đúng nơi mà người sử dụng mong muốn, đồng thời phải tránh được
những vật cản trên đường đi. Trong những năm gần đây, đã có nhiều phương pháp
được áp dụng để xe lăn tự hành như di chuyển theo đường đi đã được vạch sẵn, di
chuyển theo tọa độ sử dụng định vị GPS và bộ lọc Kalman, di chuyển theo bản đồ.
Hiện nay, lĩnh vực định vị và vẽ bản đồ không gian trong nhà được nghiên cứu, phát
triển rộng rãi. Bản đồ 3D có thể cung cấp dữ liệu 3D, kết hợp với vật mốc sẽ tăng
cường độ chính xác cho việc định vị, tự hành của xe lăn điện trong khơng gian di
chuyển. Ngồi ra, việc sử dụng Camera với các thuật toán áp dụng vào việc phát hiện
vật cản, tìm khoảng trống để xe lăn điện vượt qua vật cản, có thể giúp người sử dụng
cảm thấy an toàn hơn khi di chuyển trong khu vực có nhiều chướng ngại vật.
1.3.

Mục tiêu đề tài

Nghiên cứu và phát triển một xe lăn điện tự hành cho người tàn tật nặng sử
dụng Camera, vật mốc và bản đồ 3D khơng gian trong nhà. Trong đó, hệ thống
Camera và Encoder được gắn trên xe lăn để định vị và tự động tránh va chạm vào
những vật thể trên đường di chuyển.

3

Luan van


1. Mở Đầu

Cách tiếp cận, phương pháp nghiên cứu, phạm vi nghiên cứu

1.4.

Cách tiếp cận
Dữ liệu ảnh 2D và thông tin độ sâu của từng điểm ảnh được thu thập từ cảm
biến RGB-D được chuyển đổi thành dữ liệu đám mây 3D của khơng gian di chuyển.
Vị trí các vật mốc và thông tin từ Encoder sẽ giúp định vị xe lăn trên bản đồ, từ đó
đưa ra phương án lựa chọn đường đi để đến đích mong muốn. Ngồi ra, thông tin 3D
từ môi trường sẽ giúp phát hiện vật cản và khoảng trống trên đường đi, cho phép tính
tốn các chiến lược né tránh va chạm với vật cản.
Phương pháp nghiên cứu
-

Sử dụng thuật toán Speeded Up Robust Features (SURF) để nhận dạng vật
mốc trong quá trình di chuyển.

-

Sử dụng phép biển đổi không gian 3D để xác định vị trí tương đối của vật
mốc và xe lăn điện, từ đó suy ra vị trí tuyệt đối của xe lăn.

-

Sử dụng mơ hình tốn học của xe lăn để định vị bằng tốc độ 2 bánh xe thu về

từ encoder.

-

Sử dụng không gian 3D để phát hiện vật cản và tính tốn khoảng trống cho
xe lăn.

-

Sử dụng thuật tốn tìm đường đi tồn cục (GPP) để điều khiển xe lăn đến
đích.

Phạm vi nghiên cứu
-

Đề tài tập trung nghiên cứu thuật toán định vị, điều khiển và tránh vật cản
cho xe lăn điện trong không gian trong nhà.

Nội dung nghiên cứu
-

Nghiên cứu bộ điều khiển xe lăn điện.

-

Mô phỏng kiểm tra độ tin cậy của hệ thống điều khiển.

-

Thiết kế mơ hình vật lý của xe lăn.

-

Nghiên cứu phương pháp thu thập dữ liệu ảnh 2D và độ sâu sử dụng Camera
RGB-D.

-

Nghiên cứu phương pháp chuyển đổi từ ảnh 2D và độ sâu thành đám mây
3D.

-

Nghiên cứu phương pháp định vị dùng vật mốc và encoder.

-

Nghiên cứu phương pháp nhận dạng vật mốc.

-

Nghiên cứu phương pháp tránh vật cản dùng Camera.

-

Nghiên cứu phương pháp tìm đường đi cho xe lăn dựa vào bản đồ 3D.

-

Đo đạc kết quả và thống kê sai số.

-

Viết báo cáo khoa học.

-

Chỉnh sửa báo cáo khoa học.

-

Hoàn thiện các hồ sơ.
4

Luan van


2. Thiết kế mơ hình xe lăn điện tự hành cho người khuyết tật

Chương 2

THIẾT KẾ MƠ HÌNH XE LĂN ĐIỆN TỰ HÀNH CHO
NGƯỜI KHUYẾT TẬT
2.1.

Thiết kế mơ hình xe lăn điện

Sự kết hợp của một chiếc xe lăn điện và hệ thống camera cho phép xe lăn di
chuyển trong môi trường trong nhà linh hoạt hơn. Với hệ thống camera, xe lăn có
thể xác định vật mốc và di chuyển dọc theo lối đi. Ngồi ra, hệ thống cịn có khả

năng phát hiện chướng ngại vật và vùng trống thơng qua các thuật tốn xử lý thơng
tin 3D từ camera, sau đó chiếc xe lăn có thể tránh va chạm và đi qua vùng trống. Xe
lăn có thể di chuyển từ điểm xuất phát cho đến đích và tránh vật cản trên đường đi
một cách tự động như hình 2.1.
Ảnh vật mốc lấy từ
camera

Dữ liệu ảnh vật mốc
lấy từ máy tính

Nhận dạng vật mốc

Tính tốn tọa độ vật mốc từ
ảnh chụp camera

Xác định khoảng cách và góc
lệch giữa xe lăn và vật mốc

Tính tốn điều khiển xe lăn

Hình 2.1. Sơ đồ khối biểu diễn quá trình thu thập dữ liệu từ camera và xác
định các thông số cho việc điều khiển xe lăn điện
Trong nghiên cứu này, hệ thống phần cứng của xe lăn bao gồm camera kết
nối với máy tính cá nhân (PC) và các thiết bị khác để xử lý dữ liệu và điều khiển xe
lăn. Thông tin từ môi trường xung quanh thu được từ hệ thống camera sẽ được máy
tính xử lý và điều khiển các động cơ điện của xe lăn. Xe lăn có thể tránh vật cản và
dị tìm vật mốc để đi đến đích đã được định trước. Ngồi ra, hai encoder được cài
đặt cùng với động cơ để gửi các tín hiệu khoảng cách di chuyển tới PC như được
mô tả trong hình 2.2. Cuối cùng, tất cả các quá trình thu thập dữ liệu được hiển thị
trên màn hình LCD trong quá trình chuyển động của xe lăn.

5

Luan van


2. Thiết kế mơ hình xe lăn điện tự hành cho người khuyết tật

Hình 2.2. Sơ đồ khối hệ thống
Hình 2.3 mô tả chi tiết các thiết bị trên mô hình xe lăn điện, bao gồm camera
Kinect, Mini PC, tín hiệu điều khiển từ máy tính xuống động cơ thơng qua thiết bị
chuyển đổi Analog - Digital DAQmx USB6008. Các thiết bị này được cấp nguồn
thông qua một bộ chuyển đổi điện DC - AC từ một bình ắc quy xe lăn. Dữ liệu đầu
vào được xử lý và hiển thị trên một màn hình tinh thể lỏng (LCD). Mơ hình hồn
chỉnh của xe lăn điện như hình 2.4.

Hình 2.3. Các thiết bị cần thiết trong một chiếc xe lăn di động
6

Luan van


2. Thiết kế mơ hình xe lăn điện tự hành cho người khuyết tật

Hình 2.4. Mơ hình xe lăn điện
Thuật toán nhận dạng và thuật toán phát hiện vật cản, tính tốn khoảng trống
được thực hiện trên nền Microsoft Visual Studio với ngơn ngữ C++. Sau đó, các
thuật tốn sẽ được tổng hợp lại thành các Thư viện liên kết động (DLL). Các DLL
này sẽ được nhúng vào môi trường làm việc của phần mềm LabVIEW. Mỗi DLL
đảm nhận một vai trị riêng biệt, cung cấp các thơng tin đã được xử lý từ camera.

Chương trình trên LabVIEW thực hiện một số tính tốn dựa trên các dữ liệu từ các
khối DLL và đưa ra các thông số cho việc điều khiển xe lăn. Chương trình này bao
gồm ba bước: thu thập dữ liệu, xử lý dữ liệu và điều khiển xe lăn như hình 2.5
LabVIEW
OpenCV

Camera

DLL
Xử lý
thơng
tin 3D
từ mơi
trường

Tính tốn
điều khiển
xe lăn điện

DLL
Nhận
dạng
vật mốc

DAQ
USB-6008

Động cơ

Hình 2.5. Sơ đồ khối mơ tả hoạt động của hệ thống xe lăn điện

7

Luan van


2. Thiết kế mơ hình xe lăn điện tự hành cho người khuyết tật

Hướng di chuyển của xe lăn phụ thuộc vào hai động cơ DC được điều khiển
bằng tín hiệu điện áp từ ngõ ra của bộ DAQ USB – 6008, với hai thông số Speed và
Steering.
Bảng 2.1. Các giá trị của tín hiệu điều khiển xe lăn điện
Góc điều khiển

100

200

300

400

500
2.2.

Tín hiệu ngõ ra

Hướng điều khiển

SPEED

STEERING

2.003

2.535

LEFT

2.224

2.485

RIGHT

2.144

2.613

LEFT

2.213

2.348

RIGHT

2.099

2.764

LEFT

2.109

2.192

RIGHT

2.150

2.835

LEFT

2.198

2.111

RIGHT

2.167

2.903

LEFT

2.159

1.958

RIGHT

Camera Kinect

2.2.1 Giới thiệu về camera Kinect
Camera Kinect là một thiết bị đầu vào có khả năng cảm nhận chuyển động
được tạo ra bởi Microsoft dùng cho dịng sản phẩm chính là máy chơi game Xbox
360 và máy tính chạy hệ điều hành Windows. Chức năng của camera Kinect là cho
toạ độ của điểm ảnh trên khung ảnh mà camera thu thập được và khoảng cách từ
camera đến mặt phẳng chứa điểm ảnh đó song song với Kinect. Hình 2.6 là hình
ảnh của camera Kinect.

Hình 2.6. Kinect X-Box 360
Cấu tạo của camera Kinect bao gồm: RGB camera, cảm biến độ sâu (3D
Depth Sensor), dãy microphone (Multi-array mic) và động cơ điều khiển góc ngẩng
(Motorized Tilt) được thể hiện chi tiết như hình 2.7.

8

Luan van


2. Thiết kế mơ hình xe lăn điện tự hành cho người khuyết tật

Hình 2.7. Cấu tạo camera Kinect
-

RGB Camera: thu nhận ảnh màu 8 bit, có độ phân giải lên tới 640x480.

-

Cảm biến độ sâu: đo độ sâu thu về nhờ sự kết hợp của hai cảm biến: đèn
chiếu hồng ngoại (IR Projector) và camera hồng ngoại (IR Camera). Hình
3.4 mơ tả ngun lý thu ảnh độ sâu của camera Kinect sử dụng cảm biến
và camera hồng ngoại.

-

Dãy đa microphone: gồm 4 microphone được bố trí dọc Kinect như hình
3.3, được dùng vào các ứng dụng điều khiển giọng nói.

-

Động cơ điều khiển góc ngẩng: là động cơ DC nhỏ cho phép điều chỉnh
camera lên xuống để đảm bảo camera có được góc nhìn tốt nhất.

Các tín hiệu thu thập được từ Kinect bao gồm dữ liệu về độ sâu, màu sắc và
âm thanh trong đó dữ liệu về độ sâu là rất quan trọng và được sử dụng trong nhiều
ứng dụng.
2.2.2 Thông số kỹ thuật của camera Kinect
Tầm hoạt động tốt nhất của camera Kinect từ 0.8 m đến 4.0 m. Đối với
những vật quá gần nằm trong khoảng cách từ 0 m đến 0.8 m hoặc lớn hơn 4 m thì
camera Kinect cho kết quả khơng chính xác. Tiêu cự, góc mở IR camera và RGB
camera: Hai camera RGB và IR được đặt cách nhau 2.5 cm nên có chút khác nhau ở
khung hình thu về từ hai camera. Để đảm bảo khung hình RGB có thể chứa được
khung hình IR, người ta thiết kế góc mở của RGB camera lớn hơn. Điều này cũng
dẫn đến tiêu cự của RGB camera nhỏ hơn. Các thông số trong bảng 2.2 được đo đạc
bằng thực nghiệm.
Bảng 2.2. Bảng thống kê bằng thực nghiệm tầm nhìn của camera Kinect

Đặc tính

Camera RGB

Cảm biến độ sâu

Tầm nhìn của camera

Chiều ngang

62o

58o

Kinect

Chiều dọc

48o

44o

Chiều đường chéo

72o

69o

2.2.3. Thư viện hỗ trợ
Các thư viện xử lý ảnh được sử dụng phổ biến như: libfreenect, Window

Kinect SDK, OpenNI, Code Laboratories Kinect. Tùy vào mục đích của từng
9

Luan van


2. Thiết kế mơ hình xe lăn điện tự hành cho người khuyết tật

nghiên cứu mà ta sẽ chọn sử dụng những thư viện có các tính năng và thế mạnh phù
hợp. Trong nghiên cứu này, thư viện Window Kinect SDK sẽ được sử dụng để với
các tính năng nổi bật sau:
-

Có khả năng hỗ trợ lên đến 4 bộ cảm biến Kinect cho một máy tính cho
việc theo dõi khung xương và chế độ theo dõi chuyển động các điểm trên
cơ thể người. Hơn nữa, nó có thể sử dụng ở khoảng cách tối thiểu là 40
cm ở phía trước thiết bị.

-

Hỗ trợ xử lý âm thanh.

-

Hỗ trợ động cơ điều khiển góc ngẩng.

-

Dị tìm khớp nối xương (Skeleton tracking) không cần hiệu chỉnh trước
khi bám vẫn bám tốt trong trường hợp cơ thể người quay theo nhiều

hướng.

-

Hỗ trợ truy xuất các cảm biến của Kinect đồng thời.

Kinect chạy trên Windows SDK, tương thích Windows 7, bao gồm các trình
điều khiển, cảm biến API mạnh mẽ cho bộ cảm biến cử động, giao diện người dùng
tự nhiên, tài liệu cài đặt cho các ứng dụng và thiết bị. SDK cung cấp các khả năng
của Kinect cho các nhà phát triển để xây dựng các ứng dụng với C++, C# hoặc
Visual Basic® sử dụng Microsoft® Visual Studio® 2010.
2.3.

Xây dựng phương trình động lực học của xe lăn

Phương trình động lực học cho xe lăn là phương trình mơ tả mối quan hệ
giữa toạ độ (x,y) trong hệ toạ độ Descartes của xe lăn với vận tốc dài của hai bánh
xe. Hình 2.8 mơ tả khái qt về một xe lăn.

Hình 2.8. Mơ hình xe lăn chuyển động với 2 bánh xe
Mơ hình xe lăn trên sẽ di chuyển và định hướng bằng hai bánh xe, xe lăn sẽ
chuyển hướng dựa vào việc thay đổi tốc độ dài của bánh trái 𝑣𝑙 (𝑡) và bánh phải
𝑣𝑟 (𝑡). Điểm ICC (Instantaneous Center of Curvature) là điểm tức thời mà xe lăn sẽ
di chuyển theo quỹ đạo đường cong quanh điểm này với một vận tốc góc 𝜔(𝑡). R là
khoảng cách tính từ điểm ICC đến trung điểm của trục hai bánh xe. L là khoảng
10

Luan van

2. Thiết kế mơ hình xe lăn điện tự hành cho người khuyết tật

cách giữa hai bánh xe. (x,y) là toạ độ của trung điểm trục hai bánh xe, cũng là toạ độ
của xe lăn. 𝜃 là góc tạo bởi trục sườn của khung xe với trục hoành. Điểm ICC có toạ
độ (𝑥 − 𝑅𝑠𝑖𝑛𝜃, 𝑦 + 𝑅𝑐𝑜𝑠𝜃). Bánh trái của xe lăn sẽ di chuyển quanh điểm ICC với
𝐿
quỹ đạo có bán kính là (𝑅 − ) , cịn bánh phải của xe lăn sẽ có bán kính quỹ đạo
2

𝐿

(𝑅 + ). Cả hai bánh trái và phải có cùng một vận tốc góc so với điểm ICC, vậy ta
2
có:
 (t ) 

vl (t )
L
R
2

 (t ) 

vr (t )
L
R
2

(2.1)

(2.2)

từ (2.1) và (2.2) ta có:
vr (t )  vl (t )
L

(2.3)

L vr (t )  vl (t )
2 vr (t )  vl (t )

(2.4)

 (t ) 
R

Gọi 𝑣 (𝑡 ) là vận tốc dài của xe lăn, ta có:
v(t )   (t ).R 

vr (t )  vl (t )
2

(2.5)

Tất cả các đại lượng trên đều được xét tại thời điểm tức thời 𝑡. Toạ độ
(𝑥 (t), 𝑦(t)) và góc định hướng 𝜃(𝑡) của xe lăn tại thời điểm 𝑡 có liên hệ với vận tốc
góc 𝜔(𝑡 ) và vận tốc dài 𝑣 (𝑡 ) theo công thức sau:
𝑥̇ (𝑡)
𝑐𝑜𝑠𝜃(𝑡)
𝑦̇

(𝑡)
[
] = [ 𝑠𝑖𝑛𝜃(𝑡)
̇𝜃(𝑡)
0

0 𝑣(𝑡)
0] [𝜔(𝑡)]
1

(2.6)

từ (2.3), (2.5) và (2.6) ta có được phương trình động lực học của xe lăn như sau:
𝑥̇ (𝑡)
𝑐𝑜𝑠𝜃(𝑡)
𝑦̇
(𝑡)
[
] = [ 𝑠𝑖𝑛𝜃(𝑡)
̇𝜃(𝑡)
0

0 𝑣𝑟(𝑡)+𝑣𝑙(𝑡)
2
0] [𝑣𝑟(𝑡)−𝑣𝑙(𝑡)]
1
𝐿

(2.7)

Trường hợp xét trong hệ tọa độ 3 chiều, camera luôn đặt ở một chiều cao
không đổi trong khi di chuyển. Do đó, ta chỉ cần xét tọa độ x và z và phương trình
(2.7) được viết lại như sau:
𝑥̇ (𝑡)
𝑐𝑜𝑠𝜃(𝑡)
[ 𝑧̇ (𝑡) ] = [ 𝑠𝑖𝑛𝜃(𝑡)
𝜃̇(𝑡)
0

11

Luan van

0 𝑣𝑟(𝑡)+𝑣𝑙(𝑡)
2
0] [𝑣𝑟(𝑡)−𝑣𝑙(𝑡)]
1
𝐿

(2.8)


3. Nhận dạng vật mốc và định vị xe lăn

Chương 3

NHẬN DẠNG VẬT MỐC VÀ ĐỊNH VỊ XE LĂN
3.1.

Vai trò của vật mốc đối với quá trình định vị và điều khiển xe lăn điện

Xe lăn điện đã được thiết kế để tự động di chuyển dựa trên thông tin môi
trường được thu thập từ các cảm biến trong những thập kỷ gần đây. Trong thực tế,
bản đồ hóa [35-37] cho robot di động trong môi trường là một thách thức lớn do dữ
liệu thu được từ môi trường và thuật toán được áp dụng trên chúng. Với các robot di
động dựa trên thơng tin mang tính bước ngoặt, việc chọn các mốc [38-42] như cửa
ra vào, cầu thang, tường, trần nhà, sàn nhà và trích xuất các đặc trưng của chúng để
nhận dạng đóng vai trị quan trọng. Do đó, để phát hiện các đối tượng dựa trên các
đặc trưng, người ta có thể dựa trên màu sắc, kết cấu, độ sáng, kích thước đối tượng.
Để bản đồ hóa robot di động trong môi trường tự nhiên, các mốc, có thể là
vật thể tự nhiên hoặc nhân tạo, được nhận dạng để tính tốn vị trí của robot. Trong
thực tế, người ta có thể tạo các mốc nhân tạo trong môi trường nơi robot di chuyển
để đạt được mục tiêu mong muốn [43, 44]. Trong các nghiên cứu khác, robot di
động được thiết kế để di chuyển trong môi trường tự nhiên, trong đó các cột mốc là
đèn trên trần [45, 46]. Trong các mơi trường khơng có cấu trúc động như khu cơng
nghiệp, văn phịng, trường đại học, v.v., nơi có nhiều mốc tự nhiên, robot di động
được thiết kế để tự động định vị để di chuyển dựa trên dữ liệu 3D [47]. Chai et al.
[48] đã giới thiệu một cách tiếp cận địa phương hóa tự nhiên trong robot di động
bằng cách xác định các đường thẳng và màu sắc đồng nhất trong môi trường tự
nhiên. Trong môi trường này với các vùng đặc trưng, phương pháp đã được áp dụng
để xác định các đối tượng có các mốc tự nhiên cho quỹ đạo của nó. Cụ thể, kết hợp
các đường thẳng để tạo thành các đa giác lồi.đã được phát hiện và dùng cho việc lựa
chọn các mốc tự nhiên.
Để phát hiện các đối tượng trong robot di động, phương pháp tiểu vùng đã
được sử dụng trong những năm gần đây. Cụ thể, các đối tượng trong hình ảnh được
chia thành các tiểu vùng để nhận biết, được gọi là phương pháp Cửa sổ trượt [49,
50], trong đó một cửa sổ được cài đặt để trượt qua một hình ảnh để chọn các bản vá
và sau đó phân loại các bản vá để tìm ra bản vá tốt nhất vá bằng mơ hình nhận dạng
đối tượng. Với phương pháp cửa sổ trượt này, nhiều bản vá trên tồn bộ hình ảnh có
thể được tìm thấy và phân loại. Phương pháp Region Proposal (RP) đã được áp

dụng để phát hiện vật thể trong môi trường tự nhiên trong những năm gần đây [5154]. Phương pháp này được sử dụng để xử lý một hình ảnh tạo ra các khung giới
hạn tương ứng với tất cả các bản vá dưới dạng đối tượng. Hơn nữa, phương thức RP
có thể cho phép xử lý các đối tượng trong một hình ảnh có nhiễu hoặc chồng lấp để
tạo ra các đối tượng được đề xuất rất gần với các đối tượng thực tế trong hình ảnh
đó. Do đó, các đối tượng được đề xuất được phân loại dựa trên mật độ lớn của các
đặc trưng tại các vị trí của các đối tượng trong ảnh, trong đó các vùng liền kề được
nhóm lại tương tự nhau dựa trên một số tiêu chí như màu sắc, kết cấu, v.v. và hàng
ngàn đề xuất vùng được sắp xếp trong việc giảm các đối tượng.

12

Luan van


3. Nhận dạng vật mốc và định vị xe lăn

3.2.

Phương pháp nhận dạng các vật mốc trong tự nhiên

Trong nghiên cứu này, hình ảnh với các vật thể được thu thập từ các môi
trường tự nhiên khác nhau trong quá trình di chuyển của xe lăn. Đặc biệt, các vật
thể trong ảnh có màu sắc và hình dạng khác nhau được chụp ở tường, góc phịng
trong phịng thí nghiệm hoặc hành lang. Ngồi ra, xe lăn có hệ thống camera chụp
ảnh ở các khoảng cách và góc khác nhau để đánh giá nhận dạng mốc. Từ những
hình ảnh tự nhiên này, các phương pháp phát hiện điểm đặc trưng, giãn nở các điểm
đặc trưng cho các vùng mật độ cao và nhận dạng mốc tự nhiên dựa trên mật độ đặc
trưng lớn nhất được áp dụng.
Phát hiện
đặc trưng

Phát hiện các
đối tượng

Ảnh ngõ
vào
Phát hiện
keypoints

Xác định các
vật mốc

Hình 3.1. Sơ đồ khối quá trình xác định vật mốc tự nhiên
3.2.1. Phát hiện các điểm đặc trưng
Phát hiện đặc trưng để nhận dạng mốc trong mơi trường cho bản đồ hóa
robot di động đóng một vai trị quan trọng. Để phát hiện điểm đặc trưng, một bộ dị
góc FAST được áp dụng để tăng tốc độ trích xuất đặc trưng [55-57] do bản đồ hóa
robot trong thời gian thực. Cụ thể, bộ phát hiện góc FAST sẽ tìm các góc dựa trên
các pixel, trong đó một vịng trịn pixel sẽ được kiểm tra xung quanh mỗi ứng viên
góc. Ứng cử viên góc này được coi là một góc nếu cường độ của các pixel liền kề
xung quanh pixel trung tâm ở trên hoặc dưới ngưỡng cường độ của pixel trung tâm.
Do đó, các pixel được trích xuất thường nằm trong các vùng đặc biệt và có độ tương
phản cao của hình ảnh. Bộ phát hiện góc FAST được mơ tả theo các bước sau:
Bước 1: Trong tiêu chí kiểm tra, một vịng trịn m pixel xung quanh một góc
ứng viên p. Mỗi pixel trong vòng tròn được dán nhãn từ 1 đến m pixel theo chiều
kim đồng hồ. Cường độ pixel trong vòng tròn này liên quan đến ứng cử viên p được
ký hiệu là Ix có thể có một trong ba trạng thái: sáng hơn, tối hơn hoặc tương tự.
Phương pháp kiểm tra tốc độ cao được áp dụng để loại bỏ các điểm khơng phải là
góc, trong đó một số pixel được sử dụng để xác định cường độ của các pixel liền kề
so với pixel trung tâm để phát hiện góc ứng viên. Thuật tốn tìm kiếm góc được thể

hiện như sau:
Thuật tốn 1: Tìm kiếm điểm góc
1:

Input:
- Ip: Cường độ điểm p.
- Ix: Cương độ điểm ảnh trên vòng tròn xung quanh điểm p.

13

Luan van