Xác định quỹ đạo trong không gian cho robot 6 bậc tự do sử dụng 1 camera

ĐẠI HỌC QUỐC GIA TP.HỒ CHÍ MINH
TRƯỜNG ĐẠI HỌC BÁCH KHOA
---------------------------

NGUYỄN PHƯƠNG THANH HẢI

XÁC ĐỊNH QUỸ ĐẠO TRONG KHÔNG GIAN CHO
ROBOT 6 BẬC TỰ DO SỬ DỤNG 1 CAMERA
Chuyên ngành: KỸ THUẬT CƠ ĐIỆN TỬ
Mã số: 60520114

LUẬN VĂN THẠC SĨ

TP.HỒ CHÍ MINH, tháng 01 năm 2021


CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI
TRƯỜNG ĐẠI HỌC BÁCH KHOA - ĐHQG - HCM
Cán bộ hướng dẫn khoa học:

PGS.TS Nguyễn Quốc Chí

Cán bộ chấm nhận xét 1:

PGS. TS Nguyễn Thanh Phương

Cán bộ chấm nhận xét 2:

PGS. TS Trương Đình Nhơn

Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG, Tp. HCM

ngày 20 tháng 1 năm 2021.
Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:
1. Chủ tịch: TS Đoàn Thế Thảo
2. Thư ký: TS Lê Thanh Hải
3. Phản biện 1: PGS. TS Nguyễn Thanh Phương
4. Phản biện 2: PGS. TS Trương Đình Nhơn
5. Ủy viên: TS Lê Đức Hạnh
Xác nhận của Chủ tịch Hội đồng đánh giá luận văn và Trưởng Khoa quản lý chuyên
ngành sau khi luận văn đã được sửa chữa (nếu có)

CHỦ TỊCH HỘI ĐỒNG

TRƯỞNG KHOA CƠ KHÍ


ĐẠI HỌC QUỐC GIA TP.HCM
TRƯỜNG ĐẠI HỌC BÁCH KHOA

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập - Tự do - Hạnh phúc

NHIỆM VỤ LUẬN VĂN THẠC SĨ
Họ tên học viên: Nguyễn Phương Thanh Hải ............................MSHV:1770540
Ngày, tháng, năm sinh: 09/05/1989 ...........................................Nơi sinh: Quảng Trị
Chuyên ngành: Kỹ thuật cơ điện tử ............................................ Mã số : 60520114
I. TÊN ĐỀ TÀI: XÁC ĐỊNH QUỸ ĐẠO TRONG KHÔNG GIAN CHO ROBOT 6 BẬC
TỰ DO SỬ DỤNG 1 CAMERA
II. NHIỆM VỤ VÀ NỘI DUNG:
 Tìm hiểu về một số thuật toán cơ bản trong xử lý hình ảnh. Trong đó đi sâu vào ứng
dụng phương pháp tối thiểu sai số của quá trình nhận dạng ảnh.

 Xây dựng hệ thống ước lượng 6 bậc tự do sử dụng 1 camera.
 Áp dụng hệ thống ước lượng và xây dựng dữ liệu cho quá trình nhận dạng chữ viết
tay.
III. NGÀY GIAO NHIỆM VỤ : 21/9/2020
IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 3/1/2021
V. CÁN BỘ HƯỚNG DẪN : PGS.TS Nguyễn Quốc Chí

Tp. HCM, ngày . . . . tháng .. . . năm 2021.
CÁN BỘ HƯỚNG DẪN

CHỦ NHIỆM BỘ MƠN ĐÀO TẠO

PGS.TS Nguyễn Quốc Chí

PGS.TS Nguyễn Quốc Chí

TRƯỞNG KHOA CƠ KHÍ


LUẬN VĂN THẠC SĨ

GVHD: PGS.TS NGUYỄN QUỐC CHÍ

LỜI CẢM ƠN
Lời đầu tiên tôi xin chân thành cảm ơn Thầy PGS. TS. Nguyễn Quốc Chí đã
tận tình giúp đỡ, hướng dẫn và tạo điều kiện thuận lợi cho tôi thực hiện luận văn này.
Trong thời gian thực hiện luận văn, Thầy đã cố vấn cho tôi những những lời khuyên
thiết thực, giúp tơi tháo gỡ những khó khăn trong q trình nghiên cứu để kịp thời
hoàn thành luận văn này đúng thời hạn.
Tôi cũng xin gửi lời cảm ơn đến quý Thầy trong khoa Kỹ Thuật Cơ sở, các

thầy trong bộ môn Nhiệt điện Trường ĐH Trần Đại Nghĩa đã luôn giúp đỡ và tạo điều
kiện cho tôi trong suốt thời gian thực hiện luận văn.
Đồng thời, tôi cũng xin cảm ơn q Thầy/Cơ trong khoa Cơ Khí đã tham gia
giảng dạy chương trình Thạc sĩ trong thời gian tơi học tập ở trường. Thầy/Cô đã trang
bị cho tôi những kiến thức để tơi có thể hồn thành luận văn của mình.
Cuối cùng, tơi xin gửi lời biết ơn sâu sắc đến tất cả những người thân trong gia
đình, bạn bè, đồng nghiệp (nơi tôi đang làm việc) đã luôn thông cảm, giúp đỡ, tạo
điều kiện và động viên tôi trong quá trình học tập và nghiên cứu tại trường đại học
Bách khoa TP.HCM
Tơi xin chân thành cảm ơn!

Tp. Hồ Chí Minh, tháng 1 năm 2021
Học viên

Nguyễn Phương Thanh Hải

HVTH: NGUYỄN PHƯƠNG THANH HẢI

i


LUẬN VĂN THẠC SĨ

GVHD: PGS.TS NGUYỄN QUỐC CHÍ

TĨM TẮT LUẬN VĂN
Khoa học kỹ thuật ngày càng phát triển giúp cho khả năng tự động hóa q
trình sản xuất ngày càng được nâng cao. Trong xu thế đó sự phát triển của cơng nghệ
xử lý ảnh đóng một vai trị ngày càng quan trọng. Trong nội dung luận văn này tập
trung nghiên cứu về vấn đề xác định 6 bậc tự do của vật thể trong khơng gian thơng

qua hình ảnh thu được từ một camera đã được hiệu chỉnh. Bằng cách kết hợp 2
phương pháp tối thiểu sai số về dựng hình và khoảng cách mà nghiên cứu đã làm rõ
hơn và chỉ ra phương pháp ước lượng 6 bậc tự do bằng một camera có tính khả thi
trong thực tế. Kết quả của nghiên cứu được sử dụng trong q trình thu thập và phân
tích chữ viết tay. Hướng phát triển tương lai của nghiên cứu là hoàn thiện thuật tốn
để nâng cao độ chính xác cho q trình ước lượng, đồng thời xây dựng hệ thống đo
lường chuẩn để đánh giá tốt hơn kết quả nghiên cứu, tạo điều kiện áp dụng cho hệ
thống robot hàn trong việc nâng cao năng suất và chất lượng sản phẩm.
Từ khóa: ước lượng 6 bậc tự do, rô bốt hàn, chữ viết tay
ABSTRACT
Science and technology are increasingly developing to help production
automation be more and more improved. In that trend, the development of image
processing technology plays an increasingly important role. In this thesis, author
focuses on studying in identifying 6 degrees of freedom of an object in space through
images obtained from a modified camera. By combining two methods of minimizing
the error of rendering and distance, the study has clarified and showed that the method
of estimating 6 degrees of freedom with a camera is feasible in practice. The results
of the study were used in the handwriting collection and analysis process. The future
work of the research is to perfect the algorithm to improve the accuracy of the
estimation process, and to build a standard measurement system to evaluate research
results more accurately, to facilitate application for welding robot system in
improving productivity and product quality.
Keywords: estimation 6 Dof, welding robot, handwriting

HVTH: NGUYỄN PHƯƠNG THANH HẢI

ii


LUẬN VĂN THẠC SĨ

GVHD: PGS.TS NGUYỄN QUỐC CHÍ

LỜI CAM ĐOAN
Tơi xin cam đoan toàn bộ nội dung luận văn này do chính bản thân tơi thực
hiện dưới sự hướng dẫn của PGS.TS. Nguyễn Quốc Chí. Nội dung luận văn là trung
thực và chưa từng được ai công bố trong bất kỳ một cơng trình nào khác. Trừ những
phần tham khảo đã ghi rõ trong nội dung luận văn.
Nếu sai, tôi xin chịu mọi hình thức kỷ luật theo quy định.

Người thực hiện

NGUYỄN PHƯƠNG THANH HẢI

HVTH: NGUYỄN PHƯƠNG THANH HẢI

iii


LUẬN VĂN THẠC SĨ

GVHD: PGS.TS NGUYỄN QUỐC CHÍ

MỤC LỤC LUẬN VĂN
LỜI CẢM ƠN...................................................................................................... i
TÓM TẮT LUẬN VĂN.....................................................................................ii
LỜI CAM ĐOAN ............................................................................................. iii
MỤC LỤC LUẬN VĂN ................................................................................... iv
DANH MỤC CÁC HÌNH ẢNH ......................................................................vii
DANH MỤC CÁC BẢNG ................................................................................. x

CHƯƠNG 1. TỔNG QUAN .............................................................................. 1
1.1. Tính cấp thiết của đề tài ...........................................................................1
1.2 Tổng quan về các nghiên cứu ...................................................................3
1.2.1. Tình hình các nghiên cứu trên thế giới ............................................ 3
1.2.2. Tình hình nghiên cứu trong nước ...................................................... 4
1.3. Mục tiêu và đối tượng nghiên cứu ...........................................................5
1.4. Ý nghĩa khoa học của đề tài .....................................................................5
1.5. Ý nghĩa thực tiễn của đề tài .....................................................................5
KẾT LUẬN CHƯƠNG 1 ................................................................................... 6
CHƯƠNG 2. CƠ SỞ LÝ THUYẾT ................................................................... 7
2.1. Tham số hóa phép quay ...........................................................................8
2.1.1 Euler angle .......................................................................................... 8
2.1.2 Biểu diễn trục góc ............................................................................. 10
2.1.3. Quaternions ...................................................................................... 12
2.2. Thuật tốn PnP và Kabsch .....................................................................12
2.3. Phương pháp Lucas-Kanade ..................................................................13
2.4. Binary Square Fiducial Marker ..............................................................15
HVTH: NGUYỄN PHƯƠNG THANH HẢI

iv


LUẬN VĂN THẠC SĨ

GVHD: PGS.TS NGUYỄN QUỐC CHÍ

2.4.1. Các điểm đánh dấu .......................................................................... 15
2.4.2. Từ điển ............................................................................................. 16
2.5. Tổng quan về Open-CV .........................................................................16
2.6. Một số thuật toán Machine Learming ....................................................17

2.6.1. Gradient Descent ............................................................................. 17
2.6.2. Logistic Regression ......................................................................... 20
2.6.3. Softmax Regression ......................................................................... 22
KẾT LUẬN CHƯƠNG 2 ................................................................................. 25
CHƯƠNG 3: THIẾT KẾ PHƯƠNG ÁN TÁI TẠO QUỸ ĐẠO ĐẦU DÒ ... 26
3.1. Xây dựng mơ hình..................................................................................26
3.1.1. Thiết kế khối 12 mặt ........................................................................ 26
3.1.2. Hiệu chỉnh camera ........................................................................... 28
3.2 Xây dựng qui trình tính tốn ước lượng pose .........................................30
3.3. Thiết kế chương trình .............................................................................31
3.3.1. Xây dựng thông số dodecahedron lý tưởng ........................................31
3.3.2. Ứng dụng opencv vào xác định pose aruco ........................................33
3.3.2.1. Xác định pose khi aruco đứng yên ............................................... 33
3.3.2.2. Ứng dụng phương pháp APE và DPR .......................................... 37
3.3.2.3. Thực nghiệm kiểm tra................................................................... 43
KẾT LUẬN CHƯƠNG 3 ................................................................................. 44
CHƯƠNG 4: ỨNG DỤNG NHẬN DIỆN VỚI DỮ LIỆU TỌA ĐỘ.............. 45
4.1. Xử lý dữ liệu tọa độ điểm ......................................................................45
4.1.1. Chuyển đổi tọa độ không gian sang mặt phẳng ............................... 45
4.1.2. Chuyển đổi dữ liệu sang hình ảnh ................................................... 47
4.2. Xây dựng thuật tốn nhận diện chữ số ...................................................47
HVTH: NGUYỄN PHƯƠNG THANH HẢI

v


LUẬN VĂN THẠC SĨ

GVHD: PGS.TS NGUYỄN QUỐC CHÍ

4.2.1. Giới thiệu về Google Colab ............................................................. 47
4.2.2. Xây dựng và huấn luyện mạng neutral network .............................. 48
KẾT LUẬN CHƯƠNG 4 ................................................................................. 55
CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ................................. 56
5.1. Kết luận ..................................................................................................56
5.2. Hướng nghiên cứu trong tương lai ........................................................56
TÀI LIỆU THAM KHẢO ................................................................................ 57
PHẦN LÝ LỊCH TRÍCH NGANG .................................................................. 58

HVTH: NGUYỄN PHƯƠNG THANH HẢI

vi


LUẬN VĂN THẠC SĨ

GVHD: PGS.TS NGUYỄN QUỐC CHÍ

DANH MỤC CÁC HÌNH ẢNH
Hình 1. 1 Phân bố robot trong các ngành cơng nghiệp ......................................1
Hình 1. 2 Quy trình thiết kế chế tạo sản phẩm ...................................................2

Hình 2. 1: Mơ hình chiếu phối cảnh. (O, i0 , jo ,ko ) là hệ tọa độ của vật thể,
(C, ic , jc ,kc ) là hệ tọa độ camera ........................................................................8

Hình 2. 2: Hình ảnh của aruco ..........................................................................15
Hình 2. 3: Mơ hình biểu diễn cho phương pháp Gradient Descent..................18
Hình 2. 4: So sánh Gradient Descent với các hiện tượng vật lý ......................20
Hình 2. 5 : Các activation function khác nhau .................................................21
Hình 2. 6: Mơ hình one-vs-rest ........................................................................22

Hình 2. 7: Mơ hình Sotfmax Regression dưới dạng Neutral network ............24

Hình 3.1 : Một số trường hợp khơng thể nhận diện, nhận diện sai marker ......27
Hình 3.2 : Năm khối đa diện đều phổ biến ......................................................27
Hình 3.3 : Tỉ lệ diện tích của marker trong tam giác đều nhỏ hơn nhiều so với
ngũ giác đều ......................................................................................................27
Hình 3. 4: Hình ảnh khối 12 mặt trên phần mềm Solidwork và thực tế ..........28
Hình 3. 5: Biến dạng của ảnh khi khơng có hiệu chỉnh ...................................28
Hình 3. 6: Q trình tính tốn, ước lượng pose khối 12 mặt............................31
Hình 3. 7: Khối 12 mặt được định nghĩa ..........................................................32
Hình 3. 8: Xây dựng tọa độ và ma trận chuyển vị trên python. .......................33
Hình 3. 9: Aruco được cố định trên mặt bàn ....................................................33
Hình 3. 10: dữ liệu tâm thu được theo thời gian khi sử dụng một aruco .........34
Hình 3. 11: Sai số theo giá trị tâm trung bình theo 3 phương x,y,z .................34
Hình 3. 12: Sai số theo khoảng cách các điểm tâm tức thời so với tâm trung bình
..........................................................................................................................34
Hình 3. 13: Sai số theo vị trí pixel ....................................................................35
Hình 3. 14 : Aruco được cố định trên mặt bàn .................................................35

HVTH: NGUYỄN PHƯƠNG THANH HẢI

vii


LUẬN VĂN THẠC SĨ

GVHD: PGS.TS NGUYỄN QUỐC CHÍ

Hình 3. 15 : Dữ liệu tâm thu được theo thời gian khi sử dụng khối 12 mặt ....35
Hình 3. 16: Sai số theo giá trị tâm trung bình theo 3 phương x,y,z .................36

Hình 3. 17: Sai số theo khoảng cách các điểm tâm tức thời so với tâm trung bình
..........................................................................................................................36
Hình 3. 18: Sai số theo vị trí pixel ....................................................................36
Hình 3. 19: Dữ liệu tâm thu được theo thời gian khi sử dụng khối 12 mặt .....38
Hình 3. 20: Sai số theo giá trị tâm trung bình theo 3 phương x,y,z .................38
Hình 3. 21: Sai số theo khoảng cách các điểm tâm tức thời so với tâm trung bình
..........................................................................................................................39
Hình 3. 22: Sai số theo vị trí pixel ....................................................................39
Hình 3. 23: Dữ liệu tâm thu được theo thời gian khi sử dụng khối 12 mặt .....40
Hình 3. 24: Sai số theo giá trị tâm trung bình theo 3 phương x,y,z .................40
Hình 3. 25: Sai số theo khoảng cách các điểm tâm tức thời so với tâm trung bình
..........................................................................................................................40
Hình 3. 26 :Sai số theo vị trí pixel ....................................................................41
Hình 3. 27: Sai số theo giá trị tâm trung bình theo 3 phương x,y,z .................42
Hình 3. 28 : Sai số theo giá trị tâm trung bình theo 3 phương x,y,z ................42
Hình 3. 29: Hệ thống phần cứng thực hiện thí nghiệm ....................................43
Hình 3. 30: Vị trí đầu được biểu diễn lại ..........................................................43
Hình 3. 31: Mặt phẳng xây dựng bởi các điểm đầu dị ghi nhận được. ...........44
Hình 3. 32: Sai số khoảng cách từ các điểm đến mặt phẳng ............................44

Hình 4. 1: Dữ liệu tọa độ thu được khi viết trên mặt phẳng ............................45
Hình 4. 2 : Tạo và chiếu các điểm dữ liệu lên mặt phẳng. ...............................46
Hình 4. 3: Trường hợp nhận dữ liệu cả quá trình viết và di chuyển bút ..........46
Hình 4. 4 : Tạo mặt phẳng và loại bỏ các điểm không phải là chữ viết ...........47
Hình 4. 5: Hình ảnh thu được trên mặt phẳng khi kết nối các điểm dữ liệu. ...47
Hình 4. 6: Mơ hình kết nối colab với các dạng lưu trữ dữ liệu ........................48
Hình 4. 7: một số dạng dữ liệu viết tay trong MNIST .....................................49
Hình 4. 8 : Sai số theo mười vòng lặp và n=5 ..................................................50
HVTH: NGUYỄN PHƯƠNG THANH HẢI

viii


LUẬN VĂN THẠC SĨ

GVHD: PGS.TS NGUYỄN QUỐC CHÍ

Hình 4. 9 : Biểu đồ Boxplots khi n=5 ..............................................................51
Hình 4. 10 : Sai số theo mười vịng lặp và n=7 ................................................51
Hình 4. 11 : Biểu đồ Boxplots khi n=7 ............................................................52
Hình 4. 12 : Sai số khi thêm bộ lọc Batch ........................................................52
Hình 4. 13 : Biểu đồ Boxplots khi thêm bộ lọc Batch và n=5 .........................53
Hình 4. 14 : Sai số sau khi thêm lớp convolution và pooling ..........................54
Hình 4. 15 : Biểu đồ Boxplots sau khi thêm lớp convolution và pooling ........54

HVTH: NGUYỄN PHƯƠNG THANH HẢI

ix


LUẬN VĂN THẠC SĨ

GVHD: PGS.TS NGUYỄN QUỐC CHÍ

DANH MỤC CÁC BẢNG
Bảng 3. 1: Phần cứng sử dụng trong qua trình nghiên cứu .............................. 26
Bảng 3. 2: Giá trị sai số trung bình của các phương pháp ............................... 41

HVTH: NGUYỄN PHƯƠNG THANH HẢI

x


LUẬN VĂN THẠC SĨ

GVHD: PGS.TS NGUYỄN QUỐC CHÍ

CHƯƠNG 1. TỔNG QUAN
1.1. Tính cấp thiết của đề tài
Trong mọi lĩnh vực của đời sống hiện nay, robot đang được sử dụng một cách
rộng rãi, đóng góp to lớn vào nâng cao năng suất và chất lượng sản phẩm. Theo số
liệu thống kê của Hiệp hội robot thế giới, trong năm 2018 tổng số lượng robot được
lắp đặt đã tăng 6% lên 442,271, giá trị đạt 16,5 tỉ USD (khơng tính phần mềm và thiết
bị ngoại vi), 30% trong ngành công nghiệp ôtô, 24% robot công nghiệp được sử dụng
trong ngành sản xuất linh kiện điện tử, 10% trong sản xuất máy và luyện kim, 6%
trong ngành thực phẩm. Ngoài ra, robot cũng được sử dụng khá nhiều trong các ngành
hóa chất, máy chính xác, gốm, giấy, nơng nghiệp và lâm nghiệp...

Hình 1.1 Phân bố robot trong các ngành công nghiệp
Cùng với sự phát triển của khoa học kỹ thuật trên lĩnh vực cơ khí chế tạo và
thuật tốn Mechine Learning đã thay đổi, phát triển phương thức làm việc của robot
từ các hành động lặp đi lặp lại được lập trình trước chuyển sang tự phân tích, mơ
phỏng, bắt chước các hành động của con người. Điều này mở ra nhiều phương thức
HVTH: NGUYỄN PHƯƠNG THANH HẢI

1


LUẬN VĂN THẠC SĨ

GVHD: PGS.TS NGUYỄN QUỐC CHÍ

gia cơng chế tạo, vận hành sản xuất mới.
Quy trình thiết kế chế tạo sản phẩm:

Thiết kế
chi tiết
(1)

Lập
trình gia
cơng (2)

Kiểm tra
(4)

Gia cơng
(3)

Hình 1.2 Quy trình thiết kế chế tạo sản phẩm
Ngày nay sự phát triển không ngừng của khoa học kỹ thuật cùng với đó là nhu
cầu về sản phẩm của con người thay đổi liên tục tạo điều kiện thuận lợi cũng như bắt
buộc phải liên tục thay đổi kỹ thuật, mẫu mã, năng suất và chất lượng sản phẩm. Điều
đó tạo ra áp lực rất lớn trong việc thiết kế chế tạo sản phẩm. Làm sao sản phẩm đưa
ra phải nhanh mà vẫn đảm bảo được chất lượng.
Bài toán đặt ra là phải giảm thời gian thiết kế và lập trình gia công, nhằm áp
dụng vào các nhiệm vụ, môi trường và điều kiện làm việc thay đổi liên tục, đồng thời
đảm bảo mục tiêu chi phí về máy móc thiết bị thấp nhất, thời gian và phương thức để
thiết lập chương trình cho robot là ít, tiện lợi nhất. Để đạt được mục tiêu trên, nhiều
doanh nghiệp và các nhà khoa học đang tập trung vào nghiên cứu và phát triển theo

hai hướng chủ yếu:
Thứ nhất là kết hợp các công nghệ về xử lý ảnh để quét và tạo khối 3D đối
tượng, sau đó đưa trực tiếp vào phần mềm để tính tốn ra thơng số cho robot thao tác.
Ưu điểm
HVTH: NGUYỄN PHƯƠNG THANH HẢI

2


LUẬN VĂN THẠC SĨ

GVHD: PGS.TS NGUYỄN QUỐC CHÍ

– Giảm thời gian ở khâu thiết kế, kiểm tra sản phẩm, giá trị sai số nhỏ.
Nhược điểm:
– Giá thành cao, ảnh hưởng nhiều bởi điều kiện môi trường làm việc.
Thứ hai là dạy trực tiếp robot thông qua hướng dẫn bằng hành động để robot
ghi nhớ (quá trình ghi nhận hoạt động được các sensor hoặc camera ghi nhận và lưu
lại) và sử dụng các phần mềm tự học và tự nâng cấp (sử dụng các thuật toán xử lý để
tối ưu hóa q trình làm việc) đảm bảo cho q trình vận hành của robot là hiệu quả
và an toàn.
Ưu điểm
– Giảm thời gian ở khâu thiết kế, kiểm tra sản phẩm
Nhược điểm
– Q trình cần có sự can thiệp của con người nên tính đồng nhất của sản phẩm
có thể không đảm bảo.
Ở Việt Nam hiện nay, việc nghiên cứu và ứng dụng cơng nghệ xử lý hình ảnh
vào mơi trường tự động hóa đang được quan tâm nhiều. Với những lợi ích kỹ thuật,
kinh tế và ý nghĩa khoa học mà phương pháp này mang lại, tác giả nhận thấy cần thiết
khi nghiên cứu cụ thể hơn về phương pháp ước lượng 6 bậc tự do của vật thể trong

khơng gian, tạo tiền đề áp dụng vào q trình xây dựng dữ liệu tọa độ cho robot hàn.
1.2 Tổng quan về các nghiên cứu
1.2.1. Tình hình các nghiên cứu trên thế giới
Tác giả Po Chen Wu đã xây dựng các thuật tốn nâng cao độ chính xác cho q
trình ước lượng 6 bậc tự do về hướng và vị trí của đối tượng. Trong nghiên cứu của
mình tác giả đã phát triển phương pháp ổn định trực tiếp cho quá trình ước lượng 6
bậc tự do cho đối tượng có kết cấu và khơng có kết cấu phụ trợ chỉ với hệ thống
monocamera, từ đó ứng dụng vào các mơ hình nhận dạng đường, hướng di chuyển
của vật thể trong không gian. Kết quả của nghiên cứu cho sai số 0.4mm, có thể so
sánh cùng với các hệ thống hiện đại sử dụng nhiều camera [1]
Ankit Shah, Shen Li và Julie Shah đến từ Massachusetts Institute of
Technology, đã đưa ra được thuật toán kết hợp với vision áp dụng vào robot thực
HVTH: NGUYỄN PHƯƠNG THANH HẢI

3


LUẬN VĂN THẠC SĨ

GVHD: PGS.TS NGUYỄN QUỐC CHÍ

hiện cơng việc đơn giản. Tác giả đã chứng minh sự tồn tại của quy trình quyết định
Markov tương đương cho bất kỳ trường hợp nào đối với các thông số kỹ thuật khơng
chắc chắn (PUnS). Cuối cùng tác giả và nhóm cộng sự đã tiến hành kiểm tra, chứng
minh tính đúng dắn của lý thuyết dựa trên mơ hình robot phục vụ đặt bàn dựa trên sự
chỉ dẫn của con người [2]
Công ty KUKA Robotics đã kết hợp cảm biến lực, moment 6 bậc và cánh tay
robot nhà sản xuất đã tạo ra hệ thống ghi nhớ và thực hành lại thao tác chỉ dẫn hướng
của con người đối với đầu thao tác robot thơng qua tín hiệu thu nhận từ cảm biến góc
tại các khớp của robot. Nguyên lý của quá trình ghi nhận này là khi có lực tác động

điều hướng của con người thì robot sẽ di chuyển theo hướng của lực tác động, đồng
thời với đó là quá trình ghi nhận lại giá trị góc quay tại các khớp của cánh tay robot.
Thông số nhà sản xuất đưa ra là hệ thống có thể đạt đến dung sai h7 [3]
Công ty YASKAWA Electric, Robotic welding cell with the vision system
MotoSENSE, 2016, robot hàn được tích hợp hệ thống xử lý hình ảnh có thể nhận
diện, phân tích và đưa ra phương án hàn hợp lý, cho ra kết quả dung sai 0,3mm.
Motosense là hệ thống thị giác được tích hợp vào hệ thống điều khiển robot đảm
nhiệm chức phát hiện và theo dõi đối tượng. Hệ thống motosense cho phép robot phát
hiện vị trí các góc, biên dạng hàn. Ngồi ra hệ thống thị giác cịn cho robot khả năng
hiệu chỉnh các thông số hàn đảm bảo cho mối hàn khơng chỉ đúng vị trí mà cịn đảm
bảo được độ phủ [4]
1.2.2. Tình hình nghiên cứu trong nước
Phạm Ngọc Phương, Trường ĐH Bách khoa TP HCM, “ Thiết kế hệ thống
hàn tích hợp với thị giác 3D”, 2019, đã đưa ra phương pháp quét chi tiết bằng tia laser
để tạo dữ liệu 3D từ đó tiến hành lập trình gia cơng. Phương pháp đã giúp rút ngắn
được rất nhiều thời gian gia công ở công đoạn thiết kế chi tiết.
Nguyễn Minh Phát, Trường ĐH Bách khoa TP HCM, “ Thiết kế hệ thống 3D
vision dạng structured light cho tay máy phun keo ngành công nghiệp giày”, đưa ra
phương pháp sử dụng kết cấu vân sáng để quét chi tiết, tạo dữ liệu 3D với sai số nhỏ.

HVTH: NGUYỄN PHƯƠNG THANH HẢI

4


LUẬN VĂN THẠC SĨ

GVHD: PGS.TS NGUYỄN QUỐC CHÍ

❖ Đánh giá tổng quan

Sau khi nghiên cứu các tài liệu hiện có, đa số các cơng trình nghiên cứu xoay
quanh các vấn đề sau:
– Sử dụng robot thay thế các hoạt động của con người bằng cách đưa thêm vào
các thuật toán và công nghệ xử lý ảnh.
– Nhiều phương pháp xử lý hình ảnh được sử dụng với mục tiêu xây dựng cơ sở
dữ liệu 3D với sai số nhỏ.
– Thiết kế robot làm việc ở môi trường thay đổi liên tục địi hỏi sự linh hoạt cao.
– Tìm cách rút ngắn quá trình sản xuất bằng cách giảm thời gian ở khâu thiết kế
gia công.
1.3. Mục tiêu và đối tượng nghiên cứu
Mục tiêu nghiên cứu của đề tài là xây dụng hệ thống estimation pose bằng
vision với sai số nhỏ, có thể áp dụng cho robot hàn.
Đối tượng nghiên cứu là hệ thống vision sử dụng một camera. Trong đó đi
sâu vào tìm hiểu các phương pháp tối ưu sai số estimation pose.
1.4. Ý nghĩa khoa học của đề tài
Đề tài phù hợp với xu thế phát triển của nền cơng nghiệp trên tồn thế giới nói
chung và ngành cơ khí - tự động hóa nói riêng hướng đến mục tiêu tăng năng suất và
chất lượng sản phẩm.
Quá trình xây dựng hệ thống ước lượng vị trí, hướng của vật thể trong không
gian là một vấn đề đang được nghiên cứu và có tính ứng dụng cao. Đề tài sẽ đóng
góp một số kết quả cho q trình nghiên cứu về phương pháp này.
1.5. Ý nghĩa thực tiễn của đề tài
Nghiên cứu có thể ứng dụng trong thực tế sản xuất khi đối tượng nghiên cứu
là monocamera và cánh tay robot được trang bị khá phổ biến tại nhiều nhà máy trong
nước.
Kết quả nghiên cứu có thể sử dụng để theo dõi các vật thể di chuyển (sản phẩm
HVTH: NGUYỄN PHƯƠNG THANH HẢI

5

LUẬN VĂN THẠC SĨ

GVHD: PGS.TS NGUYỄN QUỐC CHÍ

trên băng chuyền, robot trong kho hàng…)

KẾT LUẬN CHƯƠNG 1
Sau khi nghiên cứu tổng hợp các cơng trình và tài liệu, tác giả xây dựng được
cái nhìn tổng quan về các thành tựu, phương hướng của ứng dụng vision lên các hệ
thống tự động. Nắm được xu thế phát triển, phân tích, đánh giá được ưu điểm và hạn
chế của các nghiên cứu trước trong nước cũng như trên thế giới và xác định được
mục tiêu, đối tượng nghiên cứu của đề tài.

HVTH: NGUYỄN PHƯƠNG THANH HẢI

6


LUẬN VĂN THẠC SĨ

GVHD: PGS.TS NGUYỄN QUỐC CHÍ

CHƯƠNG 2. CƠ SỞ LÝ THUYẾT
Xây dựng vấn đề
Cho một đối tượng trong khơng gian Ot , có thể ở dạng phẳng hoặc 3D, và
một ảnh camera quan sát Lc . Nhiệm vụ được đặt ra là xác định vị trí và hướng của
đối tượng trong không gian so với tọa độ của camera đã được hiệu chỉnh. Ta có tập
hợp điểm tham chiếu xi = [xi , yi ,zi ] T ,i = 1,...,n, n > 3 trong hệ tọa độ Ot , và tương
ứng với nó là tập các điểm ui = [ui ,vi ] T trong hệ tọa độ ảnh camera Lc . Mối liên hệ

giữa chúng có thể được biểu diễn theo công thức:

 xi 
 hui 
 
 hv  = K[R | t]  yi 
 i
 zi 
 h 
 
1 

(2. 1)

Trong đó:
 fx
K =  0
 0

0
fy
0

x0 
 R11

y0  , R =  R21
 R31
1 

R12
R22
R32

R13 
t x 

R23   SO (3), t = t y   3
 t z 
R33 

(2. 2)

Quá trình tìm kiếm p  (R,t) ta xây dựng được tập hợp các điểm u i = [ u i ,v i ] T
, thuật toán ước đoán vị trí và hướng của đối tượng (gọi tắt là pose) phải xác định
p  (R,t) đảm bảo cho giá trị của hàm sai số là nhỏ nhất. Có hai dạng hàm sai số hay

được sử dụng cho quá trình estimation pose. Dạng thứ nhất được gọi là sai số dựng
hình, sử dụng rộng rãi trong thuật tốn PnP:

1 n
Er (p) =  ((u i − u i )2 + (vi − vi ) 2 ) ,
n i =1

(2. 3)

Lần lượt là ma trận thông số nội của camera, ma trận xoay, vectơ tịnh tiến.
Dạng hàm sai số thứ hai được xây dựng dựa trên khoảng cách xuất hiện và là
phương pháp sử dụng chủ yếu trong các giải pháp trực tiếp:

Ea1 (p) =

1 n
 Lc (ui ) − Ot (xi ) ,
n i =1

HVTH: NGUYỄN PHƯƠNG THANH HẢI

(2. 4)
7


LUẬN VĂN THẠC SĨ

GVHD: PGS.TS NGUYỄN QUỐC CHÍ

Hoặc:

1 n
Ea1 (p) =  ( Lc (u i ) − Ot (x i )) 2 ,
n i =1

(2. 5)

Hình 2. 1: Mơ hình chiếu phối cảnh. (O, i0 , jo ,ko ) là hệ tọa độ của vật thể,
(C, ic , jc ,kc ) là hệ tọa độ camera

Trong đó Lc (ui ) là giá trị điểm ảnh của Lc tại ui , Ot (x i ) là giá trị điểm ảnh cấu
trúc của Ot tại x i . Hàm sai số (2.4) và (2.5) tương ứng còn gọi là Sum of Absolute
Differences (SAD) và Sum of Squared Differences (SSD) errors.

2.1. Tham số hóa phép quay
Dạng chung của phép quay trong 3 là ma trận 3x3 . Tuy nhiên việc biểu diễn
ma trận với 9 phân tử có vẻ dư thừa vì chỉ có tối đa ba bậc tự do. Thêm vào đó sẽ có
một số trường hợp khi giải ngược từ ma trận quay ra góc thì số nghiệm khơng phải là
duy nhất (hiện tượng gimbal lock). Thật ra có nhiều cách để tham số hóa phép quay
3 bậc tự do với ít tham số hơn như góc Euler (Euler angle), biểu diễn trục góc (Axis
angle representation) và quaternion.
2.1.1 Euler angle
Bộ số góc Euler là bộ ba góc dùng trong mơ tả phép quay trong 3 . Bất cứ
HVTH: NGUYỄN PHƯƠNG THANH HẢI

8


LUẬN VĂN THẠC SĨ

GVHD: PGS.TS NGUYỄN QUỐC CHÍ

phép quay nào trong 3 cũng được mô tả bằng thành phần quay và góc Euler có thể
được định nghĩa bởi ba yếu tố này. Phép quay xung quanh 3 trục cơ bản x,y,z bằng 3
góc  x , y , z được xác định như sau:

0
1

Rx ( x ) = 0 cos x

0 sin  x
cos z
Rz ( z ) =  sin  z


 0

 cos y


− sin  x  ; Ry ( y ) =  0

 − sin  y
cos x 

0

− sin  z
cos z
0

0 sin  y 

1
0 
0 cos y 

0
0

1 

(2. 6)

Phép nhân ma trận này khơng có tính chất giao hốn, sự sắp xếp vị trí các phép
quay sẽ cho ra các kết quả khác nhau. Thực tế có tổng cộng 12 cách sắp xếp cho phép
quay, được chia thành 2 nhóm:
• Góc Tait-Bryan (xyz, yzx, zxy, xzy, zyx, yxz)
• Góc Euler (zxz, xyx, yzy, zyz, xzx, yxy)
Cụ thể nếu ta quay quanh các trục theo thứ tự trục z, trục y, trục x thì phép
quay tổng hợp được biểu diễn theo cơng thức:

 R11
R( x , y , z ) =  R21

 R31

R12
R22
R32

R13  
c y cz

R23  = 
cz s x s y

R33   −cx cz s y + s x s z

−c y s x
cxcz − s x s y s z
cz s x + cx s y s z

sy 


−c y s x  ; (2.7)
c xc y 

Ta sử dụng ký hiệu ca = cos( a ) và sa = sin(a ) cho a=x, y, z.
Với R13 chúng ta dễ dàng tìm ra  y = a sin( R13 ) . Từ đây chúng ta có 3 trường
hợp cần lưu ý.
➢ Trường hợp thứ 1: Nếu  y (− / 2,  / 2) thì  x = a tan 2(− R23 , R33 ) . Lúc
này atan2 có 2 giá trị cần xem xét. Thêm vào đó  z = a tan 2(− R12 , R11 ) . Tổng
hợp lại:  y = a sin( R13 ), x = a tan 2( − R23 , R33 ), z = a tan 2( − R12 , R11 ) .
➢ Trường hợp thứ 2: Nếu  y =  / 2 thì s y = 1 , c y = 0 . Trong trường hợp này:

HVTH: NGUYỄN PHƯƠNG THANH HẢI

9


LUẬN VĂN THẠC SĨ

 R21
R
 31

GVHD: PGS.TS NGUYỄN QUỐC CHÍ

R22   cz sx + cx sz
=
R32   −cxcz + sx sz

cxcz − sx sz   sin( z +  x ) cos( z +  x ) 

(2. 8)
=
cz sx + cx sz   − cos( z +  x ) sin( z +  x ) 

Dẫn đến  z +  x = a tan 2( R21 , R22 ) nên có vơ số đáp án phù hợp. Sự không rõ
ràng này được gọi là hiện tượng gimbal lock. Tổng hợp lại:

 y =  / 2, z +  x = a tan 2( R21 , R22 ).

(2. 9)

➢ Trường hợp thứ 3: Nếu  y = − / 2 thì s y = −1 , c y = 0 . Trong trường hợp
này:

 R21
R
 31

R22   −cz sx + cx sz
=
R32   cxcz + sx sz

cxcz + sx sz   sin( z −  x ) cos( z −  x ) 
(2. 10)
=
cz sx − cx sz  cos( z −  x ) − sin( z −  x ) 

Dẫn đến  z −  x = a tan 2( R21 , R22 ) nên có vô số đáp án phù hợp. Sự không rõ
ràng này được gọi là hiện tượng gimbal lock. Tổng hợp lại:

 y = − / 2, z −  x = a tan 2( R21 , R22 ).

(2. 11)

Trong trường hợp góc  nhỏ (  0) thì ta có thể sử dụng phương pháp tiệm
cận sin    và cos  1. Vì thế khi  x , y , z  0 :


1
− z

R ( x , y , z ) =   x y +  z 1 −  x y z
 − y +  x z  x +  y z

 1

  z
 − y


− z
1

x

y 

− x 
1 

y 

− x  = R ( x , y , z )

(2. 12)

1 

Giá trị tiệm cận được sử dụng nhiều trong các ứng dụng địi hỏi về phép tuyến
tính hóa.
2.1.2 Biểu diễn trục góc
Phương pháp biểu diễn bằng trục góc của một phép quay bao gồm hai đại
lượng, một vector đơn vị ba chiều mô tả hướng của trục quay và một góc biểu thị độ
lớn của góc quay quanh trục. Trục quay này còn được gọi là trục Euler, xuất phát từ
định lý quay Euler cho rằng bất kỳ một hoặc nhiều phép quay của vật thể trong không
HVTH: NGUYỄN PHƯƠNG THANH HẢI

10


LUẬN VĂN THẠC SĨ

GVHD: PGS.TS NGUYỄN QUỐC CHÍ

gian đều tương đương về xoay quanh một trục. Góc  nhân với vector đơn vị tạo nên
vector trục góc hay cịn gọi là Euler vector:
r =a ,

(2. 13)

Phép quay theo quy tắc bàn tay phải (anticlockwise). So sánh với phương pháp
Euler angles, phương pháp Euler vector đơn giản hơn và tránh được hiện tượng
gimbal lock. Phép quay được thực hiện như sau:
Cho một vector v trong không gian 3 , sau khi quay quanh trục a bằng một
góc  ta thu được v được tính tốn dựa vào cơng thức Rodrigues rotation [5]:
v = v cos +(a× v)sin +a(a.v)(1 - cos ) ,

(2. 14)

Ta cũng thu được ma trận quay R:

R( , a) = I+ sin  [a]x + (1 − cos )[a]x 2 ,

(2. 15)

Với I là ma trận đơn vị 3x3 và [a]x là ma trận đối xứng chéo. Ta có
a = [a x ,a y ,a z ]T :

0

[ a ]x =  a z
-a y


-az
0
ax

ay 


-ax  ,
0 

(2. 16)

Mặt khác ma trận xoay R còn được biểu diễn thông qua vector quay
r = [rx ,ry ,rz ] T :

R(r) = I+

sin 



[r]x +

(1 − cos  )



2

[r]x 2 ,

(2. 17)

Để tính tốn giá trị trục góc từ ma trận quay R, ta trước hết tính góc quay thông
qua vết của ma trận R [6]:
 Tr (R) − 1 
,

2



(2. 18)

 R32 − R23 
1 
a=
R13 − R31  ,

2sin 
 R21 − R12 

(2. 19)

 = acos 
Sau đó tiếp tục tính a:

HVTH: NGUYỄN PHƯƠNG THANH HẢI

11


LUẬN VĂN THẠC SĨ

GVHD: PGS.TS NGUYỄN QUỐC CHÍ

2.1.3. Quaternions
Quaternion được định nghĩa như một số phức có 3 thành phần ảo, nó mang

đến một cách thức đơn giản để chuyển đổi trục góc. Một quaternion q được biểu diễn
theo dạng [7]:
q = q0 + q1i + q2 j + q3k ,

(2. 20)

Trong đó q0 , q1 , q2 , q3 là các số thực và i, j, k là các số ảo đại diện cho đơn vị
quaternion cơ sở. Thỏa mãn i 2 = j 2 = k 2 = ijk = −1.
Áp dụng vào phép quay không gian, giả sử có một vector trục quay a (vector
a phải là vector đơn vị, tức ax 2 + a y 2 + az 2 = 1 ) và góc quay  (anticlockwise) thì
chúng ta có một quaternion quay như sau:

1
1
1
1
q = cos  + a sin  = cos  + (a xi + a y j+ a z k)sin  ,
2
2
2
2

(2. 21)

Lúc này phép quay vector p = ai + bj + ck theo q được định nghĩa là:
p ' = qpq −1 ,

(2. 22)

Trục quay a và góc quay tương ứng với quaternion q = q0 + q1i + q2 j + q3k có

thể được tính như sau:
(ax ,a y ,az )=

(q1 ,q2 ,q3 )
1 - q0 2

,  = 2acos(q0 ) ,

(2. 23)

Ma trận quay R tương ứng với quarternion q = q0 + q1i + q2 j + q3k :

 q0 2 + q12 − q2 2 − q32

R(q 0 ,q1 ,q 2 ,q 3 ) =  2q1q2 + 2q0 q3
 2q1q3 − 2q0 q2


2q1q2 − 2q0 q3
q0 − q1 + q2 − q3
2

2

2

2q2 q3 + 2q0 q1




2q2 q3 − 2q0 q1 
q0 2 − q12 + q2 2 + q32 
2q1q3 − 2q0 q2

2

2.2. Thuật tốn PnP và Kabsch
Nếu ta có một tập hợp n điểm tham chiếu trong hệ tọa độ không gian ba chiều
và tương ứng với nó là các điểm 2 chiều trên mặt phẳng tọa độ camera thì thuật tốn
chiếu phối cảnh tập trung tìm ra ma trận chuyển đổi bao gồm hướng và vị trí giữa đối
HVTH: NGUYỄN PHƯƠNG THANH HẢI

12