Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm

ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC BÁCH KHOA
KHOA CƠ KHÍ

ĐỒ ÁN TỐT NGHIỆP

ĐỀ TÀI:

THIẾT KẾ VÀ CHẾ TẠO ROBOT GẮP THỨC
ĂN SỬ DỤNG XỬ LÝ ẢNH VÀ TAY GẮP
MỀM

Người hướng dẫn:
Sinh viên thực hiện:

TS. LÊ HOÀI NAM
NGUYỄN ĐÌNH GIANG
HÀ XUÂN TUẤN
LÊ QUỐC TÍN

Đà Nẵng, 12/2019


TRƯỜNG ĐẠI HỌC BÁCH KHOA
KHOA CƠ KHÍ

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập - Tự do - Hạnh phúc

NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP

1. Thông tin chung:
1. 1. Họ và tên sinh viên: HÀ XUÂN TUẤN

Số thẻ SV:101150237

NGUYỄN ĐÌNH GIANG

Số thẻ SV:101150205

LÊ QUỐC TÍN

Số thẻ SV:101150188

2. Lớp: 15CDT1 – 15CDT2.
3. Tên đề tài: Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm.
4. Người hướng dẫn: LÊ HOÀI NAM

Học hàm/ học vị: Tiến sĩ

II. Nhận xét, đánh giá đồ án tốt nghiệp:
1. Về tính cấp thiết, tính mới, khả năng ứng dụng của đề tài: (điểm tối đa là 1đ)
………………………………………………………………………………………..

C
C

………………………………………………………………………………………..

R
L

.
T

2. Về kết quả giải quyết các nội dung nhiệm vụ yêu cầu của đồ án: (điểm tối đa là 4đ)
………………………………………………………………………………………..
………………………………………………………………………………………..

U
D

3. Về hình thức, cấu trúc, bố cục của đồ án tốt nghiệp: (điểm tối đa là 2đ)
………………………………………………………………………………………..
………………………………………………………………………………………..
4. Đề tài có giá trị khoa học/ có bài báo/ giải quyết vấn đề đặt ra của doanh nghiệp hoặc
nhà trường: (điểm tối đa là 1đ)
………………………………………………………………………………………..
………………………………………………………………………………………..
5. Các tồn tại, thiếu sót cần bổ sung, chỉnh sửa:
………………………………………………………………………………………..
………………………………………………………………………………………..
III. Tinh thần, thái độ làm việc của sinh viên: (điểm tối đa 2đ)
………………………………………………………………………………………..
IV. Đánh giá:
1. Điểm đánh giá:

……../10 (lấy đến 1 số lẻ thập phân)

2. Đề nghị: ☐ Được bảo vệ đồ án

☐ Bổ sung để bảo vệ

☐ Không được bảo vệ
Đà Nẵng, ngày tháng 12 năm 2019
Người hướng dẫn


TRƯỜNG ĐẠI HỌC BÁCH KHOA
KHOA CƠ KHÍ

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập - Tự do - Hạnh phúc

NHẬN XÉT PHẢN BIỆN ĐỒ ÁN TỐT NGHIỆP
I. Thông tin chung:
2. Họ và tên sinh viên:

HÀ XUÂN TUẤN

Số thẻ SV:101150237

NGUYỄN ĐÌNH GIANG

Số thẻ SV:101150205

LÊ QUỐC TÍN

Số thẻ SV:101150188

3. Lớp: 15CDT1 – 15CDT2.
4. Tên đề tài: Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm.

5. Người phản biện: ..………………………….………… Học hàm/ học vị: ………….
II. Nhận xét, đánh giá đồ án tốt nghiệp:
1. Về tính cấp thiết, tính mới, khả năng ứng dụng của đề tài:
………………………………………………………………………………………..

C
C

………………………………………………………………………………………..

R
L
.
T

2. Về kết quả giải quyết các nội dung nhiệm vụ yêu cầu của đồ án:
………………………………………………………………………………………..
………………………………………………………………………………………..

U
D

3. Về hình thức, cấu trúc, bố cục của đồ án tốt nghiệp:
………………………………………………………………………………………..
………………………………………………………………………………………..
4. Đề tài có giá trị khoa học/ có bài báo/ giải quyết vấn đề đặt ra của doanh nghiệp hoặc
nhà trường:
………………………………………………………………………………………..
………………………………………………………………………………………..
5. Các tồn tại, thiếu sót cần bổ sung, chỉnh sửa:

………………………………………………………………………………………..
………………………………………………………………………………………..
………………………………………………………………………………………..
………………………………………………………………………………………..
………………………………………………………………………………………..
………………………………………………………………………………………..
………………………………………………………………………………………..
………………………………………………………………………………………..


Điểm Điểm
tối đa đánh giá

TT Các tiêu chí đánh giá
Sinh viên có phương pháp nghiên cứu phù hợp, giải
quyết đủ nhiệm vụ đồ án được giao
- Tính mới (nội dung chính của ĐATN có những phần mới
so với các ĐATN trước đây).
1a
- Đề tài có giá trị khoa học, công nghệ; có thể ứng dụng thực
tiễn.
- Kỹ năng giải quyết vấn đề; hiểu, vận dụng được kiến thức
cơ bản, cơ sở, chuyên ngành trong vấn đề nghiên cứu.
1b
- Chất lượng nội dung ĐATN (thuyết minh, bản vẽ, chương
trình, mô hình,…).
- Có kỹ năng vận dụng thành thạo phần mềm ứng dụng trong
vấn đề nghiên cứu (thể hiện qua kết quả tính toán bằng
phần mềm);
1c - Có kỹ năng sử dụng tài liệu tiếng nước ngoài liên quan vấn

đề nghiên cứu (thể hiện qua các tài liệu tham khảo);
- Có kỹ năng làm việc nhóm (đánh giá đối với đề tài do
nhóm SV thực hiện);
2 Kỹ năng viết:
2a - Bố cục hợp lý, lập luận rõ ràng, chặt chẽ, lời văn súc tích
2b - Thuyết minh đồ án không có lỗi chính tả, in ấn, định dạng
3 Tổng điểm đánh giá theo thang 100:
Quy về thang 10 (lấy đến 1 số lẻ)
1

C
C

R
L
.

T
U

D

70

10

50

10

30
20
10

- Câu hỏi đề nghị sinh viên trả lời trong buổi bảo vệ: …………………………………
………………………………………………………………………………………...
………………………………………………………………………………………...
………………………………………………………………………………………...
………………………………………………………………………………………...
………………………………………………………………………………………...
- Đề nghị: ☐ Được bảo vệ đồ án

☐ Bổ sung để bảo vệ
☐ Không được bảo vệ
Đà Nẵng, ngày
tháng 12 năm 2019
Người phản biện


TÓM TẮT
Tên đề tài: Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm.
Sinh viên thực hiện:
Hà Xuân Tuấn
Số thẻ SV: 101150237
Nguyễn Đình Giang

Số thẻ SV: 101150205

Lê Quốc Tín

Số thẻ SV: 101150188

Lớp: 15CDT1 – 15CDT2
Đề tài đề cập về quá trình thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và
tay gắp mềm, được tài trợ bởi công ty Sunfield Vietnam và công ty Maruyasu Kikai –
Nhật Bản. Đề tài gồm 3 phần chính: Thiết kế, mô phỏng, chế tạo và thử nghiệm tay gắp

C
C

mềm có thể gắp các loại thức ăn có hình dạng, kích thước và khối lượng khác nhau; Xử
lý ảnh phân biệt các loại thức ăn với nhau kết hợp lắp đặt và vận hành cánh tay robot 3
bậc tự do để có thể gắp các loại thức ăn vào khay theo đúng vị trí và hướng yêu cầu;

R
L
.
T

Tích hợp cảm biến vào tay gắp mềm, áp dụng phương pháp data-driven trong việc dự
đoán và điều khiển tay gắp mềm.

U
D


Phụ lục 02
ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC BÁCH KHOA
KHOA CƠ KHÍ

CỘNG HÒA XÃ HÔI CHỦ NGHĨA VIỆT NAM

Độc lập - Tự do - Hạnh phúc

NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
TT

Họ tên sinh viên

Số thẻ SV

Lớp

1

HÀ XUÂN TUẤN

101150237 15CDT2

CƠ ĐIỆN TỬ

2
3

NGUYỄN ĐÌNH GIANG
LÊ QUỐC TÍN

101150205 15CDT2
101150188 15CDT1

CƠ ĐIỆN TỬ
CƠ ĐIỆN TỬ

Ngành

1. Tên đề tài đồ án:
Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm
2. Đề tài thuộc diện: ☐ Có ký kết thỏa thuận sở hữu trí tuệ đối với kết quả thực hiện
3. Các số liệu và dữ liệu ban đầu:
• Các số liệu yêu cầu về phạm vi hoạt động, tốc độ, chu kỳ của robot theo yêu cầu
của công ty Maruyasu Kikai.
• Kích thước thông số các bộ phận công ty Maruyasu Kikai cung cấp.
• Các vật liệu: Nhôm định hình, inox, thép.
4. Nội dung các phần thuyết minh và tính toán:
a. Phần chung:
TT
Họ tên sinh viên
Nội dung

C
C

R
L
.
T

U
D

1
2

Hà Xuân Tuấn
Nguyễn Đình Giang

Chương 1: Tổng quan
Chương 2: Hệ thống Robot gắp thức ăn

3
4

Lê Quốc Tín
Hà Xuân Tuấn

Chương 4: Hệ thống truyền động

5
Nguyễn Đình Giang
b. Phần riêng:
TT
1

Họ tên sinh viên
Nguyễn Đình Giang

Nội dung
Chương 3: Quá trình xử lí ảnh

2

Lê Quốc Tín

Chương 5: Tích hợp cảm biến và phương pháp Datadriven cho tay gắp mềm

Hà Xuân Tuấn
Chương 6: Tay gắp mềm
5. Các bản vẽ, đồ thị ( ghi rõ các loại và kích thước bản vẽ ):
a. Phần chung:
3


TT

Họ tên sinh viên

Nội dung

1

Hà Xuân Tuấn

2

Nguyễn Đình Giang

3

Lê Quốc Tín

Bản vẽ tổng quan hệ thống và phần gá truyền động
(1A0)
Bản vẽ các thành phần trong hệ thống (1A0)

b. Phần riêng:
TT

Họ tên sinh viên

Nội dung

1

Lê Quốc Tín

Bản vẽ sơ đồ đấu nối mạch điện (1A0)

2

Nguyễn Đình Giang

Bản vẽ lưu đồ thuật toán (1A0)

3

Hà Xuân Tuấn

Bản vẽ sơ đồ động và hệ thống khí nén (1A0)
Bản vẽ tay gắp và đồ gá tay gắp (1A0)

6. Họ tên người hướng dẫn: TS. Lê Hoài Nam
7. Ngày giao nhiệm vụ đồ án:
08 / 08 /2019
8. Ngày hoàn thành đồ án:
15 / 12 /2019
Đà Nẵng, ngày
tháng 12 năm 2019
Trưởng Bộ môn
Người hướng dẫn

C
C

U
D

R
L
.
T


LỜI NÓI ĐẦU
Ngày nay, nền kinh tế của nước ta đang trên đà phát triển mạnh mẽ, các ngành
công nghiệp ngày càng đòi hỏi trình độ khoa học kỹ thuật cao. Việc cung cấp của nhà
sản xuất cũng như nhu cầu của người tiêu dùng tăng lên đáng kể. Đây là cơ hội và thách
thức cho nền công nghiệp nói chung, ngành cơ điện tử nói riêng, với việc ứng dụng các
thành tựu khoa học kỹ thuật của nhân loại để phục vụ nhu cầu đời sống xã hội.
Robot là một ứng dụng tiêu biểu, đang ngày một trở nên hiện đại hơn, trở thành

công cụ lao động thông minh, từng bước thay thế con người trong hoạt động sản xuất.
Nhờ có robot mà năng suất và chất lượng lao động ngày càng được cải thiện và tiệm cận
sự hoàn hảo. Trong học phần này, chúng em thực hiện đề tài: Thiết kế và chế tạo robot
gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm. Với mục tiêu tạo ra một sản phẩm hoạt
động linh hoạt và có khả năng ứng dụng thực tế mang lại hiệu quả kinh tế cao. Các
nhiệm vụ cần thực hiện trong đề tài này bao gồm:

C
C

• Xác định phương án thiết kế và thiết kế tay gắp mới.

R
L
.
T

• Xử lý ảnh xác định vật thể kết hợp với lập trình PLC.

• Tích hợp cảm biến, dự đoán và điều khiển tay gắp mềm
Để đồ án này đạt kết quả tốt đẹp, chúng em đã nhận được sự hỗ trợ, giúp đỡ của
công ty Sunfield Vietnam và công ty Maruyasu Kikai – Nhật Bản. Với tình cảm sâu sắc
cho phép chúng em được bày tỏ lòng biết ơn đến quý công ty đã tạo điều kiện giúp đỡ
trong suốt quá trình học tập và nghiên cứu đề tài. Với sự quan tâm, chỉ dạy và truyền
đạt kiến thức, chúng em xin gửi tới các thầy Khoa Cơ khí trường Đại học Bách Khoa
Đại học Đà Nẵng lời cảm ơn sâu sắc và lời chúc sức khỏe.
Đặc biệt chúng em chân thành cảm ơn thầy giáo – TS. Lê Hoài Nam đã quan tâm

U
D

giúp đỡ, hướng dẫn hoàn thành tốt đề tài này trong thời gian qua. Ngoài ra, không thể
không nhắc tới sự hỗ trợ, truyền đạt kinh nghiệm của các thành viên trong nhóm Aiméka
và các anh khóa 14CDT.
Tuy nhiên, do kiến thức và kinh nghiệm còn nhiều hạn chế nên khó tránh khỏi
những thiếu sót. Chúng em rất mong nhận được sự thông cảm và đóng góp ý kiến của
các thầy và các bạn sinh viên để đồ án của chúng tôi được hoàn chỉnh hơn. Xin chân
thành cảm ơn.
Đà Nẵng, ngày tháng 12 năm 2019
Người thực hiện đề tài:
Lê Quốc Tín
Nguyễn Đình Giang
Hà Xuân Tuấn
i


CAM ĐOAN
Chúng tôi xin cam đoan số liệu và kết quả nghiên cứu trong đồ án này là trung
thực và chưa hề được sử dụng để bảo vệ đồ án hoặc học vị nào khác. Mọi sự giúp đỡ
cho việc thực hiện đồ án này đã được cảm ơn và các thông tin trích dẫn trong đồ án đã
được chỉ rõ nguồn gốc và được phép công bố.
Sinh viên thực hiện

Lê Quốc Tín

C
C

Nguyễn Đình Giang

R
L
.
T

U
D

ii

Hà Xuân Tuấn


MỤC LỤC

Tóm tắt
Nhiệm vụ đồ án
Lời nói đầu
Cam đoan

i
ii

Mục lục

iii

Danh sách các bảng biểu, hình vẽ và sơ đồ

v

Danh sách các cụm từ viết tắt

vii
Trang

Chương 1: TỔNG QUAN.............................................................................................. 1

C
C

R
L
.
T

Chương 2: HỆ THỐNG ROBOT GẮP THỨC ĂN .................................................... 3

U
D

2.1.1. Tổng quan .............................................................................................................3
2.1.2. Sơ đồ khối hệ thống ..............................................................................................4
2.1.3. Hệ thống thực tế....................................................................................................5

2.2.1. Tổng quan về xử lý ảnh ........................................................................................5
2.2.2. Quy trình xử lý ảnh ...............................................................................................6

Chương 3: QUÁ TRÌNH XỬ LÝ ẢNH........................................................................ 9

3.1.1. Điểm ảnh ...............................................................................................................9
3.1.2. Độ phân giải ảnh ...................................................................................................9
3.1.3. Mức xám của ảnh..................................................................................................9
3.1.4. Cấu trúc lưu dữ liệu ..............................................................................................9

3.2.1. Thiết bị phần cứng: camera xử lý ảnh ................................................................10
iii


3.2.2. Visual Studio ......................................................................................................11
3.2.3. EmguCV/OpenCV ..............................................................................................14

3.3.1. Giới thiệu về MX Component ............................................................................15
3.3.2. Cài đặt kết nối .....................................................................................................16
3.3.3. Chương trình nhận và gửi dữ liệu .......................................................................18

Chương 4: HỆ THỐNG TRUYỀN ĐỘNG ............................................................... 27

4.2.1. Cấu trúc và kết nối ..............................................................................................28

C
C

4.2.2. Phần mềm PC Interface Software for RCEC .....................................................30

R
L
.
T

4.3.1. Giới thiệu về động cơ bước ................................................................................32

U
D

4.3.2. Cấu tạo và nguyên lý hoạt động của động cơ bước ............................................32

4.4.1. Bộ điều khiển lập trình PLC ...............................................................................33
4.4.2. Module CC-Link FX3U-16CCL-M ...................................................................37

4.5.1. Lập trình cơ cấu thanh trượt ...............................................................................40
4.5.2. Lập trình điều khiển động cơ bước .....................................................................44
Chương 5: TÍCH HỢP CẢM BIẾN VÀ PHƯƠNG PHÁP DATA-DRIVEN
TRONG VIỆC DỰ ĐOÁN VÀ ĐIỀU KHIỂN TAY GẮP MỀM ........................... 46

5.1.1. Tay gắp mềm kiểu xếp li ....................................................................................46
Nguyên lý hoạt động...........................................................................................47

5.2.1. Đặt vấn đề: ..........................................................................................................48
5.2.2. Tích hợp cảm biến ..............................................................................................48
iv


5.3.1. Vật liệu................................................................................................................53

5.4.1. Sơ đồ khối điều khiển .........................................................................................55
Chương 6: TAY GẮP MỀM ....................................................................................... 58

6.2.1. Vấn đề khi sử dụng tay gắp cũ cho bài toán mới ...............................................58
6.2.2. Cải tiến tay gắp cũ ..............................................................................................59

6.2.3. Nguyên lý hoạt động của tay gắp mới ................................................................61

C
C

R
L
.
T

6.3.1. Các thông số hình học ........................................................................................62
6.3.2. Vật liệu và mô phỏng..........................................................................................65

U
D

6.3.3. Thiết kế hoàn thiện .............................................................................................67

6.4.1. Thiết kế khuôn ....................................................................................................67
6.4.2. Quá trình đúc ......................................................................................................68
KẾT LUẬN .................................................................................................................. 71
TÀI LIỆU THAM KHẢO........................................................................................... 72
PHỤ LỤC 1 .................................................................................................................... 1
PHỤ LỤC 2 .................................................................................................................. 28
PHỤ LỤC 3 .................................................................................................................. 38

v


DANH SÁCH CÁC BẢNG, HÌNH VẼ

BẢNG 4.1 So sánh giữa PLC và Rơ-le .........................................................................34
BẢNG 4.2: So sánh các phương pháp truyền dữ liệu của CC-Link .............................37
BẢNG 6.1: Các thông số hình học của tay gắp mềm....................................................63
BẢNG 6.2: Các thông số hình học của tay gắp mềm nhóm thực hiện .........................67
HÌNH 1.1 Kích thước khay và các loại thức ăn khác nhau .............................................2
HÌNH 2.1 Sơ đồ tổng quan của hệ thống ........................................................................3
HÌNH 2.2 Sơ đồ khối hệ thống ........................................................................................4
HÌNH 2.3 Hệ thống thực tế .............................................................................................5
HÌNH 2.4 Các giai đoạn chính trong quá trình xử lý ảnh ...............................................6
HÌNH 2.5 Sơ đồ động của hệ thống ................................................................................7
HÌNH 3.1 Camera Logitech HD c720 ...........................................................................10

C
C

HÌNH 3.2 Giao diện Visual Studio................................................................................11
HÌNH 3.3 Giao diện làm việc của Visual Studio ..........................................................12

R
L
.
T

HÌNH 3.4 Cách bật các cửa sổ bị ẩn trong Visual Studio .............................................13
HÌNH 3.5 Giao diện làm việc của chương trình xử lý ảnh ...........................................13
HÌNH 3.6 Giao diện Communication Setup Utility ......................................................15
HÌNH 3.7 Nhập số trạm.................................................................................................16
HÌNH 3.8 Chọn phương thức kết nối ............................................................................16
HÌNH 3.9 Chọn loại CPU sử dụng ................................................................................17
HÌNH 3.10 Chọn loại trạm ............................................................................................17

HÌNH 3.11 Ghi chú và kết thúc .....................................................................................18
HÌNH 3.12 Lưu đồ thuật toán lập trình xử lý ảnh .........................................................19

U
D

HÌNH 3.13 Không gian màu HSV ................................................................................23
HÌNH 3.14 Ví dụ cho giãn nở và co ảnh .......................................................................24
HÌNH 3.15 Ví dụ về xác định hình chữ nhật xoay trong EmguCV ..............................26
HÌNH 3.16 Phân tích vật thể bằng phương pháp SURF ...............................................26
HÌNH 4.1 Cấu tạo cơ cấu truyền động ..........................................................................27
HÌNH 4.2: Mode Number của cơ cấu truyền động .......................................................27
HÌNH 4.3 Cấu trúc PCON-CB ......................................................................................28
HÌNH 4.4 Sơ đồ đấu nối các thiết bị cơ bản ..................................................................29
HÌNH 4.5 Trường hợp không sử dụng EMG- (dừng khẩn cấp) ....................................29
HÌNH 4.6 Trường hợp có sử dụng EMG- (dừng khẩn cấp) ..........................................30
vi


HÌNH 4.7 Tự động kết nối khi khởi động .....................................................................30
HÌNH 4.8 Chọn chế độ hoạt động .................................................................................30
HÌNH 4.9 Thiết lập Parameter cho cơ cấu truyền động ................................................31
HÌNH 4.10 Thiết lập Position cho cơ cấu truyền động .................................................31
HÌNH 4.11 Động cơ bước .............................................................................................32
HÌNH 4.12 Cấu tạo của động cơ bước ..........................................................................33
HÌNH 4.13 Nguyên lý hoạt động của động cơ bước .....................................................33
HÌNH 4.14 PLC Mitsubishi FX3G-60M .......................................................................35
HÌNH 4.15 Cấu trúc bộ điều khiển lập trình PLC .........................................................35
HÌNH 4.16 Hoạt động của PLC ....................................................................................36
HÌNH 4.17 Module CC-Link FX3U-16CCL-M ...........................................................37

HÌNH 4.18 Tối ưu hệ thống với CC-Link .....................................................................38
HÌNH 4.19 Liên kết dữ kiệu giữa các trạm trong hệ thống CC-Link ...........................39
HÌNH 4.20 Kiểu nối dây CC-Link ................................................................................39
HÌNH 4.21 Minh họa quá trình truyền dữ liệu ..............................................................40
HÌNH 4.22 Các thanh ghi được cấp phát ......................................................................41

C
C

R
L
.
T

HÌNH 4.23 Vị trí địa chỉ các thanh ghi .........................................................................41
HÌNH 4.24 Hai cấu trúc đọc và ghi từ Buffer Memory ................................................42
HÌNH 4.25 Khối khởi động PLC...................................................................................43
HÌNH 4.26 Khối nạp vị trí PCx .....................................................................................43
HÌNH 4.27 Khối về “Home” .........................................................................................43
HÌNH 4.28 Khối bật tắt bit CSTR .................................................................................43
HÌNH 4.29 Khối đọc giá trị các thanh ghi.....................................................................44
HÌNH 4.30 Tạo xung điều khiển động cơ bước ............................................................44
HÌNH 4.31 Lưu đồ thuật toán lập trình PLC kết hợp xử lí ảnh ....................................45
HÌNH 5.1 Mẫu tay gắp mềm đầu tiên của Suzumori ....................................................46
HÌNH 5.2 Thử nghiệm gắp vật ......................................................................................47
HÌNH 5.3 Nguyên lý hoạt động của tay gắp mềm ........................................................48
HÌNH 5.4 Hình dạng của cảm biến FRS402 .................................................................48
HÌNH 5.5 Biểu đồ thể hiện mối quan hệ giữa điện trở và cảm biến lực FSR402 .........49
HÌNH 5.6 Cầu phân áp và đường cong biển diễn quan hệ giữa lực và điện áp đầu ra
tương ứng với giá trị điện trở kéo khác nhau. ...............................................................50

HÌNH 5.7 Cảm biến độ cong FSL0055253ST của hãng Spectra Symbol ....................50

U
D

HÌNH 5.8 Cảm biến áp suất MPXH6400A ...................................................................51
HÌNH 5.9 Mạch lọc điện áp đầu ra................................................................................52
HÌNH 5.10 Biểu đồ quan hệ giữa điện áp đầu ra và áp suất đo được ...........................52
vii


HÌNH 5.11 Van điều áp SMC ITV 1050-312N ............................................................53
HÌNH 5.12 Khuôn đúc tay gắp mềm .............................................................................54
HÌNH 5.13 Các bước chế tạo tay gắp mềm tích hợp cảm biế .......................................55
HÌNH 5.14 Sơ đồ khối hệ thống khí nén .......................................................................57
HÌNH 5.15 Khả năng co, duỗi thực tế của tay gắp........................................................57
HÌNH 5.16 Khả năng co, duỗi thực tế của tay gắp........................................................57
HÌNH 6.1 Khay đặt thức ăn trong bài toán ...................................................................58
HÌNH 6.2 Phiên bản tay gắp thử nghiệm 1 ...................................................................59
HÌNH 6.3 Phiên bản tay gắp thử nghiệm 2 ...................................................................60
HÌNH 6.4 Phiên bản tay gắp thử nghiệm 3 ...................................................................60
HÌNH 6.5 Phiên bản thử nghiệm 4 ................................................................................61
HÌNH 6.6 Thiết kế mô hình tay gắp mới .......................................................................62
HÌNH 6.7 Các đặc trưng hình học của tay gắp mới ......................................................63
HÌNH 6.8 Mô phỏng tay gắp mới trong Abaqus ...........................................................66
HÌNH 6.9: Thiết kế khuôn để đúc silicone ....................................................................67
HÌNH 6.10 Các vật dụng cơ bản dùng để chế tạo tay gắp mềm ...................................68

C
C

R
L
.
T

HÌNH 6.11 Các bước cơ bản của quá trình đúc tay gắp mềm .......................................69
HÌNH 6.12 Sơ đồ khối hệ thống khí nén .......................................................................69

U
D

viii


DANH SÁCH CÁC KÝ HIỆU, CHỮ VIẾT TẮT

CHỮ VIẾT TẮT:
• ACC – Acceleration

• PC – Personal Computer

• BCM – Broadcom

• PLC – Programmable Logic

• BKLS – Brake Release

Controller
• RAM – Random Access

• CGA – Color Graphic Adaptor
• CPU – Central Processing Unit

Memory

• DCL – Deceleration

• RCEC – Robo Cylinder

• EMG – Emergency

• RGB – Red Green Blue

• EPROM – Erasable
Programmable Read-Only

• RPi – Raspberry Pi.
• RW – Remote word

C
C

• RX – Remote Input

Memory
• FEA – Phân tích phần tử hữu hạn

• RXD – Receive Data

R
L
.

• GND – Ground
• GPIO – General Purposr
Input/Output

• RY – Remote Output

T
U

D

• SCL – Serial Clock
• SCLK – Serial Clock

• GPU – Graphics Processing Unit

• SD - Secure Digital

• HĐH – Hệ điều hành.

• SDA – Serial Data

• HDMI – High-Definition
Multimedia Interface

• SIO – Serial Input/Output

• HSV – Hue, Saturation, Value

• TXD – Transmit Data

• I2C – Inter-Integrated Circuit

• UART – Universal

• SPI – Service Provider Interface

• IP – Internet Protocol

Asynchronous ReceiverTransmitter

• MISO – Master Out Slave Out
• MOSI – Master Out Slave In

• USB - Universal Serial Bus

• MP – Motor Power

• XLA – Xử lý ảnh.

• NOOBS – New Out Of the Box
Software

ix

Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm

Chương 1: TỔNG QUAN

1.1. Đặt vấn đề
Hầu hết chúng ta đều biết, con người Nhật Bản có một tính cách rất nổi bật đó là
họ luôn tỉ mỉ, chỉnh chu trong tất cả những việc họ làm và một trong những sản phẩm
đặc trưng cho tính cách đó chính là cơm hộp ăn trưa (bento) bởi sự cầu kì, tinh tế và
nghệ thuật của nó. Cơm hộp được sử dụng rất thường xuyên trong các bữa ăn trưa của
người Nhật. Những hộp cơm có nhiều màu sắc và được tạo hình đa dạng dưới bàn tay
khéo léo của những người nội trợ đảm đang. Cơm hộp ban đầu xuất phát từ những hộp
cơm trưa mà các bà mẹ chuẩn bị cho con mình mang theo để ăn trên trường. Nhưng các
em nhỏ thường rất kén ăn do đó những bà mẹ đã có sáng kiến đó là tạo hình đẹp mắt
cho hộp cơm bằng cách tỉa gọt và trang trí các món ăn nhằm kích thích sự tò mò, thích
thú và khiến các em ngoài ăn cơm, thịt ra thì còn ăn thêm các loại rau củ nhờ màu sắc
hấp dẫn và tạo cảm giác ngon miệng. Dần dần về sau, cơm hộp ăn trưa không chỉ là sản

C
C

R
L
.
T

phẩm thể hiện tình yêu và sự quan tâm của các bà mẹ đến con cái mình mà đã phát triển
lên thành một nét văn hóa riêng, một sản phẩm đặc trưng của người Nhật Bản.
Ngày nay, cùng với nhịp sống ngày càng nhanh, nhu cầu tiêu thụ cơm hộp chế biến
sẵn cũng tăng theo. Đòi hỏi các doanh nghiệp sản xuất phải nâng cao năng suất. Điều

U
D

này đồng nghĩa với việc họ phải cố gắng tự động hóa được hết tất cả các khâu trong quá
trình sản xuất cơm hộp. Tuy nhiên họ lại gặp một vấn đề đau đầu tại khâu đóng gói thức
ăn vào hộp đó là: Làm thế nào để di chuyển những loại thức ăn cầu kì, đa dạng như vậy
vào trong các hộp đựng mà vẫn đảm bảo được tính thẩm mĩ và an toàn vệ sinh? Chính
vì vậy, công ty Sunfield Vietnam và công ty Maruyasu Kikai – Nhật Bản đã đưa ra một
yêu cầu và cũng là đề tài của đồ án này để giải quyết vấn đề trên.
1.2. Bài toán đặt ra
Công ty đặt ra bài toán là thiết kế một hệ thống robot được tích hợp tay gắp có thể
gắp được nhiều loại thức ăn đa dạng với những yêu cầu cụ thể như sau:
• Thức ăn được gắp có độ cứng, hình dạng, kích thước và khối lượng khác nhau.
• Thức ăn không bị hư, trầy, biến dạng hoặc rơi rớt trong quá trình gắp.
• Việc thiết kế tập trung chủ yếu ở phần thiết kế ý tưởng tay gắp với ràng buộc
là không được sử dụng hơi để hút trực tiếp thức ăn.
• Gắp thức ăn vào khay theo đúng hướng, vị trí yêu cầu.

SVTH: Lê Quốc Tín, Nguyễn Đình Giang, Hà Xuân Tuấn.

GVHD: TS. Lê Hoài Nam

1


Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm

Để giải quyết các vấn đề đặt ra ở trên, nhóm tác giả đã quyết định lựa chọn phương
án là Tay gắp mềm (Soft gripper) với vật liệu là silicon để nghiên cứu và chế tạo. Đây
là lĩnh vực rất mới và đang được quan tâm, nghiên cứu nhiều trên thế giới trong những

năm gần đây bởi ưu điểm vượt trội của nó so với các cơ cấu truyền thống như cơ cấu
gắp cơ khí, cơ cấu hút… Ngoài ra, hệ thống còn được tích hợp thêm camera xử lý ảnh
để robot có thể nhận biết và gắp thức ăn vào đúng vị trí của từng loại trong khay. Kích
thước khay và các loại thức ăn được mô tả dưới Hình 1.1.

C
C

R
L
.
T

U
D

Hình 1.1 Kích thước khay và các loại thức ăn khác nhau

SVTH: Lê Quốc Tín, Nguyễn Đình Giang, Hà Xuân Tuấn.

GVHD: TS. Lê Hoài Nam

2


Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm

Chương 2: HỆ THỐNG ROBOT GẮP THỨC ĂN

2.1. Mô hình hóa hệ thống

2.1.1. Tổng quan

C
C

R
L
.
T

Hình 2.1 Sơ đồ tổng quan của hệ thống

U
D

Hệ thống robot gắp thức ăn là tập hợp của nhiều hệ thống thành phần khác như:
Hệ thống cơ khí, hệ thống khí nén, hệ thống điện, hệ thống điều khiển. Các hệ thống
riêng biệt này được thiết kế để kết nối với nhau nhằm tạo ra một hệ thống hoàn chỉnh,
đảm bảo thực hiện tốt nhiệm vụ đặt ra của đề tài.
Hệ thống sau khi hoàn chỉnh có thể hoạt động theo chế độ xử lý ảnh động: Một
camera sẽ liên tục hoạt động để thu hình ảnh về cho chương trình xử lý ảnh. Nếu chương
trình xác định được một loại thức ăn nằm trong vùng gắp, nó sẽ gửi dữ liệu nhận được
như vị trí gắp và góc gắp cho robot để robot có thể thực hiện việc gắp thức ăn đó vào
đúng vị trí trong khay. Trong trường hợp không có thức ăn trong vùng gắp, robot sẽ ở
chế độ chờ.

SVTH: Lê Quốc Tín, Nguyễn Đình Giang, Hà Xuân Tuấn.

GVHD: TS. Lê Hoài Nam

3


Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm

2.1.2. Sơ đồ khối hệ thống

C
C

R
L
.
T

Hình 2.2 Sơ đồ khối hệ thống
Sơ đồ hệ thống gồm có 4 khối chính:
• Khối nguồn
• Khối điều khiển

U
D

• Khối cơ cấu chấp hành

• Khối xử lý ảnh
Hình 2.2 thể hiện sơ đồ khối của hệ thống. Theo đó, hệ thống hoạt động như sau:
Camera sau khi chụp ảnh sẽ gửi dữ liệu ảnh về cho Máy tính chạy chương trình xử lý
ảnh. Máy tính sau khi xử lý và phân biệt được các loại thức ăn xong sẽ gửi dữ liệu các
loại thức ăn nhận diện được đến PLC. Tại đây, PLC sẽ điều khiển cánh tay robot 2 bậc

tự do (2 Robo cylinder) và động cơ bước thông qua các bộ điều khiển động cơ. Tay gắp
mềm hoạt động thông qua hệ thống khí nén để thực hiện việc gắp và thả thức ăn đến
đúng vị trí và góc xoay của nó của nó. Các số liệu về vị trí, vận tốc và gia tốc của cánh
tay robot sẽ được cài đặt trước vào bộ điều khiển bằng phần mềm dạy học trên máy tính.
Để cho hệ thống hoạt động thì ta cần cấp nguồn 220VAC cho PLC, nguồn 24V cho bộ
điều khiển động cơ.

SVTH: Lê Quốc Tín, Nguyễn Đình Giang, Hà Xuân Tuấn.

GVHD: TS. Lê Hoài Nam

4


Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm

2.1.3. Hệ thống thực tế

C
C

R
L
.
T

U
D

Hình 2.3 Hệ thống thực tế

2.2. Quy trình xử lý ảnh
2.2.1. Tổng quan về xử lý ảnh
Xử lý ảnh (XLA) là đối tượng nghiên cứu của lĩnh vực thị giác máy, là quá trình
biến đổi từ một ảnh ban đầu sang một ảnh mới với các đặc tính và tuân theo ý muốn của
người sử dụng. Xử lý ảnh có thể gồm quá trình phân tích, phân lớp các đối tượng, làm
tăng chất lượng, chuyển đổi kiểu ảnh cũng như xử lý dữ liệu bằng đồ hoạ. Xử lý ảnh số
là một lĩnh vực của tin học ứng dụng, nó bao gồm các phương pháp và kỹ thuật biến
đổi, để truyền tải hoặc mã hoá các ảnh tự nhiên.
Mục đích của xử lý ảnh gồm:
• Biến đổi ảnh làm tăng chất lượng ảnh.
• Sử dụng nội dung ảnh sau xử lí cho một ứng dụng cụ thể.

SVTH: Lê Quốc Tín, Nguyễn Đình Giang, Hà Xuân Tuấn.

GVHD: TS. Lê Hoài Nam

5


Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm

2.2.2. Quy trình xử lý ảnh

Hình 2.4 Các giai đoạn chính trong quá trình xử lý ảnh
2.2.2.1.

Thu nhận ảnh

Ðây là công đoạn đầu tiên mang tính quyết định đối với quá trình XLA. Ảnh đầu
vào có thể là ảnh màu hoặc ảnh trắng đen, được trích xuất từ các thiết bị như camera,

sensor và máy scanner, sau đó các tín hiệu này sẽ được số hóa. Việc lựa chọn các thiết
bị thu nhận ảnh sẽ phụ thuộc vào đặc tính của các đối tượng cần xử lý. Các thông số
quan trọng ở khâu thu nhận này là độ phân giải, chất lượng màu, dung lượng bộ nhớ và
tốc độ thu nhận ảnh của các thiết bị. Trong đề tài này, nhóm tác giả sử dụng camera
Logitech 720 có độ phân giải 1280x720pi.
2.2.2.2. Tiền xử lý
Ở bước này, ảnh sẽ được cải thiện về độ tương phản, khử nhiễu, khử bóng, khử
độ lệch với mục đích làm cho chất lượng ảnh trở lên tốt hơn nữa, chuẩn bị cho các bước

C
C

R
L
.
T

xử lý phức tạp hơn về sau trong quá trình XLA. Quá trình này thường được thực hiện
bởi các bộ lọc.
2.2.2.3. Phân đoạn
Phân đoạn ảnh là bước then chốt trong XLA. Giai đoạn này phân tích ảnh thành

U
D

những thành phần có cùng tính chất bất kỳ dựa theo biên hay các vùng liên thông. Tiêu
chuẩn để xác định các vùng liên thông có thể là cùng màu, cùng độ xám. Mục đích của
phân đoạn ảnh là để có một bản miêu tả tổng hợp về nhiều phần tử khác nhau cấu tạo
nên ảnh thô. Vì lượng thông tin chứa trong ảnh rất lớn, trong khi đa số các ứng dụng
chúng ta chỉ cần trích một vài đặc trưng nào đó, do vậy cần có một quá trình để giảm

lượng thông tin khổng lồ đó. Quá trình này bao gồm phân vùng ảnh và trích chọn đặc
tính chủ yếu.
2.2.2.4. Tách các đặc tính
Kết quả của bước phân đoạn ảnh thường được cho dưới dạng dữ liệu điểm ảnh
thô, trong đó hàm chứa biên của một vùng ảnh, hoặc tập hợp tất cả các điểm ảnh thuộc
về chính vùng ảnh đó. Trong cả hai trường hợp, sự chuyển đổi dữ liệu thô này thành một
dạng thích hợp hơn cho việc xử lý trong máy tính là rất cần thiết. Ðể chuyển đổi chúng,
câu hỏi đầu tiên cần phải trả lời là nên biểu diễn một vùng ảnh dưới dạng biên hay dưới
dạng một vùng hoàn chỉnh gồm tất cả những điểm ảnh thuộc về nó. Biểu diễn dạng biên
cho một vùng phù hợp với những ứng dụng chỉ quan tâm chủ yếu đến các đặc trưng hình
dạng bên ngoài của đối tượng, ví dụ như các góc cạnh và điểm uốn trên biên chẳng hạn.
SVTH: Lê Quốc Tín, Nguyễn Đình Giang, Hà Xuân Tuấn.

GVHD: TS. Lê Hoài Nam

6


Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm

Biểu diễn dạng vùng lại thích hợp cho những ứng dụng khai thác các tính chất bên trong
của đối tượng, ví dụ như cấu trúc xương của nó. Sự chọn lựa cách biểu diễn thích hợp
cho một vùng ảnh chỉ mới là một phần trong việc chuyển dổi dữ liệu ảnh thô sang một
dạng thích hợp hơn cho các xử lý về sau.
2.2.2.5. Nhận dạng và phân tích
Ðây là bước cuối cùng trong quá trình XLA. Nhận dạng ảnh có thể được nhìn nhận
một cách đơn giản là việc dán nhãn cho các đối tượng trong ảnh. Ví dụ đối với nhận
dạng hình dáng sản phẩm, sau xử lý ảnh ta phân loại các đối tượng có trong ảnh thành
ở hình dạng như thế nào và dán cho nó một nhãn nhất định.
Chúng ta cũng có thể thấy rằng, không phải bất kỳ một ứng dụng XLA nào cũng

bắt buộc phải tuân theo tất cả các bước xử lý đã nêu ở trên, ví dụ như các ứng dụng
chỉnh sửa ảnh nghệ thuật chỉ dừng lại ở bước tiền xử lý. Tùy theo ngôn ngữ và phần
mềm mà người lập trình lựa chọn thì cách tiếp cận với từng công đoạn sẽ có độ khó dễ
khác nhau. Một cách tổng quát thì những chức năng xử lý bao gồm cả nhận dạng và giải
thích thường chỉ có mặt trong hệ thống phân tích ảnh tự động hoặc bán tự động, được
dùng để rút trích ra những thông tin quan trọng từ ảnh, ví dụ như các ứng dụng nhận

C
C

R
L
.
T

dạng ký tự quang học, nhận dạng chữ viết tay…
2.3. Cơ cấu chấp hành

U
D

Hình 2.5 Sơ đồ động của hệ thống
Dựa vào sơ đồ động, ta xác định được hệ thống bao gồm ba cơ cấu chấp hành được
điều khiển độc lập với nhau. Và ba cơ cấu này hoạt động phụ thuộc lẫn nhau để vận
hành toàn bộ hệ thống.
SVTH: Lê Quốc Tín, Nguyễn Đình Giang, Hà Xuân Tuấn.

GVHD: TS. Lê Hoài Nam

7

Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm

Cơ cấu chấp hành thứ nhất là cánh tay robot. Đây là robot hai bậc tự do, bao gồm
hai trục chính (bao gồm động cơ, trục truyền động, encoder…), hai bộ điều khiển công
suất (PCON-CB/CFB), phần mềm điều khiển (PC Interface Software for RCEC). Được
điều khiển bởi PLC Mitsubishi thông qua module CC-link.
Cơ cấu chấp hành thứ hai là cơ cấu xoay. Nó bao gồm một động cơ bước, một bộ
điều khiển ST-6600. Nó được điều khiển trực tiếp bằng xung phát từ PLC.
Cơ cấu chấp hành thứ ba là tay gắp. Cũng được điều khiển bởi PLC qua hệ thống
khí nén, có kết hợp xử lý ảnh được lập trình bằng ngôn ngữ C# trên nền soạn thảo Visual
Studio, có áp dụng thư viện thị giác máy tính EmguCV. Với đề tài này, tay gắp được
thiết kế để giải quyết nhiều vấn đề khó khăn như: sản phẩm thao tác là thức ăn có hình
dạng kích thước không cố định, đảm bảo sản phẩm không bị hư hại trong quá trình vận
hành hệ thống…Do vậy tay gắp này mang nhiều đặc tính riêng như:
• Gắp được vật có nhiều hình dạng kích thước khác nhau.
• Cơ cấu nhẹ, mềm dẻo không gây ảnh hưởng cơ học tới sản phẩm.

C
C

• Hoạt động được ở tốc độ cao và không ảnh hưởng tới kết quả toàn hệ thống.

R
L
.
T

• Công nghệ hiện đại, mới mẻ, không sinh phế phẩm và an toàn với môi trường.

U
D

SVTH: Lê Quốc Tín, Nguyễn Đình Giang, Hà Xuân Tuấn.

GVHD: TS. Lê Hoài Nam

8


Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm

Chương 3: QUÁ TRÌNH XỬ LÝ ẢNH

3.1. Các khái niệm liên quan đến xử lý ảnh
3.1.1. Điểm ảnh
Điểm ảnh (Pixel) là một phần tử của ảnh số tại toạ độ (x, y) với độ xám hoặc màu
nhất định. Kích thước và khoảng cách giữa các điểm ảnh đó được chọn thích hợp sao
cho mắt người cảm nhận sự liên tục về không gian và mức xám (hoặc màu) của ảnh số
gần như ảnh thật. Mỗi phần tử trong ma trận được gọi là một phần tử ảnh.
3.1.2. Độ phân giải ảnh
Định nghĩa: Độ phân giải (Resolution) của ảnh là mật độ điểm ảnh được ấn định
trên một ảnh số được hiển thị.
Theo định nghĩa, khoảng cách giữa các điểm ảnh phải được chọn sao cho mắt
người vẫn thấy được sự liên tục của ảnh. Việc lựa chọn khoảng cách thích hợp tạo nên
một mật độ phân bổ, đó chính là độ phân giải và được phân bố theo trục x và y trong
không gian hai chiều.

C

C

R
L
.
T

Ví dụ: Độ phân giải của ảnh trên màn hình CGA (Color Graphic Adaptor) là một
lưới điểm theo chiều ngang màn hình: 320 điểm chiều dọc * 200 điểm ảnh (320*200).
Rõ ràng, cùng màn hình CGA 12” ta nhận thấy mịn hơn màn hình CGA 17” độ phân
giải 320*200. Lý do: cùng một mật độ (độ phân giải) nhưng diện tích màn hình rộng
hơn thì độ mịn (liên tục của các điểm) kém hơn.
3.1.3. Mức xám của ảnh
Một điểm ảnh (pixel) có 2 đặc trưng cơ bản đó là vị trí (x, y) của điểm ảnh và độ
xám của nó. Và mức xám của một điểm ảnh là cường độ sáng của nó gắn với một trị số
nhất định tại điểm đó. Có nhiều thang biểu thị mức xám như 16, 32, 64, 128, 256,…

U
D

Mức 256 được sử dụng phổ biến (kỹ thuật máy tính dung 1 Byte để biểu diễn mức xám,
có 28 = 256 mức, tức là từ 0...255).
3.1.4. Cấu trúc lưu dữ liệu
Dữ liệu được lưu trữ theo cấu trúc mảng (tập có thự tự gồm các phần tử số thực
hoặc phức). Ảnh cũng được lưu trữ bởi các mảng phần tử với các dữ liệu lưu trữ có thể
là màu cường độ của ảnh. Hầu hết các ảnh được lưu trữ dưới dạng các mảng 2 chiều (ví
dụ: ma trận). Trong các mảng 2 chiều này, mỗi phần tử tương ứng với một pixel và
thường được biểu diễn bởi một điểm trên màng hình mày tính (ví dụ: một bức ảnh có
500 hàng và 700 cột gồm nhiều điểm màu khác nhau được lưu trữ bởi một ma trận kích
thước 500x700). Một bức ảnh như ảnh màu đòi hỏi phải được lưu trữ bởi mảng ba chiều.

Trong đó mặt phẳng thứ nhất trong mảng ba chiều này biểu diễn cho cường độ màu đỏ
SVTH: Lê Quốc Tín, Nguyễn Đình Giang, Hà Xuân Tuấn.

GVHD: TS. Lê Hoài Nam

9