Thiết kế và thi công mô hình phân loại ba loại trái cây

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH
KHOA ĐIỆN - ĐIỆN TỬ

ĐỒ ÁN TỐT NGHỊIỆP
NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THƠNG

THIẾT KẾ VÀ THI CƠNG MƠ HÌNH
PHÂN LOẠI BA LOẠI TRÁI CÂY

GVHD: ThS. NGUYỄN DUY THẢO
SVTH: ĐẶNG MINH CẢNH
MSSV: 16141116
SVTH: VÕ THÀNH MỸ
MSSV: 16141201

SKL 0 0 7 8 2 3

THÀNH PHỐ HỒ CHÍ MINH - 01/2021


BỘ GIÁO DỤC & ĐÀO TẠO
TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

---------------------------------

ĐỒ ÁN TỐT NGHIỆP
NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG

ĐỀ TÀI:

THIẾT KẾ VÀ THI CƠNG MƠ HÌNH
PHÂN LOẠI BA LOẠI TRÁI CÂY
GVHD: ThS. Nguyễn Duy Thảo
SVTH: Đặng Minh Cảnh
Võ Thành Mỹ

Tp. Hồ Chí Minh - 1/2021

16141116
16141201


BỘ GIÁO DỤC & ĐÀO TẠO
TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

---------------------------------

ĐỒ ÁN TỐT NGHIỆP
NGÀNH KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG
ĐỀ TÀI:

THIẾT KẾ VÀ THI CƠNG MƠ HÌNH
PHÂN LOẠI BA LOẠI TRÁI CÂY
GVHD: ThS. Nguyễn Duy Thảo
SVTH: Đặng Minh Cảnh
Võ Thành Mỹ

Tp. Hồ Chí Minh - 1/2021

16141116
16141201


TRƢỜNG ĐH SPKT TP. HỒ CHÍ MINH

CỘNG HÕA XÃ HỘI CHỦ NGHĨA VIỆT NAM

KHOA ĐIỆN-ĐIỆN TỬ

ĐỘC LẬP - TỰ DO - HẠNH PHƯC

BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP – Y SINH

----o0o----

Tp. HCM, ngày tháng năm 2021

NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
Đặng Minh Cảnh

MSSV: 16141116

Võ Thành Mỹ

MSSV: 16141201

Chuyên ngành:

Điện tử công nghiệp

Mã ngành:

41

Hệ đào tạo:

Đại học chính quy

Mã hệ:

1

Khóa:

2016

Lớp:

16141DT1

Họ tên sinh viên:

I. TÊN ĐỀ TÀI: THIẾT KẾ VÀ THI CÔNG MÔ HÌNH PHÂN LOẠI BA LOẠI TRÁI
CÂY
II. NHIỆM VỤ
1. Các số liệu ban đầu:

Một kit Raspberry Pi 3 model B, một module Camera Pi, hệ thống băng tải, cảm biến
hồng ngoại, động cơ servo. Sản phẩm gồm 3 loại trái cây là táo, chanh và lê.
2. Nội dung thực hiện:
Tổng quan về xử lý ảnh; Tìm hiểu phƣơng pháp nhận dạng và phân loại trái cây bằng
mạng nơ-ron tích chập; Tìm hiểu kit Raspberry Pi 3 B và các linh kiện liên quan đến mơ
hình; Cài đặt hệ điều hành và các thƣ viện cần thiết để viết chƣơng trình; Thiết kế phần cứng
điều khiển hệ thống.
III. NGÀY GIAO NHIỆM VỤ:

13/10/2020

IV. NGÀY HOÀN THÀNH NHIỆM VỤ:

15/01/2021

V. HỌ VÀ TÊN CÁN BỘ HƢỚNG DẪN: ThS. Nguyễn Duy Thảo
CÁN BỘ HƢỚNG DẪN

BM. ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

ii


TRƢỜNG ĐH SPKT TP. HỒ CHÍ MINH

CỘNG HÕA XÃ HỘI CHỦ NGHĨA VIỆT NAM

KHOA ĐIỆN-ĐIỆN TỬ

ĐỘC LẬP - TỰ DO - HẠNH PHƯC

BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP – Y SINH

----o0o----

Tp. HCM, ngày tháng

năm 2021

LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP
Họ tên sinh viên 1: Đặng Minh Cảnh
Lớp: 16141DT1B

MSSV: 16141116

Họ tên sinh viên 2: Võ Thành Mỹ
Lớp: 16141DT1A

MSSV: 16141201

Tên đề tài: Thiết kế và thi cơng mơ hình phân loại ba loại trái cây
Tuần/ngày

Xác nhận
GVHD

Nội dung

Tuần 1
(28/9-3/10/2020)

Nhận đồ án, tìm hiểu lựa chọn đề tài

Tuần 2
(5-10/10/2020)

Tìm hiểu và chọn đề tài

Tuần 3
(12-17/10/2020)

Tìm hiểu tài liệu và hƣớng thực hiện đề tài

Tuần 4
(19-24/10/2020)

Tìm hiểu về Khái niệm Deep learning, nghiên cứu và tìm hiểu

Tuần 5,6
(26-7/11/2020)

Tìm hiểu phân loại vật thể trái cây, tìm hiểu các thiết bị cần
cho hệ thống và thiết kế phần cứng thiết bị

Tuần 7,8,9,10,11
(9/11-12/12)

Tiến hành lập trình cho phần cứng và thiết kế phần

mềm điều khiển trên điện thoại

Tuần 12,13
(14-26/12/2020)

Thiết kế mơ hình sản phẩm
Kiểm tra và chỉnh sửa phần cứng

Tuần 14,15 (28/129/1/2020)

về các phân loại vật thể.

Viết báo cáo, Chạy thử thiết bị hoàn chỉnh, kiểm tra tinh chỉnh
thiết bị

GV HƢỚNG DẪN
(Ký và ghi rõ họ và tên)
iii


LỜI CAM ĐOAN
Đề tài “Thiết kế và thi công mô hình phân loại ba loại trái cây” là do nhóm đề tài
tự thực hiện dựa vào một số tài liệu trƣớc đó và khơng sao chép từ tài liệu hay cơng
trình đã có trƣớc đó.

Ngƣời thực hiện đề tài

Đặng Minh Cảnh

Võ Thành Mỹ

iv


LỜI CẢM ƠN
Lời đầu tiên, nhóm thực hiện đề tài xin bày tỏ lòng biết ơn chân thành đối với
Thầy Nguyễn Duy Thảo – Giảng viên khoa Điện – Điện tử, Trƣờng Đại học Sƣ phạm
Kỹ thuật Tp.HCM trên cƣơng vị là ngƣời hƣớng dẫn đề tài. Trong suốt thời gian thực
hiện đề tài thầy đã theo sát và ân cần hƣớng dẫn chi tiết các bƣớc thực hiện, chỉ ra các
sai sót của nhóm và đƣa ra hƣớng khắc phục cụ thể. Nhờ sự chỉ bảo và hỗ trợ từ Thầy
nhóm mới có thể hồn thiện chỉnh tốt nhất cho đề tài của mình.
Nhóm xin gửi lời cảm ơn đến các quý thầy cô khoa Điện – Điện tử đã giúp đỡ và
tạo điều kiện tốt cho chúng em thực hiện đề tài. Ngoài ra, chúng em cũng cảm ơn các
bạn học ở lớp 16141DT1 cũng nhƣ đã chia sẻ và giúp đỡ chúng em rất nhiều trong đề
tài này.
Xin chân thành cảm ơn!
Ngƣời thực hiện đề tài
Đặng Minh Cảnh

Võ Thành Mỹ

v


MỤC LỤC
NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP .............................................................................ii
LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP ............................................... iii
LỜI CAM ĐOAN ..........................................................................................................iv
LỜI CẢM ƠN ................................................................................................................. v
MỤC LỤC ......................................................................................................................vi

LIỆT KÊ HÌNH .............................................................................................................ix
LIỆT KÊ BẢNG ...........................................................................................................xii
TÓM TẮT ....................................................................................................................xiv
Chƣơng 1: TỔNG QUAN .............................................................................................. 1
1.1

ĐẶT VẤN ĐỀ .................................................................................................... 1

1.2

MỤC TIÊU ......................................................................................................... 2

1.3

NỘI DUNG NGHIÊN CỨU .............................................................................. 2

1.4

GIỚI HẠN .......................................................................................................... 2

1.5

BỐ CỤC ............................................................................................................. 2

Chƣơng 2: CƠ SỞ LÝ THUYẾT .................................................................................. 4
2.1 TỔNG QUAN VỀ XỬ LÝ ẢNH ........................................................................... 4
2.2.1 Giới thiệu về xử lý ảnh .................................................................................... 4
2.2 PHƢƠNG PHÁP DÙNG NOTRON TÍCH CHẬP .............................................. 7
2.2.1 Phƣơng pháp học sâu (Deep Learning) ........................................................... 7
2.2.2 Mơ hình mạng tổng quát mạng nơ-ron ........................................................... 8

2.2.3 Tập dữ liệu huấn luyện .................................................................................... 8
2.2.4 Xây dựng mạng Nơ-tron tích chập............................................................... 10
2.2.5. Ngơn ngữ lập trình Python và thƣ viện Tensorflow .................................... 17
vi


2.3 GIỚI THIỆU PHẦN CỨNG ............................................................................... 18
2.3.1 Giới thiệu raspberry pi 3 B[7] ........................................................................... 18
2.3.2 Giới thiệu Raspberry Pi Camera ....................................................................... 20
2.3.3 Giới thiệu cảm biến vật thể hồng ngoại E18-D80NK ....................................... 22
2.3.4 Giới thiệu đông cơ Servo MG996R .................................................................. 23
2.3.5 Giới thiệu hệ thống băng tải .............................................................................. 23
Chƣơng 3: TÍNH TỐN VÀ THIẾT KẾ HỆ THỐNG ............................................ 25
3.1 GIỚI THIỆU: ....................................................................................................... 25
3.2 TÍNH TỐN VÀ THIẾT KẾ HỆ THỐNG ......................................................... 25
3.2.1 Thiết kế sơ đồ khối hệ thống: ........................................................................ 25
3.2.2. Tính tốn và thiết kế hệ thống:..................................................................... 27
3.2.3. Sơ đồ kết nối toàn mạch ............................................................................... 45
3.3 PHƢƠNG PHÁP PHÂN LOẠI TRÁI CÂY BẰNG MẠNG TÍCH CHẬP CNN
45
Chƣơng 4: THI CÔNG HỆ THỐNG ......................................................................... 47
4.1. GIỚI THIỆU ..................................................................................................... 47
4.2. THI CÔNG HỆ THỐNG .................................................................................... 47
4.2.1. Chuẩn bị phần cứng ..................................................................................... 47
4.2.2. Lắp ráp và kiểm tra ...................................................................................... 48
4.3. ĐÓNG GÓI VÀ THI CƠNG MƠ HÌNH ............................................................ 52
4.3.1. Đóng gói bộ điều khiển ................................................................................ 52
4.3.2. Thi cơng mơ hình ......................................................................................... 53
4.4. LẬP TRÌNH HỆ THỐNG ................................................................................... 54
4.4.1. Lƣu đồ giải thuật .......................................................................................... 54

4.4.2

. Giao diện điều khiển ................................................................................ 60
vii


4.5. VIẾT TÀI LIỆU HƢỚNG DẪN SỬ DỤNG, THAO TÁC ............................... 60
Chƣơng 5: KẾT QUẢ-NHẬN XÉT-ĐÁNH GIÁ ...................................................... 70
5.1. KẾT QUẢ TỔNG QUAN ................................................................................... 70
5.2. KẾT QUẢ ĐẠT ĐƢỢC...................................................................................... 71
5.2.1. Kết quả huấn luyện từ tập cơ sở dữ liệu....................................................... 71
5.2.2. Giao diện hiển thị trên màn hình .................................................................. 72
5.2.3. Kết quả mơ hình thực tế ............................................................................... 73
5.2.4. Kết quả thực nghiệm .................................................................................... 78
5.3. NHẬN XÉT VÀ ĐÁNH GIÁ ............................................................................. 84
5.3.1. Nhận xét kết quả đạt đƣợc............................................................................ 84
5.3.2. Đánh giá kết quả........................................................................................... 85
Chƣơng 6: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN............................................... 86
6.1. KẾT LUẬN ......................................................................................................... 86
6.2. HƢỚNG PHÁT TRIỂN ...................................................................................... 86
TÀI LIỆU THAM KHẢO ........................................................................................... 87

viii


LIỆT KÊ HÌNH
Hình

Trang

Hình 2.1: Các bƣớc cơ bản của xử lý ảnh ....................................................................... 4
Hình 2. 2: Tổng quan về trí tuệ nhân tạo........................................................................ 7
Hình 2.3: Mạng nơ-ron tích chập ................................................................................... 8
Hình 2.4: một số ảnh trong tập cơ sở dữ liệu ................................................................. 9
Hình 2.5: Mơ hình tích chập phân loại trái cây ............................................................ 10
Hình 2.6: Biểu diễn ma trận RGB ................................................................................. 11
Hình 2.7: Ma trận đầu vào và lớp mặt nạ tƣơng tự ...................................................... 12
Hình 2.8: Kết quả của phép tích chập .......................................................................... 13
Hình 2.9: Hồn thành phép tích chập và tạo ra feature map ........................................ 14
Hình 2.10: Tạo ra phân tử đầu tiên khi Stride = 1........................................................ 15
Hình 2.11: Tạo ra phân tử thứ hai khi Stride = 1 ......................................................... 15
Hình 2.12: Tạo ra phân tử đầu tiên khi Stride = 1 và padding = 1............................... 16
Hình 2.13: Ma trận đƣợc tạo ra với lớp max pooling và stride =2 ............................... 16
Hình 2.14: Raspberry Pi 3 model B ............................................................................. 18
Hình 2.15: Camera Pi ................................................................................................... 20
Hình 2.16: Sơ đồ kết nối Camera Pi............................................................................. 21
Hình 2.17: Cảm biến hồng ngoại E18-D80NK ............................................................ 22
Hình 2.18: Servo MG996G .......................................................................................... 23
Hình 2.19: Mơ hình băng tải ........................................................................................ 24
Hình 3.1: Sơ đồ khối hệ thống ...................................................................................... 25
Hình 3.2: Mơ hình kit Raspberry Pi Model B ............................................................... 27
Hình 3.3: Sơ đồ chân Raspberry Pi 3+ .......................................................................... 28
Hình 3.4: Sơ đồ các cổng ngoại vi sử dụng................................................................... 29
Hình 3.5: Sơ đồ bố trí cảm biến trên mơ hình .............................................................. 30
Hình 3.6: Động cơ DC .................................................................................................. 31
Hình 3.7: Băng tải mini ................................................................................................. 32
Hình 3.8: Module relay 5V ............................................................................................ 32
ix

Hình 3.9: Sơ đồ kết nối module relay điều khiển động cơ ............................................ 34
Hình 3.10: Nguyên lý điều chế độ rộng xung của PWM .............................................. 35
Hình 3.11: Module PWM .............................................................................................. 35
Hình 3.12: Kết nối các module điều khiển động cơ băng tải ........................................ 36
Hình 3.13: Servo MG946R ........................................................................................... 37
Hình 3.14: Sơ đồ bố trí servo cùng với cảm biến trên băng tải .................................... 38
Hình 3.15: Kết nối của Camera Raspberry .................................................................. 39
Hình 3.16: Bóng đèn led 3W ........................................................................................ 39
Hình 3.17: Bố trí các thiết bị cho khối chụp ảnh (hƣớng nhìn từ trên xuống) ............. 41
Hình 3.18: Bố trí các thiết bị cho khối chụp ảnh (hƣớng nhìn từ cạnh bên) ................ 42
Hình 3.19: Nguồn Adapter 5V 2.5A cấp cho Raspberry ............................................. 43
Hình 3.20: Nguồn Tổ ong 24V 5A cấp cho băng tải .................................................... 44
Hình 3.21: Nguồn Adapter 5V 3A cấp cho 3 servo ...................................................... 44
Hình 3.22: Sơ đồ nguyên lý tồn mạch ......................................................................... 45
Hình 4.1: Bố trí cảm biến, servo, các luồng phân loại trên băng tải ............................. 49
Hình 4.2: Mặt cạnh của buồng ảnh ............................................................................... 50
Hình 4.3: Module PWM đƣợc gắn trên buồng ảnh ....................................................... 50
Hình 4.4: Bố trí các linh kiện trên trần của buồng ảnh ................................................. 51
Hình 4.5: Cảm biến hồng ngoại trong buồng ảnh ......................................................... 51
Hình 4.6: Đóng gói bộ điều khiển trên buồng ảnh ........................................................ 52
Hình 4.7: Mơ hình hệ thống .......................................................................................... 53
Hình 4.8: Lƣu đồ chƣơng trình chính mơ hình ............................................................. 55
Hình 4.9: Lƣu đồ chƣơng trình con Chụp và lƣu ảnh ................................................... 57
Hình 4.10: Lƣu đồ chƣơng trình con Xử lý và dự đốn ................................................ 58
Hình 4.11: Lƣu đồ chƣơng trình con So sánh và dán nhãn trái cây .............................. 59
Hình 4.12: Giao diện ban đầu........................................................................................ 60
Hình 4.13: Cửa sổ Remote Desktop Connection .......................................................... 61
Hình 4.14: Cửa sổ hiển thị khi nhập đúng địa chỉ IP .................................................... 62
Hình 4.15: Vị trí file chƣơng trình trên Desktop........................................................... 62
Hình 4.16: Giao diện trình biên dịch ............................................................................. 63

x


Hình 4.17: Giao diện điều khiển ban đầu ...................................................................... 64
Hình 4.18: Giao diện hiển thị khi có trái cây đƣa vào .................................................. 65
Hình 4.19: Giao diện hiển thị khi có loại trái cây khác vào .......................................... 65
Hình 4.20: Cần gạt của servo1 mở nhận dạng là táo..................................................... 66
Hình 4.21: Cần gạt của servo2 mở nhận dạng là chanh ................................................ 67
Hình 4.22: Cần gạt của servo3 mở nhận dạng là lê....................................................... 67
Hình 4.23: Sản phẩm khác loại đƣợc chuyển đến cuối băng tải ................................... 68
Hình 4.24: Kết quả sau khi phân loại ............................................................................ 68
Hình 4.25: Trạng thái Stop trong giao diện................................................................... 68
Hình 4.26: Cảnh báo khi thốt giao diện..…………………………………………….69
Hình 5.1: Sơ đồ biểu diễn Model loss ........................................................................... 71
Hình 5.2: Sơ đồ biểu diễn Model accuracy ................................................................... 71
Hình 5.3: Giao diện điều khiển ban đầu ........................................................................ 72
Hình 5.4: Cảnh báo khi thốt giao diện......................................................................... 73
Hình 5.5: Mơ hình hệ thống hồn chỉnh ....................................................................... 74
Hình 5.6: Ngõ vào của trái cây...................................................................................... 75
Hình 5.7: Bộ điều khiển trên buồng ảnh ....................................................................... 76
Hình 5.8: Module PWM gắn bên cạnh buồng ảnh ........................................................ 77
Hình 5.9: Bố trí đèn trong buồng ảnh ........................................................................... 77
Hình 5.10: Táo khi đƣợc băng tải chuyển vào buồng ảnh ............................................ 78
Hình 5.11: Kết quả hiển thị trên giao diện khi táo vào ................................................. 79
Hình 5.12: Táo chuẩn bị đƣợc gạt vào luồng ................................................................ 79
Hình 5.13: Chanh khi đƣợc băng tải chuyển vào buồng ảnh ........................................ 80
Hình 5.14: Kết quả hiển thị trên giao diện khi chanh vào............................................. 80
Hình 5.15: Chanh chuẩn bị đƣợc gạt vào luồng ............................................................ 81
Hình 5.16: Lê khi đƣợc băng tải chuyển vào buồng ảnh .............................................. 81
Hình 5.17: Kết quả hiển thị trên giao diện khi lê vào ................................................... 82

Hình 5.18: Lê chuẩn bị đƣợc gạt vào luồng .................................................................. 82
Hình 5.19: Giao diện hiển thị khi có loại khác vào ....................................................... 83
Hình 5.20: Trái mận đƣợc chuyển đến cuối băng tải .................................................... 83
xi


LIỆT KÊ BẢNG
Bảng

Trang

Bảng 3.1: Thông số kỹ thuật của E18-D80NK ............................................................. 30
Bảng 3.2: Thông số kỹ thuật của động cơ DC .............................................................. 31
Bảng 3.3: Thông số kỹ thuật của module relay 5V ....................................................... 33
Bảng 3.4: Chức năng các chân của module relay 5V .................................................... 33
Bảng 3.5: Thông số kỹ thuật của module PWM ........................................................... 36
Bảng 3.6: Thông số kỹ thuật của Servo......................................................................... 37
Bảng 3.7: Thông số kỹ thuật của đèn led 3W ............................................................... 40
Bảng 4.1: Thông số của các linh kiện đƣợc sử dụng trong mơ hình ............................. 46
Bảng 5.1: Kết quả chạy thực nghiệm ............................................................................ 82

xii


TĨM TẮT

TĨM TẮT
Đề tài “Thiết kế và thi cơng mơ hình phân loại ba loại trái cây” là một mơ hình
dựa trên ứng dụng mạng nơ-ron tích chập để phân loại 3 loại trái cây là táo, chanh và
lê. Hệ thống hoạt động dựa trên q trình trích xuất các đặc trƣng cơ bản từ màu sắc,

hình dạng của từng loại trái cây thơng qua mạng nơ-ron tích chập với tập dữ liệu huấn
luyện tự tạo trên Google Colab. Mô hình mạng nơ-ron tích chập đƣợc triển khai trên kit
Raspberry Pi 3 Model B với ngơn ngữ lập trình Python, thƣ viện hỗ trợ Tensorflow.
Kết quả thực hiện đề tài là một mơ hình có khả năng phân loại đƣợc 3 loại trái cây là
táo, chanh và lê đến các vị trí riêng biệt. Việc điều khiển và giám sát mơ hình đƣợc
thực hiện thơng qua giao diện giao tiếp với ngƣời dùng.

xiv


CHƢƠNG 1. TỔNG QUAN

Chƣơng 1: TỔNG QUAN
1.1 ĐẶT VẤN ĐỀ
Hiện nay, cùng với sự phát triển của nền kinh tế thị trƣờng, ngành chế biến nông
sản của nƣớc ta cũng đang phát triển mạnh mẽ. Trên cơ sở những tiềm năng và chiến
lƣợc phát triển mà Nhà nƣớc đã đề ra, nông sản Việt ngày càng khẳng định đƣợc vị
thế ở cả thị trƣờng trong nƣớc và quốc tế, trở thành một trong những mặt hàng trọng
điểm, chiếm tỉ trọng lớn trong ngành xuất khẩu, đóng góp một phần khơng nhỏ vào
nền kinh tế quốc dân[1].
Với sự ra đời và phổ biến rộng rãi của băng tải công nghiệp, chúng ta gần nhƣ
có thể tối ƣu hóa mọi lĩnh vực, trong đó có việc chế biến và phân loại nơng sản, quá
trình nhận dạng hình ảnh sản phẩm là một trong những dây chuyền quan trọng.
Xử lý ảnh là một lĩnh vực mang tính khoa học và cơng nghệ. Nó là một ngành
khoa học mới mẻ so với nhiều ngành khao học khác nhƣng tốc dộ phát triễn của nó rất
nhanh, kích thích các trung tâm nghiên cứu và ứng dụng[2] đặc biêt là trong lĩnh vực
sản xuất.
Deep Learning là một chi của ngành máy học dựa trên một tập hợp các thuật
tốn để cố gắng mơ hình dữ liệu trừu tƣợng hóa ở mức cao bằng cách sử dụng nhiều
lớp xử lý với cấu trúc phức tạp, hoặc bằng cách khác bao gồm nhiều biến đổi phi tuyến.

Deep Learning đã giúp máy tính thực thi những việc tƣởng chừng nhƣ không thể: phân
loại cả ngàn vật thể khác nhau trong các bức ảnh, tự tạo chú thích cho ảnh, bắt chƣớc
giọng nói và chữ viết của con ngƣời, giao tiếp với con ngƣời, hay thậm chí cả sáng tác
văn, phim, ảnh, âm nhạc[3]. Cùng với công nghệ xử lý ảnh để ứng dụng trong dây
chuyền, kết hợp với dữ liệu hình ảnh cụ thể[4] phân loại nhiều loại sản phẩm thơng
nhiều góc nhìn là hồn tồn có thể.
Từ những khảo sát trên, cùng với các kiến thức đã đƣợc trang bị, nhóm làm đề
tài kiến nghị thực hiện việc thiết kết và thi công một hệ thống phân loại sản phẩm bằng
raspberry[5]. Hệ thống có tên là “Thiết kế và thi cơng mơ hình phân loại ba loại trái
cây” sẽ có chức năng phân loại các loại trái cây thơng qua camera.
BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP – Y SINH

1


CHƢƠNG 1. TỔNG QUAN
1.2 MỤC TIÊU
Mục tiêu của đề tài “Thiết kế và thi cơng mơ hình phân loại ba loại trái cây” là nắm
rõ nguyên lý hoạt động của thiết bị ngoại vi camera, động cơ servo, cảm biến hồng
ngoại. Làm quen và sử dụng phần mềm python trên bộ kit Raspberry, sử dụng có cơng
cụ và thƣ viện hổ trợ xử lý ảnh nhƣ Tensorflow, Keras và Opencv. Thiết kế và thi cơng
mơ hình nhận dạng trái cây theo mơ hình nơ-ron tích chập, sử dụng cơ sở dử liệu có
sẵn để hỗ trợ lập trình nhận dạng.
1.3 NỘI DUNG NGHIÊN CỨU
NỘI DUNG 1: Tìm hiểu phƣơng pháp xử lý hình ảnh nhận diện trái cây.
NỘI DUNG 2: Thiết kế thi cơng mơ hình hệ thống.
NỘI DUNG 3: Viết chƣơng trình xử lý kết hợp với dữ liệu nhận dạng trái cây
bằng ngôn ngữ Python và nhúng xuống kit Raspberry Pi.
NỘI DUNG 4: Hoàn thiện hệ thống điều khiển, mơ hình, tiến hành chạy mẫu.
NỘI DUNG 5: Viết báo cáo thực hiện.

NỘI DUNG 6: Bảo vệ luận án
1.4 GIỚI HẠN
Các thông số giới hạn của đề tài bao gồm:
-

Mơ hình đồ án mang tính chất minh họa, chƣa đạt chuẩn về thông số kĩ thuật

đáp ứng cho thực tế
-

Sử dụng camera kích thƣớc 640x480.

-

Q trình xử lý ảnh sẽ chậm hơn so với thực tế do thiết bị chƣa đạt chuẩn với

thông số kỹ thuật áp dụng trong dây chuyền sản xuất.
-

Trong mơ hình sử dụng 3 loại trái cây chính: Táo, lê và chanh.

1.5 BỐ CỤC
Nội dung đề tài gồm những mục sau:
Chƣơng 1: Tổng quan
Chƣơng 2: Cơ sở lý thuyết
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

2

CHƢƠNG 1. TỔNG QUAN
Chƣơng 3: Thiết kế và tính tốn
Chƣơng 4: Thi công hệ thống
Chƣơng 5: Kết quả-nhận xét-đánh giá
Chƣơng 6: Kết luận và hƣớng phát triển
Nội dung từng chƣơng nhƣ sau:
Chƣơng 1: Tổng quan
Nhóm đề tài đặt vấn đề dẫn nhập, lý do chọn đề tài, mục tiêu, nội dung nghiên
cứu, các giới hạn thông số và bố cục đồ án.
Chƣơng 2: Cơ Sở Lý Thuyết.
Nội dung chƣơng bao gồm lý thuyết cơ bản về xử lý ảnh, giới thiệu về mạng nơron tích chập (CNN), giới thiệu cơ bản về Raspberry Pi, ngơn ngữ lập trình Python và
thƣ viện hỗ trợ Open CV, giới thiệu về cảm biến E18-D80NK, Servo .
Chƣơng 3: Thiết Kế và Tính Tốn
Từ những cơ sở lý thuyết có đƣợc, nhóm đề tài sẽ trình bày về sơ đồ khối, chức
năng từng khối và kết nối của hệ thống.
Chƣơng 4: Thi Công Hệ Thống
Sau khi thực hiện tính tốn và thiết kế, nhóm đề tài sẽ tiến hành thi cơng hệ thống
và trình bày lại q trình thi cơng tại chƣơng này.
Chƣơng 5: Kết Qủa - Nhận Xét - Đánh Giá
Những kết quả đạt đƣợc cùng với những nhận xét, đánh giá về toàn bộ hệ thống
nhóm đề tài sẽ tóm tắt tại Chƣơng 5.
Chƣơng 6: Kết Luận và Hƣớng Phát Triển
Cuối cùng, nhóm xin đƣợc trình bày những kết luận đã đƣợc rút ra trong suốt quá
trình thực hiện đề tài cùng với hƣớng phát triển, cải tiến của đề tài sao cho phù hợp với
thực tế hơn.

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

3

CHƢƠNG 2. CƠ SỞ LÝ THUYẾT

Chƣơng 2: CƠ SỞ LÝ THUYẾT
2.1 TỔNG QUAN VỀ XỬ LÝ ẢNH
2.2.1 Giới thiệu về xử lý ảnh
Xử lý ảnh là một lĩnh vực mang tính khoa học và cơng nghệ. Nó là một ngành
khoa học mới so với nhiều ngành khoa học khác nhƣng tốc độ phát triển của nó rất
nhanh đặc biệt là máy tính chun dụng riêng cho nó.
Xử lý ảnh là kỹ thuật áp dụng trong việc tăng cƣờng và xử lý các ảnh thu nhận từ
các thiết bị nhƣ camera, webcam… Do đó, xử lý ảnh đã đƣợc ứng dụng và phát triển
trong rất nhiều lĩnh vực quan trọng nhƣ:
 Trong lĩnh vực quân sự: xử lý và nhận dạng ảnh quân sự.
 Trong lĩnh vực giao tiếp: nhận dạng ảnh, xử lý âm thanh, đồ họa.
 Trong lĩnh vực an ninh, bảo mật: nhận diện khuôn mặt ngƣời, nhận diện vân
tay, mẫu mắt, …
 Trong lĩnh vực giải trí: trò chơi điện tử.
 Trong lĩnh vực y tế: xử lý ảnh y sinh, chụp X quang, MRI,…
Sau đây, ta sẽ xét các bƣớc cần thiết trong quá trình xử lý ảnh. Đầu tiên, ảnh tự
nhiên từ thế giới bên ngoài đƣợc thu nhận qua các thiết bị thu (nhƣ camera, máy chụp
ảnh). Trƣớc đây, ảnh thu qua camera là các ảnh tƣơng tự (loại camera ống kiểu CCIR).
Gần đây với sự phát triển của công nghệ, ảnh màu hoặc đen trắng đƣợc lấy ra từ
camera, sau đó nó đƣợc chuyển trực tiếp thành ảnh số tạo thuận lợi cho xử lý tiếp theo.
Mặt khác ảnh có thể đƣợc quét từ vệ tinh chụp trực tiếp bằng máy quét ảnh.
THU NHẬN
ẢNH

TIỀN XỬ LÝ
ẢNH

PHÂN ĐOẠN
ẢNH

BIỂU DIỄN VÀ
MÔ TẢ

NHẬN DẠNG
VÀ NỘI SUY

CƠ SỞ TRI THỨC

Hình 2.1: Các bước cơ bản của xử lý ảnh
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

4


CHƢƠNG 2. CƠ SỞ LÝ THUYẾT
 Thu nhận ảnh(Image Acquisition) :
Ảnh có thể nhận qua camera màu hoặc đen trắng. Thƣờng ảnh nhận qua camera là
ảnh tƣơng tự (loại camera ống chuẩn CCIR với tần số 1/25, mỗi ảnh 25 dịng), cũng có
loại camera đã số hóa (nhƣ loại CCD – Change Coupled Device) là loại photodiot tạo
cƣờng độ sáng tại mỗi điểm ảnh.
Camera thƣờng dùng là loại quét dòng, ảnh tạo ra dạng 2 chiều. Chất lƣợng một
ảnh thu nhận đƣợc phụ thuộc vào thiết bị thu, vào môi trƣờng (ánh sáng, phong cảnh).
 Tiền xử lý(Image processing):
Sau bộ thu nhận, ảnh có thể nhiễu độ tƣơng phản thấp nên cần đƣa vào bộ tiền xử
lý để nâng cao chất lƣợng. Chức năng chính của bộ tiền xử lý là lọc nhiễu, nâng độ
tƣơng phản để làm ảnh rõ hơn, nét hơn.
 Phân đoạn(Segmentation) hay phân vùng ảnh:

Phân vùng ảnh là tách một ảnh đầu vào thành các vùng thành phần để biểu diễn
phân tích, nhận dạng ảnh. Ví dụ: để nhận dạng chữ (hoặc mã vạch) trên phong bì thƣ
cho mục đích phân loại bƣu phẩm, cần chia các câu chữ về địa chỉ hoặc tên ngƣời
thành các từ, các chữ, các số (hoặc các vạch) riêng biệt để nhận dạng. Đây là phần
phức tạp khó khăn nhất trong xử lý ảnh và cũng dễ gây lỗi, làm mất độ chính xác của
ảnh. Kết quả nhận dạng phụ thuộc rất nhiều vào công đoạn này.
 Biểu diễn ảnh(Image Representation):
Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh (ảnh đã phân đoạn)
cộng với mã liên kết với các vùng lận cận. Việc biến đổi các số liệu này thành dạng
thích hợp là cần thiết cho xử lý tiếp theo bằng máy tính. Việc chọn các tính chất để thể
hiện ảnh gọi là trích chọn đặc trƣng (Feature Selection) gắn với việc tách các đặc tính
của ảnh dƣới dạng các thông tin định lƣợng hoặc làm cơ sở để phân biệt lớp đối tƣợng
này với đối tƣợng khác trong phạm vi ảnh nhận đƣợc. Ví dụ: trong nhận dạng ký tự
trên phong bì thƣ, chúng ta miêu tả các đặc trƣng của từng ký tự giúp phân biệt ký tự
này với ký tự khác.

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

5


CHƢƠNG 2. CƠ SỞ LÝ THUYẾT
 Nhận dạng và nội suy ảnh(Image Recognition and Interpretation):
Nhận dạng ảnh là quá trình xác định ảnh. Quá trình này thƣờng thu đƣợc bằng
cách so sánh với mẫu chuẩn đã đƣợc học (hoặc lƣu) từ trƣớc. Nội suy là phán đoán
theo ý nghĩa trên cơ sở nhận dạng. Ví dụ: một loạt chữ số và nét gạch ngang trên phong
bì thƣ có thể đƣợc nội suy thành mã điện thoại. Có nhiều cách phân loại ảnh khác nhau
về ảnh. Theo lý thuyết về nhận dạng, các mơ hình tốn học về ảnh đƣợc phân theo hai
loại nhận dạng ảnh cơ bản:
 Nhận dạng theo tham số.

 Nhận dạng theo cấu trúc.
Một số đối tƣợng nhận dạng khá phổ biến hiện nay đang đƣợc áp dụng trong khoa
học và công nghệ là: nhận dạng ký tự (chữ in, chữ viết tay, chữ ký điện tử), nhận dạng
văn bản (Text), nhận dạng vân tay, nhận dạng mã vạch, nhận dạng mặt ngƣời…
 Cơ sở tri thức(Knowledge Base):
Nhƣ đã nói ở trên, ảnh là một đối tƣợng khá phức tạp về đƣờng nét, độ sáng tối,
dung lƣợng điểm ảnh, môi trƣờng để thu ảnh phong phú kéo theo nhiễu. Trong nhiều
khâu xử lý và phân tích ảnh ngồi việc đơn giản hóa các phƣơng pháp tốn học đảm
bảo tiện lợi cho xử lý, ngƣời ta mong muốn bắt chƣớc quy trình tiếp nhận và xử lý ảnh
theo cách của con ngƣời. Trong các bƣớc xử lý đó, nhiều khâu hiện nay đã xử lý theo
các phƣơng pháp trí tuệ con ngƣời. Vì vậy, ở đây các cơ sở tri thức đƣợc phát huy.
 Mô tả:
Ảnh sau khi số hoá sẽ đƣợc lƣu vào bộ nhớ, hoặc chuyển sang các khâu tiếp theo
để phân tích. Nếu lƣu trữ ảnh trực tiếp từ các ảnh thơ, địi hỏi dung lƣợng bộ nhớ cực
lớn và không hiệu quả theo quan điểm ứng dụng và công nghệ. Thông thƣờng, các ảnh
thô đó đƣợc đặc tả (biểu diễn) lại (hay đơn giản là mã hoá) theo các đặc điểm của ảnh
đƣợc gọi là các đặc trƣng ảnh (Image Features) nhƣ: biên ảnh (Boundary), vùng ảnh
(Region).

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

6


CHƢƠNG 2. CƠ SỞ LÝ THUYẾT

2.2 PHƢƠNG PHÁP DÙNG NOTRON TÍCH CHẬP
2.2.1 Phƣơng pháp học sâu (Deep Learning)

Hình 2. 2: Tổng quan về trí tuệ nhân tạo

Các mạng huấn luyện theo phƣơng pháp học sâu còn đƣợc gọi với cái tên khác là mạng
nơ-ron sâu (Deep Neural Network) do cách thức hoạt động của chúng. Về cơ bản, các
mạng này bao gồm rất nhiều lớp khác nhau, mỗi lớp sẽ phân tích dữ liệu đầu vào theo
các khía cạnh khác nhau và theo mức độ trừu tƣợng nâng cao dần.
Cụ thể, với một mạng học sâu cho nhận dạng ảnh, các lớp đầu tiên trong
mạng chỉ làm nhiệm vụ rất đơn giản là tìm kiếm các đƣờng thẳng, đƣờng cong, hoặc
đốm màu trong ảnh đầu vào. Các thông tin này sẽ đƣợc sử dụng làm đầu vào cho các
lớp tiếp theo, với nhiệm vụ khó hơn là từ các đƣờng, các cạnh đó tìm ra các thành
phần của vật thể trong ảnh. Cuối cùng, các lớp cao nhất trong mạng huấn luyện sẽ
nhận nhiệm vụ phát hiện ra vật thể trong ảnh.
Với cách thức học thông tin từ ảnh lần lƣợt qua rất nhiều lớp, nhiều tầng
khác nhau nhƣ vậy, các phƣơng pháp này có thể giúp cho máy tính hiểu đƣợc
những dữ liệu phức tạp bằng nhiều lớp thông tin đơn giản qua từng bƣớc phân tích.
Đó cũng là lý do chúng đƣợc gọi là các phƣơng pháp học sâu.

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

7


CHƢƠNG 2. CƠ SỞ LÝ THUYẾT
2.2.2 Mơ hình mạng tổng qt mạng nơ-ron

Hình 2.3: Mạng nơ-ron tổng qt
Mơ hình tổng quát mạng nơ-ron bao gồm 3 lớp cơ bản: Input layer (lớp đầu vào),
hidden layer (lớp ẩn), output layer (lớp đầu ra). Trong mỗi lớp sẽ chứa các nơ-ron đƣợc
liên kết với các nơ-ron khác ở các lớp gần kề. Mỗi mơ hình ln có một lớp đầu vào và
một lớp đầu ra, có hoặc khơng có các lớp ẩn. Các nơ-ron trong lớp ẩn và lớp đầu ra liên
kết với các nơ-ron ở lớp trƣớc đó với các trọng số w và trong mỗi nơ-ron có hệ số bias
riêng.

Mỗi lớp ẩn đƣợc gọi là fully connected layer (lớp kết nối đầy đủ) theo đúng ý
nghĩa của nó do các nơ-ron đƣợc kết nối với tất cả nơ-ron của lớp trƣớc nhƣ đã nêu
trên. Cả mơ hình đƣợc gọi là fully connected neural network (FCN).
2.2.3 Tập dữ liệu huấn luyện
Về cơ bản, máy học yêu cầu phải có một tập dữ liệu (dataset). Tập dữ liệu này có
thể hiểu là những gì chúng ta muốn cho máy tính “học” và sau khi q trình “học”
hồn tất thì máy tính có thể nhận biết đƣợc đối tƣợng đã “học” trong những hồn cảnh
BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP – Y SINH

8


CHƢƠNG 2. CƠ SỞ LÝ THUYẾT
khác nhau. Do đó, việc chuẩn bị tập dữ liệu huấn luyện là điều quan trọng bậc nhất
trong máy học.
Nhóm thực hiện đề tài đã chuẩn bị một tập dữ liệu huấn luyện theo yêu cầu của
đề tài tƣơng ứng 3 loại trái cây khác nhau: táo, chanh và lê. Tập dữ liệu bao gồm 1346
ảnh, trong đó ảnh táo chiếm 508 ảnh, ảnh chanh chiếm 534 ảnh và ảnh lê chiếm 549
ảnh. Nhƣ đã nói, tập dữ liệu rất quan trọng trong bài tốn phân loại và có ảnh hƣởng tới
việc xây dựng mơ hình mạng nơ-ron sau này nên địi hỏi tập dữ liệu phải đủ tốt. Để
làm đƣợc điều này thì phải tuân thủ theo các yêu cầu sau:
 Số lƣợng dữ liệu: Số lƣợng ảnh huấn luyện phải đủ lớn, tối thiểu phải đạt 50
ảnh cho mỗi loại.
 Cân bằng tập dữ liệu: Số lƣợng ảnh cho mỗi loại phải cân bằng với nhau, duy
trì tỉ lệ 1:2 cho loại có dữ liệu ít nhất với loại có dữ liệu cao nhất.
 Đa dạng tập dữ liệu: Để chắc chắn rằng hình ảnh trong tập dữ liệu sẽ đại diện
cho loại trái cây mà ta muốn trích đặc trƣng và trách nhầm lẫn do phát hiện ra
nhiều điểm chung không cần thiết trong các bức ảnh thì ta cần phải đa dạng tập
dữ liệu bằng cách:
 Chụp ảnh trên nhiều loại nền khác nhau.

 Chụp ảnh trong điều kiện ánh sáng khác nhau.
 Chụp ảnh với đối tƣợng có kích thƣớc khác nhau.
 Thay đổi góc chụp của camera.
 Chụp nhiều chủng loại của loại trái cây đó.

Hình 2.4: một số ảnh trong tập cơ sở dữ liệu
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

9


CHƢƠNG 2. CƠ SỞ LÝ THUYẾT

2.2.4 Xây dựng mạng Nơ-tron tích chập
Mạng nơ-ron tích chập là một thuật tốn Deep Learning có kiến trúc, lấy ý tƣởng
từ chính mơ hình kết nối của các nơ-ron trong bộ não con ngƣời. Chúng có thể nhận
đầu vào là hình ảnh, trích xuất các đặc trƣng trong hình ảnh bằng các trọng số có thể
phân biệt đƣợc các khía cạnh/đối tƣợng khác nhau trong hình ảnh đó. Mơ hình mạng
nơ-ron tích chập đƣợc xây dựng dựa trên đặc tính của tập dữ liệu huấn luyện, đối với
tập dữ liệu của đề tài thì mơ hình dƣới đây đã đƣợc thử nghiệm và hồn tồn phù hợp
để có thể trích xuất đƣợc đặc trƣng của ba loại trái cây cần thiết.

Hình 2.5: Mơ hình tích chập phân loại trái cây
Lớp đầu vào:
Tất cả hình ảnh trong tập dữ liệu huấn luyện là ảnh màu RGB, mỗi hình ảnh sẽ
đƣợc biểu diễn bởi ba ma trận tƣơng ứng với ba màu Red – Green – Blue.

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

10