Ứng dụng xử lý ảnh vào thiết kế và thi công mô hình phân loại trái cây

BỘ GIÁO DỤC & ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
---------------------------------

ĐỒ ÁN TỐT NGHIỆP
NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG

ĐỀ TÀI:

ỨNG DỤNG XỬ LÝ ẢNH VÀO THIẾT KẾ VÀ
THI CÔNG MÔ HÌNH PHÂN LOẠI TRÁI CÂY

GVHD: ThS. Nguyễn Duy Thảo
SVTH: Võ Thanh Duy
Trần Quốc Dưỡng

Tp. Hồ Chí Minh - 7/2020

16141128
16141129


BỘ GIÁO DỤC & ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
---------------------------------

ĐỒ ÁN TỐT NGHIỆP

NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀNTHÔNG
ĐỀ TÀI:

ỨNG DỤNG XỬ LÝ ẢNH VÀO THIẾT KẾ VÀ
THI CƠNG MƠ HÌNH PHÂN LOẠI TRÁI CÂY

GVHD: ThS. Nguyễn Duy Thảo
SVTH: Võ Thanh Duy
Trần Quốc Dưỡng

Tp. Hồ Chí Minh - 7/2020

16141128
16141129


CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

TRƯỜNG ĐH SPKT TP. HỒ CHÍ MINH

KHOA ĐIỆN-ĐIỆN TỬ

ĐỘC LẬP - TỰ DO - HẠNH PHÚC

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

----o0o----

tháng

Tp. HCM, ngày

năm 2020

NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
Họ tên sinh viên:

Võ Thanh Duy
Trần Quốc Dưỡng

MSSV: 16141128
MSSV: 16141129

Chuyên ngành:

Điện tử cơng nghiệp

Mã ngành:

41

Hệ đào tạo:

Đại học chính quy

Mã hệ:

1

Khóa:

2016

Lớp:

16141DT1B

I. TÊN ĐỀ TÀI: ỨNG DỤNG XỬ LÝ ẢNH VÀO THIẾT KẾ VÀ THI CƠNG
MƠ HÌNH PHÂN LOẠI TRÁI CÂY
II. NHIỆM VỤ
1. Các số liệu ban đầu:
Một kit Raspberry Pi 3 model B, một module Camera Pi, hệ thống băng tải, cảm biến
hồng ngoại, động cơ servo. Sản phẩm gồm 3 loại trái cây là táo, chuối và thanh long.
2. Nội dung thực hiện:
Tổng quan về xử lý ảnh; Tìm hiểu phương pháp nhận dạng và phân loại trái cây bằng
mạng nơ-ron tích chập; Tìm hiểu kit Raspberry Pi 3 model B và các linh kiện liên quan; Cài
đặt hệ điều hành và các thư viện cần thiết để viết chương trình; Thiết kế phần cứng cho hệ
thống.
III. NGÀY GIAO NHIỆM VỤ:

10/03/2020

IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 14/07/2020
V. HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN: ThS. Nguyễn Duy Thảo
CÁN BỘ HƯỚNG DẪN

BM. ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

ii

TRƯỜNG ĐH SPKT TP. HỒ CHÍ MINH
KHOA ĐIỆN-ĐIỆN TỬ

CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM
ĐỘC LẬP - TỰ DO - HẠNH PHÚC

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

----o0o----

Tp. HCM, ngày

tháng

năm 2020

LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP
Họ tên sinh viên 1: Võ Thanh Duy
Lớp: 16141DT1B

MSSV: 16141128

Họ tên sinh viên 2: Trần Quốc Dưỡng
Lớp: 16141DT1B

MSSV: 16141129

Tên đề tài: Ứng dụng xử lý ảnh vào thiết kế và thi cơng mơ hình phân loại trái cây
Tuần/ngày

Nội dung

Xác nhận GVHD

Tuần 1

Chọn và tìm hiểu đề tài

Tuần 2

Chọn hướng giải quyết đề tài, chọn vi điều
khiển, ngơn ngữ lập trình

Tuần 3

Tìm hiểu kit Raspberry Pi 3 model B và ngơn
ngữ lập trình Python

Tuần 4-5-6

Tiến hành lập trình phân loại trái cây sử dụng
mạng nơ-ron tích chập

Tuần 7

Hồn chỉnh mơ hình mạng nơ-ron tích chập

Tuần 8-9

Tiến hành viết chương trình điều khiển tồn hệ
thống

Tuần 10-11-12

Tiến hành thi cơng phần cứng và hiệu chỉnh
cho hệ thống hoạt động ổn định

Tuần 13-14

Viết báo cáo hoàn chỉnh

Tuần 15

Hoàn thành nhiệm vụ đồ án
GV HƯỚNG DẪN
(Ký và ghi rõ họ và tên)
iii


LỜI CAM ĐOAN
Đề tài “Ứng dụng xử lý ảnh vào thiết kế và thi cơng mơ hình phân loại trái cây” là
do nhóm đề tài tự thực hiện dựa vào một số tài liệu trước đó và khơng sao chép từ tài
liệu hay cơng trình đã có trước đó.

Người thực hiện đề tài

Võ Thanh Duy

Trần Quốc Dưỡng

iv


LỜI CẢM ƠN
Lời đầu tiên, nhóm thực hiện đề tài xin bày tỏ lòng biết ơn chân thành đối với
Thầy Nguyễn Duy Thảo – Giảng viên khoa Điện – Điện tử, Trường Đại học Sư phạm
Kỹ thuật Tp.HCM trên cương vị là người hướng dẫn đề tài. Trong suốt thời gian thực
hiện đề tài thầy đã theo sát và ân cần hướng dẫn chi tiết các bước thực hiện, chỉ ra các
sai sót của nhóm và đưa ra hướng khắc phục cụ thể. Nhờ sự chỉ bảo và hỗ trợ từ Thầy
nhóm mới có thể hồn thiện chỉnh chu nhất cho đề tài của mình.
Nhóm cũng xin cảm ơn sâu sắc đối với các thầy, cô trong khoa Điện – Điện tử
đã truyền đạt những kiến thức chuyên ngành quý báu, tạo điều kiện cho nhóm nghiên
cứu và thực hiện một cách tốt nhất đề tài này. Quý thầy cô đã cung cấp vô vàng những
kiến thức từ cơ sở, chuyên ngành đến ứng dụng trong thực tế công nghiệp.
Và cuối cùng, nhóm đề tài muốn bày tỏ lịng biết ơn đối với Cha Mẹ, những
người đã luôn động viên nhóm trong mọi hồn cảnh, ln hướng chúng em đi về tương
lai và cũng là nguồn hỗ trợ tài chính trong 4 năm vừa qua.
Thành công của đề tài ngày hơm nay một phần là từ sự đóng góp, hỗ trợ của tất
cả mọi người. Một lần nữa, nhóm xin gởi lời cảm ơn chân thành nhất đến quý thầy cô,
Cha Mẹ đã giúp đỡ trong suốt thời gian vừa qua.
Xin chân thành cảm ơn!
Người thực hiện đề tài
Võ Thanh Duy

Trần Quốc Dưỡng

v

MỤC LỤC

NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP............................................................................ ii
LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP...............................................iii
LỜI CAM ĐOAN........................................................................................................ iv
LỜI CẢM ƠN............................................................................................................... v
MỤC LỤC.................................................................................................................... vi
LIỆT KÊ HÌNH........................................................................................................... ix
LIỆT KÊ BẢNG........................................................................................................ xiii
TĨM TẮT.................................................................................................................. xiv
Chương 1: TỔNG QUAN............................................................................................1
1.1. ĐẶT VẤN ĐỀ.........................................................................................................1
1.2. MỤC TIÊU.............................................................................................................. 2
1.3. NỘI DỤNG NGHIÊN CỨU...................................................................................2
1.4. GIỚI HẠN............................................................................................................... 3
1.5. BỐ CỤC.................................................................................................................. 3
Chương 2: CƠ SỞ LÝ THUYẾT................................................................................5
2.1. TỔNG QUAN VỀ XỬ LÝ ẢNH............................................................................5
2.1.1. Giới thiệu về xử lý ảnh.........................................................................................5
2.1.2. Những vấn đề xử lý ảnh.......................................................................................8
2.2. PHƯƠNG PHÁP PHÂN LOẠI SỬ DỤNG MẠNG NƠ-RON TÍCH CHẬP.......10
2.2.1. Giới thiệu về Trí tuệ nhân tạo............................................................................. 10
2.2.2. Ngơn ngữ lập trình Python và thư viện Tensorflow............................................ 12
vi


2.2.3. Giới thiệu về Google Colaboratory..................................................................... 14
2.2.4. Phân loại 3 loại trái cây sử dụng mạng nơ-ron tích chập....................................14
2.3. GIỚI THIỆU PHẦN CỨNG................................................................................. 24
2.3.1. Raspberry Pi 3 model B...................................................................................... 24

2.3.2. Raspberry Camera Module................................................................................. 27
2.3.3. Cảm biến vật cản hồng ngoại E18-D80NK........................................................ 28
2.3.4. Động cơ servo MG946R..................................................................................... 30
2.3.5. Hệ thống băng tải............................................................................................... 31
Chương 3: TÍNH TỐN VÀ THIẾT KẾ.................................................................. 34
3.1. GIỚI THIỆU.......................................................................................................... 34
3.2. TÍNH TỐN VÀ THIẾT KẾ HỆ THỐNG........................................................... 34
3.2.1. Thiết kế sơ đồ khối hệ thống.............................................................................. 34
3.2.2. Sơ đồ kết nối hệ thống........................................................................................ 36
3.2.3. Sơ đồ kết nối toàn mạch..................................................................................... 54
Chương 4: THI CÔNG HỆ THỐNG........................................................................ 55
4.1. GIỚI THIỆU.......................................................................................................... 55
4.2. THI CÔNG HỆ THỐNG....................................................................................... 55
4.2.1. Chuẩn bị phần cứng............................................................................................ 55
4.2.2. Lắp ráp và kiểm tra............................................................................................. 56
4.3. ĐÓNG GÓI VÀ THI CƠNG MƠ HÌNH............................................................... 60
4.3.1. Đóng gói bộ điều khiển...................................................................................... 60
4.3.2. Thi cơng mơ hình................................................................................................ 61
4.4. LẬP TRÌNH HỆ THỐNG..................................................................................... 62
4.4.1. Lưu đồ giải thuật................................................................................................ 62
vii


4.4.2. Giao diện điều khiển........................................................................................... 69
4.4.3. Giao diện Web.................................................................................................... 69
4.5. VIẾT TÀI LIỆU HƯỚNG DẪN SỬ DỤNG, THAO TÁC................................... 70
Chương 5: KẾT QUẢ-NHẬN XÉT-ĐÁNH GIÁ..................................................... 83
5.1. KẾT QUẢ TỔNG QUAN..................................................................................... 83
5.2. KẾT QUẢ ĐẠT ĐƯỢC........................................................................................ 84
5.2.1. Giao diện hiển thị trên màn hình........................................................................ 84

5.5.2. Giao diện Web.................................................................................................... 85
5.2.3. Kết quả mơ hình thực tế..................................................................................... 88
5.2.4. Kết quả thực nghiệm........................................................................................... 91
5.3. NHẬN XÉT VÀ ĐÁNH GIÁ..............................................................................100
5.3.1. Nhận xét kết quả đạt được................................................................................100
5.3.2. Đánh giá kết quả...............................................................................................101
Chương 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN............................................102
6.1. KẾT LUẬN.........................................................................................................102
6.2. HƯỚNG PHÁT TRIỂN......................................................................................102
TÀI LIỆU THAM KHẢO........................................................................................104
PHỤ LỤC..................................................................................................................105

viii


LIỆT KÊ HÌNH
Hình

Trang

Hình 2.1: Giới thiệu về xử lý ảnh..................................................................................5
Hình 2.2: Các bước cơ bản của xử lý ảnh......................................................................5
Hình 2.3: Các dạng lân cận cơ bản.............................................................................. 10
Hình 2.4: Tổng quan về trí tuệ nhân tạo...................................................................... 11
Hình 2.5: Mạng nơ ron tổng quát................................................................................ 14
Hình 2.6: Một số ảnh trong tập dữ liệu........................................................................ 16
Hình 2.7: Mơ hình mạng nơ ron tích chập phân loại ảnh trái cây................................17
Hình 2.8: Biểu diễn ma trận ảnh RGB......................................................................... 18
Hình 2.9: Ma trận ảnh đầu vào và Filter/Kernel.......................................................... 19
Hình 2.10: Quá trình tạo phần tử đầu tiên trong feature map....................................... 20

Hình 2.11: Hồn thành feature map............................................................................. 20
Hình 2.12: Q trình tính tích chập cho ảnh RGB....................................................... 21
Hình 2.13: Tạo phần tử đầu tiên trong feature map khi stride = 1...............................21
Hình 2.14: Tạo phần tử thứ hai trong feature map khi stride = 1.................................22
Hình 2.15: Tạo phần tử đầu tiên trong feature map khi stride = 1 và padding = 1.......22
Hình 2.16: Ví dụ về max pooling 2x2 kết hợp với stride = 2....................................... 23
Hình 2.17: Khái quát kết quả dự đốn ảnh.................................................................. 23
Hình 2.18: Raspberry Pi 3 model B............................................................................. 24
Hình 2.19: Phần cứng Raspberry Pi 3.......................................................................... 25
Hình 2.20: Raspberry Pi Camera Module.................................................................... 27
Hình 2.21: Sơ đồ khối Raspberry Pi Camera............................................................... 28
Hình 2.22: Cảm biến hồng ngoại E18-D80NK............................................................ 28
Hình 2.23: Động cơ servo MG946R............................................................................ 30
Hình 2.24: Mơ hình băng tải........................................................................................ 31
Hình 3.1: Sơ đồ khối hệ thống..................................................................................... 34
Hình 3.2: Mơ hình kit Raspberry Pi Model B.............................................................. 36
Hình 3.3: Sơ đồ các cổng ngoại vi sử dụng................................................................. 37
ix


Hình 3.4: Sơ đồ bố trí cảm biến trên mơ hình.............................................................. 38
Hình 3.5: Động cơ DC................................................................................................. 39
Hình 3.6: Băng tải mini............................................................................................... 40
Hình 3.7: Module relay 5V.......................................................................................... 40
Hình 3.8: Sơ đồ nguyên lý module relay 5V............................................................... 41
Hình 3.9: Sơ đồ kết nối module relay điều khiển động cơ........................................... 42
Hình 3.10: Nguyên lý điều chế độ rộng xung của PWM............................................. 43
Hình 3.11: Module PWM............................................................................................ 43
Hình 3. 12: Sơ đồ nguyên lý mạch điều khiển tốc độ dùng ic555................................ 44
Hình 3.13: Kết nối các module điều khiển động cơ băng tải.......................................45

Hình 3.14: Servo MG946R.......................................................................................... 46
Hình 3.15: Sơ đồ bố trí servo cùng với cảm biến trên băng tải.................................... 47
Hình 3.16: Kết nối của Camera Raspberry.................................................................. 48
Hình 3.17: Bóng đèn led 3W....................................................................................... 48
Hình 3.18: Bố trí các thiết bị cho khối chụp ảnh (hướng nhìn từ trên xuống)..............50
Hình 3.19: Bố trí các thiết bị cho khối chụp ảnh (hướng nhìn từ cạnh bên)................51
Hình 3.20: Nguồn Adapter 5V 2.5A cấp cho Raspberry.............................................. 52
Hình 3.21: Nguồn Tổ ong 24V 5A cấp cho băng tải.................................................... 53
Hình 3.22: Nguồn Adapter 5V 3A cấp cho 3 servo...................................................... 53
Hình 3.23: Sơ đồ kết nối tồn mạch............................................................................ 54
Hình 4.1: Bố trí cảm biến, servo, các luồng phân loại trên băng tải............................57
Hình 4.2: Mặt cạnh của buồng ảnh.............................................................................. 58
Hình 4.3: Module PWM được gắn trên buồng ảnh...................................................... 58
Hình 4.4: Bố trí các linh kiện trên trần của buồng ảnh................................................ 59
Hình 4.5: Cảm biến hồng ngoại trong buồng ảnh........................................................ 59
Hình 4.6: Đóng gói bộ điều khiển trên buồng ảnh....................................................... 60
Hình 4.7: Mơ hình hệ thống......................................................................................... 61
Hình 4.8: Lưu đồ chương trình chính mơ hình............................................................ 63
Hình 4.9: Lưu đồ chương trình con Chụp và lưu ảnh.................................................. 65
Hình 4.10: Lưu đồ chương trình con Xử lý và dự đoán............................................... 66
x


Hình 4.11: Lưu đồ chương trình con So sánh và dán nhãn trái cây.............................68
Hình 4.12: Giao diện ban đầu...................................................................................... 69
Hình 4.13: Giao diện web............................................................................................ 70
Hình 4.14: Cửa sổ Remote Desktop Connection......................................................... 71
Hình 4.15: Cửa sổ hiển thị khi nhập đúng địa chỉ IP................................................... 71
Hình 4.16: Vị trí file chương trình trên Desktop.......................................................... 72
Hình 4.17: Giao diện trình biên dịch........................................................................... 73

Hình 4.18: Giao diện điều khiển ban đầu.................................................................... 74
Hình 4.19: Giao diện hiển thị khi có trái cây đưa vào................................................. 75
Hình 4.20: Giao diện hiển thị khi có loại trái cây khác vào......................................... 76
Hình 4.21: Cần gạt của servo1 mở nhận dạng là táo.................................................... 77
Hình 4.22: Cần gạt của servo2 mở nhận dạng là chuối................................................ 77
Hình 4.23: Cần gạt của servo3 mở nhận dạng là thanh long........................................ 78
Hình 4.24: Sản phẩm khác loại được chuyển đến cuối băng tải..................................78
Hình 4.25: Kết quả sau khi phân loại........................................................................... 79
Hình 4.26: Dữ liệu được lưu trữ trên Firebase............................................................. 80
Hình 4.27: Cửa sổ đăng nhập vào web........................................................................ 80
Hình 4.28: Giao diện web hiển thị............................................................................... 81
Hình 4.29: Trạng thái Stop trong giao diện.................................................................. 81
Hình 4.30: Cảnh báo khi thốt giao diện..................................................................... 82
Hình 5.1: Giao diện điều khiển ban đầu...................................................................... 84
Hình 5.2: Cảnh báo khi thốt giao diện....................................................................... 85
Hình 5.3: Dữ liệu được lưu trữ trên Firebase............................................................... 85
Hình 5.4: Cửa sổ đăng nhập vào web.......................................................................... 86
Hình 5.5: Giao diện web hiển thị................................................................................. 87
Hình 5.6: Mơ hình hệ thống hồn chỉnh...................................................................... 88
Hình 5.7: Ngõ vào của trái cây.................................................................................... 89
Hình 5.8: Bộ điều khiển trên buồng ảnh...................................................................... 89
Hình 5.9: Module PWM gắn bên cạnh buồng ảnh....................................................... 90
Hình 5.10: Bố trí đèn trong buồng ảnh........................................................................ 90
xi


Hình 5.11: Táo khi được băng tải chuyển vào buồng ảnh............................................ 91
Hình 5.12: Kết quả hiển thị trên giao diện khi táo vào................................................ 92
Hình 5.13: Táo chuẩn bị được gạt vào luồng............................................................... 93
Hình 5.14: Chuối khi được băng tải chuyển vào buồng ảnh........................................ 93

Hình 5.15: Kết quả hiển thị trên giao diện khi chuối vào............................................ 94
Hình 5.16: Chuối chuẩn bị được gạt vào luồng........................................................... 95
Hình 5.17: Thanh long khi được băng tải chuyển vào buồng ảnh................................ 95
Hình 5.18: Kết quả hiển thị trên giao diện khi thanh long vào....................................96
Hình 5.19: Thanh long chuẩn bị được gạt vào luồng................................................... 97
Hình 5.20: Giao diện hiển thị khi có loại khác vào...................................................... 98
Hình 5.21: Trái thứ 4 (măng cụt) được chuyển đến cuối băng tải................................ 98
Hình 5.22: Kết quả phân loại....................................................................................... 99

xii


LIỆT KÊ BẢNG
Bảng

Trang

Bảng 2.1: Sơ đồ chân của cảm biến hồng ngoại.......................................................... 29
Bảng 2.2: Sơ đồ chân servo......................................................................................... 31
Bảng 2.3: Thông số kỹ thuật động cơ giảm tốc............................................................ 32
Bảng 3.1: Thông số kỹ thuật của E18-D80NK............................................................ 38
Bảng 3.2: Thông số kỹ thuật của động cơ DC............................................................. 39
Bảng 3.3: Thông số kỹ thuật của module relay 5V...................................................... 41
Bảng 3.4: Chức năng các chân của module relay 5V................................................... 41
Bảng 3.5: Thông số kỹ thuật của module PWM.......................................................... 45
Bảng 3.6: Thông số kỹ thuật của Servo....................................................................... 46
Bảng 3.7: Thông số kỹ thuật của đèn led 3W.............................................................. 49
Bảng 4.1: Thông số của các linh kiện được sử dụng trong mơ hình............................55
Bảng 5.1: Kết quả chạy thực nghiệm........................................................................... 99

xiii


TÓM TẮT
Đề tài “Ứng dụng xử lý ảnh vào thiết kế và thi cơng mơ hình phân loại trái cây” là
một mơ hình dựa trên ứng dụng mạng nơ-ron tích chập để phân loại 3 loại trái cây là
táo, chuối và thanh long. Hệ thống hoạt động dựa trên quá trình trích xuất các đặc
trưng cơ bản từ màu sắc, hình dạng của từng loại trái cây thơng qua mạng nơ-ron tích
chập với tập dữ liệu huấn luyện tự tạo. Mơ hình mạng nơ-ron tích chập được triển khai
trên kit Raspberry Pi 3 Model B với ngơn ngữ lập trình Python, thư viện hỗ trợ
Tensorflow. Kết quả thực hiện đề tài là một mơ hình có khả năng phân loại được 3 loại
trái cây là táo, chuối và thanh long đến các vị trí riêng biệt. Việc điều khiển và giám sát
mơ hình được thực hiện qua giao diện giao tiếp với người dùng. Dữ liệu phân loại được
lưu trong cơ sở dữ liệu và có thể truy cập qua web.

xiv


CHƯƠNG 1. TỔNG QUAN

Chương 1: TỔNG QUAN
1.1. ĐẶT VẤN ĐỀ
Việt Nam là quốc gia có nền nơng nghiệp chiếm tỉ trọng lớn nhất trong cơ cấu kinh
tế, ngoài lúa gạo thì trái cây Việt Nam rất được ưa chuộng trên thế giới. Trái cây Việt Nam
đã có mặt ở 170 quốc gia trên thế giới và vùng lãnh thổ. Năm 2018, kim ngạch xuất nhập
khẩu của ngành rau quả đạt hơn 3,8 tỷ USD, trong đó kim ngạch xuất khẩu trái cây đạt
3,13 tỷ USD, chiếm 82,05% tổng kim ngạch xuất khẩu rau quả. Theo tổ chức Lương thực
và Nông nghiệp Liên Hiệp Quốc (FAO), nước ta là một trong các quốc gia có diện tích và
sản lượng trồng cây ăn quả nhiệt đới dẫn đầu ở châu Á. Theo thống kê, diện tích trồng cây
ăn quả là 1 triệu hecta, với tổng sản lượng gần 8 triệu tấn năm 2018.

Với sản lượng trái cây lớn như trên, các nhà máy chế biến và đóng gói trái cây
hoạt động với nhiều dây chuyền khác nhau, việc xác định loại trái cây đúng với dây
chuyền của chúng bằng cách sử dụng con người đang tồn tại nhiều nhược điểm. Sai sót
của con người và chi phí nhân cơng cao làm ảnh hưởng đến năng suất và doanh thu của
doanh nghiệp.
Nhu cầu ứng dụng công nghệ vào khâu phân loại trong các dây chuyền sản xuất
hiện nay là rất cao và cần thiết, hai cơng nghệ đang rất phát triển và hồn tồn phù hợp
cho lĩnh vực này đó là xử lý ảnh và máy học. Xử lý ảnh đã có từ rất lâu và đã được vận
dụng trong lĩnh vực như dân sự, quân sự, y tế và nhiều lĩnh vực khác [1], đây là một
lĩnh vực mang tính khoa học và cơng nghệ có tốc độ phát triển rất nhanh trong những
năm gần đây và là một mảng quan trọng bậc nhất của thị giác máy tính (Computer
Vision). Máy học (Machine Learning) là một hướng nghiên cứu trong lĩnh vực trí tuệ
nhân tạo (Artificial Intelligence) với mục đích tạo ra các hệ thống có khả năng “học”
mà khơng cần phải lập trình cụ thể. Trong máy học có một cơng cụ cực kỳ quan trọng
đó là mạng nơ-ron (neural network), nó có cấu trúc dựa trên ý tưởng mạng nơ-ron
trong hệ thần kinh con người và đang trở thành một cơng cụ rất mạnh mẽ trong nhiều
bài tốn như nhận dạng ảnh, giọng nói…
Hiện nay đã có nhiều nghiên cứu liên quan đến lĩnh vực này có thể kể đến như
Trương Quốc Bảo - Võ Thành Lâm - Võ Văn Phúc - Trương Quốc Định với đề tài “Phát

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

1


CHƯƠNG 1. TỔNG QUAN
triển thuật toán xử lý ảnh và máy học để nhận dạng khiếm khuyết trên bề mặt gạch
men” [5], trong sự kiện Kỷ yếu Hội nghị Khoa học Quốc gia lần thứ IX “Nghiên cứu
cơ bản và ứng dụng Công nghệ thông tin”, đây là một đề tài mang tính ứng dụng trong

cơng nghiệp giúp phát hiện lỗi trên gạch men và được đánh giá cao khi sử dụng hai
công nghệ tiên tiến rất phát triển hiện nay là xử lý ảnh và máy học. Tiếp theo là
Nguyễn Hiền Minh - Phan Thanh Phong với đề tài “Ứng dụng xử lý ảnh trong hệ thống
phân loại sản phẩm” [4], Đồ án tốt nghiệp trường Đại học Sư Phạm Kỹ thuật Tp.
HCM, đề tài đã sử dụng kit Raspberry và Arduino để phân loại các sản phẩm theo màu
sắc. Mơ hình trên rất thiết thực và mang lại hiệu quả nếu áp dụng vào thực tế.
Từ những dẫn chứng dựa vào nhu cầu thực tế trên, nhóm thực hiện đề tài kiến
nghị thiết kế một hệ thống có tên “Ứng dụng xử lý ảnh vào thiết kế và thi cơng mơ
hình phân loại trái cây” mơ hình có chức năng nhận dạng và phân loại 3 loại trái cây là
táo, chuối và thanh long, đồng thời có thể giao tiếp với người dùng thông qua giao diện
điều khiển giám sát.

1.2. MỤC TIÊU
Mục tiêu của đề tài “Ứng dụng xử lý ảnh vào thiết kế và thi công mô hình phân
loại trái cây” là nắm rõ nguyên lý hoạt động của camera, cảm biến hồng ngoại, làm
quen với ngôn ngữ lập trình Python, thành thạo khi thao tác trên kit Raspberry, sử dụng
các thư viện hỗ trợ về máy học và xử lý ảnh như Tensorflow và OpenCV. Thiết kế và
thi cơng mơ hình phân loại trái cây theo chủng loại ứng dụng xử lý ảnh kết hợp máy
học để nhận dạng trái cây dựa trên mạng nơ-ron tích chập, xây dựng giao diện điều
khiển và giao tiếp với người dùng trên kit Raspberry Pi. Lưu trữ dữ liệu phân loại trên
cơ sở dữ liệu và có thể truy cập qua web.

1.3. NỘI DỤNG NGHIÊN CỨU
Trong quá trình thực hiện Đồ án tốt nghiệp với đề tài “Ứng dụng xử lý ảnh vào
thiết kế và thi cơng mơ hình phân loại trái cây”, nhóm đề tài sẽ tập trung giải quyết và
hoàn thành được những nội dung sau:
NỘI DUNG 1: Cài đặt hệ điều hành cho Raspberry Pi, giao tiếp với máy tính để
truy cập vào hệ điều hành của Raspberry Pi.

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

2


CHƯƠNG 1. TỔNG QUAN
NỘI DUNG 2: Kết nối các thiết bị ngoại vi (relay, buzzer, quạt, cảm biến, servo,
PWM) trên GPIO của Raspberry Pi.
NỘI DUNG 3: Kết nối và giao tiếp module camera với Raspberry Pi.
NỘI DUNG 4: Viết chương trình điều khiển hệ thống và chương trình tạo giao
diện.
NỘI DUNG 5: Viết chương trình xử lý hình ảnh để nhận dạng các loại trái cây cụ

thể.
NỘI DUNG 6: Nghiên cứu về buồng ảnh và thiết kế buồng ảnh.
NỘI DUNG 7: Kết hợp, thiết kế tồn bộ mơ hình hệ thống.
NỘI DUNG 8: Chạy thử nghiệm và hiệu chỉnh hệ thống.
NỘI DUNG 9: Viết báo cáo thực hiện.
NỘI DUNG 10: Bảo vệ đồ án tốt nghiệp.

1.4. GIỚI HẠN
Đề tài “Ứng dụng xử lý ảnh vào thiết kế và thi công mơ hình phân loại trái
cây” có những giới hạn là:
 Phân loại cho 3 loại trái cây: táo, chuối, thanh long.
 Sử dụng động cơ DC để hoạt động băng tải.
 Dùng kit Raspberry Pi 3 model B để triển khai mơ hình mạng nơ-ron tích chập
vào phân loại hình ảnh.
 Tốc độ phân loại chậm, mơ hình phân loại tuần tự cho mỗi sản phẩm.
 Cơ cấu phân loại sử dụng servo để tác động.
 Sử dụng camera có độ phân giải 5MP.
 Giám sát và điều khiển thông qua giao diện.

 Lưu trữ dữ liệu trên cơ sở dữ liệu, có thể truy cập bằng web.

1.5. BỐ CỤC
Nội dung đề tài gồm những phần sau:
Chương 1: Tổng quan
 Đặt vấn đề
 Mục tiêu

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

3


CHƯƠNG 1. TỔNG QUAN
 Nội dung nghiên cứu
 Giới hạn
 Bố cục
Chương 2: Cơ sở lý thuyết
 Tổng quan về xử lý ảnh
 Phương pháp phân loại trái cây sử dụng mạng nơ rơn tích chập

Chương 3: Thiết kế và tính tốn
 Giới thiệu
 Tính tốn và thiết kế hệ thống
Chương 4: Thi công hệ thống
 Giới thiệu
 Thi công hệ thống
 Đóng gói và thi cơng mơ hình
 Lập trình hệ thống
 Viết tài liệu hướng dẫn sử dụng, thao tác

Chương 5: Kết quả-nhận xét-đánh giá
 Kết quả tổng quan
 Kết quả đạt được
 Nhận xét và đánh giá kết quả đạt được
Chương 6: Kết luận và hướng phát triển
 Kết luận
 Hướng phát triển

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

4


CHƯƠNG 2. CƠ SỞ LÝ THUYẾT

Chương 2: CƠ SỞ LÝ THUYẾT
2.1. TỔNG QUAN VỀ XỬ LÝ ẢNH
2.1.1. Giới thiệu về xử lý ảnh
Xử lý ảnh là một phân ngành trong xử lý số tín hiệu với tín hiệu xử lý là ảnh để
có được hình ảnh tốt hơn hay để trích xuất một số thơng tin từ hình ảnh đầu vào. Đây là
một phân ngành khoa học mới rất phát triển trong những năm gần đây. Các phương
pháp xử lý ảnh bắt đầu từ những ứng dụng nhằm nâng cao chất lượng ảnh do hạn chế
về phần cứng. Nhưng về sau này, nhờ sự phát triển của khoa học máy tính đã tạo điều
kiện cho xử lý ảnh phát triển mạnh và được ứng dụng nhiều trong các lĩnh vực như trí
tuệ nhân tạo, tự động hóa, hình ảnh y sinh…Xử lý ảnh gồm 4 lĩnh vực chính: xử lý
nâng cao chất lượng ảnh, nhận dạng ảnh, nén ảnh và truy vấn ảnh. Trong đề tài này sẽ
tập trung tìm hiểu về mảng nhận dạng ảnh.
ẢNH TỐT HƠN

ẢNH ĐẦU VÀO

XỬ LÝ ẢNH

KẾT LUẬN

Hình 2.1: Giới thiệu về xử lý ảnh

THU NHẬN

TIỀN XỬ LÝ

PHÂN ĐOẠN

BIỂU DIỄN VÀ

NHẬN DẠNG

ẢNH

ẢNH

ẢNH

MÔ TẢ

VÀ NỘI SUY

CƠ SỞ TRI THỨC

Hình 2.2: Các bước cơ bản của xử lý ảnh

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

5


CHƯƠNG 2. CƠ SỞ LÝ THUYẾT
 Thu nhận ảnh [2]:
Ảnh có thể nhận qua camera màu hoặc đen trắng. Thường ảnh nhận qua camera là
ảnh tương tự (loại camera ống chuẩn CCIR với tần số 1/25, mỗi ảnh 25 dòng), cũng có
loại camera đã số hóa (như loại CCD – Change Coupled Device) là loại photodiot tạo
cường độ sáng tại mỗi điểm ảnh.
Camera thường dùng là loại quét dòng, ảnh tạo ra dạng 2 chiều. Chất lượng một
ảnh thu nhận được phụ thuộc vào thiết bị thu, vào môi trường (ánh sáng, phong cảnh).
 Tiền xử lý [2]:
Sau bộ thu nhận, ảnh có thể nhiễu độ tương phản thấp nên cần đưa vào bộ tiền xử
lý để nâng cao chất lượng. Chức năng chính của bộ tiền xử lý là lọc nhiễu, nâng độ
tương phản để làm ảnh rõ hơn, nét hơn.
 Phân đoạn hay phân vùng ảnh [2]:
Phân vùng ảnh là tách một ảnh đầu vào thành các vùng thành phần để biểu diễn
phân tích, nhận dạng ảnh. Ví dụ: để nhận dạng chữ (hoặc mã vạch) trên phong bì thư
cho mục đích phân loại bưu phẩm, cần chia các câu chữ về địa chỉ hoặc tên người
thành các từ, các chữ, các số (hoặc các vạch) riêng biệt để nhận dạng. Đây là phần
phức tạp khó khăn nhất trong xử lý ảnh và cũng dễ gây lỗi, làm mất độ chính xác của
ảnh. Kết quả nhận dạng phụ thuộc rất nhiều vào công đoạn này.
 Biểu diễn ảnh [2]:
Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh (ảnh đã phân đoạn)
cộng với mã liên kết với các vùng lận cận. Việc biến đổi các số liệu này thành dạng
thích hợp là cần thiết cho xử lý tiếp theo bằng máy tính. Việc chọn các tính chất để thể
hiện ảnh gọi là trích chọn đặc trưng (Feature Selection) gắn với việc tách các đặc tính

của ảnh dưới dạng các thông tin định lượng hoặc làm cơ sở để phân biệt lớp đối tượng
này với đối tượng khác trong phạm vi ảnh nhận được. Ví dụ: trong nhận dạng ký tự
trên phong bì thư, chúng ta miêu tả các đặc trưng của từng ký tự giúp phân biệt ký tự
này với ký tự khác.

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

6


CHƯƠNG 2. CƠ SỞ LÝ THUYẾT
 Nhận dạng và nội suy ảnh [2]:
Nhận dạng ảnh là quá trình xác định ảnh. Quá trình này thường thu được bằng
cách so sánh với mẫu chuẩn đã được học (hoặc lưu) từ trước. Nội suy là phán đoán
theo ý nghĩa trên cơ sở nhận dạng. Ví dụ: một loạt chữ số và nét gạch ngang trên phong
bì thư có thể được nội suy thành mã điện thoại. Có nhiều cách phân loại ảnh khác nhau
về ảnh. Theo lý thuyết về nhận dạng, các mơ hình tốn học về ảnh được phân theo hai
loại nhận dạng ảnh cơ bản:
 Nhận dạng theo tham số.
 Nhận dạng theo cấu trúc.

Một số đối tượng nhận dạng khá phổ biến hiện nay đang được áp dụng trong khoa
học và công nghệ là: nhận dạng ký tự (chữ in, chữ viết tay, chữ ký điện tử), nhận dạng
văn bản (Text), nhận dạng vân tay, nhận dạng mã vạch, nhận dạng mặt người…
 Cơ sở tri thức [2]:
Như đã nói ở trên, ảnh là một đối tượng khá phức tạp về đường nét, độ sáng tối,
dung lượng điểm ảnh, môi trường để thu ảnh phong phú kéo theo nhiễu. Trong nhiều
khâu xử lý và phân tích ảnh ngồi việc đơn giản hóa các phương pháp tốn học đảm
bảo tiện lợi cho xử lý, người ta mong muốn bắt chước quy trình tiếp nhận và xử lý ảnh
theo cách của con người. Trong các bước xử lý đó, nhiều khâu hiện nay đã xử lý theo

các phương pháp trí tuệ con người. Vì vậy, ở đây các cơ sở tri thức được phát huy.
 Mô tả [2]:
Ảnh sau khi số hoá sẽ được lưu vào bộ nhớ, hoặc chuyển sang các khâu tiếp theo để
phân tích. Nếu lưu trữ ảnh trực tiếp từ các ảnh thơ, địi hỏi dung lượng bộ nhớ cực lớn và
không hiệu quả theo quan điểm ứng dụng và công nghệ. Thông thường, các ảnh thô đó
được đặc tả (biểu diễn) lại (hay đơn giản là mã hoá) theo các đặc điểm của ảnh được gọi là
các đặc trưng ảnh (Image Features) như: biên ảnh (Boundary), vùng ảnh (Region).

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

7


CHƯƠNG 2. CƠ SỞ LÝ THUYẾT

2.1.2. Những vấn đề xử lý ảnh
2.1.2.1. Điểm ảnh [2]
Gốc của ảnh (ảnh tự nhiên) là ảnh liên tục về không gian và độ sáng. Để xử lý
bằng máy tính (số), ảnh cần phải được số hoá. Số hoá ảnh là sự biến đổi gần đúng một
ảnh liên tục thành một tập điểm phù hợp với ảnh thật về vị trí (khơng gian) và độ sáng
(mức xám). Khoảng cách giữa các điểm ảnh đó được thiết lập sao cho mắt người không
phân biệt được ranh giới giữa chúng. Mỗi một điểm như vậy gọi là điểm ảnh (PEL:
Picture Element) hay gọi tắt là Pixel. Trong khuôn khổ ảnh hai chiều, mỗi pixel ứng
với cặp tọa độ (x, y).
Điểm ảnh (Pixel) là một phần tử của ảnh số tại toạ độ (x, y) với độ xám hoặc màu
nhất định. Kích thước và khoảng cách giữa các điểm ảnh đó được chọn thích hợp sao
cho mắt người cảm nhận sự liên tục về không gian và mức xám (hoặc màu) của ảnh số
gần như ảnh thật. Mỗi phần tử trong ma trận được gọi là một phần tử ảnh.
Ảnh số: là tập hợp các điểm ảnh với mức xám phù hợp dùng để mô tả ảnh gần với
ảnh thật.

2.1.2.2. Độ phân giải ảnh [2]
Độ phân giải (Resolution) của ảnh là mật độ điểm ảnh được ấn định trên một ảnh
số được hiển thị. Theo định nghĩa, khoảng cách giữa các điểm ảnh phải được chọn sao
cho mắt người vẫn thấy được sự liên tục của ảnh. Việc lựa chọn khoảng cách thích hợp
tạo nên một mật độ phân bổ, đó chính là độ phân giải và được phân bố theo trục x và y
trong không gian hai chiều.
2.1.2.3. Phân loại ảnh [1]
Có 2 dạng quan trọng trong ảnh số được dùng với nhiều mục đích khác nhau là
ảnh màu và ảnh đen trắng (hay còn gọi là ảnh xám). Trong đó, ảnh màu được cấu trúc
từ các pixel màu trong khi ảnh đen trắng được xây dựng từ các pixel có giá trị mức
xám khác nhau.
Ảnh đen trắng: với một ảnh đen trắng được xây dựng từ nhiều pixel mà tại đó biểu
diễn một giá trị nhất định tương ứng với một mức xám. Những mức xám này trải dài trong
một khoảng từ đen sang trắng với bước nhảy rất mịn, thông thường là 256 mức xám khác
nhau theo tiêu chuẩn. Do mắt người chỉ có thể phân biệt một cách rõ ràng với

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

8


CHƯƠNG 2. CƠ SỞ LÝ THUYẾT
khoảng 200 mức xám khác nhau nên vì thế hồn tồn có thể nhận xét sự thay đổi liên
tục các mức xám.
Ảnh màu: một ảnh màu thường được tạo thành từ nhiều pixel mà trong đó mỗi pixel được biểu
diễn bởi ba giá trị tương ứng với các mức trong các kênh màu đỏ (Red), xanh lá (Green) và xanh
dương (Blue) tại một vị trí cụ thể. Các kênh màu Red, Green và Blue (trong không gian màu RGB) là
những màu cơ bản8 mà từ đó có thể tạo ra các màu khác nhau bằng phương pháp pha trộn. Với việc
chuẩn hóa 256 (2 8) mức
cho từng kênh màu chính, từ đó có thể thấy một pixel màu có thể biểu diễn

3
được một trong (2 ) = 16777216 màu khác nhau. Từ đó có thể thấy rằng với 1 pixel thì chỉ cần 1
byte cho việc lưu trữ đối với ảnh đen trắng và 3 bytes đối với ảnh màu. Vì thế với cùng một ảnh có
kích thước nhất định, dung lượng của ảnh màu lưu trên bộ nhớ luôn lớn hơn gấp ba lần dung lượng
dành cho ảnh đen trắng trong trường hợp không sử dụng các kỹ thuật nén ảnh.

Ảnh nhị phân: chỉ sử dụng duy nhất một bit để biểu diễn một pixel. Do một bit
chỉ có thể xác lập hai trạng thái là đóng và mở hay 1 và 0 tương ứng với hai màu là đen
và trắng. Do đặc tương trên mà ảnh nhị phân ít khi đƣợc sử dụng trong thực tế.
Ảnh chỉ số (indexed): một vài ảnh màu (hay đen trắng) được tạo thành từ một
bảng màu có sẵn bị giới hạn, điển hình thường dùng là tập 256 màu khác nhau. Những
ảnh này được gọi là ảnh màu chỉ số hóa (indexed) do dữ liệu dành cho mỗi pixel bao
gồm chỉ số có sẵn chỉ rõ màu trong tập có sẵn ứng với pixel đang xem xét.
2.1.2.4. Quan hệ giữa các điểm ảnh [1]
Với một điểm ảnh p tại tọa độ (x, y), ln có 4 điểm ảnh xung quanh theo phương
ngang và dọc với tọa độ được xác định cụ thể sau:
(x +1, y), (x −1, y), (x, y +1), (x, y −1)
Tập các điểm ảnh này được gọi là lân cận 4 của p, gọi tắt là N4(p). Ngoài ra, một
dạng lân cận nữa là theo đường chéo được gọi tắt là ND(p) với các tọa độ được cho sau:

(x +1, y +1), (x +1, y −1), (x −1, y +1), (x −1, y −1)

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

9


CHƯƠNG 2. CƠ SỞ LÝ THUYẾT
Kết hợp hai dạng lân cận này thì chúng ta có dạng lân cận 8 điểm ảnh, gọi tắt là
N8(p). Lưu ý nhỏ là những khái niệm này không áp dụng cho các đường biên của ảnh.

Quan sát mơ tả ở hình dưới để hiểu rõ hơn về các dạng lân cận này.

Hình 2.3: Các dạng lân cận cơ bản
Gọi V là tập các giá trị mức xám dùng để xác định sự liền kề. Với ảnh nhị phân,
V= {1} nếu chúng ta muốn xét sự liền kề của những điểm ảnh có giá trị là 1. Với ảnh
đen trắng, gọi tắt là ảnh xám, có thể là tập các giá trị mong muốn. Chẳng hạn, giá trị có
thể có trong ảnh xám nằm trong khoảng [0, 255], do đó V có thể là nhiều tập con chứa
256 giá trị mức xám. Ta xét ba dạng liền kề sau:
(a) Liền kề 4: Hai điểm ảnh p và q với giá trị nằm trong tập V thuộc liền kề 4 nếu
q nằm trong tập N4(p).
(b) Liền kề 8: Hai điểm ảnh p và q với giá trị nằm trong tập V thuộc liền kề 8 nếu
q nằm trong tập N8(p).
(c) Liền kề m (liền kề hỗn hợp): Hai điểm ảnh p và q với giá trị nằm trong tập V,
thuộc liền kề m nếu: q nằm trong tập N4(p) hoặc q nằm trong tập ND(p) và
N4(p)∩N4(q) không tồn tại bất kỳ điểm ảnh nào thuộc tập V.

2.2. PHƯƠNG PHÁP PHÂN LOẠI SỬ DỤNG MẠNG NƠ-RON TÍCH CHẬP
2.2.1. Giới thiệu về Trí tuệ nhân tạo
Những năm gần đây, AI - Artificial Intelligence (Trí tuệ nhân tạo), và cụ thể hơn là
Machine Learning (Máy học) nổi lên như một minh chứng của cuộc cách mạng công
nghiệp lần thứ tư (1 - động cơ hơi nước, 2 - năng lượng điện, 3 - công nghệ thông tin). AI
hiện diện trong mọi lĩnh vực của đời sống con người, từ kinh tế, giáo dục, y khoa cho đến
những công việc nhà, giải trí hay thậm chí là trong quân sự. Những ứng dụng nổi bật trong
việc phát triển AI đến từ nhiều lĩnh vực để giải quyết nhiều vấn đề khác nhau.

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

10