Ứng dụng xử lý ảnh vào thiết kế và thi công mô hình phân loại trái cây

BỘ GIÁO DỤC & ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
---------------------------------

ĐỒ ÁN TỐT NGHIỆP
NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG

ĐỀ TÀI:

ỨNG DỤNG XỬ LÝ ẢNH VÀO THIẾT KẾ VÀ
THI CÔNG MÔ HÌNH PHÂN LOẠI TRÁI CÂY

GVHD: ThS. Nguyễn Duy Thảo
SVTH: Võ Thanh Duy
Trần Quốc Dưỡng

Tp. Hồ Chí Minh - 7/2020

16141128
16141129


BỘ GIÁO DỤC & ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
---------------------------------

ĐỒ ÁN TỐT NGHIỆP

NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀNTHÔNG
ĐỀ TÀI:

ỨNG DỤNG XỬ LÝ ẢNH VÀO THIẾT KẾ VÀ
THI CƠNG MƠ HÌNH PHÂN LOẠI TRÁI CÂY

GVHD: ThS. Nguyễn Duy Thảo
SVTH: Võ Thanh Duy
Trần Quốc Dưỡng

Tp. Hồ Chí Minh - 7/2020

16141128
16141129


TRƯỜNG ĐH SPKT TP. HỒ CHÍ MINH

CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM

KHOA ĐIỆN-ĐIỆN TỬ

ĐỘC LẬP - TỰ DO - HẠNH PHÚC

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

----o0o----

Tp. HCM, ngày

tháng

năm 2020

NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
Họ tên sinh viên:

Võ Thanh Duy

MSSV: 16141128

Trần Quốc Dưỡng

MSSV: 16141129

Chuyên ngành:

Điện tử cơng nghiệp

Mã ngành:

41

Hệ đào tạo:

Đại học chính quy

Mã hệ:

1

Khóa:

2016

Lớp:

16141DT1B

I. TÊN ĐỀ TÀI: ỨNG DỤNG XỬ LÝ ẢNH VÀO THIẾT KẾ VÀ THI CƠNG
MƠ HÌNH PHÂN LOẠI TRÁI CÂY
II. NHIỆM VỤ
1. Các số liệu ban đầu:
Một kit Raspberry Pi 3 model B, một module Camera Pi, hệ thống băng tải, cảm biến
hồng ngoại, động cơ servo. Sản phẩm gồm 3 loại trái cây là táo, chuối và thanh long.
2. Nội dung thực hiện:
Tổng quan về xử lý ảnh; Tìm hiểu phương pháp nhận dạng và phân loại trái cây bằng
mạng nơ-ron tích chập; Tìm hiểu kit Raspberry Pi 3 model B và các linh kiện liên quan; Cài
đặt hệ điều hành và các thư viện cần thiết để viết chương trình; Thiết kế phần cứng cho hệ
thống.
III. NGÀY GIAO NHIỆM VỤ:

10/03/2020

IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 14/07/2020
V. HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN: ThS. Nguyễn Duy Thảo
CÁN BỘ HƯỚNG DẪN

BM. ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

ii


TRƯỜNG ĐH SPKT TP. HỒ CHÍ MINH

CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM

KHOA ĐIỆN-ĐIỆN TỬ

ĐỘC LẬP - TỰ DO - HẠNH PHÚC

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

----o0o----

Tp. HCM, ngày

tháng

năm 2020

LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP
Họ tên sinh viên 1: Võ Thanh Duy
Lớp: 16141DT1B

MSSV: 16141128

Họ tên sinh viên 2: Trần Quốc Dưỡng
Lớp: 16141DT1B

MSSV: 16141129

Tên đề tài: Ứng dụng xử lý ảnh vào thiết kế và thi cơng mơ hình phân loại trái cây
Tuần/ngày

Nội dung

Xác nhận GVHD

Tuần 1

Chọn và tìm hiểu đề tài

Tuần 2

Chọn hướng giải quyết đề tài, chọn vi điều
khiển, ngơn ngữ lập trình

Tuần 3

Tìm hiểu kit Raspberry Pi 3 model B và ngơn
ngữ lập trình Python

Tuần 4-5-6

Tiến hành lập trình phân loại trái cây sử dụng
mạng nơ-ron tích chập

Tuần 7

Hồn chỉnh mơ hình mạng nơ-ron tích chập

Tuần 8-9

Tiến hành viết chương trình điều khiển tồn hệ
thống

Tuần 10-11-12

Tiến hành thi cơng phần cứng và hiệu chỉnh
cho hệ thống hoạt động ổn định

Tuần 13-14

Viết báo cáo hoàn chỉnh

Tuần 15

Hoàn thành nhiệm vụ đồ án
GV HƯỚNG DẪN
(Ký và ghi rõ họ và tên)
iii


LỜI CAM ĐOAN
Đề tài “Ứng dụng xử lý ảnh vào thiết kế và thi cơng mơ hình phân loại trái cây” là
do nhóm đề tài tự thực hiện dựa vào một số tài liệu trước đó và khơng sao chép từ tài
liệu hay cơng trình đã có trước đó.

Người thực hiện đề tài

Võ Thanh Duy

Trần Quốc Dưỡng

iv


LỜI CẢM ƠN
Lời đầu tiên, nhóm thực hiện đề tài xin bày tỏ lòng biết ơn chân thành đối với
Thầy Nguyễn Duy Thảo – Giảng viên khoa Điện – Điện tử, Trường Đại học Sư phạm
Kỹ thuật Tp.HCM trên cương vị là người hướng dẫn đề tài. Trong suốt thời gian thực
hiện đề tài thầy đã theo sát và ân cần hướng dẫn chi tiết các bước thực hiện, chỉ ra các
sai sót của nhóm và đưa ra hướng khắc phục cụ thể. Nhờ sự chỉ bảo và hỗ trợ từ Thầy
nhóm mới có thể hồn thiện chỉnh chu nhất cho đề tài của mình.
Nhóm cũng xin cảm ơn sâu sắc đối với các thầy, cô trong khoa Điện – Điện tử đã
truyền đạt những kiến thức chuyên ngành quý báu, tạo điều kiện cho nhóm nghiên cứu
và thực hiện một cách tốt nhất đề tài này. Quý thầy cô đã cung cấp vô vàng những kiến
thức từ cơ sở, chuyên ngành đến ứng dụng trong thực tế công nghiệp.
Và cuối cùng, nhóm đề tài muốn bày tỏ lịng biết ơn đối với Cha Mẹ, những người
đã luôn động viên nhóm trong mọi hồn cảnh, ln hướng chúng em đi về tương lai và
cũng là nguồn hỗ trợ tài chính trong 4 năm vừa qua.
Thành công của đề tài ngày hơm nay một phần là từ sự đóng góp, hỗ trợ của tất
cả mọi người. Một lần nữa, nhóm xin gởi lời cảm ơn chân thành nhất đến quý thầy cô,
Cha Mẹ đã giúp đỡ trong suốt thời gian vừa qua.
Xin chân thành cảm ơn!
Người thực hiện đề tài
Võ Thanh Duy

Trần Quốc Dưỡng

v


MỤC LỤC

NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP .............................................................................ii
LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP ............................................... iii
LỜI CAM ĐOAN ..........................................................................................................iv
LỜI CẢM ƠN ................................................................................................................. v
MỤC LỤC ......................................................................................................................vi
LIỆT KÊ HÌNH .............................................................................................................ix
LIỆT KÊ BẢNG ......................................................................................................... xiii
TÓM TẮT ....................................................................................................................xiv
Chương 1: TỔNG QUAN .............................................................................................. 1
1.1. ĐẶT VẤN ĐỀ........................................................................................................... 1
1.2. MỤC TIÊU................................................................................................................ 2
1.3. NỘI DỤNG NGHIÊN CỨU ..................................................................................... 2
1.4. GIỚI HẠN ................................................................................................................. 3
1.5. BỐ CỤC .................................................................................................................... 3
Chương 2: CƠ SỞ LÝ THUYẾT .................................................................................. 5
2.1. TỔNG QUAN VỀ XỬ LÝ ẢNH .............................................................................. 5
2.1.1. Giới thiệu về xử lý ảnh ........................................................................................... 5
2.1.2. Những vấn đề xử lý ảnh ......................................................................................... 8
2.2. PHƯƠNG PHÁP PHÂN LOẠI SỬ DỤNG MẠNG NƠ-RON TÍCH CHẬP ....... 10
2.2.1. Giới thiệu về Trí tuệ nhân tạo .............................................................................. 10
2.2.2. Ngơn ngữ lập trình Python và thư viện Tensorflow ............................................ 12
vi

2.2.3. Giới thiệu về Google Colaboratory ...................................................................... 14
2.2.4. Phân loại 3 loại trái cây sử dụng mạng nơ-ron tích chập ..................................... 14
2.3. GIỚI THIỆU PHẦN CỨNG ................................................................................... 24
2.3.1. Raspberry Pi 3 model B ....................................................................................... 24
2.3.2. Raspberry Camera Module .................................................................................. 27
2.3.3. Cảm biến vật cản hồng ngoại E18-D80NK ......................................................... 28
2.3.4. Động cơ servo MG946R ...................................................................................... 30
2.3.5. Hệ thống băng tải ................................................................................................. 31
Chương 3: TÍNH TỐN VÀ THIẾT KẾ .................................................................. 34
3.1. GIỚI THIỆU ........................................................................................................... 34
3.2. TÍNH TỐN VÀ THIẾT KẾ HỆ THỐNG ............................................................ 34
3.2.1. Thiết kế sơ đồ khối hệ thống ................................................................................ 34
3.2.2. Sơ đồ kết nối hệ thống.......................................................................................... 36
3.2.3. Sơ đồ kết nối tồn mạch ....................................................................................... 54
Chương 4: THI CƠNG HỆ THỐNG ......................................................................... 55
4.1. GIỚI THIỆU ............................................................................................................ 55
4.2. THI CÔNG HỆ THỐNG ........................................................................................ 55
4.2.1. Chuẩn bị phần cứng ............................................................................................. 55
4.2.2. Lắp ráp và kiểm tra .............................................................................................. 56
4.3. ĐÓNG GÓI VÀ THI CƠNG MƠ HÌNH ................................................................ 60
4.3.1. Đóng gói bộ điều khiển ........................................................................................ 60
4.3.2. Thi cơng mơ hình ................................................................................................. 61
4.4. LẬP TRÌNH HỆ THỐNG ....................................................................................... 62
4.4.1. Lưu đồ giải thuật .................................................................................................. 62
vii


4.4.2. Giao diện điều khiển ............................................................................................ 69
4.4.3. Giao diện Web...................................................................................................... 69
4.5. VIẾT TÀI LIỆU HƯỚNG DẪN SỬ DỤNG, THAO TÁC .................................... 70

Chương 5: KẾT QUẢ-NHẬN XÉT-ĐÁNH GIÁ ...................................................... 83
5.1. KẾT QUẢ TỔNG QUAN ....................................................................................... 83
5.2. KẾT QUẢ ĐẠT ĐƯỢC.......................................................................................... 84
5.2.1. Giao diện hiển thị trên màn hình .......................................................................... 84
5.5.2. Giao diện Web...................................................................................................... 85
5.2.3. Kết quả mơ hình thực tế ....................................................................................... 88
5.2.4. Kết quả thực nghiệm ............................................................................................ 91
5.3. NHẬN XÉT VÀ ĐÁNH GIÁ ............................................................................... 100
5.3.1. Nhận xét kết quả đạt được.................................................................................. 100
5.3.2. Đánh giá kết quả................................................................................................. 101
Chương 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN............................................. 102
6.1. KẾT LUẬN ........................................................................................................... 102
6.2. HƯỚNG PHÁT TRIỂN ........................................................................................ 102
TÀI LIỆU THAM KHẢO ......................................................................................... 104
PHỤ LỤC .................................................................................................................... 105

viii


LIỆT KÊ HÌNH
Hình

Trang

Hình 2.1: Giới thiệu về xử lý ảnh .................................................................................... 5
Hình 2.2: Các bước cơ bản của xử lý ảnh ....................................................................... 5
Hình 2.3: Các dạng lân cận cơ bản................................................................................ 10
Hình 2.4: Tổng quan về trí tuệ nhân tạo........................................................................ 11
Hình 2.5: Mạng nơ ron tổng quát .................................................................................. 14
Hình 2.6: Một số ảnh trong tập dữ liệu ......................................................................... 16

Hình 2.7: Mơ hình mạng nơ ron tích chập phân loại ảnh trái cây................................. 17
Hình 2.8: Biểu diễn ma trận ảnh RGB .......................................................................... 18
Hình 2.9: Ma trận ảnh đầu vào và Filter/Kernel ........................................................... 19
Hình 2.10: Quá trình tạo phần tử đầu tiên trong feature map ....................................... 20
Hình 2.11: Hồn thành feature map .............................................................................. 20
Hình 2.12: Q trình tính tích chập cho ảnh RGB ........................................................ 21
Hình 2.13: Tạo phần tử đầu tiên trong feature map khi stride = 1 ................................ 21
Hình 2.14: Tạo phần tử thứ hai trong feature map khi stride = 1 ................................. 22
Hình 2.15: Tạo phần tử đầu tiên trong feature map khi stride = 1 và padding = 1 ....... 22
Hình 2.16: Ví dụ về max pooling 2x2 kết hợp với stride = 2 ....................................... 23
Hình 2.17: Khái quát kết quả dự đốn ảnh .................................................................... 23
Hình 2.18: Raspberry Pi 3 model B .............................................................................. 24
Hình 2.19: Phần cứng Raspberry Pi 3 ........................................................................... 25
Hình 2.20: Raspberry Pi Camera Module ..................................................................... 27
Hình 2.21: Sơ đồ khối Raspberry Pi Camera ................................................................ 28
Hình 2.22: Cảm biến hồng ngoại E18-D80NK ............................................................. 28
Hình 2.23: Động cơ servo MG946R ............................................................................. 30
Hình 2.24: Mơ hình băng tải ......................................................................................... 31
.

Hình 3.1: Sơ đồ khối hệ thống ...................................................................................... 34
Hình 3.2: Mơ hình kit Raspberry Pi Model B ............................................................... 36
Hình 3.3: Sơ đồ các cổng ngoại vi sử dụng................................................................... 37
ix


Hình 3.4: Sơ đồ bố trí cảm biến trên mơ hình ............................................................... 38
Hình 3.5: Động cơ DC .................................................................................................. 39
Hình 3.6: Băng tải mini ................................................................................................. 40
Hình 3.7: Module relay 5V ........................................................................................... 40

Hình 3.8: Sơ đồ nguyên lý module relay 5V................................................................. 41
Hình 3.9: Sơ đồ kết nối module relay điều khiển động cơ ............................................ 42
Hình 3.10: Nguyên lý điều chế độ rộng xung của PWM .............................................. 43
Hình 3.11: Module PWM .............................................................................................. 43
Hình 3. 12: Sơ đồ nguyên lý mạch điều khiển tốc độ dùng ic555 ................................ 44
Hình 3.13: Kết nối các module điều khiển động cơ băng tải ........................................ 45
Hình 3.14: Servo MG946R ........................................................................................... 46
Hình 3.15: Sơ đồ bố trí servo cùng với cảm biến trên băng tải .................................... 47
Hình 3.16: Kết nối của Camera Raspberry ................................................................... 48
Hình 3.17: Bóng đèn led 3W ......................................................................................... 48
Hình 3.18: Bố trí các thiết bị cho khối chụp ảnh (hướng nhìn từ trên xuống) .............. 50
Hình 3.19: Bố trí các thiết bị cho khối chụp ảnh (hướng nhìn từ cạnh bên) ................. 51
Hình 3.20: Nguồn Adapter 5V 2.5A cấp cho Raspberry .............................................. 52
Hình 3.21: Nguồn Tổ ong 24V 5A cấp cho băng tải .................................................... 53
Hình 3.22: Nguồn Adapter 5V 3A cấp cho 3 servo ...................................................... 53
Hình 3.23: Sơ đồ kết nối tồn mạch .............................................................................. 54
.

Hình 4.1: Bố trí cảm biến, servo, các luồng phân loại trên băng tải ............................. 57
Hình 4.2: Mặt cạnh của buồng ảnh ............................................................................... 58
Hình 4.3: Module PWM được gắn trên buồng ảnh ....................................................... 58
Hình 4.4: Bố trí các linh kiện trên trần của buồng ảnh ................................................. 59
Hình 4.5: Cảm biến hồng ngoại trong buồng ảnh ......................................................... 59
Hình 4.6: Đóng gói bộ điều khiển trên buồng ảnh ........................................................ 60
Hình 4.7: Mơ hình hệ thống .......................................................................................... 61
Hình 4.8: Lưu đồ chương trình chính mơ hình ............................................................. 63
Hình 4.9: Lưu đồ chương trình con Chụp và lưu ảnh ................................................... 65
Hình 4.10: Lưu đồ chương trình con Xử lý và dự đoán ................................................ 66
x

Hình 4.11: Lưu đồ chương trình con So sánh và dán nhãn trái cây .............................. 68
Hình 4.12: Giao diện ban đầu........................................................................................ 69
Hình 4.13: Giao diện web ............................................................................................. 70
Hình 4.14: Cửa sổ Remote Desktop Connection .......................................................... 71
Hình 4.15: Cửa sổ hiển thị khi nhập đúng địa chỉ IP .................................................... 71
Hình 4.16: Vị trí file chương trình trên Desktop........................................................... 72
Hình 4.17: Giao diện trình biên dịch ............................................................................. 73
Hình 4.18: Giao diện điều khiển ban đầu ...................................................................... 74
Hình 4.19: Giao diện hiển thị khi có trái cây đưa vào .................................................. 75
Hình 4.20: Giao diện hiển thị khi có loại trái cây khác vào .......................................... 76
Hình 4.21: Cần gạt của servo1 mở nhận dạng là táo..................................................... 77
Hình 4.22: Cần gạt của servo2 mở nhận dạng là chuối................................................. 77
Hình 4.23: Cần gạt của servo3 mở nhận dạng là thanh long ........................................ 78
Hình 4.24: Sản phẩm khác loại được chuyển đến cuối băng tải ................................... 78
Hình 4.25: Kết quả sau khi phân loại ............................................................................ 79
Hình 4.26: Dữ liệu được lưu trữ trên Firebase .............................................................. 80
Hình 4.27: Cửa sổ đăng nhập vào web.......................................................................... 80
Hình 4.28: Giao diện web hiển thị ................................................................................ 81
Hình 4.29: Trạng thái Stop trong giao diện................................................................... 81
Hình 4.30: Cảnh báo khi thốt giao diện....................................................................... 82
.

Hình 5.1: Giao diện điều khiển ban đầu ........................................................................ 84
Hình 5.2: Cảnh báo khi thốt giao diện......................................................................... 85
Hình 5.3: Dữ liệu được lưu trữ trên Firebase ................................................................ 85
Hình 5.4: Cửa sổ đăng nhập vào web............................................................................ 86
Hình 5.5: Giao diện web hiển thị .................................................................................. 87
Hình 5.6: Mơ hình hệ thống hồn chỉnh ....................................................................... 88
Hình 5.7: Ngõ vào của trái cây...................................................................................... 89

Hình 5.8: Bộ điều khiển trên buồng ảnh ....................................................................... 89
Hình 5.9: Module PWM gắn bên cạnh buồng ảnh ........................................................ 90
Hình 5.10: Bố trí đèn trong buồng ảnh ......................................................................... 90
xi


Hình 5.11: Táo khi được băng tải chuyển vào buồng ảnh ............................................ 91
Hình 5.12: Kết quả hiển thị trên giao diện khi táo vào ................................................. 92
Hình 5.13: Táo chuẩn bị được gạt vào luồng ................................................................ 93
Hình 5.14: Chuối khi được băng tải chuyển vào buồng ảnh ......................................... 93
Hình 5.15: Kết quả hiển thị trên giao diện khi chuối vào ............................................. 94
Hình 5.16: Chuối chuẩn bị được gạt vào luồng ............................................................ 95
Hình 5.17: Thanh long khi được băng tải chuyển vào buồng ảnh ................................ 95
Hình 5.18: Kết quả hiển thị trên giao diện khi thanh long vào ..................................... 96
Hình 5.19: Thanh long chuẩn bị được gạt vào luồng .................................................... 97
Hình 5.20: Giao diện hiển thị khi có loại khác vào ....................................................... 98
Hình 5.21: Trái thứ 4 (măng cụt) được chuyển đến cuối băng tải ................................ 98
Hình 5.22: Kết quả phân loại ........................................................................................ 99

xii


LIỆT KÊ BẢNG
Bảng

Trang

Bảng 2.1: Sơ đồ chân của cảm biến hồng ngoại............................................................ 29
Bảng 2.2: Sơ đồ chân servo ........................................................................................... 31
Bảng 2.3: Thông số kỹ thuật động cơ giảm tốc ............................................................. 32

.

Bảng 3.1: Thông số kỹ thuật của E18-D80NK ............................................................. 38
Bảng 3.2: Thông số kỹ thuật của động cơ DC .............................................................. 39
Bảng 3.3: Thông số kỹ thuật của module relay 5V ....................................................... 41
Bảng 3.4: Chức năng các chân của module relay 5V .................................................... 41
Bảng 3.5: Thông số kỹ thuật của module PWM ........................................................... 45
Bảng 3.6: Thông số kỹ thuật của Servo......................................................................... 46
Bảng 3.7: Thông số kỹ thuật của đèn led 3W ............................................................... 49
.

Bảng 4.1: Thông số của các linh kiện được sử dụng trong mơ hình ............................. 55
.

Bảng 5.1: Kết quả chạy thực nghiệm ............................................................................ 99

xiii


TÓM TẮT
Đề tài “Ứng dụng xử lý ảnh vào thiết kế và thi cơng mơ hình phân loại trái cây” là
một mơ hình dựa trên ứng dụng mạng nơ-ron tích chập để phân loại 3 loại trái cây là táo,
chuối và thanh long. Hệ thống hoạt động dựa trên quá trình trích xuất các đặc trưng cơ
bản từ màu sắc, hình dạng của từng loại trái cây thơng qua mạng nơ-ron tích chập với
tập dữ liệu huấn luyện tự tạo. Mơ hình mạng nơ-ron tích chập được triển khai trên kit
Raspberry Pi 3 Model B với ngơn ngữ lập trình Python, thư viện hỗ trợ Tensorflow. Kết
quả thực hiện đề tài là một mơ hình có khả năng phân loại được 3 loại trái cây là táo,
chuối và thanh long đến các vị trí riêng biệt. Việc điều khiển và giám sát mơ hình được
thực hiện qua giao diện giao tiếp với người dùng. Dữ liệu phân loại được lưu trong cơ
sở dữ liệu và có thể truy cập qua web.

xiv


CHƯƠNG 1. TỔNG QUAN

Chương 1: TỔNG QUAN
1.1. ĐẶT VẤN ĐỀ
Việt Nam là quốc gia có nền nơng nghiệp chiếm tỉ trọng lớn nhất trong cơ cấu kinh
tế, ngoài lúa gạo thì trái cây Việt Nam rất được ưa chuộng trên thế giới. Trái cây Việt
Nam đã có mặt ở 170 quốc gia trên thế giới và vùng lãnh thổ. Năm 2018, kim ngạch xuất
nhập khẩu của ngành rau quả đạt hơn 3,8 tỷ USD, trong đó kim ngạch xuất khẩu trái cây
đạt 3,13 tỷ USD, chiếm 82,05% tổng kim ngạch xuất khẩu rau quả. Theo tổ chức Lương
thực và Nông nghiệp Liên Hiệp Quốc (FAO), nước ta là một trong các quốc gia có diện
tích và sản lượng trồng cây ăn quả nhiệt đới dẫn đầu ở châu Á. Theo thống kê, diện tích
trồng cây ăn quả là 1 triệu hecta, với tổng sản lượng gần 8 triệu tấn năm 2018.
Với sản lượng trái cây lớn như trên, các nhà máy chế biến và đóng gói trái cây hoạt
động với nhiều dây chuyền khác nhau, việc xác định loại trái cây đúng với dây chuyền
của chúng bằng cách sử dụng con người đang tồn tại nhiều nhược điểm. Sai sót của con
người và chi phí nhân cơng cao làm ảnh hưởng đến năng suất và doanh thu của doanh
nghiệp.
Nhu cầu ứng dụng công nghệ vào khâu phân loại trong các dây chuyền sản xuất
hiện nay là rất cao và cần thiết, hai cơng nghệ đang rất phát triển và hồn tồn phù hợp
cho lĩnh vực này đó là xử lý ảnh và máy học. Xử lý ảnh đã có từ rất lâu và đã được vận
dụng trong lĩnh vực như dân sự, quân sự, y tế và nhiều lĩnh vực khác [1], đây là một lĩnh
vực mang tính khoa học và cơng nghệ có tốc độ phát triển rất nhanh trong những năm
gần đây và là một mảng quan trọng bậc nhất của thị giác máy tính (Computer Vision).
Máy học (Machine Learning) là một hướng nghiên cứu trong lĩnh vực trí tuệ nhân tạo
(Artificial Intelligence) với mục đích tạo ra các hệ thống có khả năng “học” mà khơng
cần phải lập trình cụ thể. Trong máy học có một cơng cụ cực kỳ quan trọng đó là mạng

nơ-ron (neural network), nó có cấu trúc dựa trên ý tưởng mạng nơ-ron trong hệ thần kinh
con người và đang trở thành một cơng cụ rất mạnh mẽ trong nhiều bài tốn như nhận
dạng ảnh, giọng nói…
Hiện nay đã có nhiều nghiên cứu liên quan đến lĩnh vực này có thể kể đến như
Trương Quốc Bảo - Võ Thành Lâm - Võ Văn Phúc - Trương Quốc Định với đề tài “Phát

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

1


CHƯƠNG 1. TỔNG QUAN
triển thuật toán xử lý ảnh và máy học để nhận dạng khiếm khuyết trên bề mặt gạch men”
[5], trong sự kiện Kỷ yếu Hội nghị Khoa học Quốc gia lần thứ IX “Nghiên cứu cơ bản
và ứng dụng Công nghệ thông tin”, đây là một đề tài mang tính ứng dụng trong cơng
nghiệp giúp phát hiện lỗi trên gạch men và được đánh giá cao khi sử dụng hai công nghệ
tiên tiến rất phát triển hiện nay là xử lý ảnh và máy học. Tiếp theo là Nguyễn Hiền Minh
- Phan Thanh Phong với đề tài “Ứng dụng xử lý ảnh trong hệ thống phân loại sản phẩm”
[4], Đồ án tốt nghiệp trường Đại học Sư Phạm Kỹ thuật Tp. HCM, đề tài đã sử dụng kit
Raspberry và Arduino để phân loại các sản phẩm theo màu sắc. Mơ hình trên rất thiết
thực và mang lại hiệu quả nếu áp dụng vào thực tế.
Từ những dẫn chứng dựa vào nhu cầu thực tế trên, nhóm thực hiện đề tài kiến nghị
thiết kế một hệ thống có tên “Ứng dụng xử lý ảnh vào thiết kế và thi cơng mơ hình phân
loại trái cây” mơ hình có chức năng nhận dạng và phân loại 3 loại trái cây là táo, chuối
và thanh long, đồng thời có thể giao tiếp với người dùng thông qua giao diện điều khiển
giám sát.

1.2. MỤC TIÊU
Mục tiêu của đề tài “Ứng dụng xử lý ảnh vào thiết kế và thi công mô hình phân loại
trái cây” là nắm rõ nguyên lý hoạt động của camera, cảm biến hồng ngoại, làm quen với

ngôn ngữ lập trình Python, thành thạo khi thao tác trên kit Raspberry, sử dụng các thư
viện hỗ trợ về máy học và xử lý ảnh như Tensorflow và OpenCV. Thiết kế và thi cơng
mơ hình phân loại trái cây theo chủng loại ứng dụng xử lý ảnh kết hợp máy học để nhận
dạng trái cây dựa trên mạng nơ-ron tích chập, xây dựng giao diện điều khiển và giao tiếp
với người dùng trên kit Raspberry Pi. Lưu trữ dữ liệu phân loại trên cơ sở dữ liệu và có
thể truy cập qua web.

1.3. NỘI DỤNG NGHIÊN CỨU
Trong quá trình thực hiện Đồ án tốt nghiệp với đề tài “Ứng dụng xử lý ảnh vào
thiết kế và thi cơng mơ hình phân loại trái cây”, nhóm đề tài sẽ tập trung giải quyết và
hoàn thành được những nội dung sau:
NỘI DUNG 1: Cài đặt hệ điều hành cho Raspberry Pi, giao tiếp với máy tính để
truy cập vào hệ điều hành của Raspberry Pi.

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

2


CHƯƠNG 1. TỔNG QUAN
NỘI DUNG 2: Kết nối các thiết bị ngoại vi (relay, buzzer, quạt, cảm biến, servo,
PWM) trên GPIO của Raspberry Pi.
NỘI DUNG 3: Kết nối và giao tiếp module camera với Raspberry Pi.
NỘI DUNG 4: Viết chương trình điều khiển hệ thống và chương trình tạo giao
diện.
NỘI DUNG 5: Viết chương trình xử lý hình ảnh để nhận dạng các loại trái cây cụ
thể.
NỘI DUNG 6: Nghiên cứu về buồng ảnh và thiết kế buồng ảnh.
NỘI DUNG 7: Kết hợp, thiết kế tồn bộ mơ hình hệ thống.
NỘI DUNG 8: Chạy thử nghiệm và hiệu chỉnh hệ thống.

NỘI DUNG 9: Viết báo cáo thực hiện.
NỘI DUNG 10: Bảo vệ đồ án tốt nghiệp.

1.4. GIỚI HẠN
Đề tài “Ứng dụng xử lý ảnh vào thiết kế và thi công mơ hình phân loại trái cây”
có những giới hạn là:
 Phân loại cho 3 loại trái cây: táo, chuối, thanh long.
 Sử dụng động cơ DC để hoạt động băng tải.
 Dùng kit Raspberry Pi 3 model B để triển khai mơ hình mạng nơ-ron tích chập
vào phân loại hình ảnh.
 Tốc độ phân loại chậm, mơ hình phân loại tuần tự cho mỗi sản phẩm.
 Cơ cấu phân loại sử dụng servo để tác động.
 Sử dụng camera có độ phân giải 5MP.
 Giám sát và điều khiển thông qua giao diện.
 Lưu trữ dữ liệu trên cơ sở dữ liệu, có thể truy cập bằng web.

1.5. BỐ CỤC
Nội dung đề tài gồm những phần sau:
Chương 1: Tổng quan
 Đặt vấn đề
 Mục tiêu

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

3


CHƯƠNG 1. TỔNG QUAN
 Nội dung nghiên cứu
 Giới hạn

 Bố cục
Chương 2: Cơ sở lý thuyết
 Tổng quan về xử lý ảnh
 Phương pháp phân loại trái cây sử dụng mạng nơ rơn tích chập
Chương 3: Thiết kế và tính tốn
 Giới thiệu
 Tính tốn và thiết kế hệ thống
Chương 4: Thi công hệ thống
 Giới thiệu
 Thi công hệ thống
 Đóng gói và thi cơng mơ hình
 Lập trình hệ thống
 Viết tài liệu hướng dẫn sử dụng, thao tác
Chương 5: Kết quả-nhận xét-đánh giá
 Kết quả tổng quan
 Kết quả đạt được
 Nhận xét và đánh giá kết quả đạt được
Chương 6: Kết luận và hướng phát triển
 Kết luận
 Hướng phát triển

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

4


CHƯƠNG 2. CƠ SỞ LÝ THUYẾT

Chương 2: CƠ SỞ LÝ THUYẾT
2.1. TỔNG QUAN VỀ XỬ LÝ ẢNH

2.1.1. Giới thiệu về xử lý ảnh
Xử lý ảnh là một phân ngành trong xử lý số tín hiệu với tín hiệu xử lý là ảnh để có
được hình ảnh tốt hơn hay để trích xuất một số thơng tin từ hình ảnh đầu vào. Đây là một
phân ngành khoa học mới rất phát triển trong những năm gần đây. Các phương pháp xử
lý ảnh bắt đầu từ những ứng dụng nhằm nâng cao chất lượng ảnh do hạn chế về phần
cứng. Nhưng về sau này, nhờ sự phát triển của khoa học máy tính đã tạo điều kiện cho
xử lý ảnh phát triển mạnh và được ứng dụng nhiều trong các lĩnh vực như trí tuệ nhân
tạo, tự động hóa, hình ảnh y sinh…Xử lý ảnh gồm 4 lĩnh vực chính: xử lý nâng cao chất
lượng ảnh, nhận dạng ảnh, nén ảnh và truy vấn ảnh. Trong đề tài này sẽ tập trung tìm
hiểu về mảng nhận dạng ảnh.
ẢNH TỐT HƠN

ẢNH ĐẦU VÀO

XỬ LÝ ẢNH

KẾT LUẬN

Hình 2.1: Giới thiệu về xử lý ảnh

THU NHẬN
ẢNH

TIỀN XỬ LÝ
ẢNH

PHÂN ĐOẠN
ẢNH

BIỂU DIỄN VÀ

MÔ TẢ

NHẬN DẠNG
VÀ NỘI SUY

CƠ SỞ TRI THỨC

Hình 2.2: Các bước cơ bản của xử lý ảnh

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

5


CHƯƠNG 2. CƠ SỞ LÝ THUYẾT
 Thu nhận ảnh [2]:
Ảnh có thể nhận qua camera màu hoặc đen trắng. Thường ảnh nhận qua camera là
ảnh tương tự (loại camera ống chuẩn CCIR với tần số 1/25, mỗi ảnh 25 dòng), cũng có
loại camera đã số hóa (như loại CCD – Change Coupled Device) là loại photodiot tạo
cường độ sáng tại mỗi điểm ảnh.
Camera thường dùng là loại quét dòng, ảnh tạo ra dạng 2 chiều. Chất lượng một
ảnh thu nhận được phụ thuộc vào thiết bị thu, vào môi trường (ánh sáng, phong cảnh).
 Tiền xử lý [2]:
Sau bộ thu nhận, ảnh có thể nhiễu độ tương phản thấp nên cần đưa vào bộ tiền xử
lý để nâng cao chất lượng. Chức năng chính của bộ tiền xử lý là lọc nhiễu, nâng độ tương
phản để làm ảnh rõ hơn, nét hơn.
 Phân đoạn hay phân vùng ảnh [2]:
Phân vùng ảnh là tách một ảnh đầu vào thành các vùng thành phần để biểu diễn
phân tích, nhận dạng ảnh. Ví dụ: để nhận dạng chữ (hoặc mã vạch) trên phong bì thư cho
mục đích phân loại bưu phẩm, cần chia các câu chữ về địa chỉ hoặc tên người thành các

từ, các chữ, các số (hoặc các vạch) riêng biệt để nhận dạng. Đây là phần phức tạp khó
khăn nhất trong xử lý ảnh và cũng dễ gây lỗi, làm mất độ chính xác của ảnh. Kết quả
nhận dạng phụ thuộc rất nhiều vào công đoạn này.
 Biểu diễn ảnh [2]:
Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh (ảnh đã phân đoạn)
cộng với mã liên kết với các vùng lận cận. Việc biến đổi các số liệu này thành dạng thích
hợp là cần thiết cho xử lý tiếp theo bằng máy tính. Việc chọn các tính chất để thể hiện
ảnh gọi là trích chọn đặc trưng (Feature Selection) gắn với việc tách các đặc tính của ảnh
dưới dạng các thông tin định lượng hoặc làm cơ sở để phân biệt lớp đối tượng này với
đối tượng khác trong phạm vi ảnh nhận được. Ví dụ: trong nhận dạng ký tự trên phong
bì thư, chúng ta miêu tả các đặc trưng của từng ký tự giúp phân biệt ký tự này với ký tự
khác.

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

6


CHƯƠNG 2. CƠ SỞ LÝ THUYẾT
 Nhận dạng và nội suy ảnh [2]:
Nhận dạng ảnh là quá trình xác định ảnh. Quá trình này thường thu được bằng cách
so sánh với mẫu chuẩn đã được học (hoặc lưu) từ trước. Nội suy là phán đoán theo ý
nghĩa trên cơ sở nhận dạng. Ví dụ: một loạt chữ số và nét gạch ngang trên phong bì thư
có thể được nội suy thành mã điện thoại. Có nhiều cách phân loại ảnh khác nhau về ảnh.
Theo lý thuyết về nhận dạng, các mơ hình tốn học về ảnh được phân theo hai loại nhận
dạng ảnh cơ bản:
 Nhận dạng theo tham số.
 Nhận dạng theo cấu trúc.
Một số đối tượng nhận dạng khá phổ biến hiện nay đang được áp dụng trong khoa
học và công nghệ là: nhận dạng ký tự (chữ in, chữ viết tay, chữ ký điện tử), nhận dạng

văn bản (Text), nhận dạng vân tay, nhận dạng mã vạch, nhận dạng mặt người…
 Cơ sở tri thức [2]:
Như đã nói ở trên, ảnh là một đối tượng khá phức tạp về đường nét, độ sáng tối,
dung lượng điểm ảnh, môi trường để thu ảnh phong phú kéo theo nhiễu. Trong nhiều
khâu xử lý và phân tích ảnh ngồi việc đơn giản hóa các phương pháp tốn học đảm bảo
tiện lợi cho xử lý, người ta mong muốn bắt chước quy trình tiếp nhận và xử lý ảnh theo
cách của con người. Trong các bước xử lý đó, nhiều khâu hiện nay đã xử lý theo các
phương pháp trí tuệ con người. Vì vậy, ở đây các cơ sở tri thức được phát huy.
 Mô tả [2]:
Ảnh sau khi số hoá sẽ được lưu vào bộ nhớ, hoặc chuyển sang các khâu tiếp theo
để phân tích. Nếu lưu trữ ảnh trực tiếp từ các ảnh thơ, địi hỏi dung lượng bộ nhớ cực lớn
và không hiệu quả theo quan điểm ứng dụng và cơng nghệ. Thơng thường, các ảnh thơ
đó được đặc tả (biểu diễn) lại (hay đơn giản là mã hoá) theo các đặc điểm của ảnh được
gọi là các đặc trưng ảnh (Image Features) như: biên ảnh (Boundary), vùng ảnh (Region).

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

7


CHƯƠNG 2. CƠ SỞ LÝ THUYẾT

2.1.2. Những vấn đề xử lý ảnh
2.1.2.1. Điểm ảnh [2]
Gốc của ảnh (ảnh tự nhiên) là ảnh liên tục về không gian và độ sáng. Để xử lý bằng
máy tính (số), ảnh cần phải được số hoá. Số hoá ảnh là sự biến đổi gần đúng một ảnh
liên tục thành một tập điểm phù hợp với ảnh thật về vị trí (khơng gian) và độ sáng (mức
xám). Khoảng cách giữa các điểm ảnh đó được thiết lập sao cho mắt người không phân
biệt được ranh giới giữa chúng. Mỗi một điểm như vậy gọi là điểm ảnh (PEL: Picture
Element) hay gọi tắt là Pixel. Trong khuôn khổ ảnh hai chiều, mỗi pixel ứng với cặp tọa

độ (x, y).
Điểm ảnh (Pixel) là một phần tử của ảnh số tại toạ độ (x, y) với độ xám hoặc màu
nhất định. Kích thước và khoảng cách giữa các điểm ảnh đó được chọn thích hợp sao
cho mắt người cảm nhận sự liên tục về không gian và mức xám (hoặc màu) của ảnh số
gần như ảnh thật. Mỗi phần tử trong ma trận được gọi là một phần tử ảnh.
Ảnh số: là tập hợp các điểm ảnh với mức xám phù hợp dùng để mô tả ảnh gần với
ảnh thật.
2.1.2.2. Độ phân giải ảnh [2]
Độ phân giải (Resolution) của ảnh là mật độ điểm ảnh được ấn định trên một ảnh
số được hiển thị. Theo định nghĩa, khoảng cách giữa các điểm ảnh phải được chọn sao
cho mắt người vẫn thấy được sự liên tục của ảnh. Việc lựa chọn khoảng cách thích hợp
tạo nên một mật độ phân bổ, đó chính là độ phân giải và được phân bố theo trục x và y
trong không gian hai chiều.
2.1.2.3. Phân loại ảnh [1]
Có 2 dạng quan trọng trong ảnh số được dùng với nhiều mục đích khác nhau là ảnh
màu và ảnh đen trắng (hay còn gọi là ảnh xám). Trong đó, ảnh màu được cấu trúc từ các
pixel màu trong khi ảnh đen trắng được xây dựng từ các pixel có giá trị mức xám khác
nhau.
Ảnh đen trắng: với một ảnh đen trắng được xây dựng từ nhiều pixel mà tại đó biểu
diễn một giá trị nhất định tương ứng với một mức xám. Những mức xám này trải dài
trong một khoảng từ đen sang trắng với bước nhảy rất mịn, thông thường là 256 mức
xám khác nhau theo tiêu chuẩn. Do mắt người chỉ có thể phân biệt một cách rõ ràng với
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

8


CHƯƠNG 2. CƠ SỞ LÝ THUYẾT
khoảng 200 mức xám khác nhau nên vì thế hồn tồn có thể nhận xét sự thay đổi liên
tục các mức xám.

Ảnh màu: một ảnh màu thường được tạo thành từ nhiều pixel mà trong đó mỗi pixel
được biểu diễn bởi ba giá trị tương ứng với các mức trong các kênh màu đỏ (Red), xanh
lá (Green) và xanh dương (Blue) tại một vị trí cụ thể. Các kênh màu Red, Green và Blue
(trong không gian màu RGB) là những màu cơ bản mà từ đó có thể tạo ra các màu khác
nhau bằng phương pháp pha trộn. Với việc chuẩn hóa 256 (28 ) mức cho từng kênh màu
chính, từ đó có thể thấy một pixel màu có thể biểu diễn được một trong (28 )3 =
16777216 màu khác nhau. Từ đó có thể thấy rằng với 1 pixel thì chỉ cần 1 byte cho
việc lưu trữ đối với ảnh đen trắng và 3 bytes đối với ảnh màu. Vì thế với cùng một ảnh
có kích thước nhất định, dung lượng của ảnh màu lưu trên bộ nhớ luôn lớn hơn gấp ba
lần dung lượng dành cho ảnh đen trắng trong trường hợp không sử dụng các kỹ thuật
nén ảnh.
Ảnh nhị phân: chỉ sử dụng duy nhất một bit để biểu diễn một pixel. Do một bit chỉ
có thể xác lập hai trạng thái là đóng và mở hay 1 và 0 tương ứng với hai màu là đen và
trắng. Do đặc tương trên mà ảnh nhị phân ít khi đƣợc sử dụng trong thực tế.
Ảnh chỉ số (indexed): một vài ảnh màu (hay đen trắng) được tạo thành từ một bảng
màu có sẵn bị giới hạn, điển hình thường dùng là tập 256 màu khác nhau. Những ảnh
này được gọi là ảnh màu chỉ số hóa (indexed) do dữ liệu dành cho mỗi pixel bao gồm
chỉ số có sẵn chỉ rõ màu trong tập có sẵn ứng với pixel đang xem xét.
2.1.2.4. Quan hệ giữa các điểm ảnh [1]
Với một điểm ảnh p tại tọa độ (x, y), ln có 4 điểm ảnh xung quanh theo phương
ngang và dọc với tọa độ được xác định cụ thể sau:
(x 1, y), (x 1, y), (x, y 1), (x, y 1)
Tập các điểm ảnh này được gọi là lân cận 4 của p, gọi tắt là N4(p). Ngoài ra, một
dạng lân cận nữa là theo đường chéo được gọi tắt là ND(p) với các tọa độ được cho sau:
(x 1, y 1), (x 1, y 1), (x 1, y 1), (x 1, y 1)

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

9

CHƯƠNG 2. CƠ SỞ LÝ THUYẾT
Kết hợp hai dạng lân cận này thì chúng ta có dạng lân cận 8 điểm ảnh, gọi tắt là
N8(p). Lưu ý nhỏ là những khái niệm này không áp dụng cho các đường biên của ảnh.
Quan sát mơ tả ở hình dưới để hiểu rõ hơn về các dạng lân cận này.

Hình 2.3: Các dạng lân cận cơ bản
Gọi V là tập các giá trị mức xám dùng để xác định sự liền kề. Với ảnh nhị phân,
V= {1} nếu chúng ta muốn xét sự liền kề của những điểm ảnh có giá trị là 1. Với ảnh
đen trắng, gọi tắt là ảnh xám, có thể là tập các giá trị mong muốn. Chẳng hạn, giá trị có
thể có trong ảnh xám nằm trong khoảng [0, 255], do đó V có thể là nhiều tập con chứa
256 giá trị mức xám. Ta xét ba dạng liền kề sau:
(a) Liền kề 4: Hai điểm ảnh p và q với giá trị nằm trong tập V thuộc liền kề 4 nếu
q nằm trong tập N4(p).
(b) Liền kề 8: Hai điểm ảnh p và q với giá trị nằm trong tập V thuộc liền kề 8 nếu
q nằm trong tập N8(p).
(c) Liền kề m (liền kề hỗn hợp): Hai điểm ảnh p và q với giá trị nằm trong tập V,
thuộc liền kề m nếu: q nằm trong tập N4(p) hoặc q nằm trong tập ND(p) và N4(p)N4(q)
không tồn tại bất kỳ điểm ảnh nào thuộc tập V.

2.2. PHƯƠNG PHÁP PHÂN LOẠI SỬ DỤNG MẠNG NƠ-RON TÍCH CHẬP
2.2.1. Giới thiệu về Trí tuệ nhân tạo
Những năm gần đây, AI - Artificial Intelligence (Trí tuệ nhân tạo), và cụ thể hơn
là Machine Learning (Máy học) nổi lên như một minh chứng của cuộc cách mạng công
nghiệp lần thứ tư (1 - động cơ hơi nước, 2 - năng lượng điện, 3 - công nghệ thông tin).
AI hiện diện trong mọi lĩnh vực của đời sống con người, từ kinh tế, giáo dục, y khoa cho
đến những công việc nhà, giải trí hay thậm chí là trong quân sự. Những ứng dụng nổi
bật trong việc phát triển AI đến từ nhiều lĩnh vực để giải quyết nhiều vấn đề khác nhau.
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

10