Thiết kế và thi công hệ thống phân loại trái cây dùng mạng neural

BỘ GIÁO DỤC & ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
---------------------------------

ĐỒ ÁN TỐT NGHIỆP
NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG

ĐỀ TÀI:

THIẾT KẾ VÀ THI CÔNG HỆ
THỐNG PHÂN LOẠI TRÁI CÂY
DÙNG MẠNG NEURAL
GVHD: PGS.TS Nguyễn Thanh Hải

SVTH1: Nguyễn Đức Hòa
MSSV: 14141116
SVTH2: Nguyễn Ngọc Phát
MSSV: 14141226

Tp. Hồ Chí Minh – 8/2020


BỘ GIÁO DỤC & ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
---------------------------------

ĐỒ ÁN TỐT NGHIỆP

NGÀNH KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG
ĐỀ TÀI:

THIẾT KẾ VÀ THI CÔNG HỆ
THỐNG PHÂN LOẠI TRÁI CÂY
DÙNG MẠNG NEURAL
GVHD: PGS.TS Nguyễn Thanh Hải
SVTH1: Nguyễn Đức Hòa
MSSV: 14141116
SVTH2: Nguyễn Ngọc Phát
MSSV: 14141226

Tp. Hồ Chí Minh – 8/2020


TRƯỜNG ĐH SPKT TP. HỒ CHÍ MINH
KHOA ĐIỆN-ĐIỆN TỬ

CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM
ĐỘC LẬP - TỰ DO - HẠNH PHÚC

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

----o0o---Tp. HCM, ngày 4 tháng 8 năm 2020

NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
Họ tên sinh viên:
Chuyên ngành:
Hệ đào tạo:

Nguyễn Đức Hòa
MSSV: 14141116
Nguyễn Ngọc Phát
MSSV: 14141226
Kỹ thuật Điện tử - Truyền thơng Mã ngành: 14141
Đại học chính quy
Mã hệ:
1

Khóa:

2014

Lớp:

141413

I. TÊN ĐỀ TÀI: THIẾT KẾ VÀ THI CÔNG HỆ THỐNG PHÂN LOẠI TRÁI
CÂY DÙNG MẠNG NEURAL
II. NHIỆM VỤ
1. Các số liệu ban đầu:
- Sử dụng Arduino Uno R3 để thực hiện điều khiển làm bộ xử lý trung tâm.
- Sử dụng PC lập trình, xử lý ảnh, làm giao diện điều khiển.
- Sử dụng Camera Webcam Logitech C270p để thu nhận ảnh.
- Huấn luyện và phân loại 3 loại trái cây. - Mơ hình dây chuyền phân loại trái cây.
2. Nội dung thực hiện:
- Đọc tài liệu, thu thập thông tin làm cơ sở
- Thu thập dữ liệu về trái cây.
- Xử lý ảnh
- Nhận dạng bằng 2 mạng nơ ron, mạng nhân tạo và mạng tích chập - Thiết kế và thi

cơng mơ hình dây chuyền.
- Chạy thử, kiểm tra, hiệu chỉnh.
- Hồn thiện mơ hình gồm máy tính, Arduino, băng chuyền, camera, và các ngoại vi.
- Đánh giá chất lượng.
- Viết báo cáo.
III. NGÀY GIAO NHIỆM VỤ: 13/03/2020
IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 03/08/2020
V. HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN:
PGS.TS Nguyễn Thanh Hải
CÁN BỘ HƯỚNG DẪN
BM. ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

ii


TRƯỜNG ĐH SPKT TP. HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM
KHOA ĐIỆN-ĐIỆN TỬ
ĐỘC LẬP - TỰ DO - HẠNH PHÚC
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
----o0o---Tp. HCM, ngày 04 tháng 08 năm 2020

LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP
Họ tên sinh viên 1: Nguyễn Đức Hòa
Lớp: 14141DT3B
MSSV: 14141116
Họ tên sinh viên 2: Nguyễn Ngọc Phát
Lớp: 14141DT2A
MSSV: 14141226
Tên đề tài: Thiết kế và thi công hệ thống phân loại trái cây dùng mạng neural
Tuần/ngày

Tuần 1
(13/3 –
18/3)
Tuần 2
(18/3 –
25/3)
Tuần 3
(25/3 –
1/4)
Tuần 4
(1/4 – 8/4)
Tuần 5
(8/4 –
15/4)

Nội dung

Xác nhận
GVHD

Chọn đề tài, viết đề cương chi tiết ĐATN

Nghiên cứu tài liệu liên quan làm cơ sở

Thu thập tập ảnh dữ liệu

Nghiên cứu xử lý ảnh, tiền xử lý ảnh
Cài phần mềm Matlab, nghiên cứu xử lý ảnh bằng
Matlab

Tuần 6
(15/4 –
22/4)
Tuần 7
(22/4 –
29/4)
Tuần 8
(29/4 –
6/5)

Tiến hành nhận dạng bằng xử lý ảnh với hình ảnh có
sẵn.

Tuần 9
(6/5 –
13/5)
Tuần 10
(13/5 –
20/5)

Xây dựng mạng nơ ron riêng để nhận dạng

Tìm hiểu về mạng nơ ron và chạy thử các đề tài cũ về
mạng nơ ron

Thiết kế mơ hình xây chuyền và báo cáo tiến độ

iii

Tuần 11
(20/5 –
27/5)
Tuần 12
(27/5 – 3/6)

Hồn thiện mơ hình, thiết kế giao diện điều khiển

Tuần 13
(3/6 – 10/6)

Viết chương trình lấy mẫu để thu thập dữ liệu nhanh
hơn

Tuần 14
(10/6 –
17/6)
Tuần 15
(17/6 –
24/6)
Tuần 16
(24/6 – 1/7)
Tuần 17
(1/7 – 8/7)
Tuần 18
(8/7 – 15/7)
Tuần 19 (15/7
– 22/7)
Tuần 20 (22/7
– 29/7)

Tuần 21
(29/7 – 3/8)

Viết chương trình điều khiển, thu thập thêm dữ liệu tập
ảnh đầu vào

Chạy chương trình trên mơ hình hệ thống thực tế

Viết báo cáo chương 1,2

Nghiên cứu thêm mạng nơ ron tích chập, áp dụng vào
mơ hình
Viết báo cáo các chương 3, 4
Viết báo cáo các chương 5, 6
Hoàn thiện mạng nơ ron tích chập và chạy thực tế trên
mơ hình.
Hiệu chỉnh báo cáo
Hoàn thiện báo cáo.
GV HƯỚNG DẪN
(Ký và ghi rõ họ và tên)

iv


LỜI CAM ĐOAN
Đề tài này là do chúng tôi tự thực hiện dựa vào một số tài liệu trước đó và khơng
sao chép từ tài liệu hay cơng trình đã có trước đó.

Người thực hiện đề tài

Nguyễn Đức Hịa

Nguyễn Ngọc Phát

v


LỜI CẢM ƠN
Em xin gởi lời cảm ơn sâu sắc đến Thầy Nguyễn Thanh Hải – giảng viên bộ
môn Điện tử cơng nghiệp – y sinh đã tận tình hướng dẫn cho chúng em để thực
hiện đề tài tốt nghiệp này.
Em chân thành cảm ơn và Thầy Ngô Bá Việt - Giảng viên bộ môn Điện tử công
nghiệp – y sinh đã góp ý và chia sẻ nhiều kinh nghiệm quý báu cho em cải thiện đề tài
tốt hơn.
Em xin gởi lời chân thành cảm ơn các thầy cô trong Khoa Điện-Điện Tử đã
truyền đạt những kiến thức bổ ích cho chúng em để làm cơ sở cho việc thực hiện đề tài
tốt nghiệp này.
Em xin gửi lời đồng cảm ơn với các bạn bè cùng lớp đã giúp đỡ, có những góp ý
bổ ích cho việc thực hiện đề tài.
Xin chân thành cảm ơn!

Người thực hiện đề tài

Nguyễn Đức Hòa

Nguyễn Ngọc Phát

vi

MỤC LỤC
Trang bìa........................................................................................................................................................ i
Nhiệm vụ đồ án.......................................................................................................................................... ii
Lịch trình..................................................................................................................................................... iii
Cam đoan...................................................................................................................................................... v
Lời cảm ơn.................................................................................................................................................. vi
Mục lục....................................................................................................................................................... vii
Liệt kê hình ảnh........................................................................................................................................ ix
Liệt kê bảng................................................................................................................................................ xi
Tóm tắt........................................................................................................................................................ xii
CHƯƠNG 1: TỔNG QUAN............................................................................................................... 1
1.1. ĐẶT VẤN ĐỀ................................................................................................................................. 1
1.2. MỤC TIÊU........................................................................................................................................ 2
1.3. NỘI DUNG NGHIÊN CỨU....................................................................................................... 2
1.4. GIỚI HẠN......................................................................................................................................... 2
1.5. BỐ CỤC.............................................................................................................................................. 3
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT................................................................................................. 4
2.1. XỬ LÝ ẢNH CHO VIỆC PHÂN LOẠI.............................................................................. 4
2.1.1. Màu sắc........................................................................................................................................... 4
2.1.2. Kích thước...................................................................................................................................... 4
2.2. DÂY CHUYỀN PHÂN LOẠN TRÁI CÂY DÙNG VI ĐIỀU KHIỂN..................... 4
2.3. NHẬN DẠNG VÀ PHÂN LOẠI............................................................................................. 6
2.3.1. Mạng Nơron nhân tạo................................................................................................................ 7
2.3.3. Mạng Nơron tích chập............................................................................................................... 8
CHƯƠNG 3: TÍNH TỐN VÀ THIẾT KẾ.................................................................................. 9
3.1 GIỚI THIỆU....................................................................................................................................... 9
3.2 TÍNH TỐN VÀ THIẾT KẾ HỆ THỐNG............................................................................ 9
3.2.1. Thiết kế dây chuyền hệ thống................................................................................................. 9
3.2.2. Sơ đồ kết nối hệ thống............................................................................................................. 14
3.3. THIẾT KẾ PHẦN MỀM, TÍNH TỐN CHƯƠNG TRÌNH....................................... 15

3.3.1. Thiết kế giao diện đồ họa....................................................................................................... 15

vii


3.3.2. Tính tốn chương trình điều khiển..................................................................................... 16
CHƯƠNG 4: THI CÔNG HỆ THỐNG DÂY CHUYỀN PHÂN LOẠI TRÁI CÂY . 21

4.1. THI CÔNG HỆ THỐNG........................................................................................................... 21
4.1.1. Thiết kế giao diện...................................................................................................................... 21
4.1.2. Thi cơng mơ hình...................................................................................................................... 22
4.2. CÁCH THU NHẬN ẢNH ĐẦU VÀO................................................................................. 23
4.3. CHƯƠNG TRÌNH CHÍNH CỦA HỆ THỐNG................................................................ 27
4.3.1. Chương trình huấn luyện ảnh đầu vào dùng mạng ANN........................................... 29
4.3.2. Chương trình nhận diện bằng mạng ANN....................................................................... 30
4.3.3 Chương trình huấn luyện và nhận dạng dùng mạng CNN.......................................... 31
4.4. TÀI LIỆU HƯỚNG DẪN THAO TÁC............................................................................... 33
CHƯƠNG 5: KẾT QUẢ, NHẬN XÉT VÀ ĐÁNH GIÁ HỆ THỐNG ............................34
5.1. KẾT QUẢ........................................................................................................................................ 34
5.1.1. Lý thuyết....................................................................................................................................... 34
5.1.2. Tập dữ liệu................................................................................................................................... 34
5.1.3. Kết quả về mơ hình phần cứng............................................................................................ 35
5.1.4. Kết quả nhận dạng.................................................................................................................... 35
5.2. NHẬN XÉT VÀ ĐÁNH GIÁ.................................................................................................. 40
CHƯƠNG 6: KẾT LUẬN, HƯỚNG PHÁT TRIỂN............................................................... 41
6.1. KẾT LUẬN..................................................................................................................................... 41
6.2. HƯỚNG PHÁT TRIỂN............................................................................................................. 41
TÀI LIỆU THAM KHẢO.................................................................................................................. 42
PHỤ LỤC................................................................................................................................................. 43

viii


LIỆT KÊ HÌNH ẢNH
Hình

Trang

Hình 2.1: Mơ hình của hệ thống phân loại bút chì....................................................................... 5
Hình 2.2: Mơ hình của hệ thống kiểm tra lỗi vỉ thuốc................................................................ 6
Hình 2.3: Sơ đồ của một mạng nơ ron nhân tạo........................................................................... 7
Hình 2.4: Mơ hình mạng nơ ron tích chập....................................................................................... 8
Hình 3.1: Sơ đồ khối của dây chuyền phân loại trái cây………………………………9
Hình 3.2: Board Arduino Uno R3....................................................................................................... 10
Hình 3.3: Module Relay 1 kênh.......................................................................................................... 11
Hình 3.4: Mơ hình băng tải................................................................................................................... 11
Hình 3.5: Động cơ servo MG996R.................................................................................................... 12
Hình 3.6: Camera Logitech C270p.................................................................................................... 13
Hình 3.7: Cáp nối USB Tybe B........................................................................................................... 13
Hình 3.8: Apdater 9V............................................................................................................................... 14
Hình 3.9: Sơ đồ kết nối hệ thống dây chuyền phân loại trái cây............................................. 15
Hình 3.10: Giao diện đồ họa của hệ thống....................................................................................... 16
Hình 3.11: Sơ đồ khối các bước trích xuất đặc trưng dùng xử lý ảnh................................... 16
Hình 3.12: Mơ hình mạng ANN phân loại trái cây....................................................................... 19
Hình 3.13: Sơ đồ mạng CNN phân loại trái cây............................................................................ 19
Hình 4.1: Giao diện hồn thiện của chương trình.......................................................................... 21
Hình 4.2: Vị trí đặt camera nhìn từ ngồi vào và đèn led chiếu sáng cho buồng chụp…22
Hình 4.3: Camera nhìn từ phía trong buồng chụp......................................................................... 23
Hình 4.4: Vị trí đặt các động cơ Servo.............................................................................................. 23
Hình 4.5: Vị trí đặt động cơ DC của băng tải và Arduino......................................................... 24

Hình 4.6: Mơ hình nhìn từ bên phải................................................................................................... 25
Hình 4.7: Vị trí cho trái cây vào ở đầu băng chuyền.................................................................. 25
Hình 4.8: Vị trí trái cây đi ra................................................................................................................. 25
Hình 4.9: Lưu đồ chương trình chụp ảnh mẫu............................................................................... 26
Hình 4.10: Ảnh chụp màn hình chương trình chụp ảnh lấy dữ liệu....................................... 27
Hình 4.11: Lưu đồ chính của hệ thống.............................................................................................. 28
Hình 4.12: Lưu đồ của vi điều khiển…………………………………………………...29
Hình 4.13: Lưu đồ chương trình huấn luyện mạng ANN.......................................................... 30
Hình 4.14: Lưu đồ nhận dạng trái cây dùng mạng ANN........................................................... 31
Hình 4.15: Sơ đồ các bước huấn luyện mạng CNN..................................................................... 32
Hình 4.16: Giao diện của chương trình............................................................................................ 33
ix


Hình 5.1: Tập ảnh đã thu thập được................................................................................................. 34
Hình 5.2: Mơ hình đã thi cơng được................................................................................................ 35
Hình 5.3: Giao diện hệ thống và kết quả khi nhận diện được trái cà chua........................ 36
Hình 5.4: Giao diện hệ thống và kết quả khi nhận diện được trái táo.................................. 36
Hình 5.5: Giao diện hệ thống và kết quả khi nhận diện được trái chuối.............................37
Hình 5.6: Giao diện hệ thống và kết quả khi nhận diện được trái mận............................... 37
Hình 5.7: Nhận diện sai trái táo.......................................................................................................... 38
Hình 5.8: Nhận diện sai trái cà chua.................................................................................................. 38

x


LIỆT KÊ BẢNG
Bảng

Trang

Bảng 3.1: Bảng tái hiện 4 màu của ảnh xám............................................................................... 17
Bảng 5.1: Bảng thống kê kết quả khi sử dụng mạng ANN ………………………….38
Bảng 5.2: Bảng thống kê kết quả khi sử dụng mạng CNN …………….. ………......39
Bảng 5.3: Bảng so sánh kết quả giữa mạng ANN và CNN …………….................... 39
Bảng 5.4: Bảng thống kê kết quả khi sử dụng mạng ANN ở khác thời điểm.................39
Bảng 5.5: Bảng thống kê kết quả khi sử dụng mạng CNN ở khác thời điểm..................39
Bảng 5.6: Bảng so sánh kết quả mạng ANN và CNN khi dùng trái cây khác thời điểm….. 40

xi


TĨM TẮT

Ngày nay, xử lý ảnh là một cơng nghệ phổ biến đối với đời sống, nó giúp ích rất
nhiều trong việc sản xuất, nhận diện, kiểm tra sản phẩm. Bên cạnh đó, cơng nghệ trí
thơng minh nhân tạo, deep learning cũng là một cơng nghệ tiên tiến, giúp ích rất
nhiều cho đời sống con người. Đề tài “Thiết kế và thi công hệ thống phân loại trái
cây dùng mạng neural” là mơ hình sử dụng các thuật tốn về xử lý ảnh và mạng
neural để phân loại 3 loại trái cây theo 2 phương pháp dùng mạng nhân tạo và mạng
tích chập. Ở đây dùng trích xuất đặc trưng của từng loại trái cây để huấn luyện ảnh
đầu vào, tạo nên mạng nhân tạo, hoặc dùng mạng tích chập để huấn luyện từng ảnh.
Kết quả thực hiện được là đã phân loại được 3 loại trái cây khác nhau cùng với việc
đếm số lượng trái cây phân biệt được mỗi loại. Đề tài dùng băng tải, camera, máy
tính PC, Arduino và một số ngoại vi để tạo ra mô hình.

xii


Thiết kế và thi công hệ thống phân loại trái cây dùng mạng Neural

CHƯƠNG 1: TỔNG QUAN
1.1. ĐẶT VẤN ĐỀ
Ngày nay, xã hội ngày càng hiện đại, phát triển. Các thành tựu về khoa học kỹ
thuật ngày càng được các thế hệ kỹ sư nghiên cứu và áp dụng một cách rộng rãi, phổ
biến và mang lại hiệu quả cao trong hầu hết các lĩnh vực kinh tế, kỹ thuật cũng như đời
sống xã hội [1]. Chính nhờ những điều này mà cuộc sống của người dân ngày được cải
thiện, nâng cao và xã hội ngày càng phát triển theo hướng tự động hóa, hiện đại hóa.
Một trong những cơng nghệ tiên tiến được ứng dụng rộng rãi là công nghệ xử lý
ảnh. Công nghệ này không chỉ dừng lại ở việc xử lý những vết nhòe, tái chế và phục hồi
các ảnh cũ mà còn mang lại những tiến bộ vượt bậc cho nền văn minh của con người như
nhận diện sinh trắc học (vân tay, khuôn mặt), nhận dạng đối tượng, nhận dạng vật thể,
phân loại đối tượng khi nó kết hợp với mạng neural (Neural Network) [2].

Mạng Neural (Neural Network) là một mơ hình xử lý thơng tin theo cách xử lý
thông tin của các hệ neural sinh học. Nó được tạo nên từ một số lượng lớn các phần tử
kết nối với nhau thông qua các liên kết giống với cấu trúc bộ não con người, được học
hỏi kinh nghiệm và những hiểu biết và sử dụng những dữ liệu đó trong việc nhận diện
các dữ liệu chưa biết. Các ứng dụng của Neural Network được sử dụng trong các lĩnh
vực như y tế, quân sự, điện – điện tử để giải quyết các vấn đề về điều khiển tự động,
nhận dạng vật thể phức tạp, cần độ chính xác cao [2].
Xét về tình hình hiện tại, Việt Nam là một nước có nền nơng nghiệp phát triển,
đất nước chúng ta có khí hậu thuận lợi cho các loại cây trồng như lúa nước, cây công
nghiệp, cây ăn quả. Nó giúp cho nơng dân có thu nhập và có cuộc sống ổn định. Và
việc ứng dụng các thành tựu về khoa học kỹ thuật vào nông nghiệp là một việc khơng
cịn q xa lạ với kỷ ngun cơng nghiệp hóa – hiện đại hóa đất nước. Điều này dẫn tới
việc hình thành các hệ thống sản xuất linh hoạt, cho phép tự động hóa ở mức độ cao
trên cơ sở sử dụng các loại máy CNC, robot [1]. Trong đó, một khâu quan trọng là
phân loại sản phẩm. Đây là một hệ thống nhằm chia ra các loại trái cây khác nhau để
đóng gói hoặc loại bỏ những loại trái cây không cần thiết. Hệ thống này sử dụng các

đặc điểm của trái cây như hình dáng, màu sắc, kích thước để nhận biết loại trái cây và
phân nó thành từng loại để chuẩn bị cho khâu đóng gói.
Hiện nay đã có rất nhiều nghiên cứu về hệ thống phân loại sản phẩm, đó là những
đồ án tốt nghiệp cũ như đề tài Ứng dụng công nghệ xử lý ảnh trong hệ thống phân loại
sản phẩm của Nguyễn Hiển Minh, Phan Thanh Long thực hiện năm 2019 [1], nghiên cứu
về hệ thống phân loại vật thể theo màu sắc hoặc đề tài Phân loại sản phẩm dùng Kit

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

1


Thiết kế và thi công hệ thống phân loại trái cây dùng mạng Neural
Raspberry của Hà Duy Khánh thực hiện năm 2018 [3], nghiên cứu về việc phân loại
sản phẩm theo hình dáng dựa vào xử lý ảnh [4]. Các đề tài này đều là những đề tài hay,
ứng dụng thực tiễn về các hệ thống phân loại.
Từ những khảo sát trên, cùng với những hiểu biết trong quá trình học tập và đời
sống hàng ngày, nhóm chọn đề tài: “Thiết kế và thi công hệ thống phân loại trái cây
dùng mạng Neural”.
1.2. MỤC TIÊU
Thiết kế và thi công mô hình dây chuyền phân loại 3-5 loại trái cây bằng
phương pháp xử lý ảnh dùng mạng nơ ron nhận dạng qua camera.
1.3. NỘI DUNG NGHIÊN CỨU
Đề tài Thiết kế và thi công hệ thống phân loại trái cây dùng mạng Neural,
nhóm tập trung giải quyết và hồn thành được những nội dung sau:
- Nội dung 1: Đọc tài liệu, thu thập thông tin làm cơ sở.
- Nội dung 2: Thu thập dữ liệu ảnh đủ lớn của 3 loại trái cây : táo, cà chua, chuối.
- Nội dung 3: Xử lý ảnh: ảnh xám, ảnh nhị phân, tính kích thước.
- Nội dung 4: Nhận dạng bằng hai mạng nơ ron: mạng nhân tạo và mạng tích chập.
- Nội dung 5: Thiết kế, thi cơng mơ hình dây chuyền.

- Nội dung 6: Chạy thử, kiểm tra, hiệu chỉnh.
- Nội dung 7: Hồn thành mơ hình gồm băng chuyền, camera, máy tính, vi điều
khiển và các ngoại vi.
- Nội dung 8: Đánh giá chất lượng.
- Nội dung 9: Viết báo cáo.
1.4. GIỚI HẠN
Các thông số giới hạn của đề tài bao gồm:
-

Phân loại 3 - 5 loại trái cây khác nhau.

-

Các loại trái nhẹ dưới 200gram.

-

Kích thước trái cây với diện tích đặt lên băng tải khơng q 100cm .

BỘ MƠN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

2

2


Thiết kế và thi công hệ thống phân loại trái cây dùng mạng Neural
Trái cây sử dụng trong cùng một khoảng thời gian.
1.5. BỐ CỤC
 Nội dung đề tài gồm các phần sau:

Chương 1: Tổng quan
Nêu nguyên nhân chọn đề tài, giới thiệu đề tài, về xử lý ảnh và mạng nơ ron.
Chương 2: Cơ sở lý thuyết
Nêu ra các lý thuyết để làm tiền đề cho việc thực hiện đồ án, sử dụng các đề tài đã
được nghiên cứu làm tài liệu tham khảo để làm cơ sở.
Chương 3: Tính tốn và thiết kế
Tính tốn thiết kế để đưa ra sơ đồ nguyên lý, chọn linh kiện cho mô hình dây chuyền
phân loại trái cây và nêu nguyên lý hoạt động. Thiết kế xây dựng phần mềm, tính tốn
các thơng số trong chương trình điều khiển.
Chương 4: Thi cơng hệ thống
Đưa ra kết quả hình ảnh về mơ hình dây chuyền phân loại trái cây. Trình bày phương
pháp lấy mẫu, vẽ lưu đồ giải thuật, viết chương trình điều khiển, thiết kế giao diện điều
khiển cho chương trình.
Chương 5: Kết quả, nhận xét, đánh giá
Nêu ra kết quả đã đạt được về kiến thức lý thuyết, về tập dữ liệu, về giao diện chương
trình, về mơ hình dây chuyền, về hiệu suất của hệ thống. Đánh giá kết quả đã đạt được
so với mục tiêu đề ra.
Chương 6: Kết luận và hướng phát triển
Đưa ra kết luận về các mặt ưu điểm và nhược điểm của hệ thống, nêu ra các
hướng phát triển của đề tài.

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

3


Thiết kế và thi công hệ thống phân loại trái cây dùng mạng Neural

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
2.1. XỬ LÝ ẢNH CHO VIỆC PHÂN LOẠI

2.1.1. Màu sắc
Đối với một số đề tài đã được nghiên cứu, như đề tài Ứng dụng xử lý ảnh trong
hệ thống phân loại sản phẩm của Nguyễn Minh Hiền và Phan Thanh Phong thực hiện
năm 2019 [1], đã nêu lên cách nhận biết vật thể thơng qua màu sắc và hình dạng.
Trong đề tài này, để nhận biết màu sắc, tác giả đã chuyển không gian màu từ không
gian RGB sang không gian màu HSV để phân tích. Việc này tuy giúp nhận biết khá
chính xác nhưng để sử dụng, ta phải cần thơng qua thư viện OpenCV, và chương trình
sẽ sử dụng nhiều tài nguyên hơn.
2.1.2. Kích thước
Đối với đề tài Thiết kế và thi cơng mơ hình hệ thống kiểm tra lỗi vỉ thuốc của Nguyễn
Hồng Thơng và Lê Minh Phúc [7], tác giả đã sử dụng kỹ thuật chuyển ảnh thành ảnh nhị
phân để phân tích hình dáng của vỉ thuốc. Tuy nhiên, phương pháp này chỉ áp dụng được
với những hình dáng cơ bản, có thể ngoại tiếp đường elip như hình chữ nhật, hình vng,
… Việc sử dụng phương pháp này khơng thích hợp đối với việc nhận dạng trái cây vì trái
cây có những hình dạng khơng cố định và khơng phải là các hình cơ bản.

2.2. DÂY CHUYỀN PHÂN LOẠN TRÁI CÂY DÙNG VI ĐIỀU KHIỂN
Sau khi tham khảo các đề tài trước như: Thiết kế và thi cơng mơ hình hệ thống kiểm tra
lỗi vỉ thuốc của Nguyễn Hồng Thơng và Lê Minh Phúc thực hiện năm 2020, cũng như đề
tài đồ án Thiết kế và thi công một hệ thống phân loại sản phẩm bút chì theo màu sắc của
Trần Văn Tuấn và Phạm Văn Long thì nhóm nhận thấy cả 2 đề tài đều sử dụng các loại
băng tải mini để mà làm mô hình dây chuyền phân loại sản phẩm. Đối với việc xử lý các
tác vụ về điều khiển, cả hai đề tài đều sử dụng module Arduino để làm bộ điều khiển trung
tâm, dùng máy tính cá nhân để làm bộ xử lý hình ảnh và điều khiển phần mềm. Đây có thể
nói là cách khá tối ưu cho các mơ hình dây chuyền phân loại.

BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP – Y SINH

4

Thiết kế và thi công hệ thống phân loại trái cây dùng mạng Neural

Hình 2.1: Mơ hình của hệ thống phân loại bút chì.
Ở đề tài Thiết kế và thi cơng một hệ thống phân loại sản phẩm bút chì theo màu
sắc của Trần Văn Tuấn và Phạm Văn Long [6] thì tác giả đã dùng 2 băng tải, băng tải 1
để chứa sản phẩm đổ vào băng tải 2 để bằng tải 2 tiến hành vận chuyển sản phẩm qua
một buồng tối để nhận dạng sản phẩm, sản phẩm tiếp tục được băng tải 2 vận chuyển
và được phân loại bằng 2 motor servo như trên hình.
Ưu điểm: sử dụng băng tải mini nên mơ hình gọn nhẹ, có buồng chụp ảnh riêng
biệt giúp hệ thống nhận dạng chính xác hơn, có 2 khay chứa giúp cho việc phân loại
gọn gàng hơn.
Khuyết điểm: Việc sử dụng 2 băng tải gây dư thừa, chưa thật sự cần thiết cho mơ
hình, vị trí các mơ-đun chưa hợp lý, gây mất thẩm mỹ.
Ở đề tài Thiết kế và thi cơng mơ hình hệ thống kiểm tra lỗi vỉ thuốc của Nguyễn
Hồng Thơng và Lê Minh Phúc thực hiện năm 2020 thì chúng ta đã thấy có nhiều cải
tiến về mơ hình hơn [7].
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

5


Thiết kế và thi công hệ thống phân loại trái cây dùng mạng Neural

Hình 2.2: Mơ hình của hệ thống kiểm tra lỗi vỉ thuốc
Ưu điểm: sử dụng 1 băng tải, có bổ sung đèn báo tín hiệu cũng như là mơ hình
được thiết kế gọn đẹp hơn.
Khuyến điểm: vẫn cịn nặng nề, vị trí các module chưa hợp lý.
2.3. NHẬN DẠNG VÀ PHÂN LOẠI
Sau khi tham khảo các đề tài trước như : Ứng dụng công nghệ xử lý ảnh trong hệ

thống phân loại sản phẩm của Nguyễn Hiển Minh và Phan Thanh Long thực hiện năm
2019 [1], nghiên cứu về hệ thống phân loại vật thể theo màu sắc hoặc đề tài Thiết kế và
thi cơng mơ hình hệ thống kiểm tra lỗi vỉ thuốc của Nguyễn Hoàng Thông và Lê Minh
Phúc [7] Các đề tài này đều là những đề tài hay, ứng dụng thực tiễn về các hệ thống
phân loại. Tuy nhiên, những đề tài này đều chỉ dùng các cách nhận dạng cơ bản với
những thơng số được tính tốn bằng tay nên nó chưa tối ưu về tốc độ nhận dạng và
cũng như là khó chuyển đổi sang nhận dạng những sản phẩm khác mà cụ thể là các
loại trái cây khác nhau như ở đề tài nhóm đang thực hiện.

BỘ MƠN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

6


Thiết kế và thi công hệ thống phân loại trái cây dùng mạng Neural
2.3.1. Mạng Nơron nhân tạo
Mạng nơ ron nhân tạo (Artificial Neural Network - ANN) đã từng được sử dụng
khá phổ biến trên thế giới, được phát triển qua nhiều cơng trình nghiên cứu và cịn
được nhiều phần mềm hiện tại hỗ trợ mà cụ thể là phần mềm MATLAB. Trong đó,
MATLAB có nhiều ví dụ để giúp chúng ta làm quen với mạng tốt hơn, như là ví dụ về
Phân tích tỉ lệ phần trăm mỡ của con người [8]
Trong ví dụ trên, tác giả đã thu thập 13 đặc trưng từ 252 tình nguyện viên tạo nên
bộ dữ liệu, đưa dữ liệu vào mạng nơ ron nhân tạo để huấn luyện và cho ra kết quả tỉ lệ
phần trăm mỡ của con người. Với mơ hình như hình 2.3, tác giả đã sử dụng mạng ANN
với 13 ngõ vào (input) và 15 lớp ẩn (hidden).
Ta có thể thấy lợi ích khi dùng mạng nơ ron nhân tạo để xử lý khối lượng dữ liệu đầu
vào lớn, giúp cho việc tính tốn, trích xuất đặc trưng nhanh chóng và đa dạng hơn.

Hình 2.3: Sơ đồ của một mạng nơ ron nhân tạo
Tuy nhiên, mạng nơ ron nhân tạo là một mơ hình tương đối cổ điển mà ngày nay ít

cịn được áp dụng rộng rãi, thay vào đó là những mạng nơ ron tiên tiến hơn ví dụ như
mạng nơ ron tích chập (Convolutional Neural Network – CNN).
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

7


Thiết kế và thi công hệ thống phân loại trái cây dùng mạng Neural
2.3.3. Mạng Nơron tích chập

Hình 2.4: Mơ hình mạng nơ ron tích chập
Hình 2.4 mơ tả một mạng nơ ron tích chập (Convolutional Neural Network –
CNN) với 4 lớp Convolution. Mơ hình này được sử dụng rộng rãi hơn do tính chính
xác và hiện đại của nó. Cụ thể như ví dụ về Nhận dạng chữ số viết tay [8], tác giả đã sử
dụng tổng cộng 10000 tấm ảnh cho các số thứ tự từ 0 -9 (1000 tấm ảnh mỗi loại) để
đưa vào huấn luyện với 3 lớp convolution.
Kết quả của ví dụ này đã nhận diện được các chữ viết tay với tỉ lệ đúng cao, vào
khoảng 98%. Từ đây có thể nhận thấy kết quả khi sử dụng mạng CNN là khá tốt và
thích hợp để ứng dụng vào thực tế.

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

8


Thiết kế và thi công hệ thống phân loại trái cây dùng mạng Neural

CHƯƠNG 3: TÍNH TỐN VÀ THIẾT KẾ
3.1 GIỚI THIỆU
Ngày nay, phần lớn các thiết bị điện tử đều phát triển theo xu hướng tự động hóa,

thơng minh, càng hiểu ý con người, chúng giao tiếp được với con người và hoạt động theo
ý muốn con người, để làm được điều đó thì các thiết bị cảm biến, thuật tốn hỗ trợ ra đời.
Trong số đó bài tốn “phân loại trái cây” là một đề tài đáng để cho ta tìm hiểu.

Để tài “Thiết kế và và thi công hệ thống phân loại trái cây dùng mạng Neural ”
với mục tiêu là phân loại tái cây. Dựa trên phần mềm MATLAB, được thực hiện với bộ
xử lý trung tâm là PC nhận và xử lý hình ảnh, khối thu tín hiệu hình ảnh từ bên ngồi
là Camera Webcam, khối điều khiển là board Arduino Uno và khối thực thi là các thiết
bị ngoại vi như động cơ, băng chuyền,...
Đề tài chỉ xây dựng với mơ hình nhỏ và gọn không làm thành dây chuyền sản
xuất. Thời gian và tốc độ xử lý còn chậm, cùng với Camera chụp ảnh không mong
muốn ở điều kiện thiếu ánh sáng mà phải được che kín và chiếu thêm đèn led để tăng
cường sáng.
3.2 TÍNH TỐN VÀ THIẾT KẾ HỆ THỐNG
3.2.1. Thiết kế dây chuyền hệ thống
CAMERA

MÁY
TÍNH

VI ĐIỀU
KHIỂN

BĂNG TẢI

NGUỒN CẤP
Hình 3.1: Sơ đồ khối của dây chuyền hệ thống phân loại trái cây
Chức năng từng khối:
• Máy tính: có chức năng nhận tín hiệu hình ảnh từ Camera, tiến hành xử lý hình
ảnh và phân tích nhận dạng, sau đó trả lại kết quả cho Vi điều khiển. Hiển thị nội dung

thông tin, chương trình điều khiển.
BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP – Y SINH

9


Thiết kế và thi công hệ thống phân loại trái cây dùng mạng Neural
• Vi điều khiển: Nhận lệnh từ máy tính, điều khiển băng tải.
• Camera: Có chức năng thu thập tín hiệu hình ảnh từ thực tế chuyển về tín
hiệu điện và gửi dữ liệu cho máy tính.
• Băng tải: Nhận dữ liệu từ vi điều khiển và thi hành thực tế.
• Nguồn: Cấp nguồn cho vi điều khiển và băng
tải. a. Máy tính
Sử dụng máy tính Laptop Acer Nitro 5 chạy phần mềm Matlab. Việc sử dụng máy
tính để xử lý có nhiều ưu điểm như tốc độ xử lý nhanh, dễ dàng lập trình và giao diện
điều khiển trực quan, dễ sử dụng.
b. Vi điều khiển
Arduino Arduino Uno R3 là một board mạch vi điều khiển tích hợp. Phần cứng
bao gồm một board mạch nguồn mở được thiết kế trên nền tảng vi điều khiển AVR
Atmel 8 bit. Model hiện tại được trang bị gồm 1 cổng giao tiếp USB, 6 chân đầu vào
analog, 14 chân I/O kỹ thuật số tương thích với nhiều board mở rộng khác nhau.
Các chân
Analog

Các chân Digital

Hình 3.2: Board Arduino Uno R3
c. Băng tải
Module Relay 1 kênh: dùng để điều khiển đóng ngắt động cơ của băng tải.
Module Relay 1 kênh 5V gồm 1 relay, điện áp hoạt động 5V điều khiển đầu ra tối đa

220VAC/10A và 30VDC/10A. Đầu vào IN nhận tín hiệu cực thấp. Trong module đã có
sẵn mạch kích relay sử dụng IC cách ly quang và transistor giúp cách ly hoàn toàn
mạch vi điều khiển với relay bảo đảm vi điều khiển hoạt động ổn định.

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

10


Thiết kế và thi công hệ thống phân loại trái cây dùng mạng Neural

Ngõ ra

Ngõ vào
Hình 3.3: Module Relay 1 kênh
Băng tải: là một máy cơ khí dùng để vận chuyển các đồ vật từ điểm này sang điểm
khác, từ vị trí A sang vị trí B. Băng tải gồm 2 phần chính: phần 1 là Động cơ truyền động
(hình 3.4 – vị trí 1) là động cơ giảm tốc có cơng suất tối đa 200W và phần 2 là phần băng
tải (hình 3.4 – vị trí 2) gồm có khung nhơm, chân đứng và băng truyền động.

1

2

Hình 3. 4: Mơ hình băng tả i
Động cơ Servo: Động cơ servo đã có từ rất lâu và được sử dụng trong nhiều ứng
dụng. Chúng có kích thước nhỏ nhưng đóng gói một cú đấm lớn và rất tiết kiệm năng
lượng. Những tính năng này cho phép chúng được sử dụng để vận hành xe ô tô đồ chơi
, robot và máy bay điều khiển từ xa . Động cơ servo cũng được sử dụng trong các ứng
dụng công nghiệp, robot, sản xuất nội tuyến, dược phẩm và dịch vụ thực phẩm.

Động cơ RC Servo MG996 là loại thường được sử dụng nhiều nhất trong các
thiết kế Robot hoặc dẫn hướng xe. Động cơ RC Servo MG996 có lực kéo mạnh, các

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

11


Thiết kế và thi công hệ thống phân loại trái cây dùng mạng Neural
khớp và bánh răng được làm hoàn tồn bằng kim loại nên có độ bền cao, động cơ
được tích hợp sẵn Driver điều khiển động cơ bên trong theo cơ chế phát xung - quay
góc nên rất dễ sử dụng.

Hình 3.5: Động cơ servo MG996R
Ngõ ra của Arduino có điện áp chạy từ 0 – 5VDC, dịng ra là 20mA. Động cơ
hoạt động ở khoảng điện áp 1.5 – 5V. Cơng suất được tính theo cơng thức sau:
P=UxI

(3.1)

Với P là công suất, U là điệp áp, I là dịng điện qua linh kiện.
Cơng suất lớn nhất của Servo là:
PMax = UMax x I = 5 x 0,02 = 0,1W
Công suất nhỏ nhất là:
PMin = UMax 1,5 x 0,02 = 0,03W
Led trợ sáng: sử dụng một led trợ sáng cho buồng chụp để camera có thể chụp
ảnh chính xác. Led mắc với một điện trở R = 100Ohm để giảm điện áp, nhằm làm
giảm độ sáng của led lại để đáp ứng đúng độ sáng trong buồng chụp.
Điện áp cấp cho Led được tính theo cơng thức:
ULed = U - I x R

(3.2)

Ngõ ra của Arduino: 5VDC – 20mA.
 Dòng qua led I = 20mA.


Điện áp trên led được tính theo cơng thức (3.2): ULed = 5 – I x R

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

12