Ứng dụng thuật toán yolo phát hiện và cảnh báo bệnh sương mai trên cây dưa chuột

HỌC VIỆN NÔNG NGHIỆP VIỆT NAM

KHOA CƠ ĐIỆN
------------

ĐỒ ÁN TỐT NGHIỆP
ĐỀ TÀI:
ỨNG DỤNG THUẬT TOÁN YOLO PHÁT HIỆN
VÀ CẢNH BÁO BỆNH SƯƠNG MAI
TRÊN CÂY DƯA CHUỘT

Giảng viên hướng dẫn : TS. NGƠ TRÍ DƯƠNG
Sinh viên thưc hiện

: NGUYỄN VĂN BIỂN

Msv

: 603057

Lớp

: K60 – TDHB

Chuyên ngành

: TỰ ĐỘNG HÓA

Hà Nội - 2021

LỜI CAM ĐOAN
Tơi xin cam đoan đây là cơng trình nghiên cứu của riêng tôi, các kết quả
nghiên cứu được trình bày trong đồ án là trung thực, khách quan và chưa từng
dùng để bảo vệ cho bất kỳ đồ án môn học nào.
Tôi xin cam đoan rằng mọi sự giúp đỡ cho việc thực hiện đồ án đã được
cám ơn, các thơng tin trích dẫn trong đồ án này đều được chỉ rõ nguồn gốc.
Hà Nội, ngày…. tháng ….năm 2021
Tác giả đồ án

NGUYỄN VĂN BIỂN

i


LỜI CẢM ƠN
Được sự phân công của quý thầy cô khoa Cơ-Điện , Trường Học Viện
Nông Nghiệp Việt Nam , sau gần sáu tháng thực tập em đã hoàn thành Khóa
luận tốt nghiệp .
Để hồn thành nhiệm vụ được giao, ngồi sự nỗ lực học hỏi của bản thân
cịn có sự hướng dẫn tận tình của thầy cơ .
Em chân thành cảm ơn thầy giáo TS. NGƠ TRÍ DƯƠNG và thầy giáo
ThS. NGÔ QUANG ƯỚC người đã hướng dẫn cho em trong suốt thời gian
thực tập. Mặc dù các thầy bận nhưng không ngần ngại chỉ dẫn em, định hướng
đi cho em, để em hoàn thành tốt nhiệm vụ. Một lần nữa em chân thành cảm ơn
thầy và chúc thầy dồi dào sức khoẻ.
Đồng thời em cũng gửi lời cảm ơn trân thành nhất đến tồn thể q thầy
cơ trong Trường Học Viện Nơng nghiệp Việt Nam nói chung, q thầy cô trong
Khoa Cơ – Điện và bộ môn: Tự Động Hóa nói riêng đã bỏ cơng sức truyền đạt
lại những kiến thức cho chúng em trong những năm theo học tại trường.
Tuy nhiên vì kiến thức chun mơn cịn hạn chế và bản thân còn thiếu

nhiều kinh nghiệm thực tiễn nên nội dung của báo cáo không tránh khỏi những
thiếu xót, em rất mong nhận sự góp ý, chỉ bảo thêm của q thầy cơ cùng tồn
thể lãnh đạo để báo cáo này được hoàn thiện tốt hơn.
Em xin chân thành cảm ơn!
Hà Nội,

tháng

năm 2021

Sinh viên

Nguyễn văn Biển

ii


MỤC LỤC
LỜI CAM ĐOAN................................................................................................... i
LỜI CẢM ƠN ....................................................................................................... ii
MỤC LỤC ............................................................................................................ iii
DANH MỤC BẢNG ..............................................................................................v
DANH MỤC HÌNH ............................................................................................. vi
PHẦN MỞ ĐẦU ....................................................................................................1
CHƯƠNG I TỔNG QUAN TÀI LIỆU .................................................................3
1.1 Tổng quan về xử lý ảnh ...................................................................................3
1.1.1 Khái quát về xử lý ảnh ..................................................................................3
1.1.2 Những vấn đề cơ bản trong hệ thống xử lý ảnh ............................................6
1.1.3 Những vấn đề khác trong xử lý ảnh ..............................................................7
1.1.4 Nhận dạng đối tượng trong xử lý ảnh ...........................................................8

1.2 Ứng dụng xử lý ảnh trong đời sống. ..............................................................10
1.3 Ứng dụng xử lý ảnh trong tự động hóa ..........................................................15
1.3.1 Ứng dụng trong công nghiệp.......................................................................15
1.3.2 Trong lĩnh vực nông nghiệp ........................................................................18
1.4 Yêu cầu thiết kế ..............................................................................................20
CHƯƠNG 2 NỘI DUNG VÀ PHƯƠNG PHÁP NGHIÊM CỨU .....................22
2.1 Đối tượng nghiêm cứu...................................................................................22
2.1.1 Cây dưa chuột..............................................................................................22
2.1.2 Một số mơ hình thuật tốn trên CNN ..........................................................24
2.1.3 Hạn chế trong việc nghiên cứu của các thuật toán ......................................30
2.1.4 Đề xuất phương án xử lý ảnh bằng thuật toán YOLO ...............................31
2.1.5 Thiết bị chung..............................................................................................38
2.1.6 Cài đặt hệ điều hành cho Raspberry PI .......................................................41
2.1.7 Thư viện OpenCV .......................................................................................42
iii


2.1.8 Ngơn ngữ lập trình python ..........................................................................46
2.2 Nội dung nghiên cứu. ....................................................................................49
2.3 Phương pháp nghiên cứu ................................................................................49
CHƯƠNG 3 KẾT QUẢ VÀ THẢO LUẬN ........................................................50
3.1 Sơ đồ tổng quát...............................................................................................50
3.1.1 Sơ đồ khối ...................................................................................................50
3.1.2 Sơ đồ cấu trúc hoạt động .............................................................................50
3.2. Lưu đồ thuật toán ..........................................................................................52
3.3 Giao diện Raspberry .......................................................................................53
3.4 Xây dựng bộ mẫu bằng thuật toán YOLO .....................................................54
3.4.1 Xây dựng bộ dữ liệu hình ảnh bệnh sương mai ..........................................54
3.5 Chạy thực nghiệm ..........................................................................................63
3.6. Kết quả và thảo luận ......................................................................................65

3.6.1. Kết quả .......................................................................................................65
3.6.2. Thảo luận ....................................................................................................66
KẾT LUẬN VÀ ĐỀ NGHỊ ..................................................................................68
TÀI LIỆU THAM KHẢO ....................................................................................70
PHỤ LỤC .............................................................................................................71

iv


DANH MỤC BẢNG
Bảng 2.1. Các kiểu mã thường dùng ................................................................... 48
Bảng 3.1. Các lỗi gặp phải trong quá trình thử nghiệm ...................................... 65
Bảng 3.2. Kết quả thí nghiệm trong phịng thí nghiệm ....................................... 66
Bảng 3.3 . Kết quả thí nghiệm với ánh sáng khác nhau ...................................... 66
Bảng 3.4. Bảng hoạch toán.................................................................................. 67

v


DANH MỤC HÌNH
Hình 1.1. Các bước cơ bản trong một hệ thống xử lý ảnh .................................... 4
Hình 1.2.Minh họa sự thay đổi góc chụp .............................................................. 9
Hình 1.3.Minh họa cho sự che khuất .................................................................... 9
Hình 1.4. Sự phức tạp của hình nền ...................................................................... 9
Hình 1.5. Minh họa độ sáng khác nhau ............................................................... 10
Hình 1.6. Xử lý ảnh hỗ trợ bác sĩ trong chẩn đốn ............................................. 11
Hình 1.7. Hệ thống Camera nhận dạng khn mặt ............................................. 12
Hình 1.8. Bộ nhận dạng mặt người trong các smartphone.................................. 14
Hình 1.9. Kiểm tra dược phẩm bằng xử lý ảnh ................................................... 16
Hình 1.10. Kiểm tra mã vạch ............................................................................. 16

Hình 1.11. Ứng dụng xử lý ảnh trong quản lí kho hàng ..................................... 17
Hình 1.12. Tiên đốn bảo trì thiết bị bằng cơng nghệ xử lý ảnh ........................ 18
Hình 1.13. Cơng nghệ xử lý ảnh áp dụng trong kiểm tra chất lượng chín của quả
dâu tây .............................................................................................. 18
Hình 1.14. Hệ thống giám sát và phun thuốc ...................................................... 19
Hình 1.15. Sử dụng máy bay không người lái để giám sát phát trình phát triển
của cây.............................................................................................. 19
Hình 1.16. Giám sát cây trồng ............................................................................ 20
Hình 2.1. Ảnh cây dưa chuột............................................................................... 22
Hình 2.2.Ảnh bệnh sương mai trên câ dưa chuột................................................ 23
Hình 2.3. Sơ đồ xử lý trong mơ hình mạng R-CNN ........................................... 25
Hình 2.4. Kiến trúc single model Fast R-CNN ................................................... 26
Hình 2.5.Kiến trúc mơ hình Faster R-CNN ........................................................ 28
Hình 2.6 Cấu trúc Alexnet................................................................................... 29
Hình 2.7. Sơ đồ kiến trúc mạng YOLO. ............................................................. 31
Hình 2.8. Các lớp trong mạng darknet-53........................................................... 32
vi


Hình 2.9. Kiến trúc một output của model YOLO.............................................. 33
Hình 2.10. Các feature map của mạng YOLOv3 ................................................ 34
Hình 2.11. Xác định anchor box cho một vật thể. .............................................. 35
Hình 2.12. Khi hai vật thể người và xe trùng điểm giữa và cùng thuộc một ơ ... 36
Hình 2.13. Cơng thức ước lượng bounding box từ anchor box .......................... 37
Hình 2.14. non-max suppression. ........................................................................ 37
Hình 2.15. Mạch Raspberry PI ............................................................................ 38
Hình 2.16. Module Camera Raspberry ............................................................... 40
Hình 2.17. Sơ đồ cắm các đầu kết nối để cài hệ điều hành................................. 41
Hình 2.18. Hướng dẫn cài đặt hệ điều hành trung tâm ....................................... 42
Hình 2.19. Cài thư viện ....................................................................................... 45

Hình 2.20. Cài thư viện opencv........................................................................... 45
Hình 2.21.Cài thư viện OpenCV cho Raspberry PI ............................................ 45
Hình 2.22. Giao diện Thonny Python IDE.......................................................... 48
Hình 3.1. Sơ đồ khối ........................................................................................... 50
Hình 3.2. Sơ đồ cấu trúc hoạt động ..................................................................... 50
Hình 3.3. Lưu đồ thuật tốn q trình xử lí ảnh .................................................. 52
Hình 3.4. Cài VNC trên Rasperry PI................................................................... 53
Hình 3.5. Hình ảnh ruộng dưa chuột tại Viện Rau ............................................. 54
Hình 3.6. Hình ảnh lá bệnh sương mai ............................................................... 54
Hình 3.7. Các hình ảnh bệnh sương mai đã thu thập .......................................... 55
Hình 3.8. Giao diện phần mềm labellmg ............................................................ 55
Hình 3.9. Gán nhãn ảnh ....................................................................................... 56
Hình 3.10. Ảnh mã hố sau khi gán nhãn ........................................................... 56
Hình 3.11. Sơ đồ quá trình train model trên google Colaboratory ..................... 57
Hình.3.12 Tạo code block ................................................................................... 58
Hình 3.13.Dán code chọn tài khoản Google Driver ............................................ 58
Hình 3.14. Tải mã nguồn YOLO về Driver ....................................................... 58
vii


Hình 3.15. UPLOAD file lên Google Driver ...................................................... 58
Hình 3.16. Giải nén file data.zip ......................................................................... 59
Hình 3.17. Tạo file Yolo.Names ......................................................................... 59
Hình 3.18. Tạo file train.txt và val.txt ................................................................. 59
Hình 3.19. Tạo file Yolo.data.............................................................................. 60
Hình 3.20. Biên dịch mã nguồn Darknet............................................................. 60
Hình 3.21.Download pretrain weight .................................................................. 60
Hình 3.22. Train .................................................................................................. 60
Hình 3.23 File Weight ......................................................................................... 61
Hình 3.24. Ảnh nhận dạng bệnh sương mai ........................................................ 61

Hình 3.25 Thơng số kết quả sau khi test ............................................................. 62
Hình 3.26. Biểu đồ .............................................................................................. 62
Hình 3.27. Robot chụp ảnh lá dưa chuột bị bệnh sương mai .............................. 63
Hình 3.28. Gửi cảnh báo cây bị bệnh sương mai về sim .................................... 63
Hình 3.29. Gửi cảnh báo cây bị bệnh sương mai về email ................................. 64
Hình 3.39. Robot chụp ảnh lá dưa chuột không bị bệnh ..................................... 64
Hình 3.30. Gửi cảnh báo cây khơng bị bệnh về sim ........................................... 64
Hình 3.31. Gửi cảnh báo cây khơng bị bệnh về email ........................................ 64
Hình 3.32. Ảnh hiển thị nên màn hình LCD ....................................................... 65

 

viii


PHẦN MỞ ĐẦU
1. Đặt vấn đề
Hiện nay nước ta đang trong thời kỳ cơng nghiệp hóa, hiện đại hóa và phát
triển đất nước. Sự phát triển của các công ty, đặc biệt các nước có nền cơng
nghiệp mạnh và kỹ thuật cao như Nhật Bản, Hàn Quốc,… xây dựng nhà máy,
chuyển giao kỹ thuật và đào tạo nguồn nhân lực cho Việt Nam. Sinh viên Việt
Nam được học hỏi, tiếp cận với những trang thiết bị hiện đại, tìm hiểu, thực hành
với mức độ cao. Khơng chỉ có ngành cơng nghiệp, việc ứng dụng tự động hóa vào
trong ngành nơng nghiệp Việt Nam đã và đang có những bước tiến quan trọng.
Nông nghiệp 4.0, sự phát triển diễn ra đồng thời với phát triển của thế giới
về công nghiệp 4.0 là giai đoạn ứng dụng mạnh mẽ các thiết bị cảm biến kết nối
internet (IoT), công nghệ đèn LED, các thiết bị bay không người lái, robot nông
nghiệp và quản trị tài chính trang trại thơng minh... Cũng tương tự nhiều nước
đang phát triển trên thế giới và khu vực Đơng - Nam Á, đến nay Việt Nam chưa
có các mơ hình Nơng nghiệp 4.0 hồn chỉnh. Song thực tế hiện nay, trong nơng

nghiệp thơng minh mới bắt đầu có các nghiên cứu, áp dụng thực tiễn. Trí tuệ
nhân tạo cũng nằm trong số đó, việc đưa trí tuệ nhân tạo vào các khâu của sản
xuất nông nghiệp đem lại sự tự động hóa cao, đấy là một thay đổi lớn trong
phương thức sản xuất nông nghiệp so với các cách truyền thống trước đây. Đem
lại năng suất cao hơn, chất lượng tốt hơn, tiến tới gần hơn với nền Nơng nghiệp
4.0, ít sự phụ thuộc của con người tham gia trực tiếp vào quá trình sản xuất.
Từ tầm quan trọng của việc áp dụng công nghệ cao vào sản xuất nông
nghiệp, cũng như bắt kịp xu thế phát triển của khoa học kỹ thuật hiện nay mà em
đã tiến hành nghiên cứu và thực hiện đề tài: “Ứng dụng thuật toán yolo phát
hiện và cảnh bảo bệnh sương mai trên cây dưa chuột ”
2. Mục đích nghiên cứu
Thơng qua việc nghiên cứu và làm việc nghiêm túc để rèn luyện tác phong,
cũng như hoàn thiện phương pháp, tư duy nghiên cứu, giải quyết một vấn đề.
1


Với những mục tiêu của đề tài hướng đến là tìm ra một giải pháp giúp ích thực
tế trong một lĩnh vực của nghành nông nghiệp là:
- Thiết kế được một hệ thống có khả năng giám sát q trình phát triển của
cây trồng và xây dựng bộ dữ liệu sâu bệnh.
- Chụp, lưu được dữ liệu .
- Xử lý và nhận dạng bệnh sương mai
- Gửi thông báo cảnh báo qua sim và email
3. Phạm vi nghiên cứu
- Nhận dạng và phát hiện cây dưa chuột bị bệnh gì.
- Quá trình thu hình ảnh lưu hình ảnh và chuyển hình ảnh về hệ thống giám sát.
- Tìm hiểu về Raspbery Pi 3B và các chức năng của các phần mềm điều
khiển liên quan trong bài tốn về trí tuệ nhân tạo.
- Tìm hiểu về các mơ hình thuật tốn .
4. Ý nghĩa khoa học của đề tài

Đề tài: “Ứng dụng thuật toán yolo phát hiện và cảnh bảo bệnh sương
mai trên cây dưa chuột ”, Đây là một đề tài còn khá mới mẻ và đang chập
chững phát triển tại Việt Nam, việc phát triển ứng dụng của mạch Raspberry Pi
trong nông nghiệp đang mở ra một hướng đi mới trong ngành nơng nghiệp. Với
việc có thể áp dụng được vào thực tế, chứng tỏ đây là một đề tài cần thiết, việc
nghiên cứu và phát triển thêm sẽ càng giúp cho đất nước của chúng ta hội nhập
và phát triển mạnh hơn. Vì vậy rất mong được sự ủng hộ, đầu tư và nghiên cứu
từ phía các cơng ty nông nghiệp, các thầy cô cũng như các bạn.

2


CHƯƠNG I TỔNG QUAN TÀI LIỆU
1.1 Tổng quan về xử lý ảnh
1.1.1 Khái quát về xử lý ảnh
Xử lý ảnh là một lĩnh vực mang tính khoa học và cơng nghệ. Nó là một
ngành khoa học mới mẻ so với nhiều ngành khoa học khác nhưng tốc độ phát
triển của nó rất nhanh, kích thích các trung tâm nghiên cứu, ứng dụng, đặc biệt là
máy tính chuyên dụng riêng cho nó.
Các phương pháp xử lý ảnh bắt đầu từ các ứng dụng chính: nâng cao chất
lượng ảnh và phân tích ảnh. Ứng dụng đầu tiên được biết đến là nâng cao chất
lượng ảnh báo được truyền qua cáp vào năm 1920. Vấn đề nâng cao chất lượng
ảnh liên quan tới phân bố mức sáng và độ phân giải của ảnh. Việc nâng cao chất
lượng ảnh được phát triển vào khoảng những năm 1955. Điều này có thể giải
thích được vì sau thế chiến thứ hai, máy tính phát triển nhanh tạo điều kiện cho
quá trình xử lý ảnh số thuận lợi. Năm 1964, máy tính đã có khả năng xử lý và
nâng cao chất lượng ảnh từ mặt trăng và vệ tinh Ranger 7 của Mỹ bao gồm: làm
nổi đường biên, lưu ảnh. Từ năm 1964 đến nay, các phương tiện xử lý, nâng cao
chất lượng, nhận dạng ảnh phát triển không ngừng. Các phương pháp tri thức
nhân tạo như mạng nơ ron nhân tạo, các thuật toán xử lý hiện đại và cải tiến, các

công cụ nén ảnh ngày càng được áp dụng rộng rãi và thu nhiều kết quả khả quan.
Xử lý ảnh số bao gồm các phương pháp và kỹ thuật biến đổi, để truyền tải
hoặc mã hố các ảnh tự nhiên. Mục đích của xử lý ảnh gồm: Biến đổi ảnh làm
tăng chất lượng ảnh. Tự động nhận dạng ảnh, đoán nhận ảnh, đánh giá các nội
dung của ảnh. Nhận biết và đánh giá các nội dung của ảnh là sự phân tích một
hình ảnh thành những phần có ý nghĩa để phân biệt đối tượng này với đối tượng
khác, dựa vào đó ta có thể mơ tả cấu trúc của hình ảnh ban đầu. Có thể liệt kê
một số phương pháp nhận dạng cơ bản như nhận dạng ảnh của các đối tượng
trên ảnh, tách cạnh, phân đoạn hình ảnh,... Kỹ thuật này được dùng nhiều trong
y học (xử lý tế bào, nhiễm sắc thể), nhận dạng chữ trong văn bản.
3


Ảnh có thể xem là tập hợp các điểm ảnh và mỗi điểm ảnh được xem như là
đặc trưng cường độ sáng hay một dấu hiệu nào đó tại một vị trí nào đó của đối
tượng trong khơng gian và nó có thể xem như một hàm n biến P(c,c1,c2,...). Do
đó, ảnh trong xử lý ảnh có thể xem như ảnh nhiều chiều.

Hình 1.1. Các bước cơ bản trong một hệ thống xử lý ảnh
Sơ đồ này bao gồm các thành phần sau :
a. Phần thu nhận ảnh ( Image Acquisition )
Ảnh có thể nhận qua camera màu hoặc đen trắng. Thường ảnh nhận qua
camera là ảnh tương tự, cũng có loại camera đã số hóa là loại photodiot tạo
cường độ sáng tại mỗi điểm ảnh.
Camera thường dùng là loại qt dịng, ảnh tạo ra có dạng hai chiều. Chất
lượng một ảnh thu nhận phụ thuộc vào thiết bị thu vào môi trường.
b. Tiền xử lý ( Image Processing)
Sau bộ thu nhận, ảnh có thể nhiễu độ tương phản thấp nên cần đưa ra bộ
tiền xử lý để nâng cao chất lượng. Chức năng chính của bộ tiền xử lý là lọc nhiễu,
nâng độ tương phản để làm ảnh rõ hơn, nét hơn.

c. Phân đoạn hay phân vùng ảnh
Phân vùng ảnh là tách một ảnh đầu và thành các vùng thành phần để biểu
diễn phân tích, nhận dạng ảnh. Ví dụ: để nhận dạng chữ trên phong bì thư cho
mục đích phân loại bưu phẩm, cần chia các câu, chữ về địa chỉ hoặc tên người
thành các từ, các chữ, các số riêng biệt để nhận dạng. Đây là phần phức tạp khó

4


khăn nhấ trong xử lý ảnh và cũng dễ gây lỗi, làm mất độ chính xác của ảnh. Kết
quả nhận dạng ảnh phụ thuộc rất nhiều vào công đoạn này.
d. Biểu diễn ảnh (Image Representation)
Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh cộng với mã
liên kết với các vùng lân cận. Việc biến đổi các số liệu này thành dạng thích hợp
là cần thiết cho xử lý tiếp theo bằng máy tính. Việc chọn các tính chất để thể
hiện ảnh gọi là trích chọn đặc trưng gắn với việc tách các đặc tính của ảnh dưới
dạng các thông tin định lượng hoặc làm cơ sở để phân biệt lớp đối tượng này tới
đối tượng khác trong phạm vi ảnh nhận dạng được.
e. Nhận dạng và nội suy ảnh (Image Recognition anh Interpretation)
Nhận dạng ảnh là quá trình xác định ảnh. Quá trình này thường thu được
bằng cách so sánh mẫu chuẩn đã được học từ trước. Nội suy là đoán theo ý nghĩa
trên cơ sở nhận dạng. Ví dụ: một loạt chữ số và nét gạch ngang trên phong bì thư
có thể được nội suy thành mã điện thoại. Có nhiều cách phân loại ảnh khác nhau về
ảnh. Theo lý thuyết về nhận dạng, các mơ hình tốn học về được phân theo hai loại
nhận dạng ảnh cơ bản:
- Nhận dạng theo tham số.
- Nhận dạng theo cấu trúc.
Một số đối tượng nhận dạng khá phổ biến hiện nay đang được áp dụng
trong khoa học và công nghệ là: nhận dạng ký tự, nhận dạng vân tay, nhận dạng
mã vạch, nhận dạng mặt người

f. Cơ sở tri thức (Knowledge Base)
Ảnh là đối tượng khá phức tạp về đường nét, độ sáng tốt, dung lượng điểm
ảnh, môi trường để thu ảnh phong phú kéo theo nhiễu. Trong nhiều khâu xử lý và
phân tích ảnh ngồi việc đơn giản hóa các phương pháp tốn học đảm bảo tiện lợi
cho xử lý, người ta mong muốn bắt chước quy trình tiếp nhận và xử lý ảnh theo
cách của con người. Trong các bước xử lý ảnh đó, nhiều khâu hiện nay đã xử lý

5


theo các phương pháp trí tuệ con người. Vì vậy, ở đây các cơ sở tri thức được
phát huy.
g. Mô tả ( Biể diễn ảnh)
Ảnh sau khi số hóa sẽ được lưu vào bộ nhớ, hoặc chuyển sang các khâu tiếp
theo để phân tích. Nếu lưu trữ ảnh trực tiếp từ các ảnh thơ, địi hỏi dung lượng bộ
nhớ cực lớn và không hiệu quả theo quan điểm ứng dụng và cơng nghệ. Thơng
thường, các ảnh thơ đó được đặc tả lại theo các đặc điểm của ảnh được gọi là các
đặc trưng ảnh, vùng ảnh. Một số phương pháp biểu diễn thường dùng:
- Biểu diễn bằng mã chạy ( Run-Length Code)
- Biểu diễn bằng mã xích (Chaine-Code)
- Biểu diễn bằng mã tứ phân (Quad-Tree Code)
1.1.2 Những vấn đề cơ bản trong hệ thống xử lý ảnh
a. Điểm ảnh (Picture Element)
Gốc của ảnh là ảnh liên tục về không gian và độ sáng. Để xử lý bằng máy
tính, ảnh cần phải được số hóa. Số hóa ảnh là sự biến đổi gần đúng một ảnh liên
tục thành một tập điểm phù hợp với ảnh thật về vị trí và độ sáng (mức xám).
Khoảng cách giữa các điểm ảnh đó được thiết lập sao cho mắt người không phân
biệt được ranh giới giữa chúng. Mỗi một điểm ảnh như vậy hay gọi tắt là Pixel.
Trong khuôn khổ ảnh hai chiều, mỗi pixel ứng với cặp tọa độ (x,y).
Định nghĩa: điểm ảnh (Pixel) là một phần tử của ảnh số tại tọa độ (x,y)

với độ xám hoặc màu nhất định. Kích thước và khoảng cách giữa các điểm ảnh
đó được chọn thích hợp sao cho mắt người cảm nhận sự liên tục về không gian
và mức xám (hoặc màu) của ảnh số gần như ảnh thật. Mỗi phần ử rong ma trận
được gọi là một phần tử ảnh.
b. Độ phân giải của ảnh
Độ phân giải (Resolution) của ảnh là mật độ điểm ảnh được ấn định trên
một ảnh số được hiển thị.

6


Khoảng cách giữa các điểm ảnh phải được chọn sao cho mắt người vẫn
thấy được sự liên tục của ảnh. Việc lựa chọn khoảng cách thích hợp tạo nên một
mật độ phân bố, đó chính là độ phân giải và phân bố theo chục x và y trong
không gian hai chiều.
Ảnh trên màn hình là một lưới điểm theo chiều ngang màn hình: 320 điểm
chiều dọc * 200 điểm ảnh.
c. Mức xám của ảnh
Một điểm ảnh (Pexel) có hai đặc trưng cơ bản là vị trí (x,y) của điểm ảnh
và độ xám của nó. Một số thuật ngữ dùng trong xử lý ảnh.
Mức xám của điểm ảnh là cường độ sáng của nó được gán bằng giá trị số
tại điểm đó.
Các thang giá trị mức xám thơng thường: 16, 32, 64, 128, 256 .
Ảnh đen trắng: là ảnh có hai màu đen, trắng với mức xám ở các điểm ảnh
có thể khác nhau.
Ảnh nhị phân: ảnh chi có 2 mức đen trắng phân biệt tức dùng 1 bit mô tả
mức khác nhau.
Ảnh màu: trong khuôn khổ lý thuyết ba màu (Red, Blue, Green) để tạo
nên thế giới, người ta thường dùng 3 byte để mô tả là mức màu.
d. Định nghĩa ảnh số

Ảnh số là tập hợp các điểm ảnh với mức xám phù hợp dùng để mô tả ảnh
gần với ảnh thật.
1.1.3 Những vấn đề khác trong xử lý ảnh
a. Biến đổi ảnh (Image Transform)
Trong xử lý ảnh do số điểm ảnh lớn các tính tốn nhiều địi hỏi dung lượng
bộ nhớ lớn, thời gian tính tốn lâu. Các phương pháp khoa học kinh điển áp dụng
cho xử lý ảnh hầu hết khó khả thi. Người ta sử dụng các phép toán tương đương
hoặc biến đổi sang miền xử lý khác để dễ tính tốn. Sau khi xử lý dễ dàng hơn

7


được thực hiện, dùng biến đổi ngược để đưa về miền xác định ban đầu, các biến
đổi thường gặp trong cử lý ảnh gồm:
- Biến đổi Fourier, Cosin, Sin
- Biến đổi ảnh bằng tích chập, tích Kronecker
- Các biến đổi khác như Karhumen Loeve), Hadamard
b. Nén ảnh
Ảnh dù ở dạng nào vẫn chiếm không gian nhớ rất lớn. Khi mô tả ảnh người
ta đã đưa kỹ thuật nén ảnh vào. Các giai đoạn nén ảnh có thể chia ra thế hệ một, thế
hệ hai. Hiện nay, các chuẩn MPEG được dùng với ảnh được phát huy hiệu quả.
1.1.4 Nhận dạng đối tượng trong xử lý ảnh
a. Bài toán nhận dạng đối tượng
Nhận dạng đối tượng (Object recognition) là lĩnh vực thuộc “học máy
(Machine Learning)” nghiên cứu việc tìm một đối tượng trong một ảnh hay
video cho trước là một trong những ứng dụng của thị giác máy tính. Đó là việc
phát hiện lớp đối tượng cụ thể với các lớp đối tượng khác của hệ thống.
Sự phát triển của khoa học kỹ thuật công nghệ đã thúc đẩy cho việc đưa
bài toán nhận dạng đối tượng vào ứng dụng thực tiễn với mức độ tinh vi ngày
càng cao, ta có thể thấy rất nhiều ứng dụng trong nhận dạng đối tượng phổ biến

hiện nay như: camera theo dõi, nhận dạng vân tay,…
b. Khó khăn trong nhận dạng đối tượng
Đối với con người thì việc nhận dạng các đối tượng trong ảnh là việc không
phải phức tạp, tuy nhiên đối với một hệ thống nhân tạo thì nhận ra một đối tượng từ
một ảnh đòi hỏi phải giải quyết được rất nhiều vấn đề hóc búa. Chính vì thế vấn đề
này vẫn đang được nhiều nhóm trên thế giới quan tâm nghiên cứu. Khó khăn của
bài tốn nhận dạng có thể kể ra như sau:
Tư thế, góc chụp: ảnh chụp đối tượng có thể thay đổi rất nhiều bởi vì góc
chụp giữa camera và đối tượng. Với các tư thế khác nhau, các thành phần trên
đối tượng cũng sẽ bị thay đổi khi bị khuất một phần hoặc khuất hết.
8


Hình 1.2.Minh họa sự thay đổi góc chụp
Sự biến dạng của đối tượng: Biến dạng của đối tượng có thể làm ảnh
hưởng đáng kể lên các thông số của đối tượng đó. Chẳng hạn, cùng một khn
mặt một người nhưng có thể sẽ rất khác khi họ cười hoặc sợ hãi.
Sự che khuất: đối tượng có thể bị che khuất bởi các đối tượng khác.

Hình 1.3.Minh họa cho sự che khuất
Sự phức tạp của hình nền: Hình nền phía sau của đối tượng phức tạp sẽ
khiến việc nhận dạng trở nên khó khăn.

Hình 1.4. Sự phức tạp của hình nền
9


Điều kiện của ảnh: Ảnh được chụp trong các điều kiện khác nhau về: chiếu
sáng, về tính chất camera (máy kỹ thuật số, máy hồng ngoại,…) ảnh hưởng rất
nhiều đến chất lượng ảnh.

Hình 1.5. Minh họa độ sáng khác nhau
1.2 Ứng dụng xử lý ảnh trong đời sống.
Robot và máy móc tự động như xe tự lái theo truyền thống là lĩnh vực yêu
thích cho xử lý ảnh. Tuy nhiên, thực tế là các công nghệ xử lý ảnh đang ngày
càng trở nên phổ biến trong ngày càng nhiều lĩnh vực như:
a. Lĩnh vực y tế
Những tiến bộ lớn liên tục xuất hiện trong các lĩnh vực nhận dạng mẫu và
xử lý hình ảnh. Đồng thời, khơng có gì đáng ngạc nhiên khi cộng đồng y tế và
các chuyên gia trong lĩnh vực chăm sóc sức khỏe cho rằng hình ảnh y khoa (kỹ
thuật tạo hình ảnh trực quan về bên trong của cơ thể để phân tích lâm sàng và
can thiệp y tế, cũng như biểu thị trực quan chức năng của một số cơ quan hoặc
mô sinh lý học) đã trở thành một phần thiết yếu trong cách thức làm việc của họ,
hướng đến các công cụ chẩn đoán tốt hơn và tăng đáng kể khả năng đưa ra các
hành động hiệu quả hơn.

10


Hình 1.6. Xử lý ảnh hỗ trợ bác sĩ trong chẩn đốn
Phân tích hình ảnh y khoa là một trợ giúp lớn cho phân tích dự đốn và trị
liệu. Ví dụ, xử lý ảnh được áp dụng cho hình ảnh nội soi có thể làm tăng mức độ
hợp lệ và đáng tin cậy của dữ liệu để giảm tỷ lệ tử vong liên quan đến ung thư
đại trực tràng.
Trong một ví dụ khác, cơng nghệ xử lý ảnh cũng cung cấp hỗ trợ kỹ thuật
cho phẫu thuật. Mơ hình hình ảnh 3D của hộp sọ, như là một phần của điều trị
khối u não, cung cấp tiềm năng to lớn trong việc chuẩn bị phẫu thuật thần kinh
tiên tiến. Ngoài ra, khi mà học sâu ngày càng được sử dụng trong các cơng nghệ
AI, việc tận dụng nó để phân loại các nốt phổi đã đạt được tiến bộ to lớn để chẩn
đoán sớm ung thư phổi.

b. Bán lẻ
Xử lý ảnh đang được sử dụng trong các cửa hàng ngày càng nhiều, đặc
biệt là giúp cải thiện trải nghiệm của khách hàng. Pinterest Lens là một cơng cụ
tìm kiếm sử dụng xử lý ảnh để phát hiện các đối tượng giống như cách Shazam
phát hiện âm nhạc. Bằng cách sử dụng ứng dụng điện thoại thông minh trong
các cửa hàng, bạn có thể hình dung một sản phẩm trơng như thế nào và nhận
được các sản phẩm khác liên quan đến nó.

11


Hình 1.7. Hệ thống Camera nhận dạng khn mặt
Nhận dạng khuôn mặt là một ứng dụng nổi tiếng về xử lý ảnh có thể được
sử dụng trong trung tâm mua sắm hoặc trong cửa hàng. Lolli & Pops, một cửa
hàng kẹo có trụ sở tại Mỹ, đang sử dụng nhận dạng khn mặt để tích điểm cho
khách hàng trung thành. "Hãy tưởng tượng: Bạn bước vào cửa hàng yêu thích
của mình và nhân viên bán hàng chào đón bạn bằng tên và bất cứ lúc nào bạn
cần, họ chia sẻ với bạn những sản phẩm mới nhất của mình mà bạn có thể sẽ
quan tâm nhất." Sự đổi mới cơng nghệ có thể đưa ra các giới thiệu được cá nhân
hóa cụ thể cho từng khách hàng.
Dường như khơng có giới hạn khi nói về các trường hợp sử dụng của xử
lý ảnh trong lĩnh vực bán lẻ, chúng cũng có thể bao gồm phân tích các kệ hoặc
tầng trong cửa hàng, thậm chí cả phân tích tâm trạng của khách hàng, cụ thể
phát hiện cảm xúc dựa trên các thuật tốn thơng qua hình ảnh trong video và
phân tích các biểu cảm nhỏ nhất trên gương mặt, xử lý chúng và cuối cùng, diễn
giải cảm xúc chung.
Chấm dứt việc phải xếp hàng để thanh tốn có thể là mục tiêu cuối cùng
của cải tiến công nghệ trong các cửa hàng. Xử lý ảnh kết hợp với AI cuối cùng
cũng có thể xóa sổ những hàng đợi thanh tốn dài ác mộng.
Amazon đã phát triển một mơ hình mới, Amazon Go, thúc đẩy các công

nghệ bao gồm thị giác máy tính, IoT và AI để phát hiện, theo dõi và phân tích

12


hành vi cũng như hành động của khách hàng trong cửa hàng để xử lý tự động
q trình thanh tốn và gửi cho họ hóa đơn điện tử.
c. Ngân hàng
Khi nói đến việc liên kết các cơng nghệ AI với ngân hàng, chúng ta chủ
yếu nghĩ đến việc phát hiện gian lận. Mặc dù đó là một lĩnh vực tập trung đặc
biệt cho công nghệ tiên tiến trong lĩnh vực này, xử lý ảnh có thể cải tiến nhiều
thứ hơn nữa. Các ứng dụng nhận dạng hình ảnh sử dụng học máy để phân loại
và trích xuất dữ liệu phục vụ cho việc giám sát quá trình xác thực các tài liệu
như thẻ căn cước hoặc giấy phép lái xe có thể được sử dụng để cải thiện trải
nghiệm của khách hàng từ xa và tăng cường bảo mật.
d. Phát hiện cháy dựa trên máy bay không người lái
Việc sử dụng rộng rãi và đa dạng xử lý ảnh cũng áp dụng cho các lĩnh vực
an ninh. Máy bay không người lái, hoặc UAV, có thể tận dụng các hệ thống thị
giác máy tính để tăng cường khả năng phát hiện của con người trong việc phát
hiện cháy rừng, sử dụng hình ảnh hồng ngoại (IR) như một phần của các giao
thức giám sát cháy rừng. Các thuật toán nâng cao phân tích các đặc điểm hình
ảnh video như chuyển động hoặc độ sáng để phát hiện lửa. Hệ thống đang thực
hiện các trích xuất được nhắm mục tiêu để phát hiện dễ dàng các mẫu và tính
tốn cách để thấy sự khác biệt giữa các đám cháy và chuyển động thực tế có thể
bị hiểu nhầm là hỏa hoạn.
Máy bay khơng người lái cũng có thể cải thiện an ninh và hiệu quả của hoạt
động cứu hỏa bằng cách giám sát hoặc nghiên cứu các khu vực nguy hiểm. Nhân
viên cứu hỏa có thể chạy các phân tích dựa trên thuật tốn tiên tiến để kiểm tra
khói và lửa, từ đó đánh giá rủi ro và đưa ra dự đoán về sự lan truyền lửa.
e. Học máy

Học máy là một lớp thuật toán nhằm cung cấp cho các ứng dụng mức độ
chính xác cao hơn. Điểm thú vị là những thuật tốn này khơng nhất thiết phải có
một kế hoạch rõ ràng để đạt được điều này. Dựa trên luồng dữ liệu đầu vào, số
13


liệu thống kê định kỳ và phân tích nâng cao, chúng có thể liên tục cải thiện giá
trị của kết quả.
Học máy dựa vào tiềm năng cao của các bộ dữ liệu. Nói một cách đơn
giản, một bộ dữ liệu về cơ bản là một tập hợp các dữ liệu có liên quan được kết
hợp lại để mang đến nhiều giá trị hơn.
Hiện nay, hệ sinh thái xử lý ảnh cung cấp cho cộng đồng công nghệ một
lượng lớn dữ liệu hình ảnh miễn phí.
Ví dụ: Thư viện hình ảnh của Đại học Columbia chia sẻ một bộ dữ liệu
gồm 100 đối tượng khác nhau được chụp ở mọi góc trong một vòng quay 360 độ.
f. Học sâu
Học sâu là một phần của trí tuệ nhân tạo dựa trên các nguyên tắc trong cách
học của con người để có được kiến thức tốt hơn. Do đó, nó cung cấp những khả
năng để cải thiện các quy trình, bao gồm tính chính xác của các kết quả xử lý.
Các thuật tốn học sâu dựa vào các mạng thần kinh để ánh xạ các quy
trình con dưới dạng phân cấp khái niệm. Những khái niệm phức tạp được phân
loại thành một chuỗi các khái niệm đơn giản hơn nhiều.
g. Nhận diện khuôn mặt
Nhận dạng khuôn mặt lập bản đồ và lưu trữ danh tính kỹ thuật số nhờ vào
các thuật tốn học sâu. Loại nhận dạng sinh trắc học này có thể được so sánh với
các cơng nghệ nhận dạng giọng nói, mống mắt hoặc dấu vân tay hiện đang rất
phổ biến.

Hình 1.8. Bộ nhận dạng mặt người trong các smartphone
14

Khái niệm này xuất hiện từ năm 2011 khi Google chứng minh rằng có thể
tạo ra một máy dị tìm khn mặt chỉ bằng những hình ảnh khơng được gắn
nhãn. Họ đã thiết kế một hệ thống có thể tự học để phát hiện hình ảnh con mèo
mà khơng cần giải thích với hệ thống là con mèo trơng như thế nào.
Vào thời điểm đó, mạng lưới thần kinh là 1.000 máy tính được tạo thành
từ 16.000 lõi. Nó được nuôi dưỡng với 10 triệu video YouTube ngẫu nhiên, Tiến
sĩ J. Dean, người làm việc trong dự án này, đã giải thích trong một cuộc phỏng
vấn với New York Times rằng họ khơng bao giờ nói với hệ thống trong quá
trình đào tạo rằng "đây là một con mèo", vì vậy nó, về cơ bản tự phát minh ra
khái niệm về một con mèo.
1.3 Ứng dụng xử lý ảnh trong tự động hóa
1.3.1 Ứng dụng trong cơng nghiệp
a. Kiểm tra bao bì lỗi trong sản xuất
Điều quan trọng với các cơng ty dược phẩm là phải đếm máy tính bảng
hoặc viên nang trước khi đặt chúng vào thùng. Để giải quyết vấn đề này, các
công ty đã phát triển một giải pháp có thể được triển khai cho các dây truyền sản
xuất hiện có hoặc thậm chí chạy như một đơn vị độc lập.
Một tính năng chính của giải pháp liên quan đến việc sử dụng máy tính để
kiểm tra các máy tính bảng bị hỏng hoặc hình thành mộ phần. Khi máy tính
bảng đi qua dây chuyền sản xuất, hình ảnh được chụp và chuyển đến một PC
chuyên dụng để xử lý hình ảnh bằng phần mềm sau đó chạy tiếp phân tích để
kiểm tra xem các máy tính bảng có đúng màu, chiều dài, chiều rộng và tồn bộ
không.

15


Hình 1.9. Kiểm tra dược phẩm bằng xử lý ảnh

Hệ thống kiểm tra xử lý ảnh dựa trên PC cũng được khai cho PC thực
hiện chức năng đếm và nếu một máy tính bảng được coi là bị lỗi, thơng tin này
được ghi lại sau đó gửi tín hiệu đến chức năng đếm và đến khi chai chứa đến kết
thúc dây chuyền sản xuất.
b. Kiểm tra mã vạch
Mã vạch cũng cần được được kiểm tra đánh giá chất lượng in trên bề mặt
bao bì sản phẩm. Việc Kiểm tra mã vạch bằng camera sẽ đảm bảo mã vạch được
in đúng và đạt tiêu chuẩn. Thời gian xử lý hình ảnh vô cùng thấp kết hợp với
năng suất cao. Giải pháp nhận diện và kiểm tra mã vạch cũng phù hợp với các
ứng dụng sản phẩm bị xoay, vị trí khơng cố định mặc ánh sáng mơi trường thay
đổi liên tục.

Hình 1.10. Kiểm tra mã vạch
16