ĐẠI HỌC ĐÀ NẴNGKHOA CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNGĐỒ ÁN CƠ SỞ 4ĐỀ TÀI: NHẬN DẠNG VẬT THỂ TRONG ẢNH

ĐẠI HỌC ĐÀ NẴNG

KHOA CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

ĐỒ ÁN CƠ SỞ 4
ĐỀ TÀI:

NHẬN DẠNG VẬT THỂ TRONG ẢNH

Sinh viên thực hiện : NGUYỄN ĐỨC NGỌC KỲ
Giảng viên hướng dẫn : TS. LÊ VĂN MINH
Lớp
: 17IT1

Đà nẵng, tháng 12 năm 2019

1


ĐẠI HỌC ĐÀ NẴNG

KHOA CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

ĐỒ ÁN CƠ SỞ 4

NHẬN DẠNG VẬT THỂ TRONG ẢNH

Đà Nẵng, tháng 12 năm 2019

2

MỞ ĐẦU

……………………………………………..
…………………………………………………………………………..
…………………………………………………………………………..
…………………………………………………………………………..
…………………………………………………………………………..
…………………………………………………………………………..
…………………………………………………………………………..
…………………………………………………………………………..

3


LỜI CẢM ƠN

Em xin chân thành cảm ơn KHOA CÔNG NGHỆ THÔNG TIN VÀ
TRUYỀN THÔNG VÀ ĐẠI HỌC ĐÀ NẴNG đã tạo điều kiện cho em thực
hiện đề tài này.
Em xin gửi lời cảm ơn chân thành đến tất cả các Thầy cô đã giảng dạy
chúng em trong suốt thời gian quan. Cảm ơn đến thầy (cô) TS.LÊ VĂN
MINH đã hướng dẫn em thực hiện đề tài này.
Nhân đây, em cũng xin bày tỏ lòng biết ơn sâu sắc đến ba mẹ và gia đình
đã ni dạy em nên người, và luôn là chỗ dựa tinh thần vững chắc, giúp cho
em vượt qua mọi khó khăn, thử thách trong cuộc sống.
Bên cạnh đó, để hồn thành khóa thực tập này, em cũng đã nhận được rất
nhiều sự giúp đỡ, những lời động viên quý báu của các bạn bè, các anh chị
thân hữu, em xin hết lòng cảm ơn.
Tuy nhiên, do thời gian hạn hẹp, mặc dù đã nỗ lực hết sức mình, nhưng

chắc rằng đề tài này khó tránh khỏi những thiếu sót. Em rất mong nhận được
sự thơng cảm, chỉ bảo tận tình của thầy cơ và các bạn.

4


NHẬN XÉT

………………………………..
……………………………………………………………………………………
…
……………………………………………………………………………………
…
……………………………………………………………………………………
…
……………………………………………………………………………………
…
……………………………………………………………………………………
…
……………………………………………………………………………………
…
……………………………………………………………………………………
…
……………………………………………………………………………………
…
……………………………………………………………………………………
…
……………………………………………………………………………………
…
……………………………………………………………………………………

…
……………………………………………………………………………………
…
……………………………………………………………………………………
…
……………………………………………………………………………………
…
……………………………………………………………………………………
…

5


NHẬN XÉT
(Của giảng viên hướng dẫn)

……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
………………………………………………………

6


MỤC LỤC
Trang
MỞ ĐẦU..............................................................................................................3
Chương 1 Giới thiệu...........................................................................................9

1.1 Tổng quan.................................................................................................9
1.2 Phương pháp, kết quả................................................................................9
1.3 Cấu trúc đồ án.........................................................................................11
Chương 2 Nghiên cứu tổng quan......................................................................12
2.1 Phương pháp...........................................................................................12
2.2 Kết luận...................................................................................................12
Chương 3 Thiết kế hệ thống..............................................................................13
Thiết kế chi tiết.......................................................................................13
Chương 4 Triển khai xây dựng..........................................................................14
Chương 5 Kết luận và Hướng phát triển...........................................................16
DANH MỤC TÀI LIỆU THAM KHẢO..............................................................17

7


DANH MỤC HÌNH
Trang
Hình 1.2 – Nhãn hình 1........................................................................................10
Hình 1.2 – Nhãn hình 2........................................................................................11
Hình 3 – Nhãn hình 1 sơ đồ thực hiện...............................................................13
Hình 3 – Nhãn hình 2 sơ đồ làm việc................................................................13
Hình 5 – Nhãn hình 1 ảnh ban đầu....................................................................16
Hình 5 – Nhãn hình 2 ảnh đã được xử lý, nhận dạng.........................................16

8


Chương 1

Giới thiệu

1.1 Tổng quan
-

-

Bối cảnh thực hiện đề tài
Công nghệ nhận dạng hình ảnh có tiềm năng lớn trong việc áp
dụng rộng rãi trong các ngành công nghiệp khác nhau. Các công ty
lớn như Tesla, Google, Uber, Adobe Systems vv cũng sử dụng cơng
nghệ nhận dạng hình ảnh. Để chứng minh rằng công nghệ này đang
tồn tại khắp thế giới, chúng ta hãy xem xét các số liệu thống kê gần
đây. Các nhà nghiên cứu dự đoán rằng thị trường tồn cầu của cơng
nhận dạng hình ảnh sẽ đạt 38,92 tỷ USD vào năm 2021. Đó là một
con số rất lớn! Vì vậy, khơng có thắc mắc rằng ngày càng nhiều cái
gọi là ứng dụng imagetech tận dụng nhận dạng hình ảnh cho các
mục đích khác nhau và trong cả kinh doanh.
Vấn đề cần giải quyết
Nhập ảnh, phân tích, thao tác và tạo ảnh.
Đề xuất nội dung thực hiện
ImageAI một thư viện python mã nguồn mở được xây dựng để
trao quyền cho các nhà phát triển xây dựng các ứng dụng và hệ
thống với các khả năng Deep Learning và Computer Vision độc lập
bằng cách sử dụng một vài dòng mã đơn giản. ImageAI hỗ trợ
danh sách các thuật tốn Machine Learning tiên tiến để dự đốn
hình ảnh, dự đốn hình ảnh tùy chỉnh, phát hiện đối tượng, phát
hiện video, theo dõi đối tượng video và đào tạo dự đốn hình
ảnh. ImageAI hiện hỗ trợ dự đốn và đào tạo hình ảnh bằng 4 thuật
tốn Machine Learning khác nhau được đào tạo trên bộ dữ liệu
ImageNet-1000. ImageAI cũng hỗ trợ phát hiện đối tượng, phát

hiện video và theo dõi đối tượng bằng RetinaNet, YOLOv3 và
TinyYOLOv3 được đào tạo trên bộ dữ liệu COCO. Cuối
cùng, ImageAI cho phép bạn huấn luyện các mơ hình tùy chỉnh để
thực hiện phát hiện và nhận dạng các đối tượng mới. ImageAI sẽ
cung cấp hỗ trợ cho các khía cạnh rộng hơn và chuyên biệt hơn của
Computer Vision bao gồm và không giới hạn ở nhận dạng hình ảnh
trong các mơi trường đặc biệt và các lĩnh vực đặc biệt.
ImageAI cung cấp 4 thuật tốn và loại mơ hình khác nhau để
thực hiện dự đốn hình ảnh, được đào tạo trên bộ dữ liệu ImageNet1000. 4 thuật toán được cung cấp để dự đoán hình ảnh bao gồm:
SqueezeNet , ResNet , InceptionV3 và DenseNet .

1.2 Phương pháp, kết quả
 Trình bày phương pháp triển khai thực hiện đề tài:
Hình ảnh có thể được sử dụng theo những cách khác nhau.Trong các
hình ảnh phát triển phần mềm di động, web và phần mềm phục vụ cho vô
số lý do, bao gồm:
9










Nhận dạng đối tượng
Nhận dạng mẫu
Định vị các bản sao (chính xác hoặc một phần)

Tìm kiếm hình ảnh theo phân đoạn
Xử lý hình ảnh (Retouch,...)
Cải thiện ứng dụng di động UX
Vv
ImageAI một thư viện python mã nguồn mở được xây dựng để trao
quyền cho các nhà phát triển xây dựng các ứng dụng và hệ thống với các
khả năng Deep Learning và Computer Vision độc lập bằng cách sử dụng
một vài dòng mã đơn giản.

 Kết quả đạt được.
Dữ liệu vào

Hình Giới thiệu.2 – Nhãn hình 1

10


Dữ liệu ra

Hình Giới thiệu.2 – Nhãn hình 2

1.3 Cấu trúc đồ án
Chương 1 Giới thiệu...........................................................................................9
1.1 Tổng quan.................................................................................................9
1.2 Phương pháp, kết quả................................................................................9
1.3 Cấu trúc đồ án.........................................................................................11
Chương 2 Nghiên cứu tổng quan......................................................................12
2.1 Phương pháp...........................................................................................12
2.2 Kết luận...................................................................................................12
Chương 3 Thiết kế hệ thống..............................................................................13

Thiết kế chi tiết.......................................................................................13
Chương 4 Triển khai xây dựng..........................................................................14
Chương 5 Kết luận và Hướng phát triển...........................................................16

11


Chương 2

Nghiên cứu tổng quan

2.1 Phương pháp
Chương 3

Dự đốn hình ảnh

Chương 4

Phát hiện đối tượng

Chương 5

Phát hiện và theo dõi đối tượng video

+ Phát hiện và phân tích đối tượng video
+ Phát hiện đối tượng tùy chỉnh video (Theo dõi đối tượng)
+ Phân tích video trực quan
Chương 6

Đào tạo mơ hình tùy chỉnh

Chương 7

Dự đốn hình ảnh tùy chỉnh

Chương 8

Đào tạo mơ hình phát hiện tùy chỉnh

Chương 9

Phát hiện đối tượng tùy chỉnh

Chương 10

Phân tích & phát hiện đối tượng video tùy chỉnh

10.1 Kết luận
Thực hiện đúng theo thứ tự phương pháp đã đề ra

12


Chương 11
Chương 12

Thiết kế hệ thống
Thiết kế chi tiết

Hình 3 – Nhãn hình 1 sơ đồ thực hiện

Hình 3 – Nhãn hình 2 sơ đồ làm việc

13


Chương 13

Triển khai xây dựng

 Ngôn ngữ thực hiện: PYTHON

 Công cụ hỗ trợ: Visual studio IDE and Anaconda

14


 Mã nguồn xử lý ảnh
from imageai.Detection import ObjectDetection
import os
execution_path = os.getcwd()
detector = ObjectDetection()
detector.setModelTypeAsRetinaNet()
detector.setModelPath( os.path.join(execution_path , "resnet50_coco_best_v2.0.
1.h5"))
detector.loadModel()
detections = detector.detectObjectsFromImage(input_image=os.path.join(execu
tion_path , "image.jpg"), output_image_path=os.path.join(execution_path , "ima
genew.jpg"))
for eachObject in detections:

print(eachObject["name"] , " : " , eachObject["percentage_probability"] )

 Mã nguồn xử lý video
from imageai.Detection import VideoObjectDetection
import os
execution_path = os.getcwd()
detector = VideoObjectDetection()
detector.setModelTypeAsRetinaNet()
detector.setModelPath( os.path.join(execution_path , "resnet50_coco_best_v2.0.
1.h5"))
detector.loadModel()
video_path = detector.detectObjectsFromVideo(input_file_path=os.path.join(exe
cution_path, "hoathinh1"),
output_file_path=os.path.join(execution_path, "traffic_detec
ted")
, frames_per_second=20, log_progress=True)
print(video_path)

15


Chương 14

Kết luận

 Dữ liệu vào

Hình 5 – Nhãn hình 1 ảnh ban đầu

 Dữ liệu ra

Hình 5 – Nhãn hình 2 ảnh đã được xử lý, nhận dạng

16


DANH MỤC TÀI LIỆU THAM KHẢO
Tiếng Việt:
1. Python cơ bản. Ebook Python tiếng Việt siêu cơ bản của Võ Tuấn Duy.
Tiếng Anh:
1. A Byte of Python.
nd
2. Think Python 2 Edition.
3. Automate the Boring Stuff with Python.
4. Dive into Python 3. ...
5. Learn Python the Hard Way.
6. Invent Your Own Computer Game with Python.
7. Making Games with Python and Pygame.

17