Áp dụng thuật toán SURF và SVM trong việc xây dựng ứng dụng quản lý dinh dưỡng dưa trên nền tảng android

ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

NHẬN XÉT, ĐÁNH GIÁ, CHO ĐIỂM
(Của Giáo viên hướng dẫn)
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
Điểm:
Đồng ý/ Không đồng ý cho sinh viên bảo vệ trước hội đồng chấm đồ án tốt
nghiệp?.........................................................................................................................
Hà Nội, ngày

tháng

năm 2015

GIÁO VIÊN HƯỚNG DẪN

(Ký, họ tên)

GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

i


ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

NHẬN XÉT, ĐÁNH GIÁ, CHO ĐIỂM
(Của Giáo viên phản biện)
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
Điểm:
Đồng ý/ Không đồng ý cho sinh viên bảo vệ trước hội đồng chấm đồ án tốt
nghiệp?.........................................................................................................................
Hà Nội, ngày

tháng

năm 2015

GIÁO VIÊN HƯỚNG DẪN

(Ký, họ tên)

GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

ii


ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

LỜI CẢM ƠN
Đầu tiên, em xin chân thành cảm ơn đến khoa Công nghệ thông tin 1, Học
viện công nghệ bưu chính viễn thông đã tạo điều kiện tốt nhất cho em thực hiện đề
tài tốt nghiệp.
Em xin gửi lời cảm ơn đến các thầy cô giáo trong khoa đã truyền đạt và dạy
bảo cho em rất nhiều kiến thức hay và bổ ích cho cuộc sống trong suốt quá trình 4
năm học tập tại học viện. Em chân thành cảm ơn thầy cô đã trang bị cho em hành
trang để em đầy đủ tự tin bước trên con đường sau này.
Đặc biệt, em xin dành lời cảm ơn sâu sắc nhất tới thầy Ngô Quốc Dũng.
Thầy đã tận tình, chỉ bảo em trong suốt quá trình học tập, và dành thời gian xem
xét, sửa đổi, góp ý cho em hoàn thiện đồ án tốt nghiệp được tốt nhất.
Xin chân thành cảm ơn những người thân trong gia đình, cùng các anh chị
em, bạn bè đã giúp đỡ, động viên mình trong quá trình thực hiện và hoàn thành
luận văn này.
Em xin chân thành cảm ơn!
Hà Nội, tháng 12 năm 2015
Sinh viên

Hoàng Văn Công

GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

iii


ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

MỤC LỤC
LỜI CẢM ƠN...........................................................................................................................................iii
CHƯƠNG I: PHÁT BIỂU BÀI TOÁN...........................................................................................................1
1.1 Đặt vấn đề....................................................................................................................................1
1.2 Bài toán đặt ra..............................................................................................................................2
1.3 Tổng quan về ứng dụng................................................................................................................2
1.4 Kết luận.........................................................................................................................................3
CHƯƠNG II: PHƯƠNG PHÁP ĐỀ XUẤT....................................................................................................4
2.1 Đặt vấn đề....................................................................................................................................4
2.1.1 Một số nghiên cứu trước đây................................................................................................4
2.2 Một số phương pháp trích chọn đặc trưng và đo độ tương đồng giữa các ảnh...........................8
2.2.1 Harris.....................................................................................................................................8
2.2.2 SIFT( Scale Invarian Feature Transform)................................................................................9
2.2.3 SURF( Speed Up Robust Feature).........................................................................................11
2.3 Các phương pháp phân loại ảnh.................................................................................................19
2.3.1 Tổng quan............................................................................................................................19
2.3.2 Phương pháp K-Means........................................................................................................19
2.3.3 Phương pháp K-Nearest Neighbor(KNN).............................................................................20
2.3.4 Phương pháp Support Vector Machine(SVM)......................................................................20

2.4 Phương pháp đề xuất.................................................................................................................23
2.4.1 Các bước cơ bản .................................................................................................................24
2.5 Kết luận.......................................................................................................................................27
CHƯƠNG III: PHÂN TÍCH THIẾT KẾ HỆ THỐNG......................................................................................28
3.1 Xác định yêu cầu.........................................................................................................................28
3.1.1 Yêu cầu xây dựng bài toán...................................................................................................28
3.1.2 Mô tả hệ thống....................................................................................................................28
3.1.3 Các tác nhân của hệ thống...................................................................................................28
3.1.4 Danh sách các UseCase........................................................................................................29
3.1.5 Sơ đồ UseCase tổng quát.....................................................................................................30
3.1.6 Một số kịch bản cho UseCase..............................................................................................31
3.1.7 Giao diện của ứng dụng.......................................................................................................34
3.2 Phân tích yêu cầu........................................................................................................................38
3.2.1 Phân tích tĩnh.......................................................................................................................38
CHƯƠNG IV: THỬ NGHIỆM VÀ ĐÁNH GIÁ............................................................................................47
4.1 Xây dựng bộ dữ liệu....................................................................................................................47
GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

iv


ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
4.1.1 So sánh giữa các thuật toán trích chọn đặc trưng...............................................................47
4.1.2 Xây dựng bộ dữ liệu đánh giá độ chính xác của thuật toán SURF........................................48
4.1.3 Xây dựng bộ dữ liệu của ứng dụng......................................................................................48
4.2 Những vấn đề gặp phải...............................................................................................................55
4.3 Kết luận.......................................................................................................................................56
CHƯƠNG V: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN..................................................................................57

Tài liệu tham khảo................................................................................................................................58

GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

v


ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

DANH MỤC HÌNH VẼ
LỜI CẢM ƠN...........................................................................................................................................iii
CHƯƠNG I: PHÁT BIỂU BÀI TOÁN...........................................................................................................1
1.1 Đặt vấn đề....................................................................................................................................1
1.2 Bài toán đặt ra..............................................................................................................................2
1.3 Tổng quan về ứng dụng................................................................................................................2
1.4 Kết luận.........................................................................................................................................3
CHƯƠNG II: PHƯƠNG PHÁP ĐỀ XUẤT....................................................................................................4
2.1 Đặt vấn đề....................................................................................................................................4
2.1.1 Một số nghiên cứu trước đây................................................................................................4
2.2 Một số phương pháp trích chọn đặc trưng và đo độ tương đồng giữa các ảnh...........................8
2.2.1 Harris.....................................................................................................................................8
2.2.2 SIFT( Scale Invarian Feature Transform)................................................................................9
2.2.3 SURF( Speed Up Robust Feature).........................................................................................11
2.3 Các phương pháp phân loại ảnh.................................................................................................19
2.3.1 Tổng quan............................................................................................................................19
2.3.2 Phương pháp K-Means........................................................................................................19
2.3.3 Phương pháp K-Nearest Neighbor(KNN).............................................................................20
2.3.4 Phương pháp Support Vector Machine(SVM)......................................................................20

2.4 Phương pháp đề xuất.................................................................................................................23
2.4.1 Các bước cơ bản .................................................................................................................24
2.5 Kết luận.......................................................................................................................................27
CHƯƠNG III: PHÂN TÍCH THIẾT KẾ HỆ THỐNG......................................................................................28
3.1 Xác định yêu cầu.........................................................................................................................28
3.1.1 Yêu cầu xây dựng bài toán...................................................................................................28
3.1.2 Mô tả hệ thống....................................................................................................................28
3.1.3 Các tác nhân của hệ thống...................................................................................................28
3.1.4 Danh sách các UseCase........................................................................................................29
3.1.5 Sơ đồ UseCase tổng quát.....................................................................................................30
3.1.6 Một số kịch bản cho UseCase..............................................................................................31
3.1.7 Giao diện của ứng dụng.......................................................................................................34
3.2 Phân tích yêu cầu........................................................................................................................38
3.2.1 Phân tích tĩnh.......................................................................................................................38
CHƯƠNG IV: THỬ NGHIỆM VÀ ĐÁNH GIÁ............................................................................................47
GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

vi


ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
4.1 Xây dựng bộ dữ liệu....................................................................................................................47
4.1.1 So sánh giữa các thuật toán trích chọn đặc trưng...............................................................47
4.1.2 Xây dựng bộ dữ liệu đánh giá độ chính xác của thuật toán SURF........................................48
4.1.3 Xây dựng bộ dữ liệu của ứng dụng......................................................................................48
4.2 Những vấn đề gặp phải...............................................................................................................55
4.3 Kết luận.......................................................................................................................................56
CHƯƠNG V: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN..................................................................................57

Tài liệu tham khảo................................................................................................................................58

GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

vii


ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

CHƯƠNG I: PHÁT BIỂU BÀI TOÁN
Trong chương này, đồ án sẽ trình bày các phần sau đây:
1.1 Đặt vấn đề.
1.2 Bài toán đặt ra.
1.3 Tổng quan ứng dụng.
1.4 Kết luận.
1.1 Đặt vấn đề
Trong những năm gần đây, thói quen ghi lại giá trị dinh dưỡng của thực
phẩm bằng điện thoại thông minh như iPhone và Android đã trở nên phổ biến.
Chúng có thể theo dõi thói quen ăn uống của người sử dụng như cân bằng dinh
dưỡng và loại bỏ những thực phẩm không lành mạnh , đó là công việc cần thiết để
phòng bệnh và có một chế độ ăn uống hợp lý. Tuy nhiên, hầu hết các dịch vụ này
đòi hỏi phải ghi lại thông tin thức ăn bằng tay, việc này khá tốn thời gian và phiền
phức cho những người sử dụng dịch vụ lâu dài.
Với sự phát triển nhanh chóng của điện thoại thông minh hiện này như
iPhone và Android, chúng đã đủ sức mạnh để, ghi nhận hình ảnh thời gian thực.
Hiện nay, CPU của điện thoại thông minh gần như tương đương với CPU của máy
tính phát hành cách đây vài năm về hiệu suất.
Hệ thống điện thoại di động thế hệ cũ với hình ảnh ghi nhận cần gửi hình

ảnh đến máy chủ hiệu suất cao, gây ra sự chậm trễ truyền tải, đòi hỏi chi phí đường
truyền , và sự phụ thuộc vào mạng truyền tải. Ngoài ra, theo tỷ lệ số lượng người
dùng tăng, nhiều tài nguyên máy tính của máy chủ là cần thiết, gây ra sự khó khăn
trong việc nhận ra các đối tượng trong một thời gian thực. Do đó việc nhận dạng
thời gian thực là một yêu cầu cần thiết trong công nghệ hiện nay.
Mặt khác, điện thoại thông minh nhận dạng hình ảnh có nhiều ưu điểm về
tiện lợi và chi phí. Bằng cách tận dụng sức mạnh tính toán mạnh mẽ của các
smartphone cũng như kỹ thuật nhận dạng đối tượng được cải tiến, đồ án đề xuất
một ứng dụng quản lý dinh dưỡng có chứa hệ thống nhận dạng thực phẩm thời gian
thực chạy trên điện thoại thông minh với hệ điều hành Android.

GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

1


ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

1.2 Bài toán đặt ra
Hầu hết các ứng dụng quản lý dinh dưỡng trước đây đều yêu cầu phải lựa
chọn các thức ăn bằng tay, nó tốn quá nhiều thời gian và phiền phức cho những
người sử dụng trong một thời gian dài. Việc người dùng phải ghi lại thông tin món
ăn gây ra nhiều bất tiện, vì họ không thể biết chính xác lượng dinh dưỡng mà họ đã
nhập vào với món ăn đó.
Trước khó khăn này, luận văn xây dựng một ứng dụng nhằm giải quyết vấn
đề trên. Thao tác của người dùng rất đơn giản, họ chỉ việc chụp ảnh món ăn, các
thao tác còn lại như tính toán và quản lý lượng dinh dưỡng của món ăn sẽ do ứng
dụng đảm nhiệm.

Với những lý do trên, em xây dựng đồ án với nội dung là: “Áp dụng thuật
toán SURF và SVM trong việc xây dựng ứng dụng quản lý dinh dưỡng dưa
trên nền tảng Android”.
1.3 Tổng quan về ứng dụng
Ứng dụng sẽ tính toán lượng dinh dưỡng hợp lý cho mỗi người dùng dựa
trên thông tin mà người dùng nhập vào. Các thông tin này bao gồm:
• Cân nặng(kg).
• Chiều cao(tuổi).
• Thời gian ngồi mỗi ngủ(tiếng).
• Thời gian ngủ mỗi ngày(tiếng).
• Thời gian tập thể thao mỗi ngày(tiếng).
• Giới tính(Con trai/Con gái).
• Mục tiêu muốn đạt được của người dùng(Bình thường/Ăn kiêng/Tập thể
hình)
Người dùng có thể cập nhật lại thông tin để hệ thống tính toán lại lượng dinh
dưỡng cần thiết.
Trong phạm vi đồ án này, ứng dụng chứa 15 món ăn Việt Nam mà hệ thống
có thể nhận dạng được bằng cách chụp lại món ăn này.
Nếu người dùng biết rõ thông tin dinh dưỡng về món ăn, họ có thể cập nhật
thông tin món ăn vào database.
Ứng dụng ghi lại thông tin về những món mà người dùng đã ăn.
GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

2


ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

Đưa ra lời khuyên về món ăn với người sử dụng.
Ứng dụng đưa ra thông tin về các món ăn khá phong phú.
Một số tiện ích khác như ghi lại số cân nặng, hay nhật kí để sau người dùng
xem lại…
Các bước cơ bản để nhận diện món ăn:
• Người sử dụng dùng điện thoại thông minh ghi lại món ăn trước khi lựa chọn
Hệ thống liên tục nhận lại khung hình ảnh từ điện thoại ở chế độ nền .
• Người sử dụng kéo một khung giới hạn với mặt hàng thực phẩm trên màn
hình điện thoại. Người sử dụng có thể điều chỉnh khung giới hạn cho phù
hợp với món ăn.
• Nhận dạng thực phẩm được thực hiện tại vùng trong khung giới hạn.
• Hệ thống đưa ra tên món ăn nhận dạng được cũng như lượng dinh dưỡng mà
món ăn này chứa.
• Người dùng có thể chọn món ăn này nếu như kết quả là chính xác, hoặc có
thể quay lại bước trước để nhận dạng lại nếu thấy thông tin chưa hoàn toàn
chính xác.
• Người dùng nhập khối lượng món ăn.
1.4 Kết luận
Trong chương này, đồ án đã trình bày tính cấp thiết cần phải có một ứng
dụng quản lý dinh dưỡng và các điểm yếu của các ứng dụng đã có. Từ đó mục tiêu
đồ án là nhắm đến là xây dựng một ứng dụng trên nền tảng android nhằm quản lý
chế độ dinh dưỡng cho người sử dụng.
Để nâng cao tính tương tác giữa ứng dụng và người sử dụng, đồ án sẽ nhắm
đến một ứng dụng thời gian thực với độ chính xác cao.
Trước khi giới thiệu chi tiết ứng dụng, đồ án sẽ giới thiệu một cách tổng
quan các kỹ thuật và phương pháp tồn tại cùng với các điểm yếu và mạnh của
chúng trong chương tiếp theo.

GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

3


ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

CHƯƠNG II: PHƯƠNG PHÁP ĐỀ XUẤT
Trong chương này, đồ án sẽ trình bày các phần sau đây:
2.1 Đặt vấn đề
2.2 Một số phương pháp trích chọn đặc trưng và đo độ tương đồng giữa các ảnh.
2.3 Một số phương pháp phân loại ảnh.
2.4 Phương pháp đề xuất.
2.5 Kết luận.
2.1 Đặt vấn đề
Phân loại hình ảnh là một trong nhiều lĩnh vực được chú ý nhất và đã được
nghiên cứu trong những năm gần đây.
Một cách tổng quan, phân loại hình ảnh là quá trình gán các ảnh vào một
hay nhiều lớp ảnh đã được xác định từ trước. Người ta có thể phân loại ảnh bằng
cách thủ công, tức là nhìn vào nội dung tấm ảnh sau đó gán chúng vào một hay
nhiều lớp cụ thể nào đó. Hệ thống quản lý tập ảnh gồm nhiều ảnh cho nên việc
làm này sẽ tốn rất nhiều thời gian, công sức và do đó là không khả thi. Do vậy mà
phải có các phương pháp phân loại tự động. Để phân loại tự động, người ta sử
dụng các phương pháp máy học trong trí tuệ nhân tạo như cây quyết định, Naive
Bayes, K láng giềng gần nhất, giải thuật clustering,…
Một trong những ứng dụng quan trọng nhất của phân loại ảnh tự động là
trong các hệ thống tìm kiếm ảnh. Từ một tập con các ảnh đã phân lớp sẵn, tất cả
các ảnh trong miền tìm kiếm sẽ được xử lý rút ra những vector đặc trưng sau đó
được đưa qua phân nhóm để hình thành các nhóm đặc trưng và được gán nhãn lớp
tương ứng.

2.1.1 Một số nghiên cứu trước đây
Xử lý ảnh, phân loại ảnh trong những năm gần đây là lĩnh vực đang được
giới khoa học quan tâm không những trong mà còn ngoài nước. Một số công trình
liên quan đến vấn đề xử lý ảnh đặc biệt là phân loại ảnh:

GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

4


ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

Các nghiên cứu đáng chú ý trên thế giới:
 Đề tài “Beyond Bags of Features: Spatial Pyramid Matching for
Recognizing Natural Scene Categories” của đồng tác giả Svetlana Lazebnik,
Cordelia Schmid, Jean Ponce.[1]
Trong đề tài này tác giả đưa ra phương pháp xác định loại quang cảnh dựa
vào độ xấp xỉ hình học toàn cục. Trong những năm gần thì các công trình nghiên
cứu đã đưa ra các khái niệm về đặc trưng cục bộ và đặc trưng toàn cục nhưng việc
tính toán trên các đặc trưng này còn gặp rất nhiều hạn chế vì lý do có rất nhiều đặc
trưng trong một bức ảnh khiến cho việc tính toán trở nên phức tạp và hao tốn nhiều
tài nguyên hệ thống. Chính vì lẽ đó mà các tác giả trong đề tài đã nghiên cứu và
đưa ra khái niệm Bags of Features hay Bags of Words (BOF hay BOW) nhằm mục
đích giảm thiểu thời gian tính toán cho hệ thống.
 Bài báo “Boosting Image Classification with LDA-based Feature
Combination for Digital Photograph Management” của đồng tác giả Xuezheng
Liu, Lei Zhang, Mingjing Li, Hongjiang Zhang, Dingxing Wang.[2]
Bài báo này sử dụng thuật toán LDA để gán tên lớp cho những thuộc tính mà

đã rút ra được. LDA – SVM thường được thấy trong các đề tài tính toán hoặc làm
việc trên văn bản. LDA dùng để gán nhãn vào các đặc trưng sau đó các đặc trưng sẽ
được tính toán và phân vào các nhóm theo một tiêu chí nào đó nhờ vào SVM.
Trong đề tài các tác giả đã dùng LDA cho việc gán nhãn các đặc trưng hình ảnh
nhằm mục đích tránh sử dụng thuật toán phân cụm, một trong những nguyên nhân
gây hao tốn tài nguyên hệ thống khi phải làm việc trên một số lượng lớn các đặc
trưng.
 Bài báo “Unsupervised real-time constrained linear discriminant analysis
to hyperspectral image classification”, Qian Du, Department of Electrical and
Computer Engineering, Missisippi State University, MS 39762, USA. Accepted 14
August 2006.[3]
Khi số lượng các đặc trưng trở lên nhiều thì việc tính toán sẽ gặp nhiều khó
khăn tác giả Qian Du đã cải thiện được thuật toán CLDA theo cách không giám sát
nhằm mục đích các đặc trưng được phân vào các nhóm trong khi các khái niệm
nhóm đó là chưa có. Vốn dĩ CLDA là một phương pháp có giám sát tức là các đặc
GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

5


ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

trưng cần được gán cho một trọng số, một nhãn nào đó mà đã có khái niệm trước
đó. Trong thực tế thì việc làm này gặp khó khăn vì phải phân định rõ ràng trọng số
hay tên nhóm trước.
 Đề tài “Object Recognitionusing Local Descriptors” của tác giả Javier
Ruiz và Patricio Loncomila thuộc trung tâm nghiên cứu khoa học Chile.[4]
Trong đề tài tác giả đã sử dụng đặc trưng cục bộ bất biến để xác thực đối

tượng trong ảnh, mục đích chính là dùng để tìm ảnh và cũng đã đưa ra cách xây
dựng cơ sở dữ liệu để cải tiến tốc độ tìm kiếm, đó là sử dụng Kd-trees.
 Bài báo “Object Recognition from Local Scale-Invariant Features” của
tác giả David G. Lowe, thuộc khoa khoa học máy tính, trường đại học British
Columbia.[5]
David G. Lowe cũng chính là tác giả đưa ra khái niệm về đặc trưng cục bộ
bất biến Local Scale-Invariant Features (SIFT), được ứng dụng nhiều trong các bài
toán truy tìm ảnh, phân loại ảnh và xác thực.
Các đặc trưng hình ảnh bao gồm nhiều loại: màu sắc, kết cấu, hình dạng, …
tuy nhiên các đặc trưng này ít nhiều lại phụ thuộc vào không gian ảnh, biến đổi
ảnh.
Trong công việc xác định đối tượng trong ảnh, tác giả đã lưu trữ các đặc
trưng và đánh chỉ mục cho chúng khi các ảnh tham gia truy vấn sẽ được rút ra các
đặc trưng SIFT và đem ra so sánh với các đặc trưng đã có trong cơ sở dữ liệu. Việc
làm này sẽ làm hao tốn rất nhiều thời gian tính toán của hệ thống.
 Bài báo “Texture classification of aerial image based on bayesian
network augmanted naive bayes”, YU Xin, ZHENG Zhaobao, ZHANG Haitao, YE
Zhiwei.[6]
Bài báo đã có sự so sánh hai phương thức Bayesian Networks Augmented
Naive Bayes (BAN) và Naive Bayes Classifiers (NBC) and PCA-NBC trong phân
loại ảnh và nhận thấy BAN chạy tốt hơn NBC và PCA-NBC.
 Bài báo “Speeded-up Robust Features (SURF)”, Herbert Bay, Andreas
Ess, Tinne Tuytelaars, Luc Van Gool, 12/2007.[7]
Bài báo với mong muốn thay thế đặc trưng SIFT bằng SURF và sử dụng ma
trận Hessian để đo bộ phát hiện đặc trưng, nhằm ứng dụng trong các hệ thống
GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

6

ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

camera.
 Bài báo “Recognizing Indoor Scenes”, Ariadna Quattoni, Antonio
Torralba.[8]
Trong khi các công cụ xác định quang cảnh chỉ tập trung ở không gian ngoài
trời thì bài báo đã chọn không gian trong nhà để xác định, vì những nhược điểm
của các công cụ xác định loại quang cảnh ngoài trời sẽ kém linh hoạt trong không
gian trong nhà, tác giả bài báo đã đưa ra một phương thức hiện đại đó là Regions
Of Interest (ROI), tạm gọi vùng đặc trưng bằng cách di chuyển khung đối chiếu độc
lập với nhau.
Các nghiên cứu đáng chú ý tại Việt Nam:
Trong nước tuy còn ít đề tài nghiên cứu về lĩnh vực phân loại ảnh, mà chỉ tập
chung chủ yếu vào nghiên cứu các công cụ đối sánh ảnh, tìm ảnh nhưng có sử dụng
các đặc trưng bất biến cùng các kỹ thuật phân cụm và cây quyết định. Điển hình
cho vấn đề này có các bài báo sau:
 Đề tài “ Phương pháp trích chọn đặc trưng ảnh trong thuật toán học máy
tìm kiếm ảnh áp dụng vào bài toán tìm kiếm sản phẩm”, Nguyễn Thị Hoàn.[9]
Đề tài có giới thiệu và ứng dụng đặc trưng SIFT cho bài toán của mình.
 Đề tài “Nghiên cứu phương pháp kết hợp các đặc trưng màu sắc hình
dạng và vị trí để truy vấn ảnh” luận văn thạc sĩ của tác giả Trần Sơn Hải, năm
2007.[10]
Luận văn này đã đề xuất một phương pháp kết hợp các đặc trưng màu sắc,
hình dạng và vị trí bằng hệ thống liên mạng meta-Nơron. Hệ thống liên mạng metaNơron không những áp dụng vào các đặc trưng màu sắc, hình dạng và vị trí của ảnh
mà còn có thể áp dụng cho các đặc trưng lượng tử khác. Các đặc trưng lượng tử bất
kì rút trích từ ảnh sẽ qua các mạng Nơron con cho ra các output cục bộ. Các output
của các mạng con sẽ là ngõ vào của mạng meta-Nơron để cho ra các kết quả output
cuối cùng của toàn hệ thống liên mạng.

GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

7


ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

2.1.2 Quy trình phân loại ảnh
Train Label

Train
Images

Feature
Selection

Trained
Classifier

Trained
Classifier

Hình 2.1: Quy trình huấn luyện ảnh

Test
Images

Feature
Selection

Trained
Classifier

Lable
Prediction

Hình 2.2: Quy trình kiểm thử ảnh
Đối với tập huấn luyện thì số lượng ảnh cần nhiều vì thế tiến trình huấn
luyện sẽ rất lâu. Điểm quan trọng nằm ở chỗ rút đặc trưng, phải xác định đặc trưng
thích hợp cho bài toán vì ảnh hưởng đến độ chính xác của chương trình.
2.2 Một số phương pháp trích chọn đặc trưng và đo độ tương đồng giữa các
ảnh.
Trong những năm gần đây việc sử dụng các đặc trưng cục bộ đã trở thành
một trong những hướng tiếp cận có ảnh hưởng lớn trong việc nhận dạng đối tượng
dựa vào nội dung ảnh. Việc phát hiện các điểm đặc trưng là bước đầu tiên trong quá
trình so khớp và nhận dạng. Vì vậy, một thuật toán đáng tin cậy cho việc trích chọn
các điểm bất biến là rất cần thiết cho nhiều ứng dụng. Phần tiếp theo trình bày một
số kỹ thuật cho việc trích chọn các điểm bất biến trong ảnh.
2.2.1 Harris
Phát hiện góc (corner detection) hoặc phát hiện điểm quan tâm (interest point
detection) là một hướng tiếp cận được sử dụng trong các hệ thống thị giác máy tính
để trích chọn các loại đặc trưng và suy luận ra các nội dung của một ảnh. Việc phát
hiện góc được dùng thường xuyên trong phát hiện, theo dõi chuyển động, mô hình
3D và nhận dạng đối tượng.

GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

8


ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

Phương pháp phát hiện góc Harris là một phương pháp phát hiện điểm quan
tâm phổ biến vì nó bất biến đối với phép quay, thay đổi độ sáng và nhiễu ảnh.
Phương pháp này dựa trên hàm tương quan tự động cục bộ của một tín hiệu; ở đó
hàm tương quan tự động cục bộ đo các thay đổi cục bộ của tín hiệuvới các mảnh
ảnh được dịch chuyển một lượng nhỏ theo các hướng khác nhau.
2.2.2 SIFT( Scale Invarian Feature Transform)
Đây là một trong những phương pháp hiệu quả để trích chọn các điểm bất
biến từ các ảnh được dùng để thực hiện so khớp tin cậy giữa các tầm nhìn khác
nhau của cùng một đối tượng hoặc quang cảnh. Phương pháp này được gọi là
“Phép biến đổi đặc trong bất biến tỷ lệ” (Scale Invariant Feature Transform – SIFT)
vì nó biến đổi dữ liệu ảnh thành các tọa độ bất biến tỷ lệ có liên quan tới các đặc
trưng cục bộ. Thuật toán này gồm 4 giai đoạn chính: phát hiện các cực trị trong
không gian tỷ lệ, định vị chính xác điểm khóa, gán hướng cho các điểm khóa, xây
dựng đặc trưng.
2.2.2.1 Phát hiện cực trị
Giai đoạn đầu tiên của phát hiện điểm khóa là tìm ra các vị trí và các tỷ lệ có
thể được gán lặp đi lặp lại dưới các tầm nhìn khác nhau của cùng một đối tượng.
Việc phát hiện các vị trí bất biến khi có sự thay đổi tỷ lệ của ảnh có thể được thực
hiện bằng việc tìm kiếm các đặc trưng ổn định qua tất cả các tỷ lệ có thể, sử dụng
một hàm liên tục tỷ lệ được hiểu như không gian tỷ lệ.
2.2.2.2 Định vị chính xác điểm khóa
Một điểm khóa ứng cử được tìm thấy bằng việc so sánh một điểm ảnh với
các láng giềng của nó, bước tiếp theo là thực hiện điều chỉnh chi tiết với dữ liệu lân

cận cho vị trí, tỷ lệ, và tỷ lệ của các độ cong chủ yếu. Thông tin này cho phép loại
bỏ các điểm có độ tương phản thấp hoặc được định vị kém dọc biên.
Công việc ban đầu của hướng tiếp cận này đã định vị một cách đơn giản các
điểm khóa ở vị trí và tỷ lệ của điểm mẫu trung tâm. Tuy nhiên, gần đây người ta sử
dụng một phương pháp khác đó là làm phù hợp một hàm bậc hai 3D cho các 16
điểm mẫu địa phương để xác định vị trí nội suy của điểm cực đại, và các thử
nghiệm đã cho thấy rằng phương pháp này mang lại sự cải tiến đáng kể cho việc so
khớp và độ ổn định.
GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

9


ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

2.2.2.3 Gán hướng cho các điểm khóa
Bằng việc gán một hướng thích hợp cho mỗi điểm khóa dựa trên các đặc tính
ảnh cục bộ, bộ mô tả điểm khóa có liên quan tới hướng này và vì vậy đạt được sự
bất biến đối với phép quay ảnh.
2.2.2.4 Xây dựng bộ mô tả cục bộ
Các thao tác ở trên đã gán vị trí, tỷ lệ và hướng cho mỗi điểm khóa. Các
tham số này áp đặt cho hệ tọa độ 2D cục bộ để mô tả một vùng ảnh cục bộ. Bước
tiếp theo là tính toán một bộ mô tả cho vùng ảnh cục bộ đó để có thể bất biến đối
với các thay đổi còn lại như thay đổi độ sáng hoặc điểm nhìn 3D.
Để tránh tất cả các ảnh hưởng biên là điều thật sự quan trọng, ở đó bộ mô tả
thay đổi đột ngột vì một mẫu thay đổi liên tục từ một biểu đồ này sang một biểu đồ
khác hoặc từ một hướng này sang hướng khác. Vì vậy, sử dụng phép nội suy tuyến
tính bậc 3 để phân bố giá trị của mỗi mẫu gradient vào các bin biểu đồ gần kề. Mặt

khác, mỗi entry trong một bin được tăng lên nhiều lần bởi trọng số là 1-d cho mỗi
chiều, trong đó d là khoảng cách của mẫu từ giá trị trung tâm của bin đó được đo
dưới dạng các đơn vị của khoảng cách bin biểu đồ.

Hình 2.3 Bộ mô tả
Bộ mô tả được tạo nên từ một vectơ chứa các giá trị của tất cả các entry của
biểu đồ hướng, tương ứng với các chiều dài của các mũi tên bên phải của hình 2.3.
Hình này thể hiện một mảng 4x4 các biểu đồ với 8 bin hướng. Vì vậy, một vectơ
đặc trưng có 4x4x8 =128 phần tử để mô tả cho mỗi điểm khóa.
GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

10


ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

Cuối cùng, vectơ đặc trưng được sửa đổi để giảm các tác động của sự thay
đổi về độ sáng.
2.2.3 SURF( Speed Up Robust Feature)
SURF là một phương pháp phát hiện và mô tả hình ảnh mạnh mẽ, do Herbert
Bay đưa ra lần đầu vào năm 2006, có thể được sử dụng trong các nhiệm tầm nhìn
của máy tính như nhận dạng đối tượng, phục hồi 3D. Nó được lấy cảm hứng từ mô
tả SIFT. Phiên bản tiêu chuẩn của SURF nhanh hơn nhiều so với SIFT và nó chống
lại sự biến đổi hình ảnh khác nhau tốt hơn SIFT. SURF dựa trên tổng xấp xỉ các
đặc trưng Haar wavelet 2D và sử dụng hiệu quả cho các ảnh tích hợp (integral
image).
Phương pháp này dựa trên các ma trận Hessian, nhưng sử dụng một xấp xỉ
cơ bản, cũng giống như DoG là một phát hiện cơ bản dựa trên Laplacian. Nó dựa

trên hình ảnh tích hợp để giảm thời gian tính toán và được gọi nó là phát hiện 'FastHessian'. Mặt khác, mô tả này mô tả một phân bố các đặc trưng Haarwavelet trong
các láng giềng của điểm quan tâm. Hơn nữa, chỉ sử dụng kích thước 64, để giảm
thời gian tính toán các đặc trưng và so khớp, đồng thời tăng sự chắc chắn.
2.2.3.1 Ảnh tích hợp( integral image)
Ảnh tích hợp, được đưa ra bởi Viola và Jones trong “Rapid object detection
using a boosted cascade of simple Features”, là một mảng 2 chiềuvới kích thước
bằng kích thước của ảnh cần tính các đặc trưng, với mỗi phần tử của mảng này
được tính bằng cách tính tổng của điểm ảnh phía trên (dòng-1) và bên trái (cột-1)
của nó. Bắt đầu từ vị trí trên, bên trái đến vị trí dưới, phải của ảnh, việc tính toán
này đơn thuần chỉ đựa trên phép cộng số nguyên đơn giản, do đó tốc độ thực hiện
rất nhanh.

GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

11


ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

Hình 2.4: Ảnh tích hợp
I

i≤x i≤ y

∑

( x ) = ∑∑ I (i, j )
i = 0 i =0

Với I ∑ được tính toán, chỉ mất bốn phép cộng để tính toán tổng các cường
độ bất kỳ dạng thẳng đứng, hình chữ nhật diện tích, độc lập với kích thước của nó.
2.2.3.2 Phát hiện Fast_Hessian
Phương pháp SURF dựa vào phát hiện về các ma trận Hessian vì hiệu suất
tốt của nó về thời gian tính toán và độ chính xác. Tuy nhiên, thay vì sử dụng một
biện pháp khác để lựa chọn vị trí và tỷ lệ (như đã được thực hiện trong phát hiện
Hessian-Laplace), ở đây dựa trên các định thức Hessian cho cả hai. Với một điểm
x=(x, y) trong một ảnh I, các ma trận Hessian H(x,σ) ở x có tỷ lệ σ được định nghĩa
như sau:
H ( x, δ ) = [

Lxx ( x, δ ) Lxy ( x, δ )
]
Lxy ( x, δ ) Lyy ( x, δ )

Trong đó Lxx ( x, ∂ ) là tích chập của đạo hàm bậc hai của hàm Gaussian
∂2
g (δ ) với ảnh I tại điểm x, tương tự cho Lxy ( x, δ ) và Lyy ( x, δ ) .
∂x 2

Hàm Gaussians được tối ưu cho việc phân tích không gian tỷ lệ. Tuy nhiên
trong thực tế, hàm Gaussian cần phải được rời rạc và cắt bỏ, thậm chí với cả bộ lọc
Gaussian thì răng cưa vẫn còn xảy ra ngay sau khi những hình ảnh kết quả được lấy
mẫu giảm.

GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

12


ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

Ngoài ra, các tính chất không có cấu trúc mới có thể xuất hiện tiến tới độ
phân giải thấp hơn có thể đã được chứng minh trong trường hợp 1D, nhưng không
áp dụng trong trường hợp liên quan đến 2D.
2.2.3.3 Sự biểu diễn không gian tỷ lệ
Không gian tỷ lệ thường được chia thành các octave (một octave đại diện cho
một loạt các bản đồ đặc trưng lọc thu được bằng cách ghép các ảnh đầu vào tương tự
nhau với kích thước lọc tăng dần) và thể hiện như kim tự tháp ảnh. Các ảnh liên tục
được làm mịn bởi hàm Gaussian, rồi sau đó được lấy mẫu giảm để đạt được một mức
cao hơn của kim tự tháp. Do việc sử dụng các bộ lọc vuông và ảnh tích hợp, chúng ta
không phải áp dụng lặp đi lặp lại phép lọc tương tự cho đầu ra của một lớp đã được
lọc kề trước đó, nhưng để thay thế có thể áp dụng những bộ lọc như vậy của bất kỳ
kích thước chính xác cùng tốc độ trực tiếp trên ảnh gốc. Do đó không gian tỷ lệ được
phân tích bằng cách mở rộng kích thước bộ lọc thay vì lặp đi lặp lại việc giảm kích
thước ảnh. Đầu ra trên bộ lọc 9x9 được xem là lớp tỷ lệ ban đầu, ở đây sẽ giới thiệu
là tỷ lệ s=1.2 (tương ứng với các dẫn suất Gaussian với σ =1.2). Các lớp tiếp theo thu
được bằng cách lọc các ảnh với mặt nạ lớn dần, có tính đến tính rời rạc của các ảnh
tích hợp và cấu trúc cụ thể của các bộ lọc. Cụ thể điều này đưa đến các bộ lọc kích
thước 9x9, 15x15, 21x21, 27x27,vv…Ở quy mô lớn hơn, bước giữa kích cỡ bộ lọc
liên tục phải phù hợp với tỷ lệ. Do đó, đối với từng octave mới, sự gia tăng kích
thước bộ lọc là tăng gấp đôi (từ 6 đến 12 đến 24). Đồng thời, khoảng lấy mẫu để tách
các điểm quan tâm có thể được tăng lên gấp đôi.

Hình 2.5: Thay vì lặp lại việc giảm kích cỡ ảnh(bên trái), việc sử dụng ảnh
tích hợp cho phép tăng tỷ lệ lọc với giá trị không đổi(bên phải)
GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

13


ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

Khi tỷ lệ thiết kế bộ lọc không thay đổi sau khi mở rộng, các xấp xỉ đạo hàm
Gaussian có cùng tỷ lệ phù hợp. Ví dụ, bộ lọc 27x27 tương ứng với
σ=3×1.2=3.6=s. Hơn nữa, khi các chỉ tiêu Frobenius vẫn không đổi cho các bộ lọc,
chúng là tỷ lệ đã được chuẩn hóa.
2.2.3.4 Định vị điểm quan tâm
Để định vị điểm quan tâm trong ảnh và trên các tỷ lệ, một sự loại trừ không
cực đại trong một láng giềng 3x3x3 được áp dụng, cực đại của định thức ma trận
Hessian được nội suy trong tỷ lệ và không gian ảnh.

Hình 2.6: Biểu đồ tỷ lệ phát hiện.
Số lượng điểm quan tâm được phát hiện trên mỗi octave phân ra nhanh chóng.
Nội suy không gian tỷ lệ là đặc biệt quan trọng trong trường hợp này, như sự
khác biệt tỷ lệ giữa các lớp đầu tiên của mỗi octave là tương đối lớn. Ví dụ:

GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

14


ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

Hình 2.7: Những điểm quan tâm được phát hiện trên một cánh đồng hoa hướng dương.
2.2.3.5 Bộ mô tả điểm quan tâm và so khớp
Bộ mô tả của phương pháp này mô tả sự phân bố cường độ nội dung bên
trong láng giềng của các điểm quan tâm, giống như thông tin gradient được rút
trích bởi phương pháp SIFT và những biến đổi của nó. Ở đây xây dựng sự phân bố
của các đặc trưng Haar wavelet bậc nhất ở x và y hướng hơn là gradient, khai thác
ảnh tích hợp cho tốc độ và chỉ sử dụng kích thước 64. Điều này làm giảm thời gian
tính toán đặc trưng và so khớp, và đồng thời chứng minh sự gia tăng độ chắc chắn.
Hơn nữa, ở đây sẽ trình bày bước đánh chỉ mục mới dựa trên dấu hiệu Laplacian,
đó không chỉ làm tăng độ chắc chắn mà còn tăng tốc độ so khớp. Phương pháp phát
hiện-mô tả này được gọi là SURF (Speed Up Robust Feature). Bước đầu tiên gồm
có cố định hướng lặp dựa trên thông tin từ vùng tròn bao quanh điểm quan tâm. Sau
đó, xây dựng một vùng hình vuông phù hợp với hướng được chọn và trích xuất mô
tả SURF từ nó. Cuối cùng các đặc trưng được khớp giữa hai ảnh.
2.2.3.5.1 Gán hướng
Để bất biến với phép xoay ảnh, ta định nghĩa một hướng lặp cho các điểm
quan tâm. Với mục đích đó, đầu tiên ta tính toán đặc trưng Haar-wavelet ở hướng x
và hướng y, những đặc trưng này nằm trong vòng tròn láng giềng bán kính 6s xung
quanh điểm quan tâm, với s là tỷ lệ các điểm quan tâm được phát hiện. Bước lấy
mẫu là phụ thuộc tỷ lệ được chọn để có s. Để phù hợp với phần còn lại, cũng có
kích thước các wavelet là phụ thuộc tỷ lệ và thiết lập một cạnh dài 4s. Vì vậy ta có
thể sử dụng ảnh tích hợp cho việc lọc nhanh. Các phép lọc sử dụng được chỉ ra

GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

15

ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

trong hình. Chỉ 6 phép toán được sử dụng để tính toán đặc trưng ở x hoặc y hướng
ở bất kỳ tỷ lệ nào.

Hình 2.8: Phép lọc Haar wavelet
Phép lọc Haar wavelet để tính toán đặc trưng ở x( bên trái ) và y hướng( bên
phải). Vùng đen có trọng số -1 và vùng trắng có trọng số+1
Mỗi một đặc trưng wavelet được tính toán và điều chỉnh với hàm Gaussian
(σ=2.5s) ở tâm điểm của điểm quan tâm, các đặc trưng được biểu diễn như vector
trong không gian với độ lớn đặc trưng theo chiều ngang dọc theo hoành độ và độ
lớn đặc trưng thẳng dọc theo tung độ. Hướng chủ đạo được ước tính bằng cách tính
tổng tất cả các đặc trưng trong một cửa sổ định hướng trượt bao quanh một góc

π
.
3

Hình 2.9: Gán hướng

GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

16


ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

Một cửa sổ dịch hướng kích thước

π
phát hiện hướng trội của các đặc trưng
3

Haar wavelet có trọng số Gaussian ở mỗi điểm mẫu trong vòng tròn láng giền
quanh điểm quan tâm.
2.2.3.5.2 Bộ mô tả dựa trên tổng các đặc trưng Haar Wavelet
Để tách mô tả, bước đầu tiên bao gồm việc xây dựng một khu vực trung tâm
hình vuông bao quanh điểm quan tâm và hướng theo hướng đã chọn trong phần
trước. Kích thước cửa sổ này là 20s. Ví dụ:

Hình 2.10: Chi tiết của ảnh
Chi tiết của ảnh Graffiti thể hiện kích thước của cửa sổ bộ mô tả hướng ở các
tỉ lệ khác nhau.

Hình 2.11: Xây dựng bộ mô tả

GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

17


ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

Để xây dựng bộ mô tả, một khung lưới hướng bậc 2 với 4x4 vùng con hình
vuông được đặt trên các điểm quan tâm(bên trái). Ở mỗi hình vuông đặc trưng

wavelet được tính toán. Sự chia nhỏ 2x2 của mỗi hình vuông tương ứng với các
trường thực của bộ mô tả. Những cái này là tổng của dx,dy, |dx| và |dy|, tính toán
tương đối hướng của lưới (bên phải).
Sau đó các đặc trưng wavelet dx, dy được tổng hợp qua từng khu vực con và
hình thành một tập chỉ mục vector đặc trưng đầu tiên.

Hình 2.12: Các mục mô tả của miền con
Các mục mô tả của miền con đại diện cho tính chất của mẫu cường độ cơ
bản. Hình 2.12 bên trái: trong trường hợp của một miền con đồng nhất, tất cả các
giá trị là tương đối thấp.Hình 2.12 ở giữa: sự có mặt của tần số trong x hướng, giá
trị của ∑|| là cao, nhưng tất cả các trương hợp khác vẫn thấp. Nếu cường độ tăng
dần theo x hướng, cả ∑ và ∑|| đều cao.
2.2.3.5.3 Lập chỉ mục và so khớp

Hình 2.13: So khớp
Nếu độ tương phản giữa 2 điểm quan tâm khác nhau(tối trên nền sáng và
sáng trên nền tối), ứng viên sẽ không được xem là so khớp có giá trị.
GVHD: TS. NGÔ QUỐC DŨNG

HOÀNG VĂN CÔNG – D11CNPM4

18