Nghiên cứu phát triển hệ thống tra cứu các loài thực vật quý hiếm tại Khu bảo tồn thiên nhiên Na Hang tỉnh Tuyên Quang (Luận văn thạc sĩ)

ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

VŨ THANH BÌNH

NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG TRA CỨU
CÁC LOÀI THỰC VẬT QUÝ HIẾM TẠI KHU BẢO TỒN
THIÊN NHIÊN NA HANG TỈNH TUYÊN QUANG

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

THÁI NGUYÊN - 2019


ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

VŨ THANH BÌNH

NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG TRA CỨU
CÁC LOÀI THỰC VẬT QUÝ HIẾM TẠI KHU BẢO TỒN
THIÊN NHIÊN NA HANG TỈNH TUYÊN QUANG

Chuyên ngành: Khoa học máy tính
Mã số: 8.48.0101

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Ngƣời hƣớng dẫn khoa học: TS. Nguyễn Văn Tảo

THÁI NGUYÊN - 2019

i

LỜI CAM ĐOAN
Sau quá trình học tập tại Trƣờng Đại học Công nghệ thông tin &
Truyền thông, với những kiến thức lý thuyết và thực hành đã tích lũy đƣợc,
với việc vận dụng các kiến thức vào thực tế, em đã tự nghiên cứu các tài
liệu, các công trình nghiên cứu, tự tìm kiếm dữ liệu hình ảnh trên thực tế,
đồng thời phân tích, tổng hợp, đúc kết và phát triển để hoàn thành luận văn
thạc sĩ của mình. Em xin cam đoan luận văn này là công trình do bản thân
em tự tìm hiểu, nghiên cứu và hoàn thành dƣới sự hƣớng dẫn của thầy giáo,
TS. Nguyễn Văn Tảo.
Thái Nguyên, tháng năm 2019
Học viên

Vũ Thanh Bình


ii

LỜI CẢM ƠN
Trong thời gian 2 năm của chƣơng trình đào tạo thạc sĩ, trong đó gần
một nửa thời gian dành cho các môn học, thời gian còn lại dành cho việc lựa
chọn luận văn, giáo viên hƣớng dẫn, tập trung vào nghiên cứu, viết, chỉnh sửa
và hoàn thiện luận văn. Với quỹ thời gian nhƣ vậy và với vị trí công việc đang
phải đảm nhận, không riêng bản thân em mà hầu hết các sinh viên cao học
muốn hoàn thành tốt luận văn của mình mình trƣớc hết đều phải có sự sắp xếp
thời gian hợp lý, có sự tập trung học tập và nghiên cứu với tinh thần nghiêm
túc nỗ lực hết mình; tiếp đến là có sự ủng hộ về tinh thần, sự giúp đỡ về

chuyên môn - một trong những điều kiện không thể thiếu quyết định đến việc
thành công của luận văn.
Để hoàn thành đƣợc luận văn này trƣớc tiên em xin gửi lời cảm ơn sâu
sắc đến thầy giáo hƣớng dẫn TS. Nguyễn Văn Tảo, là ngƣời đã định hƣớng
nội dung, hƣớng phát triển của luận văn và có nhiều ý kiến đóng góp quan
trọng ảnh về những vấn đề chuyên môn của luận văn, giúp em tháo gỡ kịp
thời những vƣớng mắc trong quá trình làm luận văn.
Em cũng xin chân thành cảm ơn các thầy cô giáo Trƣờng Đại học
Công nghệ thông tin và Truyền thông và bạn bè cùng lớp đã có những ý kiến
bổ ích để luận văn đƣợc hoàn thiện hơn. Xin cảm ơn gia đình, ngƣời thân,
đồng nghiệp luôn quan tâm ủng hộ về tinh thần trong suốt thời gian học tập và
hoàn thành luận văn.
Em xin hứa sẽ cố gắng tự nghiên cứu, nâng cao năng lực chuyên môn
của mình để sau khi hoàn thành luận văn này sẽ có hƣớng tập trung nghiên


iii

cứu sâu hơn, tiếp tục hoàn thiện luận văn này để có những ứng dụng thiết thực
trong thực tế.

Thái Nguyên, tháng năm 2019
Học viên

Vũ Thanh Bình


iv

MỤC LỤC

LỜI CAM ĐOAN .............................................................................................. i
LỜI CẢM ƠN ................................................................................................... ii
MỤC LỤC ........................................................................................................ iv
DANH SÁCH HÌNH VẼ ................................................................................. vi
DANH MỤC CÁC BẢNG............................................................................. viii
MỞ ĐẦU ........................................................................................................... 1
1. Đặt vấn đề...................................................................................................... 1
2. Bài toán tra cứu/ nhận dạng thực vật ............................................................ 3
3. Cấu trúc luận văn .......................................................................................... 4
CHƢƠNG 1: MỘT SỐ NGHIÊN CỨU LIÊN QUAN .................................... 6
1.1 Tổng quan về tra cứu ảnh ............................................................................ 6
1.2 Tổng quan về nhận dạng, tra cứu thực vật ................................................ 10
1.3 Một số nghiên cứu liên quan ..................................................................... 11
CHƢƠNG 2: PHƢƠNG PHÁP TRA CỨU LÁ CÂY SỬ DỤNG KDES ..... 13
2.1 Giới thiệu................................................................................................... 13
2.2 Phƣơng pháp KDES .................................................................................. 13
2.2.1 Gradient, màu sắc, và hình dạng kernels tƣơng ứng........................... 13
2.2.2 Học tính năng nhỏ gọn ........................................................................ 17
2.3 Phƣơng pháp tra cứu lá cây sử dụng KDES cải tiến ................................. 21
2.4 Biểu diễn ảnh lá cây .................................................................................. 23
2.4.1 Tính toán đặc trƣng mức Pixel............................................................ 23
2.4.2 Tính toán đặc trƣng mức patch ........................................................... 23
2.4.2.1 Sinh tập patch với kích thƣớc patch thích nghi ............................ 23
2.4.2.2 Tính toán véctơ đặc trƣng mức patch ........................................... 26
2.4.3 Tính toán đặc trƣng mức ảnh .............................................................. 31
2.5 Phân lớp ảnh lá cây ................................................................................... 37
2.5.1 Máy véctơ hỗ trợ - SVM ..................................................................... 37


v

2.5.2 Máy véctơ hỗ trợ nhiều lớp – MSVM ................................................ 41
2.5.2.1 Từ Binary classification tới multi-class classification.................. 41
2.5.2.2 Xử lý dữ liệu ảnh ......................................................................... 41
2.5.2.3 Softmax Regression. ..................................................................... 42
CHƢƠNG 3: THỰC NGHIỆM ...................................................................... 44
3.1 Thu thập dữ liệu ........................................................................................ 44
3.1.1 Cơ sở dữ liệu hình ảnh ........................................................................ 44
3.1.2 Phƣơng pháp lấy mẫu hình ảnh lá cây: ............................................... 45
3.2 Tiền xử lý ảnh trong bộ cơ sở dữ liệu ....................................................... 48
3.3 Phƣơng pháp đánh giá ............................................................................... 53
3.4 Thử nghiệm và kết quả. ............................................................................. 54
KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN. ..................................................... 60
TÀI LIỆU THAM KHẢO ............................................................................... 60


vi

DANH SÁCH HÌNH VẼ
Hình 2.1 : Xấp xỉ hữu hạn chiều ................................................................... 19
Hình 2.2: Sơ đồ hệ thống nhận dạng cây thuốc sử dụng KDES ................... 22
Hình 2.3: Patch thích nghi với

=

= 8, do đó

=

=9

....................................................................................................................... 24
Hình 2.4: Một số ví dụ minh họa patch cố định và patch thích nghi ............ 25
Hình 2.5: Ý tưởng cơ bản của việc biểu diễn dựa trên kernel method ......... 29
Hình 2.6: Cấu trúc pyramid .......................................................................... 32
Hình 2.7: Nhược điểm của cách gán cứng .................................................. 34
Hình 2.8: Mô hình Softmax Regression dưới dạng Neural network............. 42
Hình 3.1: Hình ảnh 38 mẫu lá cây đã thu thập được trong đề tài................ 46
Hình 3.2. Phân đoạn ảnh tự động ................................................................. 48
Hình 3.3. giải thuật sử dụng Salient region segmentation ........................... 49
Hình 3.4. Sự chuyển đổi hai không gian màu RGB và Lab .......................... 50
Hình 3.5. Co ảnh nhị phân ............................................................................ 50
Hình 3.6. Giãn ảnh nhị phân......................................................................... 51
Hình 3.7. Chuẩn hóa hướng của lá cây ........................................................ 53
Hình 3.8. Sơ đồ các khối chức năng của giai đoạn huấn luyện ................... 55
Hình 3.9. Sơ đồ các khối chức năng của giai đoạn kiểm thử ....................... 55
Hình 3.10: Một phần mã code chương trình................................................. 56
Hình 3.11: quá trình Huấn luyện của chương trình ..................................... 57
Hình 3.12: Kết thúc quá trình huấn luyện .................................................... 57
Hình 3.13: Tính toán số vòng lặp so sánh .................................................... 58


vii

Hình 3.14: Hình ảnh ma trận nhầm lẫn của phương pháp KDES cải tiến .. 58
Hình 3.7: Hình ảnh nhầm lân ma trận của phương pháp KDES gốc........... 59
Hình 3.8: Hình ảnh nhầm lẫn ma trân của phương pháp KDES cải tiến .... 60


viii

DANH MỤC CÁC BẢNG
Bảng 3.1: Danh sách mẫu thực vật trong cơ sở dữ liệu ............................. 47
Bảng 3.2: So sánh kết quả giữa KDES gốc và phương pháp lựa chọn (KDES
cải tiến). ....................................................................................................... 59


1

MỞ ĐẦU

1. Đặt vấn đề
Khu Bảo tồn thiên nhiên Na Hang là một trong những nơi có nguồn tài
nguyên cây thuốc đa dạng và phong phú [1]. Hiện biết có 275 loài cây thuốc,
thuộc 4 ngành, 96 họ, 204 chi của thực vật có mạch, đã đƣợc ghi lại trong các
cuộc điều tra thực địa. Trong số đó, có 204 loài, thuộc 3 ngành, 85 họ, 168 chi
của thực vật có mạch đƣợc sử dụng bởi Cao Lan dân tộc; đã 05 loài đƣợc liệt
kê trong Sách Đỏ Việt Nam và Danh lục Đỏ cây thuốc Việt Nam.
Trong số 85 họ, có 11 họ có số loài nhiều nhất là họ Rubiaceae,
Euphorbiaceae, Zingberaceae, Araceae, Vitaceae, Acanthaceae, Verbenaceae,
Myrsinaceae, Moraceae, Menispermaceae và Convallariaceae.
Bốn loại phổ biến của cây thuốc là cây thân thảo (41,63%), cây bụi
(22.01%), cây thân gỗ (16,75%) và leo núi (17.70%). Các bộ phận đƣợc sử
dụng nhiều nhất thân, lá, rễ và toàn cây. Các nguồn tài nguyên cây thuốc ở
khu bảo tồn thiên nhiên Na Hang có giá trị kinh tế quan trọng và một tiềm
năng để phát triển dƣợc phẩm mới và các sản phẩm tự nhiên khác.
Rừng đặc dụng Na Hang (trƣớc đây là Khu bảo tồn thiên nhiên Tát kẻ Bản Bung huyện Na Hang) đƣợc thành lập theo Quyết định 274/UB-QĐ ngày
9 tháng 5 năm 1994 của Uỷ ban nhân dân tỉnh Tuyên Quang. Nằm trên địa
bàn các xã Khâu Tinh, Côn Lôn, Sơn Phú, Thanh Tƣơng của huyện Na
Hang, tỉnh Tuyên Quang. Rừng đặc dụng Na Hang có diện tích tự nhiên

khoảng 22.401,5 ha, trong đó diện tích khu vực có địa hình dƣới 300 m chiếm
khoảng 30%, 300-800 m chiếm 60%, trên 900m chiếm 10%. Mùa đông nhiệt
độ trung bình 15 - 20oC, mùa hè nhiệt độ lên đến 30oC hoặc có thể hơn. Hệ


2

thống sông ngòi chỉ ở mức trung bình, có hai con sông lớn chảy qua là sông
Gâm (phía Tây Tát Kẻ) và sông Năng (phía đông Na Hang). Hiện nay, nguồn
nƣớc từ rừng đặc dụng Na Hang đƣợc phân phối, điều hòa bởi hệ thống lòng
hồ và đập thủy điện Na Hang.
Hệ thực vật tại Khu bảo tồn thiên nhiên (BTTN) Na Hang có 1.162 loài
thực vật, thuộc 604 chi, 159 họ của 4 ngành thực vật bậc cao có mạch. Trong
đó ngành Hạt kín (Angiospermae) có 1.083 loài, 570 chi, 135 họ; ngành Hạt
trần (Gymnospermae) có 11 loài, 8 chi, 5 họ; ngành Dƣơng xỉ
(Polypodiophyta) có 63 loài, 34 chi, 17 họ; nhành Thông đất
(Lycopodiophyta) có 5 loài, 2 chi, 2 họ. Trong số 1162 loài thực vật đƣợc ghi
nhận tại Khu BTTN Na Hang, có 558 loài thực vật đƣợc ghi nhận có giá trị
làm thuốc.
Việc nghiên cứu hiện trạng và bảo tồn nguồn tài nguyên cây cối có vị trí
rất quan trọng trong việc phát triển nguồn tài nguyên sinh vật ở rừng đặc dụng
Na Hang. Để hỗ trợ cho công tác này, việc phát triển các công cụ, dịch vụ
công nghệ thông tin hỗ trợ là cần thiết nhằm giúp cho việc xây dựng chiến
lƣợc quản lý, bảo tồn và phát triển bền vững tính đa dạng sinh học của Na
Hang, tỉnh Tuyên Quang trong tƣơng lai đƣợc thuận lợi hơn.
Bƣớc đầu tiên của việc bảo vệ thực vật là tự động nhận ra hoặc phân loại
chúng. Có nghĩa là hiểu chúng là gì và chúng đến từ đâu. Nhƣng rất khó để
ngƣời ta nhận ra một loại cây một cách chính xác và ngay lập tức bởi vì số
lƣợng loài rất lớn. Một hệ thống tự động nhận dạng, tra cứu sẽ rất hữu ích
trong quản lý, bảo tồn hệ thống các loài cây quý hiếm, nhận dạng ra các loại

cây với thông tin của nó v.v.
Tuy nhiên, hiện nay chƣa có một cơ sở dữ liệu với đầy đủ thông tin
cần thiết về các loài thực vật quý hiếm tại Khu bảo tồn Thiên nhiên Na Hang


3

cùng với công cụ tra cứu, tiếp cận thông tin một cách thuận tiện. Do đó, đề
tài luận văn thạc sỹ này tập trung vào việc xây dựng cơ sở dữ liệu các loài
thực vật quý hiếm tại Khu bảo tồn thiên nhiên Na Hang, tỉnh Tuyên Quang
và nghiên cứu, áp dụng một phƣơng pháp tra cứu tự động dựa trên thông tin
hình ảnh, với đề tài: “Nghiên cứu phát triển hệ thống tra cứu các loài thực
vật quý hiếm tại Khu bảo tồn thiên nhiên Na Hang, tỉnh Tuyên Quang”.
Hiện nay, nhiều nhà khoa học đã và đang nghiên cứu, đề xuất nhiều
phƣơng pháp giải quyết bài toán nhận dạng lá cây thông qua thông tin hình
ảnh, [15] [17] [18]. Trong đó, nhiều phƣơng pháp khai thác thông tin hình
ảnh lá cây [2]. Lá cây đƣợc sử dụng nhiều bởi vì đây là bộ phận dễ thu nhận,
hiện diện ở hầu hết các mùa. Trên cơ sở đó, đề tài luận văn thạc sỹ này, em
sẽ kế thừa một số kết quả nghiên cứu về nhận dạng ảnh lá cây để áp dụng
vào bài toán tra cứu các loài thực vật quý hiếm tại Khu bảo tồn thiên nhiên
Na Hang.

2. Bài toán tra cứu/ nhận dạng thực vật
Tra cứu hoặc nhận dạng thực vật là một quá trình nhằm xác định xem
một mẫu thực vật nào đó giống nhất hoặc thuộc loài nào trong danh mục các
loài cây đã biết. Đây là một nhiệm vụ khó khăn và tốn thời gian ngay cả đối
với các chuyên gia thực vật học. Tra cứu thực vật là đƣa ra một danh sách các
loài thực vật theo mức độ phù hợp với câu truy vấn. Trong bài toán tra cứu
thông tin/ hình ảnh tổng quát thì câu truy vấn có thể là văn bản, hình ảnh, ... Ở
đây, em đề cập đến câu truy vấn là ảnh cây hoặc một vài bộ phận của cây.

Gần đây với nghiên cứu tiên tiến trong cộng đồng thị giác máy tính, một số
công trình đã tập trung nghiên cứu bài toán nhận dạng thực vật dựa trên hình
ảnh [3]. Mục đích chính của các công trình này là nghiên cứu phát triển
phƣơng pháp để xây dựng hệ thống chƣơng trình máy tính hỗ trợ việc nhận


4

dạng thực vật bằng các kỹ thuật nhận dạng và xử lý ảnh.. Trong các bộ phận
của cây thì lá cây đƣợc sử dụng rộng rãi nhất. Gần đây một số tác giả đã cố
gắng kết hợp các hình ảnh bộ phận khác của cây.
Một hệ thống tự động nhận dạng phân loại hoặc tra cứu thực vật nói
chung và cây thuốc nói riêng có thể sử dụng các đặc trƣng khác nhau của hệ
thực vật, bắt đầu từ mức độ rất đơn giản nhƣ: Hình dạng và màu sắc của lá,
loại hoa và quả, kiểu phân nhánh, loại rễ, lễ thời vụ, vụ triển vọng, ảnh cho
đến đặc trƣng rất phức tạp nhƣ cấu trúc tế bào và mô, cấu trúc di truyền. Hiện
tại, điện thoại di động có khả năng thu đƣợc hình ảnh chất lƣợng cao với
camera của chúng, điều này làm cho khả năng ứng dụng của một hệ thống
nhƣ vậy trở nên rộng lớn. Lá cây có những đặc trƣng quan trọng, ảnh hữu
ích để phân loại các loại thực vật khác nhau.
Trong thị giác máy tính, đã có nhiều loại đặc trƣng đƣợc đề xuất để
phân loại đối tƣợng. Năm 2010, Liefeng Bo [5] đề xuất một bộ mô tả hiệu quả
cho bài toán nhận dạng đối tƣợng có tên là KDES (Kernel descriptor). Trong
khuôn khổ đề tài luận văn này, này em tìm hiểu và áp dụng KDES cho bài
toán tra cứu ảnh lá cây quý hiếm tại Khu bảo tồn thiên nhiên Na Hang, tỉnh
Tuyên Quang.
3. Cấu trúc luận văn
Ngoài phần mở đầu, kết luận, mục lục, danh mục tài liệu, tài liệu tham
khảo, luận văn đƣợc chia thành 3 chƣơng nhƣ sau:
- CHƢƠNG 1: MỘT SỐ NGHIÊN CỨU LIÊN QUAN

Chƣơng này giới thiệu bài toán và thông tin tổng quan về tra cứu/ nhận
dạng thực vật. Trong chƣơng này cũng trình bày sơ lƣợc một số nghiên cứu
liên quan đến bài toán nhận dạng, tra cứu ảnh lá cây; giới thiệu sử dụng


5

phƣơng pháp KDES (kernel descriptor) cho bài toán tra cứu thông tin về cây
thông qua hình ảnh lá cây.
- CHƢƠNG 2: PHƢƠNG PHÁP TRA CỨU LÁ CÂY SỬ DỤNG
KDES
Trong chƣơng này trình bày phƣơng pháp tra cứu thông tin cây thông
qua hình ảnh lá cây sử dụng phƣơng pháp KDES.
CHƢƠNG 3: THỰC NGHIỆM
Nội dung chƣơng này bao gồm phƣơng pháp thu thập dữ liệu, phƣơng
pháp đánh giá, việc thử nghiệm và kết quả của thử nghiệm trên cơ sở dữ liệu
đã thu thập.


6

CHƢƠNG 1
MỘT SỐ NGHIÊN CỨU LIÊN QUAN
1.1 Tổng quan về tra cứu ảnh
Những năm gần đây ảnh số ngày càng thu hút đƣợc sự quan tâm của
nhiều ngƣời, một phần là do các thiết bị thu nhận ảnh số ngày càng phổ biến
và có giá cả phù hợp, cho phép nhiều ngƣời có thể sở hữu và sử dụng. Mặt
khác các công nghệ chế tạo thiết bị lƣu trữ luôn đƣợc cải tiến để cho ra đời
các thiết bị lƣu trữ có dung lƣợng lớn và giá thành hạ làm cho việc lƣu trữ ảnh
dƣới dạng các file trở nên phổ biến. Thêm nữa là sự phát triển của mạng

internet làm cho số lƣợng ảnh số đƣợc đƣa lên lƣu trữ và trao đổi qua internet
là rất lớn. Năm 2006, trên 300 triệu hình ảnh đã đƣợc tải lên Flickr, một trong
những cộng đồng chia sẻ hình ảnh lớn nhất trên internet. Con số này cho thấy
thực tế là số lƣợng ảnh số đƣợc lƣu trữ trong các cơ sở dữ liệu đang gia tăng
nhanh chóng. Tuy nhiên khi số lƣợng ảnh đƣợc lƣu trữ trở lên rất lớn thì vấn
đề là phải có những phƣơng pháp tổ chức cơ sở dữ liệu ảnh tốt cùng với
những kỹ thuật tìm kiếm tra cứu ảnh có hiệu quả có độ chính xác cao và có
hiệu năng tốt. Việc tìm kiếm đƣợc một bức ảnh mong muốn trong hàng triệu
bức ảnh thuộc đủ loại chủ đề khác nhau là rất khó. Khi số lƣợng ảnh trong
một bộ sƣu tập còn ít, việc nhận diện bức ảnh hay việc so sánh sự giống và
khác nhau giữa nhiều bức ảnh có thể đƣợc thực hiện bằng mắt thƣờng, tuy
nhiên khi số lƣợng ảnh rất lớn thì việc so sánh bằng mắt thƣờng là rất khó
khăn, đòi hỏi phải có những phƣơng pháp hiệu quả và chính xác hơn.
Trong thực tế, bài toán tra cứu ảnh số có rất nhiều ứng dụng quan trọng.
Ví dụ nhƣ trong lĩnh vực ngân hàng, việc so sánh chữ ký của khách hàng với
mẫu chữ ký đã đƣợc lƣu trữ sẵn có thể thực hiện rất nhanh và chính xác nếu
có đƣợc một phần mềm so sánh mẫu chữ ký tốt. Thực tế hiện nay tại các ngân


7

hàng ở Việt Nam, ngƣời ta vẫn phải sử dụng phƣơng pháp so sánh bằng mắt
thƣờng và việc so sánh chữ ký bằng phần mềm vẫn chƣa thực hiện đƣợc. Một
ví dụ khác là bài toán quản lý biểu trƣng (logo) trong lĩnh vực sở hữu trí tuệ.
Khi một đơn vị muốn đăng ký logo riêng cho đơn vị của mình thì cơ quan
quản lý phải tiến hành đánh giá xem mẫu logo đó đã đƣợc sử dụng hay chƣa
hoặc có tƣơng tự với mẫu logo nào đó đang đƣợc sử dụng hay không. Trong
trƣờng hợp này, nếu sử dụng mắt thƣờng để duyệt thì sẽ tốn rất nhiều thời
gian, nếu có các phần mềm cho phép tìm kiếm trong cơ sở dữ liệu ảnh có sẵn
những biểu trƣng tƣơng tự với biểu trƣng mẫu thì việc đánh giá sự tƣơng tự sẽ

dễ dàng hơn nhiều. Trong lĩnh vực khoa học hình sự, nhu cầu so sánh mẫu
vân tay, hay tìm kiếm hình ảnh tội phạm đặt ra những bài toán tra cứu ảnh.
Giả sử chúng ta tổ chức quản lý nhân khẩu với thông tin ảnh vân tay của từng
ngƣời. Trong một vụ án, nhân viên điều tra thu thập đƣợc mẫu vân tay trên
hiện trƣờng, khi đó ngƣời ta cần xem mẫu vân tay đó khớp với vân tay của ai
trong hàng chục triệu hình ảnh vân tay trong cơ sở dữ liệu. Nếu có phần mềm
thực hiện chính xác, nhanh chóng sẽ giúp ích rất nhiều cho công tác điều tra.
Một ví dụ nữa là trong lĩnh vực bảo tồn, bảo tàng. Vấn đề lƣu trữ và tra
cứu ảnh số có vai trò càng ngày càng quan trọng. Ảnh của các tác phẩm hội
họa, điêu khắc hoặc các cổ vật đƣợc lƣu trữ dƣới dạng các file ảnh sẽ đảm bảo
đƣợc chất lƣợng tốt hơn, thời gian lƣu trữ lâu dài hơn và việc trao đổi hay giới
thiệu với công chúng cũng dễ dàng hơn. Bài toán tra cứu của vật xuất phát từ
một thực tế của ngành bảo tồn, bảo tàng là khi sƣu tầm đƣợc một cổ vật mới,
ngƣời ta cần xác định hàng loạt các thuộc tính nhƣ niên đại, nguồn gốc và có
thể là chủ sở hữu của vật đó. Nếu có đƣợc sự trợ giúp của phần mềm tra cứu
ảnh phù hợp thì ngƣời ta ta có thể dễ dàng xác định xem mẫu cổ vật đó đã
đƣợc lƣu trữ trong cơ sở dữ liệu nào hay chƣa, có những loại cổ vật nào tƣơng
tự với nó trong kho tàng cổ vật của thế giới, và phần mềm có thể đƣa ra ảnh


8

của các loại cổ vật có màu sắc, hình dáng, hoa văn tƣơng tự với cổ vật vừa
tìm thấy. Những thông tin này sẽ giúp ích rất nhiều cho các chuyên gia trong
quá trình phân loại, kiểm chứng một cổ vật.
Một số hệ thống tra cứu ảnh nổi tiếng nhƣ
Virage

(Virage

Inc.),

Photobook

(MIT),

QBIC (IBM),

VisualSEEK

(Columbia

University)...
Trƣớc năm 1990, ngƣời ta thƣờng sử dụng phƣơng pháp tra cứu ảnh
theo văn bản (Text Based Image Retrieval). Theo cách này ngƣời ta sẽ gán
cho mỗi bức ảnh một lời chú thích phù hợp với nội dung hoặc một đặc điểm
nào đó của ảnh, sau đó việc tra cứu ảnh đƣợc thực hiện dựa trên những lời
chú thích này. Phƣơng pháp này khá đơn giản, tuy nhiên lại không thể áp
dụng để tra cứu các cơ sở dữ liệu có số lƣợng ảnh lớn và kết quả tra cứu thì
mang tính chủ quan và cảm ngữ cảnh. Bởi về các kỹ thuật tra cứu dựa trên
văn bản chỉ có thể đƣợc áp dụng khi hình ảnh đã đƣợc mô tả. Việc tự động
hiểu nội dung một bức tranh theo cách của con ngƣời là một công việc rất
khó. Vấn đề này đƣợc gọi là lỗ hổng ngữ nghĩa (semantic gap).
Một trong những phƣơng pháp đƣợc nhiều ngƣời quan tâm nghiên cứu
hiện nay là phƣơng pháp ”Tra cứu ảnh dựa theo nội dung” (Content Base
Image Retrieval). Ý tƣởng phƣơng pháp này là chích chọn các đặc điểm dựa
vào nội dung trực quan của ảnh nhƣ màu sắc, kết cấu, hình dạng và bố cục
không gian của ảnh để làm cơ sở dữ liệu cho việc tra cứu, sắp xếp, tổ chức cơ
sở dữ liệu ảnh.
Kỹ thuật tra cứu ảnh trên cơ sở màu cơ bản có nhiều hạn chế:

- Hạn chế thứ nhất của ảnh kỹ thuật cơ sở là không sử dụng tính tƣơng
đồng giữa các màu. Khi đó, hai ảnh với màu cảm nhận tƣơng đồng nhƣng
không có màu chung thì khoảng cách giữa chúng sẽ rất lớn, có thể là cực đại.


9

Với hạn chế thứ nhất này, ngƣời ta đã đƣa ra những cách khắc phục bằng
cách: đƣa ra thƣớc đo mức độ giống nhau trong đó quan tâm đến đóng góp
các màu cảm nhận tƣơng tự; tính toán khoảng cách màu trong đó các giá trị
biểu đồ màu đƣợc điều chỉnh trên cơ sở mức độ tƣơng tự màu; sử dụng biểu
đồ trọng số cảm nhận (PWH -perceptually weighted histogram).
- Hạn chế thứ hai là không sử dụng quan hệ không gian giữa các pixel.
Để giải quyết vấn đề này, ngƣời ta có thể tách màu nền khỏi màu cận cảnh
(phân đoạn ảnh) sau đó biểu đồ màu nền và biểu đồ màu cận cảnh đƣợc tính
toán và sử dụng.
- Hạn chế thứ ba là không gian màu lựa chọn đƣợc lƣợng tử hóa đồng
nhất mặc dù các màu điểm ảnh không phân bổ đồng nhất trong không gian
màu. Một số giải pháp: lƣợng tử hóa màu không đồng nhất; lựa chọn không
gian màu thích hợp cũng đã đƣợc đề cập; cải tiến việc tính toán các bins màu
cách sử dụng kỹ thuật phân lớp dữ liệu.
Kỹ thuật tra cứu cơ sở dựa trên lƣợc đồ màu chƣa tận dụng đƣợc các
đặc tính cục bộ của vùng của ảnh nhƣ màu và không gian. Ngƣời ta đã đề cập
đến kỹ thuật tra cứu ảnh dựa vào các đặc tính cục bộ của vùng áp dụng trong
tra cứu các ảnh phong cảnh: kỹ thuật đối sánh cặp màu để mô hình các đƣờng
bao đối tƣợng phân biệt; mở rộng kỹ thuật cặp màu để thực hiện tra cứu các
ảnh đã đƣợc phân đoạn. Các hạn chế trong kỹ thuật tra cứu dựa vào màu bao
gồm: thiếu khả năng nhận dạng các đối tƣợng tƣơng tự có các màu khác nhau,
nhạy cảm với tỷ lệ của đối tƣợng. Ảnh ngƣời ta đƣa ra kỹ thuật tra cứu ảnh
dựa vào các đặc tính cục bộ của vùng bao gồm màu và không gian áp dụng

trong tra cứu các ảnh phong cảnh. Kỹ thuật này nhằm khắc phục các hạn chế
đã đƣợc đề cập ở trên thông qua một quá trình ba bƣớc: phân đoạn ảnh thành
các cụm dựa vào màu (sử dụng thuật toán phân lớp dữ liệu K-Means); chia


10

các ảnh thành dãy các hình chữ nhật bằng phƣơng pháp phủ hình chữ nhật tối
thiểu có độ thuần nhất; Cuối cùng, thông tin của vùng đƣợc trích rút trong
bƣớc thứ hai đƣợc sử dụng để tra cứu các ảnh liên quan từ một cơ sở dữ liệu
ảnh phong cảnh.
Với phƣơng pháp tra cứu ảnh dựa trên hình dạng, có nhiều phƣơng
pháp biểu diễn đặc trƣng hình dạng và thƣớc đo độ tƣơng tự khác
nhau: phƣơng pháp tiếp cận dựa trên hình dạng sử dụng logic mờ. Đầu tiên,
ảnh đƣợc phân đoạn thành một tập các vùng. Mỗi vùng đƣợc biểu diễn bởi
một tập mờ. Khoảng cách giữa hai ảnh đƣợc tính toán dựa trên việc so sánh
khoảng cách giữa tất cả các cặp vùng của hai ảnh kết hợp với gán trọng số
cho mỗi vùng; phƣơng pháp biểu diễn đặc trƣng của vùng bởi một vectơ 15
chiều bao gồm các thành phần màu đặc trƣng của vùng và các đặc trƣng hình
dạng; Kết hợp hai phƣơng pháp trên đồng thời đƣa ra cải tiến cách biểu diễn
vectơ đặc trƣng của một vùng sử dụng 6 thành phần (3 thành phần đặc trƣng
màu sắc và 3 thành phần đặc trƣng hình dạng); hình dạng các vùng đƣợc xấp
xỉ bởi đa giác. Đa giác biểu diễn hình dạng các vùng đƣợc xác định theo cách
hoạt động của radar.
1.2 Tổng quan về nhận dạng, tra cứu thực vật
Tự động phân loại và tra cứu thực vật có thể đƣợc thực hiện bằng cách
trích xuất các đặc trƣng từ lá của nó. Có nhiều cách tiếp cận khác nhau đã
đƣợc đề xuất. Đầu tiên, ảnh lá đƣợc thu nhận bằng camera hoặc máy quét.
Sau đó, đó ngƣời dùng có thể chọn điểm gốc của lá và một vài điểm tham
chiếu trên phiến lá hoặc tự động thực hiện việc này. Tiếp theo, một số đặc

trƣng hình thái học đƣợc trích xuất. Các đặc trƣng này đƣợc sử dụng làm đầu
vào cho hệ thống phân loại, ví dụ nhƣ mạng nơron nhân tạo. Mạng nơron
đƣợc huấn luyện với lá từ các loài thực vật khác nhau. Sau đó, độ chính xác


11

của hệ thống nhận dạng đƣợc đánh giá thông qua thử nghiệm. Phƣơng pháp
này chỉ hoạt động đối với những cây có lá phẳng, rộng.
Một số lƣợng đáng kể các công trình đã đƣợc thực hiện nhằm giải
quyết bài toán tra cứu và nhận dạng thực vật dựa trên ảnh lá. Một phƣơng
pháp nào đó có thể đạt đƣợc hiệu năng tốt đối với một số mẫu giá cụ thể,
nhƣng không đảm bảo cho kết quả tốt đối với các mẫu lá khác. Đôi khi ngƣời
ta thấy rằng hai hoặc nhiều cây có lá có hình dạng tƣơng tự hoặc giống nhau,
nhƣng màu sắc khác nhau. Trong trƣờng hợp đó các đặc trƣng màu sắc cần
đƣợc lƣu tâm.
Chƣơng này trình bày sơ lƣợc các thuật toán khác nhau đã đƣợc sử
dụng để tra cứu phân loại thực vật thông qua ảnh lá.
1.3 Một số nghiên cứu liên quan
Để nhận dạng cây có nhiều cách, có thể nhận dạng cây qua các bộ phận
của cây nhƣ cành, lá, chồi, thân, hoa, quả, rễ cây… Tuy nhiên đặc trƣng dễ
nhận ra nhất của mỗi cây là hình ảnh lá cây. Nên trong luận văn này em sử
dụng hình ảnh lá cây với nền đơn giản.
Có hai loại lá: Lá kép (bao gồm một số lá nhỏ) và lá đơn. Trong khi hầu
hết các nghiên cứu trên lá đơn tập trung vào việc trích xuất đặc trƣng hình
dạng và vị trí của lá [9], thì các nghiên cứu trên lá kép cố gắng khai thác cấu
trúc của chúng [7].
Hình ảnh lá có thể đƣợc chụp với nền phức tạp, bƣớc đầu tiên của hệ
thống nhận dạng thực vật dựa trên ảnh lá là phân đoạn ảnh lá. Tuy nhiên,
phân đoạn ảnh là bài toán khó với nhiều thách thức trong thị giác máy tính.

Do đó, các công trình hiện tại thƣờng dựa trên giả định rằng ảnh lá đƣợc chụp
trong một nền tƣơng đối đơn giản. Có rất ít công trình đề cập đến việc phân
đoạn ảnh lá trên nền phức tạp [8] [18]. Trong [18] Tác giả đã đề xuất một


12

phƣơng pháp có tên là Marker-Controller Watersheds. Tuy nhiên, phƣơng
pháp này dựa trên giả định rằng ảnh là bimodal.
Trong [8], các tác giả đã đề xuất một phƣơng pháp phân đoạn ảnh
lá. Trong nghiên cứu này, trƣớc tiên phân đoạn dựa trên mô hình lá đa giác
sau đó phát triển một active contour. Tuy nhiên, công trình này chỉ giới hạn
làm việc với lá cây với nền đơn giản.
Khi làm việc với bài toán nhận dạng thực vật dựa trên ảnh lá, nhiệm vụ
quan trọng nhất là biểu diễn lá. Trong đó, chúng ta cần xác định các đặc trƣng
thích hợp để biểu diễn lá tốt nhất. Một một số đặc trƣng đã đƣợc đề xuất cho
việc biểu diễn lá trình bày trong ImageClef2013. Các phƣơng pháp này chủ
yếu làm việc với giả thiết là nền đơn giản.
Gần đây [9] đã đề xuất sử dụng KDES (kernel descriptor) đƣợc sử
dụng trong [5] để nhận dạng lá. Bộ mô tả này vƣợt trội hơn các bộ mô tả tốt
nhất nhƣ SURF. Công trình này làm việc với nền đơn giản. KDES cải tiến
không bất biến đối với scale (kích thƣớc ảnh) và phép xoay.


13

CHƢƠNG 2
PHƢƠNG PHÁP TRA CỨU LÁ CÂY SỬ DỤNG KDES

2.1 Giới thiệu

Năm 2010, Liffeng Bo và cộng sự [5] đề xuất một bộ mô tả đối tƣợng
nói chung có tên là KDES (kernel descriptor). Với đặc trƣng KDES, việc trích
chọn đặc trƣng hình ảnh của mỗi bộ phận của cây đều đƣợc xây dựng theo
hƣớng: từ đặc trƣng mức pixel, đến đặc trƣng mức patch, rồi đặc trƣng mức
ảnh.Bằng thực nghiệm, các tác giả đã chỉ ra rằng KDES tốt hơn những
phƣơng pháp đã có trên cơ sở dữ liệu Cifa-10, Caltech-101, ImageNet. Năm
2015 với những kết quả đã đƣợc chỉ ra của KDES [15], luận văn này áp dụng
KDES cho bài toán tra cứu tra cứu các loài thực vật quý hiếm tại khu bảo tồn
thiên nhiên Na Hang tỉnh Tuyên Quang dựa vào hình ảnh lá cây.
2.2 Phƣơng pháp KDES
2.2.1 Gradient, màu sắc, và hình dạng kernels tƣơng ứng
Với đặc trƣng KDES, việc trích chọn đặc trƣng hình ảnh của mỗi bộ
phận của cây đều đƣợc xây dựng theo hƣớng: từ đặc trƣng mức pixel, đến đặc
trƣng mức patch, rồi đặc trƣng mức ảnh.
- Đặc trưng mức pixel
Theo [5], một số đặc trƣng có thể đƣợc tính toán ở mức pixel nhƣ: giá
trị pixel (rgb color), kết cấu (local binary patterns – lbp), gradient. Trong đề
tài này, em sử dụng đặc trƣng gradient đối với ảnh lá cây.
+Đặc trƣng gradient


14

Vector gradient tại một pixel z đƣợc xác định bởi biên độ
 ( z) .

m ( z ) và

hƣớng

Trong [2], sau khi đã đƣợc chuẩn hóa (chia cho biên độ vector tại mỗi

điểm), một vector 2 chiều đặc trƣng cho mỗi điểm ảnh đƣợc biểu diễn dƣới
dạng:

 ( z)  sin( ( z))cos( ( z)) 
+ Đặc trưng mức patch
Đặc trƣng mức patch đƣợc tính toán dựa trên ý tƣởng của phƣơng pháp
Kernel Descriptor (KDES). Đó là xây dựng một độ đo để đánh giá tƣơng quan
giữa các patch ảnh. Rồi từ đó sử dụng phƣơng pháp xấp xỉ để có thể trích ra
đặc trƣng mức patch.
Qua khảo sát hàm mũ cơ số e của đối số khoảng cách Euclide là một
thƣớc đo tƣợng tự tốt để đánh giá sự tƣơng đồng giữa hai vector đặc trƣng.
Việc sử dụng hàm mũ cơ số e với số mũ âm là một điểm rất mạnh của việc
matching đối với KDES. Vì nếu 2 patch có sự tƣơng đồng lớn thì chuẩn 2 của
hiệu sẽ nhỏ và độ đo đánh giá lớn. Ngƣợc lại, sự tƣơng đồng càng giảm thì
giá trị của match kernel cũng sẽ giảm và giảm rất nhanh. Điều này cho phép
ta lấy đƣợc những patch có sự tƣơng đồng rất cao với patch cần đối sánh.
Xét 2 patch ảnh P và Q, hàm đối sánh giữa các đặc trƣng gradient và
LBP của chúng đƣợc định nghĩa nhƣ sau:
- Gradient Match Kernel
Gradient Match Kernel của 2 patch ảnh đƣợc xây dựng từ 3 Kernel, đó
là gradient magnitude kernel
hƣớng), position kernel
đƣợc định nghĩa nhƣ sau:

̅

(theo biên độ), orientation kernel

(theo

(theo vị trí). Trong [2] Gradient Match Kernel


15

(

)

∑∑

̅(

)

. ̃ ( ) ̃ ( )/

(

)

Trong đó:


: các điểm ảnh trên các patch P, Q.

z,



̅(

)

( ) ( ): hàm đối sánh giữa 2 biên độ của 2
( ) là biên độ của vector gradient tại z và

vector gradient. Với m(z) và


. ̃ ( ) ̃ ( )/

(

‖ ̃( )

̃ ( )‖ ) : hàm đối sánh

theo hƣớng của 2 vector gradient tại z và


(

)

(

‖

‖ ) : hàm đối theo vị trí của e pixel

z và
Với

là vị trí Gaussian kernel với

biểu

thị vị trí 2D của một pixel trong một bản vá hình ảnh (đƣợc chuẩn hóa thành
là kernel hƣớng. Để

[0; 1]). Và
ƣớc tính sự khác biệt giữa các hƣớng ở pixel

và

vectơ gradient chuẩn hóa sau trong hàm kernel

:

, chúng tôi sử dụng các

(2.2)
Khoảng cách giữa các vectơ nhƣ vậy cho thấy rất rõ sự khác biệt của
gradient định hƣớng. Lƣu ý rằng tính toán khoảng cách theo chuẩn L2 trên
các giá trị góc

thay vì chuẩn hóa vectơ gradient

sẽ gây ra sự sai số trong

một số trƣờng hợp. Ví dụ, hãy xem xét hai góc độ 2

– 0.01 và 0.01, có

hƣớng rất giống nhau nhƣng khoảng cách L2 rất lớn.
Tóm lại, kernel phù hợp với độ dốc Kgrad của chúng tôi bao gồm ba
kernel: kernel tuyến tính chuẩn hóa giống nhƣ trong biểu đồ định hƣớng, đánh
giá sự đóng góp của từng pixel sử dụng cƣờng độ gradient; kernel định hƣớng