Nghiên cứu xây dựng mô hình đa phân lớp dựa trên GA và SVM
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (2.03 MB, 65 trang )
ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
LỮ ĐĂNG NHẠC
NGHIÊN CỨU XÂY DỰNG MÔ HÌNH ĐA PHÂN LỚP DỰA
TRÊN GA VÀ SVM
LUẬN VĂN THẠC SĨ
HÀ NỘI - 2010
ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
LỮ ĐĂNG NHẠC
NGHIÊN CỨU XÂY DỰNG MÔ HÌNH ĐA PHÂN LỚP DỰA
TRÊN GA VÀ SVM
Ngành: Công nghệ thông tin
Chuyên ngành: Hệ thống thông tin
Mã số: 60.48.05
LUẬN VĂN THẠC SĨ
Người hướng dẫn khoa học:
TS. NGUYỄN HÀ NAM
HÀ NỘI - 2010
6
MỤC LỤC
LỜI CẢM ƠN 1
DANH MỤC HÌNH VẼ 2
DANH MỤC BẢNG BIỂU 4
BANH MỤC CÁC KÝ HIỆU, TỪ VIẾT TẮT 5
MỤC LỤC 6
Chƣơng 1 - MỞ ĐẦU 8
Chƣơng 1 - THUẬT TOÁN PHÂN LỚP VỚI SVM 10
1.Giới thiệu chung về phân lớp 10
1.1.Khái niệm cơ bản 10
1.2.Quá trình phân lớp 10
1.2.1.Xây dựng mô hình 11
1.2.2.Sử dụng mô hình 11
1.3.Các yêu cầu đối với bàn toán phân lớp 12
2.Kỹ thuật phân lớp SVM(Support vector machines) 13
2.1.SVM tuyến tính 13
2.1.1.Các bộ phận phân lớp tuyến tính 13
2.1.2.Tập huấn luyện có thể phân chia tuyến tính 14
2.1.3.SVM tuyến tính cho bộ huấn luyện có thể phân chia 15
2.1.4.Tìm siêu phẳng tối ưu 16
2.1.5.Các véc tơ hỗ trợ 17
2.1.6.SVM tuyến tính cho tập huấn luyện tổng quát 18
2.2.SVM không tuyến tính 20
2.2.1.Không gian đặc trưng 20
2.2.2.SVM tuyến tính trong không gian đặc trưng 21
2.2.3.Ngầm xạ sang không gian đặc trưng 22
2.2.4.Các hàm nhân phổ biến 22
2.3.Một số biến thể và cải tiến của SVM 23
2.3.1.Một số kỹ thuật đa phân lớp 23
2.3.2.Kỹ thuật Cross Validation 25
Kết luận chương 26
7
Chƣơng 2 - GIẢI THUẬT DI TRUYỀN 28
1.Giới thiệu 28
2.Nội dung thuật toán 28
3.Thể hiện giả thuyết 31
4.Các toán tử di truyền 32
5.Hàm thích nghi và sự chọn lọc 34
Kết luận chương 35
Chƣơng 3 - MÔ HÌNH TỐI ƢU ĐA PHÂN LỚP SVM 36
1.Mô hình đề xuất 36
2.Cấu trúc hàm Kernel 37
3.Cấu trúc của cá thể và kỹ thuật tìm tham số tối ưu dựa trên giải thuật di truyền 39
Kết luận chương 40
Chƣơng 4 - XÂY DỰNG CHƢƠNG TRÌNH MÔ PHỎNG 41
1.Giao diện chương trình 41
1.1.Giới thiệu về MatLab 41
1.2.Các module trong hệ thống và giao diện của chương trình 41
1.2.1. Module Genetic Algorithm 41
1.2.2.Các hàm trong chương trình 43
2.Thực nghiệm 44
2.1.Sử dụng bộ dữ liệu Stomach cho chương trình 44
2.1.1.Kết quả thực nghiệm với hàm Gaussian 45
2.1.2 Kết quả thực nghiệm với hàm Poly 48
2.2. Thực nghiệm với bộ dữ liệu men Yeast 51
2.2.1.Kết quả thực nghiệm với hàm Gaussian 51
2.2.2.Kết quả thực hiện với hàm Poly 54
Kết luận chương 57
KẾT LUẬN 58
1.Các đóng góp khoa học của luận văn 58
2.Hướng phát triển 58
TÀI LIỆU THAM KHẢO 59
PHỤ LỤC 61
1
LỜI CẢM ƠN
Trước tiên, em xin chân thành cảm ơn TS.Nguyễn Hà Nam người thày đã hướng dẫn,
chỉ dạy tận tình để em hoàn thành luận văn này. Em cũng xin gửi lời cảm ơn các thày,
cô giáo khoa Công nghệ thông tin - Trường Đại học Công nghệ - Đại học Quốc gia Hà
Nội đã truyền thụ kiến thức, giúp đỡ em trong suốt quá trình học tập vừa qua.
Tôi cũng xin cảm ơn gia đình, đồng nghiệp và những người thân đã cùng chia sẻ, giúp
đỡ, động viên, tạo mọi điều kiện thuận lợi để tôi hoàn thành nhiệm vụ học tập và luận
văn tốt nghiệp cuối khóa.
Hà Nội, tháng 10 năm 2010
Học viên
Lữ Đăng Nhạc
2
DANH MỤC HÌNH VẼ
Hình 1.1 Mô hình phân lớp 10
Hình 1.2 .Quá trình phân lớp 11
Hình 1.3. Véc tơ hai chiều x .[11] 14
Hình 1.4 Mặt phẳng phân chia hai lớp [11] 14
Hình 1.5 Các siêu phẳng phân chia tập dữ liệu [11] 15
Hình 1.6 Siêu phẳng tối ưu 17
Hình 1.7 Các véc tơ hỗ trợ 18
Hình 1.8 Biến nới lỏng cho lề mềm 19
Hình 1.9. Không gian đặc trưng. 21
Hình 1.10. Mô tả kỹ thuật One against all (a) và one against one(b)[9] 24
Hình 1.11 Thẩm định chéo K-fold 26
Hình 1.12. Thẩm định chéo lấy mẫu ngẫu nhiên 26
Hình 2.1. Các toán tử chung cho thuật giải di truyền [15] 33
Hình 3.1.Mô hình mới dựa trên GA và SVM 36
Hình 3.2. Đưa dữ liệu về không gian mới 38
Hình 4.1 Các bước thực hiện để tìm ra chromosome tốt nhất. 42
Hình 4.2 Hàm đánh giá của GA tại mỗi thế hệ 43
Hình 4.3 Giao diện chương trình 44
Hình 4.4.Kết quả thử nghiệm SVM với hàm Gaussian trên Stomach 46
Hình 4.5 Kết quả thử nghiệm của GA&SVM với hàm Gaussian trên tập Stomach 47
Hình 4.6 So sánh kết quả thực nghiệm của SVM và GA&SVM với hàm Gaussian trên
tập Stomach 48
Hình 4.7 Kết quả thực nghiệm của SVM với Poly trên tập Stomach 49
Hình 4.8 Kết quả thực nghiệm của GA&SVM với Poly trên Stomach 50
Hình 4.9 So sánh kết quả thực nghiệm của SVM và GA&SVM với hàm Poly trên
Stomach 51
Hình 4.10 Kết quả thử nghiệm của SVM với hàm Gaussian trên tập Yeast 52
Hình 4.11 Kết quả thử nghiệm của GA&SVM với hàm Gaussian trên tập Yeast 53
Hình 4.12 So sánh kết quả thực nghiệm của SVM và GA&SVM với hàm Gaussian
trên tập Yeast 54
3
Hình 4.13 Kết quả thử nghiệm của SVM với hàm Poly trên tập Yeast 55
Hình 4.14 Kết quả thử nghiệm GA&SVM với hàm Poly trên tập Yeast 56
Hình 4.15 So sánh kết quả thực nghiệm của SVM và GA&SVM với hàm Gaussian
trên tập Yeast 57
4
DANH MỤC BẢNG BIỂU
Bảng 1.Mô tả dữ liệu Stomach 44
Bảng 2.Kết qủa lỗi thu được của SVM với hàm Gaussian trên tập stomach 45
Bảng 3.Kết quả lỗi thu được của GA&SVM với hàm Gaussian trên Stomach 46
Bảng 4.Kết quả lỗi thu được của SVM với hàm Poly trên dữ liệu Stomach 48
Bảng 5 Kết qủa lỗi thu được của GA&SVM với hàm Poly trên tập Stomach : 49
Bảng 6 Kết quả lỗi thu được của SVM với hàm Gaussian trên tập Yeast 51
Bảng 7 Kết quả lỗi thu được của GA&SVM với hàm Gaussian trên tập Yeast 52
Bảng 8 Kết quả lỗi thu được của SVM với hàm Poly trên tập Yeast 54
Bảng 9 Kết quả lỗi thu được của GA& SVM với hàm Poly trên tập Yeast 55
5
BANH MỤC CÁC KÝ HIỆU, TỪ VIẾT TẮT
Từ viết tắt
Tiếng anh
GA
Genetic Algorithm
Gas
Genetic Algorithms
OAA
One Against All
OAO
One Against One
SVM
Suporst Vector Machine
MSVM
Mô hình đa phân lớp xây dựng bởi OAA và SVM
Matlab
Matrix Laboratory
8
MỞ ĐẦU
,
.
Khai phá dữ liệu
Phân lớp dữ liệu
Nh
Support vector machines (SVM) Học cây quyết định
Mạng lan truyền ngược (Neural Network)[8]
[8,11,14]
9
SVM One agaist all (OAA)
n
[10].
Chƣơng 1. Thuật toán phân lớp SVM.
SVM
Chƣơng 2. Giải thuật di truyền.
,
Chƣơng 3. Mô hình tối ƣu đa phân lớp SVM.
SVM.
.
Chƣơng 4. Xây dựng chƣơng trình mô phỏng.
(GA&SVM) SVM.
Phần kết luận
10
Chƣơng 1 - THUẬT TOÁN PHÂN LỚP VỚI SVM
1.Giới thiệu chung về phân lớp
1.1.Khái niệm cơ bản
, n
. Vcation),
5]
Hình 1.1 Mô hình phân lớp
1.2.Quá trình phân lớp
11
Hình 1.2 .Quá trình phân lớp
1.2.1.Xây dựng mô hình
-
-
-
-
1.2.2.Sử dụng mô hình
-
-
-
12
1.3.Các yêu cầu đối với bàn toán phân lớp
-
-
-
-
-
u
-
-
-
13
.
2.Kỹ thuật phân lớp SVM(Support vector machines)
2.1.SVM tuyến tính
2.1.1.Các bộ phận phân lớp tuyến tính
x
w
x
+ b (1.1)
w
b
w
.
b
w
x
w
x
w
x
x
R
2
x
w
x
-
w
x
x
x
m
x
w
x
+ b = 0
14
Hình 1.3. Véc tơ hai chiều x .[11]
x
w
x
+ b
Hình 1.4 Mặt phẳng phân chia hai lớp [11]
2.1.2.Tập huấn luyện có thể phân chia tuyến tính
S
x
R
m
i
{-
15
Hình 1.5 Các siêu phẳng phân chia tập dữ liệu [11]
+
+
2.1.3.SVM tuyến tính cho bộ huấn luyện có thể phân chia
cho
+
+ u
16
2.1.4.Tìm siêu phẳng tối ƣu
w
i= 1,…N
(1.2):
w
w
,
*
w
, b
*
w
x
+ b = -
w
x
+ b = 1
w
x
+ b = -
w
x
1
x
2
x
w
(
2
x
-
1
x
) = 1 (1.3)
2
x
-
1
x
w
w
(
2
x
-
1
x
)
w
w
17
w
x
w
x
+
b = |
w
1/||
w
w
w
, b)
w
Hình 1.6 Siêu phẳng tối ưu
2.1.5.Các véc tơ hỗ trợ
c
* * *
1
( , , )
n
*
w
,
*
b
-
Kuhn-Tucker)
+
i
18
+
i
i
x
[11]
Hình 1.7 Các véc tơ hỗ trợ
i
*
w
2.1.6.SVM tuyến tính cho tập huấn luyện tổng quát
chia
19
i
vector
Hình 1.8 Biến nới lỏng cho lề mềm
* * *
1
( , , )
n
20
(
*
w
, b
*
- box contraint)
0 C
0
[11]
2.2.SVM không tuyến tính
2.2.1.Không gian đặc trƣng
1
{( , ), ,( , )}
NN
S x y x y
1
, ,
M
x
()x
i
g
x
R
M
[11]
()s
21
+
Hình 1.9. Không gian đặc trưng.
2.2.2.SVM tuyến tính trong không gian đặc trƣng
vector
1
( , , )
N
*
x
n
w
22
'
( ). ( )xx
Định nghĩa
) trong
[11]
2.2.3.Ngầm xạ sang không gian đặc trƣng
K() gian
(.)
.
(.)
'
( , )K x x
so
(.)
'
( , )K x x
()x
'
()x
2.2.4.Các hàm nhân phổ biến
2.2.4.1.Hàm nhân đa thức
23
2.2.4.2.Hàm nhân cơ sở
.
2.2.4.3.Hàm nhân sigmoid
.
k
2.3.Một số biến thể và cải tiến của SVM
2.3.1.Một số kỹ thuật đa phân lớp
2.3.1.1.Kỹ thuật One Against all
,
-1
,
,
k
hay
k
.
(Hình (a))
3
,
,
