Tiểu luận môn Máy học và ứng dụng TÌM HIỂU PHÂN LOẠI ĐA LỚP VỚI PHƯƠNG PHÁP MÁY HỌC SVM





 
!"#$$%%
&'
( (
Thầy PGS-TS.Vũ Thanh Nguyên Nguyễn Văn Trường CH1301036

Tháng 03 Năm 2014
Mục Lục
 !)
Báo cáo môn Máy học và ứng dụng Hướng dẫn PGS.TS. Vũ Thanh Nguyên
&*(+
1.1 ,-,./,01
Máy học là một chi nhánh của trí tuệ nhân tạo, liên quan đến quá trình xây dựng hệ thống
có thể học từ dữ liệu. Ví dụ, một hệ thống học máy có thể được huấn luyện về các tin
nhắn email để học cách phân biệt giữa thư rác và thư bình thường. Sau khi học, máy học
có thể được sử dụng để phân loại các tin nhắn email mới vào thư mục thư rác và thư bình
thường.
Máy học kiểm tra những ví dụ trước đó và kiểm tra luôn cả những kết quả của chúng
khi xuất và học làm cách nào để tái tạo lại những kết quả này và tạo nên những sự tổng
quát hóa cho những trường hợp mới. Nói chung, máy học sử dụng một tập hữu hạn dữ
liệu được gọi là tập huấn luyện. Tập này chứa những mẫu dữ liệu mà nó được viết bằng
mã theo một cách nào đó để máy có thể đọc và hiểu được.
Một số hệ thống máy học cố gắng để loại bỏ sự cần thiết của con người trong phân
tích dữ liệu, trong khi một số khác thông qua một cách tiếp cận hợp tác giữa con người và
máy. Các thuật toán máy học có thể được tổ chức thành nhóm phân loại dựa trên các kết
quả mong muốn của thuật toán hoặc các loại dữ liệu đầu vào.
Máy học hiện nay đươc ứng dụng rộng rãi trong nhiều hệ thống minh minh, và một

trong số đó là phân lớp dữ liệu tự động. Ví dụ như, quá trình nhận dạng ký tự quang học,
trong đó các ký tự in được phân loại tự động dựa trên mẫu huấn luyện trước đó, là một ví
dụ điển hình của máy học.
HVTH: Nguyễn Văn Trường Trang 4
Báo cáo môn Máy học và ứng dụng Hướng dẫn PGS.TS. Vũ Thanh Nguyên
Hình 1.1: Quy trình phân lớp dùng máy học
Trong các bài toán phân lớp dùng máy học, các mẫu dữ liệu được phân lớp được xem
là tập huấn luyện, và các thuật toán máy học sẽ phân tích dữ liệu và nhận ra sự mối quan
hệ (có thể là phi tuyến hoặc tuyến tính) giữa các đối tượng dữ liệu. Kết quả của việc học
có thể là: nhóm các đối tượng vào trong các lớp, tạo ra các luật, tiên đoán lớp cho các đối
tượng mới.
1.2 /234,./56/,07
• Tìm hiểu, nghiên cứu lý thuyết và ứng dụng của Support Vector Machines
• Tìm hiểu Kernel Support Vector Machines trong bài toán phân loại phi tuyến tính, sử
dụng phương pháp kernel trick
• Tìm hiểu và nghiên cứu phương pháp phân loại đa lớp Multi-class Support Vector
Machines
• Xây dựng và phát triển ứng dụng minh họa phân loại các ký tự hình vẽ bằng Multi-
class Support Vector Machines
1.3 81.9:6;<=6<=
/>?7@*: Trình bày tổng quan về máy học và phân lớp máy học; phạm vi thực hiện của
báo cáo.
/>?7@A( Trình bày phương pháp máy học SVM, thuật toán Sequential Minimal
Optimization, kernel function và phân loại đa lớp trong SVM.
/>?7@B( Trình bày ứng dụng demo phân loại các ký tự hình vẽ dùng Multi-class
Support Vector Machines
HVTH: Nguyễn Văn Trường Trang 5
Các luật phân loại
Báo cáo môn Máy học và ứng dụng Hướng dẫn PGS.TS. Vũ Thanh Nguyên
/>?7@C( Tóm tắt nội dung báo cáo

HVTH: Nguyễn Văn Trường Trang 6
Báo cáo môn Máy học và ứng dụng Hướng dẫn PGS.TS. Vũ Thanh Nguyên
&A(&#$
'
2.1 <D/E6'
Support Vector Machines (SVMs) là một phương pháp phân loại máy học do Vladimir
Vapnik và các cộng sự xây dựng nên từ những năm 70 của thế kỷ 20. SVMs là một
phương pháp phân loại xuất phát từ lý thuyết học thống kê, dựa trên nguyên tắc tối thiểu
rủi ro cấu trúc (Structural Risk Minimisation).
SVM là một phương pháp phân loại tuyến tính nhị phân không xác suất, là mô hình
học giám sát kết hợp với với các thuật toán học liên quan để phân tích dữ liệu, nhận ra
các mô hình, được sử dụng để phân loại và phân tích hồi quy. Cho một tập các mẫu dữ
liệu huấn luyện, mỗi dữ liệu được đánh dấu là thuộc một trong hai loại, SVM sẽ xây dựng
một mô hình dự đoán thông qua tập huấn luyện để phân loại mẫu dữ liệu mới vào một
trong hai phân lớp,
Dữ liệu huấn luyện của SVMs là tập các dữ liệu đã được gán nhãn trước D={(x
1
, y
1
),
(x
2
, y
2
), …, (x
n
, y
n
)}, trong đó, x
i

là vector dữ liệu biểu diễn mẫu dữ liệu d
i
(x
i
∈ R
n
), cặp
(x
i
, y
i
) được hiểu là vector x
i
được gán nhãn là y
i,
y
i
∈{+1, -1}. Ý tưởng của SVMs là tìm
một mặt hình học (siêu phẳng) f(x) “tốt nhất” trong không gian n-chiều để phân chia dữ
liệu sao cho tất cả các điểm x+ được gán nhãn 1 thuộc về phía dương của siêu phẳng
(f(x+)>0), các điểm x- được gán nhãn –1 thuộc về phía âm của siêu phẳng (f(x-)<0). Với
bài toán phân loại SVMs, một siêu phẳng phân chia dữ liệu được gọi là “tốt nhất”, nếu
khoảng cách từ điểm dữ liệu gần nhất đến siêu phẳng là lớn nhất. Khi đó, việc xác định
một mẫu dữ liệu x D có thuộc phân loại c hay không, tương ứng với việc xét dấu của∉
f(x), nếu f(x)>0 thì x∈c, nếu f(x)≤0 thì x c. ∉
Khái niệm siêu phẳng là nói đến việc phân tách các mẫu dữ liệu được gán nhãn -1
mẫu nhãn +1 với một khoảng cách giữa các lớp tối đa được gọi là lề giới hạn (margin)
HVTH: Nguyễn Văn Trường Trang 7
Báo cáo môn Máy học và ứng dụng Hướng dẫn PGS.TS. Vũ Thanh Nguyên
Hình 2.1. Siêu phẳng tối ưu là một siêu phẳng phân tách dữ liệu với margin lớn nhất.

2.1.1 /F76/,G.1DH7.I7/
Bài toán có thể được chuyển thành một bài toán tối ưu. Siêu phẳng SVM có để được biểu
diễn bởi hàm f(x):
do đó:
khi:
(1)
và lề là lớn nhất. Có thể chỉ ra rằng lề là 2/||m||. Bởi vậy, bằng cách tối thiểu hoá số lượng
½(m . m) đã đảm bảo tính tối ưu của siêu phẳng. Bài toán kết quả là:
đối với: y
i
(m • x
i
+b) ≥ 1 ∀
i
∈ 1, ,n với: m ∈ R
d
, b ∈ R
Nếu chúng ta chuyển thành công thức Lagrangian:
HVTH: Nguyễn Văn Trường Trang 8
Báo cáo môn Máy học và ứng dụng Hướng dẫn PGS.TS. Vũ Thanh Nguyên
(2)
Bài toán bội (dual problem) có thể được chuyển hoá áp dụng các điều kiện tối ưu hoá
Karush-Kuhn-Tucker trên công thức Lagrangian.
(3)
(4)
Thay thế (2),(3) vào (4), thu được:
và bài toán bội là
Chú ý rằng dữ liệu huấn luyện xuất hiện chỉ trong kiểu các tính trong giữa các vector.
Đặc tính này sẽ chứng minh là hữu ích khi SVM được áp dụng tới các tập huấn luyện
phân tách không tuyến tính. Cho α* là giải pháp tối ưu của (4). Giá trị tối ưu của b có thể

cuối cùng xem xét αi* >0 và các điều kiện KKT thêm vào:
Giải pháp siêu phẳng được quyết định bởi các điểm x
i
huấn luyện nằm trên các siêu
phẳng song song đặt tại một khoảng cách bằng với lề
Các điểm này được gọi là các vector đặc trưng (support vectors).
HVTH: Nguyễn Văn Trường Trang 9
Báo cáo môn Máy học và ứng dụng Hướng dẫn PGS.TS. Vũ Thanh Nguyên
2.1.2 /F7.I6/J/K7@.1DH7.I7/
Giải thuật trên, nếu áp dụng tới một tập huấn luyện phân tách không tuyến tính, sẽ không
tìm được bất kỳ giải pháp nào hợp lý. Bởi vậy cần mở rộng mô hình tới trường hợp
không thể phân tách, các ràng buộc có thể được thả lỏng (công thức (1)) nhưng chỉ khi
cần. Việc này có thể được thực hiện bằng đưa vào các biến dương không chặt ξi với ∀i ∈
{1, ,n} với các ràng buộc:
Bởi vậy, với một lỗi xảy ra, ξi tương ứng phải vượt quá 1 đơn vị (unity), ∑iξi là một
giới hạn trên số các lỗi huấn luyện. Bởi vậy một cách tự nhiên để gán một giá trị thêm với
các lỗi là để thay đổi hàm mục tiệu được tối thiểu hoá từ:
với C là một tham số được chọn bởi người dùng; một C lớn tương ứng để gán một bất lợi
lớn tới lỗi, trong khi một C nhỏ có nghĩa là các lỗi ít hơn. Có thể chỉ ra rằng bài toán bội
tương ứng là:
(5)
Nếu giải pháp của vấn đề này là không đủ để đạt được một sự thực hiện tổng quát
hoá tốt (lớp các siêu phẳng là quá kém để phân tách các mẫu huấn luyện), thì có một
phương pháp mà có thể được sử dụng để thiết lập một sự tổng quát hoá tốt theo một cách
đơn giản. Đầu tiên chú ý rằng chỉ có cách trong đó các mẫu huấn luyện xuất hiện trong
bài toán học (5) là theo kiểu của các tích trong xi xj. Bây giờ, giả sử đầu tiên chúng ta⋅
ánh xạ dữ liệu tới một vài không gian Euclit khác (có thể số chiều vô hạn), sử dụng một
ánh xạ mà chúng ta gọi φ:
HVTH: Nguyễn Văn Trường Trang 10
Báo cáo môn Máy học và ứng dụng Hướng dẫn PGS.TS. Vũ Thanh Nguyên

φ: Rd → H
Khi đó giải thuật huấn luyện có thể được áp dụng vào trong H sử dụng các hàm từ
φ(xi) φ(xj). Khi bài toán được diễn đạt chỉ trong các toán hạng của các tích trong như là⋅
các giải pháp tốt. Một vấn đề với các mẫu trong một không gian đặc trưng H khác có thể
được giải quyết xác định một tích trong thực hiện trong H. Một tích trong có thể cũng
được gọi là một hàm nhân kernel function. Bởi vậy, để giải quyết một bài toán SVM định
nghĩa rõ ràng ánh xạ φ là không cần thiết.
2.2 LM97MNO176.,=7.9=7@P/F7N-PP/,.1DH7
Thuật toán siêu phẳng tối ưu ban đầu được Vladimir Vapnik đề xuất vào năm 1963 là
một phương pháp phân loại tuyến tính. Tuy nhiên, vào năm 1992, Bernhard Boser,
Isabelle Guyon và Vapnik đề nghị một cách để tạo ra phân loại phi tuyến tính bằng cách
áp dụng các kernel trick(ban đầu được đề xuất bởi Aizerman et al.) Các thuật toán là gần
như tương tự, ngoại trừ việc các dot product được thay thế bằng một hàm kernel phi
tuyến tính. Điều này cho phép thuật toán phù hợp với siêu phẳng tối ưu phù hợp trong
một không gian đặc trưng chuyển đổi.
Hình 2.2: Cách biển đội dùng kernel trick trong phân lớp phi tuyến
Ba khung hình khác nhau biểu diễn việc phân chia hai lớp.
• (a): phân chia tuyến tính không thể thực hiện được
• (b): phân chia phi tuyến với kernel trick
• (c): ánh xạ bề mặt phân chia phi tuyến sang bề mặt tuyến tính
HVTH: Nguyễn Văn Trường Trang 11
Báo cáo môn Máy học và ứng dụng Hướng dẫn PGS.TS. Vũ Thanh Nguyên
Sử dụng kernels, công thức ban đầu cùa SVM với các vector đặc trưng z1, z2, … zn và
các trọng số w1, w2, wn thành
<6N=2,/Q3JM97MN(
• Hàm kernel tuyến tính: là loại hàm đơn giản nhất:
• Hàm kernel đa thức: phù hợp nhất khi dữ liệu đã được chuẩn quá.
,
• Hàm kernel Gaussian: , là dạng hàm RBF và thường được ứng dụng khi ta không
biết nhiều về dữ liệu.

• Hàm kernel mũ (exponential kernel): là một hàm gần với kernel Gaussian, nó cũng
là một dạng hàm RBF
• Hàm kernel tròn (Circular Kernel): thường được dùng trong các ứng dụng liên
quan đến địa lý:
• Hàm kernel cầu (Spherical kernel): là một dạng của kernel tròn.
HVTH: Nguyễn Văn Trường Trang 12
Báo cáo môn Máy học và ứng dụng Hướng dẫn PGS.TS. Vũ Thanh Nguyên
Ngoài ra còn có một số hàm kernel khác như: hàm kernel Laplacian, hàm kernel ANOVA,
hàm Hyperbolic Tangent (Sigmoid)…
2.3 1N.,R6NGSS'1PP=9.M6.=9G6/,7MS
Thuật toán SVM ban đầu chỉ có thể áp dụng cho bài toán phân loại nhị nhân. Để có thể
phân loại đa lớp, bài toán phân loại đa lớp là chuyển về bài toán phân loại hai lớp bằng
cách xây dựng nhiều bộ phân loại hai lớp để giải quyết. Các chiến lược phân loại đa lớp
phổ biến này là One-against-One (OAO) và One-against-Rest (OAR)
2.3.1 /,H7N>T67MRG@G,7S.RMS.UV
Trong chiến lược này ta sử dụng (n-1) bộ phân loại đối với n lớp. Bài toán phân loại n lớp
được chuyển thành n bài toán phân loại hai lớp. Trong đó bộ phân loại hai lớp thứ i được
xây dựng trên lớp thứ i và tất cả các lớp còn lại. Hàm quyết định thứ i dùng để phân lớp
thứ i và những lớp còn lại có dạng:
Siêu phẳng D
i
(x) = 0 hình thành siêu phẳng phân chia tối ưu, các support vector
thuộc lớp i thỏa D
i
(x) =1 và các support vector thuộc lớp còn lại thỏa D
i
(x)= −1 . Nếu
vector dữ liệu x thỏa mãn điều kiện D
i
(x) > 0 đối với duy nhất một i, x sẽ được phân vào

lớp thứ i. Tuy nhiên nếu điều kiện D
i
(x) > 0 thỏa mãn đối với nhiều i, hoặc không thỏa
đối với I nào thì trong trường hợp này ta không thể phân loại được vector x. Để giải
quyết vấn đề này. Chiến lược One-against-One được đề xuất.
2.3.2 /,H7N>T67MRG@G,7S.R7MUV
Trong chiến lược này ta sử dụng n(n-1)/2 bộ phân loại hai lớp được xây dựng bằng cách
bắt cặp từng hai lớp một và sử dụng phương pháp lựa chọn theo đa số để kết hợp các bộ
phân loại này để xác định được kết quả phân loại cuối cùng. Số lượng các bộ phân loại là
n(n-1)/2.
HVTH: Nguyễn Văn Trường Trang 13
Báo cáo môn Máy học và ứng dụng Hướng dẫn PGS.TS. Vũ Thanh Nguyên
So với chiến lược OAR thì chiến lược này ngoài ưu điểm giảm bớt vùng không thể
phân loại mà còn làm tăng độ chính xác của việc phân loại. Trong chiến lược OAR ta
phải xây dựng một siêu phẳng để tách một lớp ra khỏi các lớp còn lại, việc này đòi hỏi sự
phức tạp và có thể không chính xác. Tuy nhiên trong chiến lược OAO ta chỉ cần phân
tách một lớp ra khỏi một lớp khác mà thôi.
Chiến lược OAR chỉ cần n-1 bộ phân loại cho n lớp. Trong khi đó chiến lược OAO
lại cần đến n(n-1)/2 bộ phân loại. Nhưng số mẫu huấn luyện cho từng bộ phân loại trong
OAO lại ít hơn và việc phân loại cũng đơn giản hơn. Vì vậy chiến lược OAO có độ chính
xác cao hơn nhưng chi phí để xây dựng lại tương đương với chiến lược OAR
Hàm quyết định phân lớp của lớp i đối với lớp j trong chiến lược OAO là:
Đối với một vector x ta tính :
Với
Và x được phân vào lớp i sao cho
IWX(Để phân bài toán thành 3 lớp A, B, C. ta có các máy học sau:
HVTH: Nguyễn Văn Trường Trang 14
Báo cáo môn Máy học và ứng dụng Hướng dẫn PGS.TS. Vũ Thanh Nguyên
Và kết quả phân loại là A = 1, B = 0, C = 2, thì lớp C sẽ được chọn là lớp của mẫu dữ
liệu

Hình 2.3: Biểu đồ phân loại OAO.
&B( YZ![
$R$'''\\'
3.1 1D.9]7//=2.^_7@6`Ga7@WX7@
HVTH: Nguyễn Văn Trường Trang 15
Báo cáo môn Máy học và ứng dụng Hướng dẫn PGS.TS. Vũ Thanh Nguyên
Hình 3.1: Mô hình hoạt động phân loại mẫu hình vẽ Multi class SVM.
Quá trình phân loại mẫu hình vẽ bắt đầu quá trình rút trích các đặc tính đặc trưng của
từng phân lớp. Sau đó tập dữ liệu này cùng với phân lớp tương ứng được huấn luyện qua
máy học MSVM, để hình thành mô hình phân loại dữ liệu. Sau đó các dữ liệu mới sẽ
được dữ đoán phân lớp tương ứng từ mô hình phân loại MSVM.
Bên cạnh, ta cũng có thể cập nhật các mẫu dữ liệu huấn luyện trong quá trình hoạt
động của chương trình. Số lượng mẫu hình vẽ huấn luyện của từng lớp càng nhiều thì khả
năng dự đoán trên các mẫu hình vẽ mới các chính xác.
HVTH: Nguyễn Văn Trường Trang 16
Huấn luyện dùng MSVM
Báo cáo môn Máy học và ứng dụng Hướng dẫn PGS.TS. Vũ Thanh Nguyên
Hình 3.2: Mô hình quá trình tạo ra các máy học SVM.
Để khởi động quá trình tạo các máy học SVM trong MSVM, tập các mẫu hỉnh vẽ với
các phân lớp tương ứng và DynamicTimeWarping kernel là dữ liệu đầu vào của MSVM.
Thuật toán SMO sẽ được dùng để huấn luyện trong quá trình tạo MSVM.
Mỗi máy học tạo ra trong quá trình huấn luyên MSVM sẽ gồm ba loại thông tin đặc
trưng:
• Tập các vector đặc trưng
• Giá trị Threshold dùng
• Tập các trọng số
HVTH: Nguyễn Văn Trường Trang 17
Dữ liệu đầu vào
Báo cáo môn Máy học và ứng dụng Hướng dẫn PGS.TS. Vũ Thanh Nguyên
3.2 ,-,./,016<66/a67b7@6`Ga7@WX7@

Hình 3.3: Giao diện lúc bắt đầu chạy ứng dụng.
Giao diện của chương trình gồm 3 phần chính:
• Khung vẽ các mẫu hình, dùng để cập nhật dữ liệu huấn luyện và để dữ đoán mẫu
mới
• Khung chứa các mẫu hình và phân lớp hiện tại của chương trình.
• Khung chứa các nút đề tạo MSVM từ tập mẫu hình, Mở SVM machines để xem
các thông số của từng máy học SVM, và nút database đề lưu các mẫu dữ liệu
thành file XML hay mở các tập hình vẽ mẫu đã được lưu thành file.
HVTH: Nguyễn Văn Trường Trang 18
Báo cáo môn Máy học và ứng dụng Hướng dẫn PGS.TS. Vũ Thanh Nguyên
Hình 3.4: Giao diện khởi tạo dữ liệu từ file XML.
Việc khơi tạo dữ liệu từ file XML được thực hiện qua menu database, ứng dụng sẽ
đọc file và tạo ra các mẫu hình vẽ và phân lớp tương ứng.
Lúc này quá trình tạo MSVM có thể được thực hiện thông qua nút “Tạo Multiclass
Kernel Support Vector Machine” hoặc có thể cập nhật thêm mẫu hình mới qua khung
hình.
HVTH: Nguyễn Văn Trường Trang 19
Báo cáo môn Máy học và ứng dụng Hướng dẫn PGS.TS. Vũ Thanh Nguyên
Hình 3.5: Giao diện dữ đoán mẫu hình mới sau khi tạo MSVM.
Sau khi quá trình tạo MSVM hoàn tất, khi thực hiện vẽ một mẫu hình mới, chương
trình sẽ thực hiện việc dự đoán mẫu thuộc lớp nào.
Chương trình sẽ đưa sẽ kết quả dự đoán và hỏi xác nhận. Nếu việc dữ đoán đúng, ta
chọn “yes” để thêm vào tập huấn luyện trong tương lai. Nếu chọn “No”, người dùng có
thể cập nhật lại mẫu dữ liệu và phân lớp tương ứng để làm dữ liệu huấn luyện.
HVTH: Nguyễn Văn Trường Trang 20
Báo cáo môn Máy học và ứng dụng Hướng dẫn PGS.TS. Vũ Thanh Nguyên
Hình 3.6: Giao diện chỉ định phân lớp cho mẩu dữ liệu mới.
Đối với một mẫu hình mới, người dùng có thể chỉ định phân lớp tương ứng và sau đó
thêm vào tập huấn luyện để thực hiện tạo MSVM, hoặc có thể xóa mẫu hình để thực hiện
vẽ lại.

HVTH: Nguyễn Văn Trường Trang 21
Báo cáo môn Máy học và ứng dụng Hướng dẫn PGS.TS. Vũ Thanh Nguyên
Hình 3.7: Giao diện các thống số từng máy học SVM.
Chương trình sử dụng chiến lược “Chiến lược One-against-One” trong phân loại đa
lớp. Do ta có tất cả là 4 phân lớp: 1, 2, 3, a và b nên sẽ gồm 10 máy học con SVM.
Mỗi SVM gồm tập các vector đặc trưng và tập các trọng số tương ứng cùng với giá
tri threshold. Tất cả các giá trị này được tính qua quá trình huấn luyện MSVM bằng thuất
toán SMO.
HVTH: Nguyễn Văn Trường Trang 22
Báo cáo môn Máy học và ứng dụng Hướng dẫn PGS.TS. Vũ Thanh Nguyên
&C(Lc$Y
Qua quá trình tìm hiểu và nghiên cứu phương pháp máy học SVM, có thể nói đây là một
trong những phương pháp học giám sát:
• Mạnh và có độ chính xác cao.
• Không đòi hỏi nhiều về số mẫu huấn luyện.
• Có nền tảng lý thuyết tốt.
Báo cáo đã trình bày tổng quát về mô hình máy học SVM cùng như quá trình hoạt
động của nó trong ứng dụng phân loại. SVM có thể được dùng để phân loại tuyến tính
hoặc phi tuyến tính (bằng kernel trick). Cùng với đó báo cáo cũng đã giới thiệu một số
loại hàm kernel phổ biến như …Mỗi loại hàm kernel thì lại có thế mạnh riêng. Do đó tùy
thuộc vào từng ứng dụng cụ thể mà ta chọn hàm kernel phù hợp.
SVM là một phương pháp phân loại nhị phân. Do đó để ứng dụng để phân loại nhiều
lớp, bài toán phân loại trở thành tập các SVM và một trong hai chiến lược được áp dụng
trong Multiclas SVM là chiến lược “Chiến lược One-against-Rest (OAR)” và “Chiến
lược One-against-One (OAO)” để xác định mẫu dữ liệu thuộc phân lớp nào.
Bên cạnh đó, báo cáo thực hiện ứng dụng demo để dự đoán các mẫu hình vẽ ứng
dụng Multiclass SVM, thuật toán học SMO, hàm Dynamic Time Warping kernel một
sequence kernel.
HVTH: Nguyễn Văn Trường Trang 23
Báo cáo môn Máy học và ứng dụng Hướng dẫn PGS.TS. Vũ Thanh Nguyên

$L)(
[1] PGS.TS Vũ Thanh Nguyên (2013), Bài giảng Máy Học, Đại học CNTT, Đại học
Quốc gia Tp.HCM.
[2] PGS. TS. Vũ Thanh Nguyên, ThS. Trang Nhật Quang (2009), Ứng dụng thuật toán
rút trích thông tin văn bản FSVM trên Internet, Tạp chí phát triển KH&CN, tập 12, số 05.
[3] LƯƠNG THỊ MINH HỒNG Luận văn thac sĩ, PHÂN LOẠI VĂN BẢN BẰNG
PHƯƠNG PHÁP SUPPORT VECTOR MACHINE, Đại học bac1k khoa Hà Nội
[4] V. Wan, J. Carmichael; Polynomial Dynamic Time Warping Kernel Support Vector
Machines for Dysarthric Speech Recognition with Sparse Training Data.
Interspeech'2005 - Eurospeech - 9th European Conference on Speech Communication
and Technology. Lisboa, 2005
[5] Hofmann, T., B. Schölkopf, and A. J. Smola. "Kernel methods in machine learning."
Ann. Statist. Volume 36, Number 3 (2008), 1171-1220.
[6] Shawkat Ali and Kate A. Smith. "Kernel Width Selection for SVM Classification: A
Meta-Learning Approach." International Journal of Data Warehousing & Mining, 1(4),
78-97, October-December 2005.
[7] Gidudu Anthony, Hulley Gregg and Marwala Tshilidzi, Image Classification Using
SVMs: One-against-One Vs One-against-All , 2007
[8] />[9] />HVTH: Nguyễn Văn Trường Trang 24