Nghiên cứu một số phương pháp phân cụm nửa giám sát ứng dụng cho bài toán phân cụm dữ liệu web server logs

ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

NGUYỄN ĐỨC NGỌC

NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP
PHÂN CỤM NỬA GIÁM SÁT ỨNG DỤNG CHO BÀI TOÁN PHÂN
CỤM DỮ LIỆU WEB SERVER LOGS

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

THÁI NGUYÊN, 2018


ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

NGUYỄN ĐỨC NGỌC

NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP PHÂN CỤM NỬA
GIÁM SÁT ỨNG DỤNG CHO BÀI TOÁN PHÂN CỤM DỮ
LIỆU WEB SERVER LOGS
Chuyên ngành: Khoa học máy tính
Mã số: 8480101

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Người hướng dẫn khoa học: TS. Vũ Việt Vũ

THÁI NGUYÊN, 2018

i

LỜI CẢM ƠN
Lời đầu tiên, tôi xin được gửi lời cảm ơn sâu sắc tới TS. Vũ Việt Vũ,
người đã trực tiếp hướng dẫn tôi thực hiện luận văn. Thầy đã tận tình hướng
dẫn, cung cấp tài liệu và định hướng cho tôi trong suốt quá trình nghiên
cứu và thực hiện luận văn.
Tôi xin chân thành cảm ơn các thầy cô đã giảng dạy và quản lý đào tạo
đã tạo điều kiện cho tôi có một môi trường học tập, nghiên cứu tốt trong
suốt
2 năm theo học.
Cuối cùng tôi xin được gửi lời cảm ơn tới gia đình, bạn bè và đồng
nghiệp đã giúp đỡ và động viên tôi trong suốt quá trình học tập và hoàn
thiện luận văn.
Xin chân thành cảm ơn!


ii

MỤC LỤC
MỞ ĐẦU ........................................................................................................... 1
Chương 1. TỔNG QUAN ................................................................................. 3
1.1. Khái niệm về học máy và bài toán phân cụm dữ liệu ................................ 3
1.2. Nội dung nghiên cứu của luận văn............................................................. 6
1.3. Một số phương pháp phân cụm dữ liệu cơ bản ..........................................
9
1.3.1. Phương pháp phân cụm K-Means ................................................... 11
1.3.2. Phương pháp phân cụm DBSCAN ................................................... 12
1.3.3. Phương pháp phân cụm dựa trên đồ thị (GC) ...................................

15
1.3.4. Ứng dụng của phân cụm dữ liệu ....................................................... 17
1.4. Kết luận .................................................................................................... 19
Chương 2. MỘT SỐ THUẬT TOÁN PHÂN CỤM NỬA GIÁM SÁT CƠ
BẢN................................................................................................................. 20
2.1. Tổng quan về phân cụm nửa giám sát...................................................... 20
2.2. Thuật toán phân cụm nửa giám sát dựa trên K-Means ............................
22
2.2.1. Thuật toán COP-KMeans .................................................................. 22
2.2.2. Thuật toán Seed K-Means................................................................. 24
2.3. Thuật toán phân cụm nửa giám sát dựa trên mật độ: SSDBSCAN ......... 27
2.4. Thuật toán phân cụm nửa giám sát dựa trên đồ thị (SSGC) .................... 33
2.5. Kết luận .................................................................................................... 37
Chương 3. KẾT QUẢ THỰC NGHIỆM ........................................................ 38
3.1. Giới thiệu về dữ liệu web server logs ...................................................... 38
3.1.1. Tiền xử lý dữ liệu .............................................................................. 38
3.1.2. Phương pháp đánh giá chất lượng phân cụm ....................................
42
3.1.3. Thuật toán phân cụm .........................................................................
43


ii
3.2. Kết quả phân cụm trên tập web server logs .............................................
43
3.3. Kết luận .................................................................................................... 47


iii

KẾT LUẬN ..................................................................................................... 48


Những kết quả đã đạt được ................................................................. 48



Hướng phát triển tếp theo của đề tài .................................................. 48

TÀI LIỆU THAM KHẢO............................................................................... 49


iv

DANH MỤC CÁC BẢNG BIỂU
Bảng 1.1. Ví dụ về dữ liệu sau khi chuyển đổi thành vector ............................ 9
Bảng 3.1. Ví dụ về dữ liệu sau khi chuyển đổi về dạng vector .................... 411


v

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ
Hình 1.1. Các hướng nghiên cứu của Trí tuệ nhân tạo .................................... 3
Hình 1.2. Các lĩnh vực liên quan với học máy.................................................. 5
Hình 1.3. Các bài toán khai phá dữ liệu trên web (web mining) ..................... 7
Hình 1.4. Ví dụ về dữ liệu log server webs....................................................... 8
Hình 1.5 Ví dụ về phân cụm dữ liệu ............................................................... 10
Hình 1.6. Minh họa thuật toán K-Means ........................................................ 10
Hình 1.7 Thuật toán K-Means......................................................................... 11
Hình 1.8. Thuật toán DBSCAN ..................................................................... 13

Hình 1.9. Thuật toán DBSCAN: thủ tục Expandcluster ................................. 14
Hình 1.10 Ví dụ về phân cụm sử dụng thuật toán DBSCAN ......................... 15
Hình 1.11. Ví dụ về phân cụm sử dụng đồ thị ................................................ 16
Hình 2.1.Dữ liệu đầu vào cho 3 loại thuật toán học ....................................... 20
Hình 2.2. Minh họa thuật toán COP-Kmeans ................................................. 23
Hình 2.3. Kết quả so sánh của thuật toán COP-KMeans cho tập dữ liệu tic-tactoe . 23
Hình 2.4. Kết quả so sánh của thuật toán COP-KMeans cho tập dữ liệu
Soybean ........................................................................................................... 24
Hình 2.5 Thuật toán Seed K-Means ................................................................ 25
Hình 2.6. Kết quả phân cụm cho tập dữ liệu Newgroups ............................... 26
Hình 2.7. Kết quả phân cụm cho tập Yahoo ................................................... 27
Hình 2.8. Dữ liệu với 3 cluster A, B, và C. Tuy nhiên không có giá trị phù
hợp MinPts và  để DBSCAN có thể phát hiện ra đúng cả ba cluster trên .... 28
Hình 2.9. Kết quả phân cụm của thuật toán SSDBSCAN trên tập dữ liệu từ UCI .
32
Hình 2.10. So sánh tốc độ thực hiện giữa thuật toán SSGC và thuật toán
SSDBSCAN .................................................................................................... 36
Hình 2.11. Kết quả của thuật toán SSGC khi so sánh với các thuật toán cùng
loại ...................................................................................................................
37
Hình 3.1 Ví dụ về một số dòng dữ liệu log server web .................................. 38
Hình 3.2 Địa chỉ IP truy cập của người dùng ................................................. 39
Hình 3.3 Ký hiệu chỉ mục trên website........................................................... 40


vi
Hình 3.4 Danh sách các seed sử dụng phân cụm ............................................ 43


1

MỞ ĐẦU
Trong vài thập niên gần đây, cùng với sự thay đổi và phát triển không
ngừng của ngành công nghệ thông tin nói chung và trong các ngành
công nghệ phần cứng, phần mềm, truyền thông và hệ thống các dữ liệu phục
vụ trong các lĩnh vực kinh tế - xã hội nói riêng. Việc thu thập thông tin cũng
như nhu cầu lưu trữ thông tin càng ngày càng lớn. Bên cạnh đó việc tn
học hoá một cách ồ ạt và nhanh chóng các hoạt động sản xuất, kinh doanh
cũng như nhiều lĩnh vực hoạt động khác đã tạo ra cho chúng ta một lượng
dữ liệu lưu trữ khổng lồ. Hàng triệu Cơ sở dữ liệu đã được sử dụng trong các
hoạt động sản xuất, kinh doanh, quản lý..., trong đó có nhiều Cơ sở dữ liệu
cực lớn cỡ Gigabyte, thậm chí là Terabyte. Sự bùng nổ này đã dẫn tới một
yêu cầu cấp thiết là cần có những kĩ thuật và công cụ mới để tự động chuyển
đổi lượng dữ liệu khổng lồ kia thành các tri thức có ích. Từ đó, các kĩ thuật
Khai phá dữ liệu đã trở thành một lĩnh vực thời sự của nền Công nghệ thông
tin thế giới hiện nay. Một vấn đề được đặt ra là phải làm sao trích chọn được
những thông tin có ý nghĩa từ tập dữ liệu lớn để từ đó có thể giải quyết
được các yêu cầu của thực tế như trợ giúp ra quyết định, dự đoán,… và Khai
phá dữ liệu (Data mining) đã ra đời nhằm giải quyết các yêu cầu đó.
Khai phá dữ liệu được định nghĩa là: Quá trình trích xuất các thông tn
có giá trị tiềm ẩn bên trong lượng lớn dữ liệu được lưu trữ trong các Cơ sở
dữ liệu, kho dữ liệu… . Hiện nay, ngoài thuật ngữ khai phá dữ liệu, người ta
còn dùng một số thuật ngữ khác có ý nghĩa tương tự như: Khai phá tri thức
từ Cơ sở dữ liệu (knowlegde mining from databases), trích lọc dữ liệu
(knowlegde extraction), phân tích dữ liệu/mẫu (data/pattern analysis),
khảo cổ dữ liệu (data archaeology), nạo vét dữ liệu (data dredging). Nhiều
người coi khai phá dữ liệu và một thuật ngữ thông dụng khác là khám phá tri
thức trong Cơ sở dữ


2

liệu(Knowlegde Discovery in Databases – KDD) là như nhau. Tuy nhiên trên
thực tế, khai phá dữ liệu chỉ là một bước thiết yếu trong quá trình Khám
phá tri thức trong Cơ sở dữ liệu. Ngay từ những ngày đầu khi xuất hiện, Data
mining đã trở thành một trong những xu hướng nghiên cứu phổ biến
trong lĩnh vực học máy tnh và công nghệ tri thức. Nhiều thành tựu nghiên
cứu của Data mining đã được áp dụng trong thực tế. Data mining có nhiều
hướng quan trọng và một trong các hướng đó là phân cụm dữ liệu (Data
Clustering ). Phân cụm dữ liệu là quá trình tìm kiếm để phân ra các cụm dữ
liệu, các mẫu dữ liệu từ tập Cơ sở dữ liệu lớn. Phân cụm dữ liệu là một
phương pháp học không giám sát.
Trong những năm trở lại đây, do phương pháp phân cụm dữ liệu
không giám sát còn một số hạn chế vì vậy dựa trên học không giám sát và
học có giám sát đã ra đời một phương pháp phân cụm dữ liệu mới đó là
phương pháp phân cụm dữ liệu nửa giám sát. Phương pháp phân cụm nửa
giám sát không phải là một phương pháp phân cụm hoàn thiện nhưng nó đã
phần nào khắc phục được những hạn chế và phát huy ưu điểm của phương
pháp phân cụm không giám sát.


3
Chương 1. TỔNG QUAN
1.1. Khái niệm về học máy và bài toán phân cụm dữ liệu
Học máy (Machine Learning) là một nhánh nghiên cứu của Trí tuệ nhân
tạo nhằm xây dựng các thuật toán thực hiện trên hệ thống máy tnh có thể
học được qua các dữ liệu mẫu thống kê có sẵn. Trí tuệ nhân tạo (artficial
intelligence) gồm rất nhiều lĩnh vực nghiên cứu [1]. Hình 1.1 minh họa các
hướng nghiên cứu trong lĩnh vực trí tuệ nhân tạo. Chúng ta có thể kể đến học
máy, học sâu, nhận dạng đối tượng, các hệ thống tự động, xử lý ngôn ngữ tự
nhiên, trợ lý ảo,… Trí tuệ nhân tạo là một trong ba trụ cột của cuộc cách
mạng công nghiệp 4.0 cùng với dữ liệu lớn (Big Data) và Internet vận vật.

(IoT).

Hình 1.1. Các hướng nghiên cứu của Trí tuệ nhân tạo [1]
Trên thực tế có 4 dạng học cơ bản bao gồm:
- Học có giám sát: Máy tnh được học một số mẫu gồm đầu vào (Input)
và đầu ra (Output) tương ứng trước. Sau khi học xong các mẫu này, máy tnh


4
quan sát một đầu vào mới và tính toán, suy diễn ra kết quả tương ứng cho
đầu vào đó. Đối với loại học này sẽ có hai pha là pha huấn luyện (training) và
pha kiểm thử (testng).
- Học không giám sát: Máy tnh chỉ được xem các mẫu thu thập được
không có nhãn tương ứng, sau đó máy tính phải tự tìm cách phân loại các
mẫu này (clustering – phân cụm) hoặc tìm ra mối quan hệ giữa các
mẫu (association rule – luật kết hợp), các điểm dị thường của tập mẫu
(outlier), giảm số chiều của tập mẫu (PCA),…
- Học nửa giám sát: Một dạng lai giữa hai nhóm học trên. Trong trường
hợp này hệ thống sẽ được cung cấp một lượng nhỏ các mẫu và tùy từng mục
têu bài toán chúng ta phát triển các phương pháp phân lớp nửa giám
sát (semi-supervised

classification)

hoặc

phân

cụm nửa

giám

sát

(semi- supervised clustering).
- Học tăng cường: Máy tnh đưa ra quyết định hành động (action) và
nhận kết quả phản hồi (response/reward) từ môi trường (environment). Sau
đó máy tính tm cách chỉnh sửa cách ra quyết định hành động của mình.
Ngoài ra trong khoảng 10 năm trở lại đây nghiên cứu về học sâu hay
học đa lớp (Deep learning) đã được quan tâm rất nhiều. Học sâu bản chất là
dựa trên mạng Nơ ron nhiều lớp. Dựa vào sự phát triển rất mạnh mẽ của
công nghệ và các hệ thống tính toán đã đáp ứng được với khối lượng phép
tnh khổng lồ của các hệ thống học sâu. Tuy nhiên chất lượng của học
sâu đã chứng minh là tốt hơn hẳn các phương pháp học khác cho một số bài
toán như nhận dạng đối tượng trên ảnh, xử lý ngôn ngữ tự nhiên,… Học sâu
cũng được ứng dụng cho bài toán trích chọn đặc trưng, một dạng bài
toán học không giám sát.


5

Hình 1.2. Các lĩnh vực liên quan với học máy
Hình 1.2 trình bày các lĩnh vực liên quan đến học máy, chúng ta thấy
để nghiên cứu vấn đề học máy cần có có kiến thức về lĩnh vực như xác suất,
đại số tuyến tnh, tối ưu hóa, lý thuyết học thống kê,…
Học máy có ứng dụng rộng khắp các ngành khoa học/ sản xuất, đặc
biệt là đối với những ngành cần phân tch khối lượng dữ liệu khổng lồ.
Một số ứng dụng phổ biến của học máy là:
- Xử lý ngôn ngữ tự nhiên (Natural Language Processing): Xử lý văn
bản, giao tiếp người – máy, …

- Nhận dạng (Pattern Recogniton): Nhận dạng tiếng nói, chữ viết tay,
vân tay, thị giác máy (Computer Vision) …
- Tìm kiếm (Search Engine)
- Chẩn đoán trong y tế: Phân tích ảnh X-quang, các hệ chuyên gia chẩn
đoán tự động.


6
- Tin sinh học: Phân loại chuỗi gene, quá trình hình thành gene/protein.
- Vật lý: Phân tích ảnh thiên văn, tác động giữa các hạt …
- Phát hiện gian lận tài chính (financial fraud): Gian lận thẻ tín dụng.
- Phân tích thị trường chứng khoán (stock market analysis)
- Chơi trò chơi: Tự động chơi cờ, hành động của các nhân vật ảo, ...
Robot là tổng hợp của rất nhiều ngành khoa học, trong đó học máy tạo
nên hệ thần kinh/ bộ não của người máy.
1.2. Nội dung nghiên cứu của luận văn
Với các khái niệm như đã trình bày, học máy là một lĩnh vực có nhiều
vấn đề cần nghiên cứu cũng như rất nhiều các ứng dụng thực tế. Trong luận
văn của mình tác giả mong muốn tm hiểu và nghiên cứu các vấn đề sau đây:
- Nghiên cứu và tìm hiểu các thuật toán phân cụm dữ liệu cơ bản.
- Nghiên cứu và nắm bắt một số thuật toán phân cụm nửa giám sát
bao gồm thuật toán phân cụm nửa giám sát K-Means, thuật toán SSDBSCAN,
và thuật toán phân cụm nửa giám sát dựa trên đồ thị SSGC.
- Lập trình ứng dụng cho bài toán phân cụm dữ liệu web server logs –
dữ liệu ghi các truy xuất của khách hàng đến các website.
Bài toán phân cụm dữ liệu người sử dụng web có ý nghĩa rất quan
trọng trong việc xác định các nhóm người sử dụng có cùng sở thích, có cùng
xu hướng truy cập thông tin giúp cho các nhà quản lý bố trí các nội dung
trên web cho tối ưu; chẳng hạn như các trang thương mại điện tử hiện nay
thì việc phân tch dữ liệu khách hàng khi truy cập vào website là không thể bỏ

qua.


7

Hình 1.3. Các bài toán khai phá dữ liệu trên web (web mining) [2]
Các bài toán khai phá dữ liệu trên web gồm khai phá nội dung web,
khai phá dữ liệu người dùng web và khai phá dữ liệu cấu trúc web (xem hình
1.3). Với các vấn đề này chúng ta có thể sử dụng các công cụ học máy như
phân cụm, phân lớp, phương pháp luật kết hợp.
Bài toán khai phá nội dung web (web content mining) nhằm mục đích
khai phá các dữ liệu từ các trang web. Dữ liệu thường là văn bản, video,…
Hiện nay số lượng website là rất lớn vấn đề đặt ra là phân loại, trích
chọn thông tin, tìm các thông tin quý là một nhu cầu rất thiết yếu.
Bài toán khai phá dữ liệu cấu trúc website (web structure mining) nhằm
mục đích tìm các mối liên hệ giữa các cấu trúc website. Các loại dữ liệu này
thường biểu diễn dưới dạng đồ thị. Và bài toán khai phá dữ liệu đồ thị là một
trong những lớp bài toán được quan tâm rất nhiều trong nghiên cứu và ứng
dụng.
Bài toán khai phá dữ liệu người dùng web (web usage mining) nhằm
mục đích tìm ra các mẫu, các quy luật của người dùng từ các vết truy
nhập


8
website của người sử dụng. Quá trình truy nhập website của người dùng sẽ
được ghi lại trên máy chủ và gọi là web server logs. Các thông tn cơ bản
được lưu trữ lại như địa chỉ IP, thời gian truy nhập, tên đường liên kết của
website,… Trong luận văn của mình tôi chọn nghiên cứu tm hiểu bài toán
phân cụm cho dữ liệu người dùng website.

Cấu trúc của các dữ liệu web server logs như sau:
TT

Nội dung web server logs
2006-02-01 00:08:43 1.2.3.4 - GET /classes/cs589/papers.html - 200

1

9221 HTTP/1.1 maya.cs.depaul.edu
Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1;+.NET
+CLR+2.0.50727) htp://dataminingresources.blogspot.com/
2006-02-02 19:34:45 3.4.5.6 - GET /classes/cs480/announce.html - 200

2

3794 HTTP/1.1 maya.cs.depaul.edu Mozilla/4.0+(compatible;
+MSIE+6.0;+Windows+NT+5.1;+SV1)
/>2006-02-02 19:34:45 3.4.5.6 - GET/classes/cs480/header.gif - 200 6027

3

HTTP/1.1 maya.cs.depaul.edu Mozilla/4.0+(compatible;
+MSIE+6.0;+Windows+NT+5.1;+SV1)
/>Hình 1.4. Ví dụ về dữ liệu log server webs
Sau khi có các dữ liệu như bảng trên chúng ta phải chuyển sang

dạng các vector dạng số dựa trên các trang của website. Giả sử có 5 người sử
dụng (users) và 5 trang kí hiệu là A, B, C, D, E. Dữ liệu sau khi chuyển đổi có
dạng như bảng sau. Các số trong bảng thể hiện thời gian truy cập vào các
trang tương ứng của người sử dụng. Bài toán phân cụm sẽ thực hiện với dữ

liệu trên bảng này.


9
Bảng 1.1. Ví dụ về dữ liệu sau khi chuyển đổi thành vector
A

B

C

D

E

User 1

0

8

3

0

10

User 2

10

3

0

2

6

User 3

0

12

67

4

0

User 4

12

9

0

9

1

User 5

3

0

2

10

9

Kết quả của quá trình phân cụm sẽ là các cụm trong đó các phần
tử trong mỗi cụm sẽ cho biết nhóm khách hàng hay vào truy xuất, các nhóm
chủ đề của website hay được xem cùng nhau,... Nếu như thực hiện phân
cụm với dữ liệu này trên các website khác nhau thì các cụm sẽ cho biết nhóm
người truy cập website theo các chủ đề gì, vào các website nào,… Điều này
có ý nghĩa trong việc bố trí cấu trúc của các nội dung website cũng như biết
được mối liên hệ giữa các website mà người dùng hay truy cập.
1.3. Một số phương pháp phân cụm dữ liệu cơ bản
Bài toán phân cụm (clustering) là một dạng của phương pháp
học không giám sát (unsupervised learning) được phát biểu như sau: Cho tập
X gồm n đối tượng, hãy phân rã tập X ra thành k (k ≤ n) cụm (cluster) sao
cho các đối tượng trong cùng một cụm thì tương tự nhau và các đối tượng ở
các cụm khác nhau thì không tương tự nhau theo một tiêu chuẩn nào đó.
Hình 1.5 minh họa về tập dữ liệu trong không gian hai chiều với các cụm
tương ứng. Chúng ta có thể thấy các cụm có thể có phân bố Gaussian hoặc

có hình dạng bất kỳ (hình 1.6). Mục đích của quá trình phân cụm dữ liệu giúp
cho chúng ta hiểu rõ cấu trúc phân bố của dữ liệu cũng như mối quan hệ giữa
các đối tượng trong tập dữ liệu, thậm chí có thể phát hiện các dị thường
trong dữ liệu (các phần từ không thuộc cụm nào sau khi phân cụm).


10

Hình 1.5 Ví dụ về phân cụm dữ liệu

Hình 1.6. Minh họa thuật toán K-Means


11
Các thuật toán phân cụm được nghiên cứu và giới thiệu từ những
năm
50 của thế kỷ XX. Một số thuật toán phân cụm dữ liệu cơ bản gồm K-Means,
Fuzzy C-Means, thuật toán phân cụm dựa trên đồ thị, thuật toán phân
cụm dựa trên mật độ (DBCSAN), thuật toán phân cụm kiểu thứ bậc. Mỗi
phương pháp có ưu và nhược điểm riêng và sẽ phù hợp với các loại dữ
liệu cho các ứng dụng khác nhau.
1.3.1. Phương pháp phân cụm K-Means
Thuật toán phân cụm K-Means là một trong những thuật toán được
giới thiệu sớm nhất (vào những năm 50 của thế kỷ XX). Ý tưởng của phương
pháp K-Means như sau: Giả sử ta cần phân tách tập dữ liệu X gồm n phần tử
thành k cụm. Thuật toán sẽ đi tìm ngẫu nhiên k trọng tâm đầu tiên và gán
các điểm dữ liệu vào trọng tâm gần nhất với nó để hình thành các cụm ở
bước đầu tiên. Ở các bước tếp theo thực hiện lặp lại quá trình tính lại các
trọng tâm và gán lại các điểm vào trọng tâm gần nhất. Quá trình sẽ dừng lại
khi các trọng tâm là không thay đổi được nữa.

Algorithm 1: KMeans;
Input: Tập dữ liệu X = {x1, x2,…,xn}, xi Rn, số lượng cụm
k,
Output: k cụm của X
Khởi tạo k trọng tâm ngẫu nhiên từ tập X
Repeat
Gán mỗi điểm x vào cụm h* gần nó nhất;
Tính toán lại các trọng tâm:
t

 h(t 1) 
*

1
Sth1
*



xX

( t 1)
h*

x

 (t+1)
Until (Thỏa mãn điều kiện hội tụ)
Hình 1.7 Thuật toán K-Means

12
Thuật toán K-Means có độ phức tạp tính toán thấp (O(nk)) tuy nhiên
chất lượng của phân cụm lại phụ thuộc vào việc lựa chọn k trọng tâm đầu
tiên (xem hình 1.6). Một nhược điểm nửa của K-Means là chỉ tm được các
cụm có dạng hình cầu và kích thước các cụm sẽ gần như tương tự nhau.
1.3.2. Phương pháp phân cụm DBSCAN
Ý tưởng cơ bản của thuật toán DBSCAN là sử dụng tính chất dựa trên
mật độ dữ liệu – các cụm sẽ gồm các điểm liên kết với nhau thông qua các
kết nối dựa trên mật độ của chúng [3]. Các cụm sẽ được xây dựng từ một
điểm dữ liệu bằng cách thêm vào các nhóm có mật độ vượt qua một ngưỡng
nào đó. Thuật toán DBSCAN sử dụng hai tham số là MinPts và . Trong quá
trình xây dựng các cụm, các điểm sẽ được xếp liên tiếp vào ngăn xếp nếu nó
thỏa mãn có ít nhất MinPts hàng xóm nằm trong bán kính .
DBSCAN khởi tạo điểm p tuỳ ý và lấy tất cả các điểm đến được mật độ
từ p với  và MinPts. Nếu p là điểm nhân thì thủ tục trên tạo ra một cụm
theo
 và MinPts, Nếu p là một điểm biên, không có điểm nào đến được mật độ
từ p và DBSCAN sẽ đi thăm điểm tiếp theo của tập dữ liệu.
Nếu chúng ta chọn sử dụng giá trị toàn cục  và MinPts, DBSCAN có
thể hoà nhập hai cụm thành một cụm nếu mật độ của hai cụm gần bằng
nhau. Giả sử khoảng cách giữa hai tập dữ liệu S1 và S2 được định
nghĩa là dist(S1,S2) = min{dist(p,q)| pS1 và qS2}. Thuật toán DBSCAN được
trình bày trong hình 1.8 và 1.9.


13

Hình 1.8. Thuật toán DBSCAN [3]
Trong đó, SetOfPoints hoặc là tập dữ liệu ban đầu hoặc là cụm được

khám phá từ bước trước, CLId (clusterId) là nhãn đánh dấu phần tử dữ liệu
nhiễu có thể thay đổi nếu chúng có thể đến được mật độ từ một điểm khác
từ CSDL, điều này chỉ xảy ra đối với các điểm biên của dữ liệu.

Hàm

SetOfPoints.get(i) trả về phần tử thứ i của SetOfPoints. Thủ tục
SetOfPoints.regionQuery(point, Eps) trả về một danh sách các điểm dữ liệu
lân cận với điểm Point trong ngưỡng Eps từ tập dữ liệu SetOfPoints. Trừ một
số trường hợp ngoại lệ, kết quả của DBSCAN độc lập với thứ tự duyệt các đối
tượng dữ liệu.  và MinPts là hai tham số toàn cục được xác định bằng thủ
công hoặc theo kinh nghiệm. Tham số  được đưa vào là nhỏ so với kích
thước của không gian dữ liệu, thì độ phức tạp tnh toán trung bình của
mỗi truy vấn là O(log n).


14

Hình 1.9. Thuật toán DBSCAN: thủ tục Expandcluster
Ưu điểm của thuật toán:
- Khám phá được các cụm có hình dáng bất kỳ.
- Có thể thay đổi quy mô, hiệu quả trong cơ sở dữ liệu lớn.
- Có khả năng xử lý được nhiễu.


15
Nhược điểm của thuật toán:
- Phải lựa chọn tham số  và MinPts để tm ra cụm chính xác. Các thiết
lập tham số như vậy thường khó xác định, đặc biệt trong thực tế, khi sự thiết
lập các tham số đầu vào khác biệt nhỏ có thể dẫn đến sự phân chia cụm rất

khác nhau. Trong nhiều trường hợp không thể lựa chọn được tham số ε và
MinPts phù hợp để tiến hành phân cụm.

Hình 1.10 Ví dụ về phân cụm sử dụng thuật toán DBSCAN
Thuật toán DBSCAN có độ phức tạp tnh toán là O(n 2), tuy nhiên nó lại
có khả năng tìm được các cụm có hình dạng bất kỳ và phát hiện được
các điểm dị thường (xem hình 1.10). Chính vì thế DBSCAN là một trong
những thuật toán có tính ứng dụng và thực tiễn cao, rất nhiều các biến thể
của DBSCAN đã được nghiên cứu và giới thiệu.
1.3.3. Phương pháp phân cụm dựa trên đồ thị (GC)
Lý thuyết đồ thị (graph theory) là một trong những công cụ có
nhiều ứng dụng đối với ngành Công nghệ thông tn. Thuật toán phân cụm
dựa trên đồ thị (GC) được giới thiệu năm 1973. Ý tưởng cơ bản là các điểm
sẽ được kết nối lại thành đồ thị với trọng số có thể là độ tương tự giữa các
điểm. Bước tếp theo sẽ loại bỏ đi các cạnh có độ tương tự nhỏ hơn một
giá trị  nào đó,


16
khi đó đồ thị sẽ phân rã thành các thành phần liên thông. Mỗi thành phần
liên thông có thể coi như là một cụm, các thành phần liên thông có số lượng
đỉnh ít có thể coi như là các điểm dị thường.

Hình 1.11. Ví dụ về phân cụm sử dụng đồ thị
Ưu điểm của thuật toán này là có thể phát hiện ra các cụm có hình
dạng bất kỳ, tuy nhiên việc lựa chọn tham số  lại là vấn đề khó khăn và sẽ
phụ thuộc vào bản chất của bài toán thực tế.
Mặc dù những thuật toán đầu tên đưa ra giải quyết vấn đề này như KMeans, Hierarchical Clustering hay Graph-based Clustering đã xuất hiện vào
những năm 60 của thế kỷ trước, tuy nhiên với sự bùng nổ thông tin như vũ
bão, rất nhiều nguồn dữ liệu khổng lồ xuất hiện ở các lĩnh vực khác nhau đòi

hỏi chúng ta phải có các thuật toán phân cụm dữ liệu hiệu quả để đáp
ứng được các yêu cầu đặt ra cả về tốc độ lẫn chất lượng.
Một trong những hướng nghiên cứu quan trọng trong các năm gần
đây là phát triển các phương pháp phân cụm nửa giám sát (semisupervised