GOM cụm TRONG DATA MINING và bài TOÁN hổ TRỢ RA QUYẾT ĐỊNH với GIAO DIỆN WEKA

Seminar
Môn: Hệ hỗ trợ ra quyết định
GOM CỤM TRONG DATA MINING VÀ BÀI TOÁN HỔ TRỢ RA QUYẾT ĐỊNH
VỚI GIAO DIỆN WEKA
GOM CỤM TRONG DATA MINING VÀ BÀI TOÁN HỔ TRỢ RA QUYẾT ĐỊNH
VỚI GIAO DIỆN WEKA
GVHD:PGS.TS Đỗ Phúc
HVTH: 1. Huỳnh Ngọc Ca – CH1401002
2. Hứa Phước Trường – CH1401023
3. Chu Thị Huế - CH1401004
4. Phạm Thị Thắm – CH1401019
GVHD:PGS.TS Đỗ Phúc
HVTH: 1. Huỳnh Ngọc Ca – CH1401002
2. Hứa Phước Trường – CH1401023
3. Chu Thị Huế - CH1401004
4. Phạm Thị Thắm – CH1401019
TỔNG QUAN QUÁ TRÌNH KHAI PHÁ DỮ LIỆU
PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN
K-MEANS
GIỚI THIỆU VỀ PHẦN MỀM WEKA
GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN
WEKA
KẾT LUẬN
NỘI DUNG TRÌNH BÀY
TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU
PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN
K-MEANS
GIỚI THIỆU VỀ PHẦN MỀM WEKA
GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN
WEKA
KẾT LUẬN

NỘI DUNG TRÌNH BÀY
1.1 QUÁ TRÌNH KHAI PHÁ DỮ LIỆU

1. TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU
Có thể hiểu đơn giản là quá trình chắt lọc hay khai phá tri thức từ một khối dữ liệu lớn.
QUÁ TRÌNH KHAI PHÁ DỮ LIỆU

1. TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU
1.2 NHIỆM VỤ CỦA KHAI PHÁ DỮ LIỆU

1. TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU
1.3 CƠ SỞ DỮ LIỆU PHỤC VỤ CHO KHAI PHÁ DỮ LIỆU

1. TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU

Cơ sở dữ liệu quan hệ

Cơ sở dữ liệu giao tác

Cơ sở dữ liệu không gian

Cơ sở dữ liệu có yếu tố thời gian

Cơ sở dữ liệu đa phương tiện
1.4 CÁC PHƯƠNG PHÁP CHÍNH CHO KHAI PHÁ DỮ LIỆU

1. TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU

Phân lớp và dự đoán


Phân cụm và phân đoạn

Luật kết hợp (Associa3on rules)
1.5 CÁC ỨNG DỤNG KHAI PHÁ DỮ LIỆU

1. TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU

Phân 6ch dữ liệu và hỗ trợ ra quyết định (Analysis & deci3on support).

Điều trị trong y học (Medical

Phân lớp văn bản, tóm tắt văn bản và phân lớp các trang Web (Text mining & Web mining).

Tin sinh học (Bio-informa3csNhận dạng.

Tài chính và thị trường chứng khoán (Finance & stock market

Bảo hiểm (Insurance), giáo dục (Educa3on),…
1.6 NHỮNG KHÓ KHĂN TRONG QUÁ TRÌNH KHAI PHÁ DỮ LIỆU

1. TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU

Cơ sở dữ liệu lớn.

Số chiều các thuộc 6nh lớp.

Thay đổi dữ liệu và tri thức có thể làm cho các mẫu đã phát hiện không còn phù hợp.

Dữ liệu bị thiếu hoặc bị nhiễu.


Quan hệ giữa các trường phức tạp.

Giao 3ếp với người sử dụng và kết hợp với các tri thức đã có.

Tích hợp với các hệ thống khác
TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU
PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN
K-MEANS
GIỚI THIỆU VỀ PHẦN MỀM WEKA
GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN
WEKA
KẾT LUẬN
NỘI DUNG TRÌNH BÀY

2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN
K-MEANS
1. Phân cụm là gì?

Quá trình phân chia 1 tập dữ liệu ban đầu thành các cụm dữ liệu thỏa mãn:

Các đối tượng trong 1 cụm “tương tự” nhau.

Các đối tượng khác cụm thì “không tương tự” nhau.

Giải quyết vấn đề tìm kiếm, phát hiện các cụm, các mẫu dữ liệu trong 1 tập hợp ban đầu các dữ
liệu không có nhãn.
2.1 TỔNG QUAN VỀ PHÂN CỤM DỮ LIỆU

2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN
K-MEANS

2. Mục đích của phân cụm


Xác định được bản chất của việc nhóm các đối tượng trong 1 tập dữ liệu không có nhãn.

Phân cụm không dựa trên 1 tiêu chuẩn chung nào, mà dựa vào tiêu chí mà người dùng cung cấp
trong từng trường hợp.
2.1 TỔNG QUAN VỀ PHÂN CỤM DỮ LIỆU

2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN
K-MEANS
3. Một số phương pháp phân cụm điển hình

Phân cụm phân hoạch

Phân cụm phân cấp

Phân cụm dựa trên mật độ

Phân cụm dựa trên lưới

Phân cụm dựa trên mô hình

Phân cụm có ràng buộc
2.1 TỔNG QUAN VỀ PHÂN CỤM DỮ LIỆU

2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN
K-MEANS

Thuật toán phân cụm K-Means


Phân cụm phân cấp (Hierarchical Clustering)

Phân cụm theo mật độ DBSCAN

Phân cụm mô hình EM
2.2 MỘT SỐ THUẬT TOÁN PHÂN CỤM TIÊU BIỂU

2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN
K-MEANS

Thuật toán phân cụm K-Means

Phân cụm phân cấp (Hierarchical Clustering)

Phân cụm theo mật độ DBSCAN

Phân cụm mô hình EM
2.2 MỘT SỐ THUẬT TOÁN PHÂN CỤM TIÊU BIỂU

2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN
K-MEANS
2.3 THUẬT TOÁN GOM CỤM K-MEANS
•
Determine the centroid coordinate
•
Determine the distance of each object to the centroids
•
Group the object based on minimum distance

2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN
K-MEANS
2.3 THUẬT TOÁN GOM CỤM K-MEANS

2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN
K-MEANS
2.3 THUẬT TOÁN GOM CỤM K-MEANS

2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN
K-MEANS
2.3 THUẬT TOÁN GOM CỤM K-MEANS
TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU
PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN
K-MEANS
GIỚI THIỆU VỀ PHẦN MỀM WEKA
GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN
WEKA
KẾT LUẬN
NỘI DUNG TRÌNH BÀY
3. GIỚI THIỆU VỀ PHẦN MỀM WEKA
GIỚI THIỆU VỀ PHẦN MỀM WEKA

Waikato Enviroment for Knowledge Analysis

Được phát triển bởi ĐH Waikato, New Zealand

Là phần mềm mã nguồn mở viết bằng Java và tích hợp các thuật toán máy
học và khai thác dữ liệu
Có thể tải về từ địa chỉ:
/> 3. GIỚI THIỆU VỀ PHẦN MỀM WEKA

WEKA – Các môi trường chính

Simple CLI : giao diện đơn giản kiểu dòng lệnh (như MS – DOS)

Explorer : môi trường cho phép sử dụng tất cả các chức năng của Weka để khám phá dữ liệu

Experimenter: môi trường cho phép tiến hành các thí nghiệm và thực hiện các kiểm tra thống kê giữa các mô hình học máy.

KnowledgeFlow: môi trường cho phép tương tác đồ họa kiểu kéo/thả để thiết kế các bước của một thí nghiệm
TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU
PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN
K-MEANS
GIỚI THIỆU VỀ PHẦN MỀM WEKA
GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN
WEKA
KẾT LUẬN
NỘI DUNG TRÌNH BÀY
4. GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN
WEKA
Mô tả bài toán
Cả nước hầu hết các tỉnh/TP đều có diện tích sản xuất lúa nhất định. Cùng với việc sản xuất thì sản lượng lúa của mỗi địa
phương đem lại sẽ khác nhau. Nhằm mục đích đánh giá sự hiệu quả về sản lượng mà các địa phương sản xuất lúa mang để có cái
nhìn và kế hoạch phát triển việc sản xuất ở mỗi địa phương.
Giải pháp gom cụm dữ liệu để giúp đánh giá về việc sản lượng lúa của các tỉnh/ TP. Qua đó có cái nhìn tổng thể và đưa ra những
định hướng để phát triển việc sản xuất cho các địa phương.