CÁC BÀI TOÁN KHAI PHÁ DỮ LIỆU VÀ ỨNG DỤNG

TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT
KHOA CÔNG NGHỆ THÔNG TIN
CÁC BÀI TOÁN KHAI PHÁ DỮ LIỆU VÀ ỨNG DỤNG
CỦA KHAI PHÁ DỮ LIỆU
NHÓM THỰC HIỆN:
1. Phạm Thị Nhung.
2. Lê Thị Sáu.
3. Lê Lữ Hoàng Nhựt Ánh.
4. Nguyễn Thị Thu Thủy.
5. Võ Thị Huê
1. NHU CẦU KHAI PHÁ DỮ LIỆU
SỰ BÙNG NỔ THÔNG TIN!
 Nhiều dữ liệu được sinh thêm:
 Web, văn bản, ảnh …
 Giao dịch thương mại, cuộc gọi,
 DL khoa học: thiên văn, sinh học …
 Thêm nhiều dữ liệu được nắm giữ:
 Công nghệ lưu giữ nhanh hơn và rẻ hơn.
 Hệ quản trị CSDL có thể quản lý các cơ sở dữ liệu với kích thước lớn hơn.
• Vấn đề bùng nổ dữ liệu
Các tiện ích thu thập dữ liệu tự động và công nghệ cơ sở dữ liệu lớn mạnh dẫn tới
một lượng lớn dữ liệu được tích lũy và/hoặc cần được phân tích trong cơ sở dữ liệu, kho
dữ liệu và trong các nguồn chứa dữ liệu khác.
• Chúng ta bị ngập lụt trong dữ liệu mà khát tri thức!
Giải pháp: Kho dữ liệu và Khai phá dữ liệu (mining)
Tạo lập kho dữ liệu và quá trình phân tích dữ liệu trực tuyến OLAP.
Khai phá tri thức hấp dẫn (luật, quy luật, mẫu, ràng buộc) từ dữ liệu trong CSDL lớn.
2. KHAI PHÁ DỮ LIỆU LÀ GÌ?
Theo J.Han và M.Kamber (2006) [1]:
Quan niệm 1:
Khai phá dữ liệu (Data Mining) là quá trình trích chọn ra tri thức từ trong một tập

hợp rất lớn dữ liệu.
Khai phá dữ liệu = Phát hiện tri thức từ dữ liệu (KDD: Knowledge Discovery
From Data).
Quan niệm 2:
Khai phá dữ liệu (Data Mining) chỉ là một bước quan trọng trong quá trình phát
hiên tri thức từ dữ liệu (KDD).
3. CÁC BÀI TOÁN KHAI PHÁ DỮ LIỆU ĐIỂN HÌNH
Mục tiêu tổng quát của khai phá dữ liệu là mô tả và dự báo
 Bài toán mô tả: hướng tới việc tìm ra các mẫu mô tả dữ liệu.
 Bài toán dự báo: sử dụng một số biến (hoặc trường) trong cơ sở dữ liệu để dự
đoán về giá trị chưa biết hoặc giá trị sẽ có trong tương lai của các biến.
⟹ Thể hiện thông qua các bài toán cụ thể:
1. Mô tả khái niệm
2. Quan hệ kết hợp
3. Phân cụm
4. Phân lớp
5. Hồi quy
6. Mô hình phụ thuộc
7. Phát hiện thay đổi và độ lệch
3.1. Mô tả khái niệm
 Nhằm tìm ra các đặc trưng và tính chất của khái niệm.
 Các bài toán điển hình bao gồm: tổng quát hóa, tóm tắt, phát hiện các đặc trưng
dữ liệu ràng buộc,…
Bài toán tóm tắt là một trong những bài toán mô tả điển hình, áp dụng các phương
pháp để tìm ra một mô tả cô đọng đối với một tập con dữ liệu. Ví dụ: xác định kỳ vọng
và độ lệch chuẩn của một dãy các giá trị.
3.2. Tìm quan hệ kết hợp
 Phát hiện mối quan hệ kết hợp trong tập dữ liệu là bài toán quan trọng trong khai
phá dữ liệu.
 Một trong những mối quan hệ kết hợp điển hình là quan hệ kết hợp giữa các biến

dữ liệu trong đó bài toán khai phá luật kết hợp là một bài toán tiêu biểu.
Bài toán khai phá luật kết hợp thực hiện việc phát hiện ra mối quan hệ kết hợp giữa
các tập thuộc tính (các tập biến) có dạng X⟶Y, trong đó X và Y là hai tập thuộc tính.
“Sự xuất hiện của X kéo theo sự xuất hiện của Y như thế nào?”
3.3. Phân lớp
 Thực hiện việc xây dựng (mô tả) các mô hình (hàm) dự báo nhằm mô tả hoặc phát
hiện các lớp hoặc khái niệm cho các dự báo tiếp theo.
 Một số phương pháp điển hình là: cây quyết định, luật phân lớp, mạng neuron,…
 Nội dung của phân lớp chính là một hàm ánh xạ các dữ liệu vào trong một số các
lớp (nhóm) đã biết.
 Phân lớp còn được gọi là “học máy có giám sát” (supervised learning).
3.4. Phân cụm
 Thực hiện việc nhóm dữ liệu thành các “cụm” (có thể coi là một lớp mới) để có
thể phát hiện được các mẫu phân bố dữ liệu trong miền ứng dụng.
 Hướng tới việc nhận biết một tập hữu hạn các cụm hoặc các lớp để mô tả dữ liệu.
 Mục tiêu của phân cụm là cực đại hóa tính tương đồng giữa các phần tử trong
cùng cụm và cực tiểu hóa tính tương đồng giữa các phần tử khác cụm.
 Phân cụm còn được gọi là “học máy không có giám sát” (unsupervised learning).
3.5. Hồi quy
 Là bài toán điển hình trong phân tích thống kê và dự báo.
 Tiến hành việc dự đoán các giá trị của một hoặc một số biến phụ thuộc vào giá trị
của một tập hợp các biến độc lập.
 Có thể quy về việc học một hàm ánh xạ dữ liệu nhằm xác định giá trị thực của
một biến theo một số biến khác.
3.6. Mô hình phụ thuộc
 Hướng tới việc tìm ra một mô hình mô tả sự phụ thuộc có ý nghĩa giữa các biến.
 Bao gồm 2 mức:
 Mức cấu trúc của mô hình: thường dưới dạng đồ thị trong đó các biến là phụ
thuộc bộ phân vào các biến khác.
 Mức định lượng của mô hình: mô tả sức mạnh của tính phụ thuộc khi sử dụng

việc đo tính theo giá trị số.
3.7. Phát hiện biến đổi và độ lệch
 Tập trung phát hiện hầu hết sự thay đổi có ý nghĩa dưới dạng độ đo đã biết trước
hoặc giá trị chuẩn, cung cấp những tri thức về sự biến đổi và độ lệch cho người
dùng. Thường được ứng dụng trong bước tiền xử lý.
4. ỨNG DỤNG CỦA KHAI PHÁ DỮ LIỆU
Khai phá dữ liệu được vận dụng trong nhiều lĩnh vực khác nhau nhằm khai thác
nguồn dữ liệu phong phú được lưu trữ trong các hệ thống thông tin. Tùy theo bản chất
của từng lĩnh vực, việc vận dụng khai phá dữ liệu có những cách tiếp cận khác nhau.
Ngân hàng: Xây dựng mô hình dự báo rủi ro tín dụng. Tìm kiếm tri thức, quy
luật của thị trường chứng khoán và đầu tư bất động sản.
Thương mại điện tử: Tìm hiểu, định hướng thúc đẩy, giao tiếp với khách hàng.
Phân tích hành vi mua sắm trên mạng và cho biết thông tin tiếp thị phù hợp với nhiều loại
khách hàng.
Marketing: Phân tích nhu cầu khách hàng dựa trên mẫu dữ liệu mua bán hàng từ
đó xác định chiến lược kinh doanh, quảng cáo, kế hoạch sản xuất, …
Khai phá dữ liệu cũng được vận dụng hiệu quả để giải quyết các bài toán phức tạp
trong các ngành đòi hỏi kỹ thuật cao, như tìm kiếm mỏ dầu từ ảnh viễn thám, cảnh báo
hỏng hóc trong các hệ thống sản xuất, … Các kỹ thuật Khai phá dữ liệu đã được áp
dụng thành công trong việc dự đoán tải sử dụng điện năng cho các công ty cung cấp
điện, lưu lượng viễn thông cho các công ty điện thoại, mức độ tiêu thụ sản phẩm cho
các nhà sản xuất, giá trị của sản phẩm trên thị trường cho các công ty tài chính, …
Ngoài ra, Khai phá dữ liệu còn được áp dụng cho các vấn đề xã hội như phân
tích các kết quả phòng chống và điều trị một số loại bệnh, phân tích tác hại của ma tuý,
phát hiện tội phạm hay tăng cường an ninh xã hội, Việc vận dụng thành công đã
mang lại những hiệu quả thiết thực cho các hoạt động diễn ra hàng ngày trong
đời sống.
 Phân tích dữ liệu và hỗ trợ quyết định
 Phân tích và quản lý thị trường
 Tiếp thị định hướng, quản lý quan hệ khách hàng (CRM), phân

tích thói quen mua hàng, bán hàng chéo, phân đoạn thị trường.
 Phân tích và quản lý rủi ro
 Dự báo, duy trì khách hàng, cải thiện bảo lãnh, kiểm soát chất
lượng, phân tích cạnh tranh.
 Phát hiện gian lận và phát hiện mẫu bất thường (ngoại lai)
 Ứng dụng khác
 Khai phá Text (nhóm mới, email, tài liệu) và khai phá Web.
 Khai phá dữ liệu dòng.
 Phân tích DNA và dữ liệu sinh học.
Phân tích kinh doanh: Khai phá quá trình
WMP Van der Aalst (2011). Process Mining: Discovery, Conformance and Enhancement
of Business Processes, Springer.
Phát hiện gian lận và khai phá mẫu hiếm
• Tiếp cận: Phân cụm & xây dựng mô hình gian lận, phân tích bất
thường
• Ứng dụng: Chăm sóc sức khỏe, bán lẻ, dịch vụ thẻ tín dụng, viễn thông.
 Bảo hiểm tự động: vòng xung đột
 Rửa tiền: giao dịch tiền tệ đáng ngờ
 Bảo hiểm y tế
• Bệnh nghề nghiệp, nhóm bác sỹ, và nhóm chỉ dẫn
• Xét nghiệm không cần thiết hoặc tương quan
 Viễn thông: cuộc gọi gian lận
• Mô hình cuộc gọi: đích cuộc gọi, độ dài, thời điểm trong ngày
hoặc tuần. Phân tích mẫu lệch một dạng chuẩn dự kiến
 Công nghiệp bán lẻ
• Các nhà phân tích ước lượng rằng 38% giảm bán lẻ là do
nhân viên không trung thực
 Chống khủng bố
ỨNG DỤNG KHAI PHÁ DỮ LIỆU XÂY DỰNG CÔNG CỤ
DỰ ĐOÁN KẾT QUẢ HỌC TẬP CỦA SINH VIÊN

APPLICATION OF DATA MINING FOR BUILDING TOOL TO FOR
THE LEARNING RESULTS OF STUDENTS
1. Phân tích xây dựng mô hình
Quá trình khai phá dữ liệu được tiến hành theo quy trình chuẩn, bao
gồm các bước thuthập, làm sạch, trích lọc, chuyển đổi dữ liệu về dạng phù
hợp, ứng dụng kỹ thuật khai phá dữ liệu để xây dựng mô hình và đánh giá
kết quả thu được.
Nguồn dữ liệu cho việc khai phá nhằm dự đoán kết quả học tập sẽ
được thu thập từ nhiều nguồn dữ liệu khác nhau. Hồ sơ cá nhân của sinh
viên đã nộp vào trường để dự tuyển được phân công nhập vào các bảng tính
excel, bao gồm các thông tin như họ tên, ngày sinh, nơi sinh, phái, dân tộc,
khu vực, điểm ưu tiên Ngoài hồ sơ mà thí sinh nộp vào trường, còn một
nguồn dữ liệu quan trọng khác đó là dữ liệu từ kết quả thi tuyển hằng năm
như số báo danh, khối thi, ngành chọn thi, điểm thi các môn, điểm ưu tiên,
kết quả (Đậu, Hỏng).
Nguồn dữ liệu quan trọng nữa, đó là thông tin kết quả học tập toàn
khoá cũng như các môn học mỗi sinh viên chọn học ở mỗi học kỳ như: mã
sinh viên, ngành học, môn học, kết quả Dữ liệu cần xử lý được thu thập từ
các bộ phận quản lý. Vì vậy, dữ liệu có tính trung thực cao, hầu hết đều phản
ánh đúng ngữ nghĩa. Tuy nhiên, do bộ phận quản lý hay thay đổi và hệ thống
lưu trữ quản lý thông tin sinh viên chưa được nâng cao, nên dữ liệu thu thập
không được liên tục theo thời gian, một số trường dữ liệu bị thiếu do việc
cập nhật ban đầu không đầy đủ hoặc chưa được nhập liệu. Từ đó loại bỏ ra
các bản ghi có trường dữ liệu bị thiếu hoặc bị trùng lặp, các môn học, ngành
học đều được quy ước mã. Kết quả, tác giả thu được gần 70.000 bản ghi về
điểm tổng kết học phần và dữ liệu cá nhân, tuyển sinh cho hơn 2000 sinh
viên thuộc hệ đào tạo chính quy bậc cao đẳng tại một trường cao đẳng ở
Miền Trung.
Dữ liệu trong các tệp excel đó được chuyển vào cơ sở dữ liệu trong hệ
quản trị Microsoft SQL Server 2008 R2 bằng chức năng Import. Sau đó,

chúng được tổ chức dưới dạng có thể sử dụng để khai phá bằng cách thiết kế
và thực hiện các lệnh truy vấn SQL.
Đối với dữ liệu cần thiết để thực hiện nghiên cứu là lộ trình học, ta
không thể liệt kê và gắn với mỗi sinh viên bằng các truy vấn SQL đơn giản.
Đề tài đề xuất xây dựng một công cụ riêng để thực hiện việc này bằng ngôn
ngữ lập trình C#.
2. Xây dựng ứng dụng dự đoán kết quả học tập
Với ý tưởng đã nêu, ứng dụng dự đoán kết quả học tập của sinh viên
được xây dựng Theo sơ đồ (Hình 1)
Để trình diễn kết quả nghiên cứu, tác giả chỉ xây dựng giao diện dự
đoán kết quả học tập như trong hình vẽ bên dưới và chỉ cho phép tư vấn cho
một sinh viên. Khi triển khai ứng dụng, giao diện và chức năng sẽ được xây
dựng tùy vào nhóm người dùng. Chẳng hạn, với người dùng là giảng viên
chủ nhiệm hoặc các cấp quản lý, ứng dụng có thể liệt kê thông tin của tất cả
các sinh viên theo từng lớp, kết hợp với các lộ trình có thể, thực hiện dự báo
và trên cơ sở đó cho phép tư vấn cho từng sinh viên trong lớp. Đối với sinh
viên, giao diện sẽ được thiết kế trong một trang web để sinh viên có thể truy
cập từ xa.
Khi người dùng chọn một lộ trình học, ứng dụng sẽ hiển thị chi tiết các môn
học cùng với học kỳ của lộ trình học đó.
Ngoài ra, hệ thống cho phép xem các mô hình đã được xây dựng
nhằm hỗ trợ cho người dùng cuối là các nhà quản lý, không phải là các kỹ
thuật viên xây dựng mô hình.
Ngoài ra, dữ liệu đào tạo trong cơ sở dữ liệu có thể được bổ sung theo
thời gian, mô hình đề xuất có thể sẽ không còn là tối ưu. Vì vậy, ứng dụng
cung cấp chức năng cho phép người dùng cuối – các nhà quản lý cập nhật
mô hình.
Để xây dựng ứng dụng với các chức năng đã nêu, tác giả đã tiến hành
nghiên cứu và sử dụng thư viện API do Microsoft cung cấp cùng với ngôn
ngữ truy vấn khai phá dữ liệu DMX – Data Mining

Extensions.
3. Kết luận
Để xây dựng được ứng dụng này phải nghiên cứu cơ sở lý thuyết liên
quan đến ba kỹ thuật cây quyết định, luật kết hợp và Naïve Bayes, nghiên
cứu quy trình triển khai ứng dụng khai phá dữ liệu. Ngoài ra, để xây dựng
ứng dụng này cũng tìm hiểu các vấn đề cơ bản về dịch vụ Microsoft SQL
Server 2008 R2 Analysis Services và các công cụ liên quan.
Với dữ liệu huấn luyện ban đầu, mô hình cho phép phân tích các yếu
tố ảnh hưởng đến kết quả học tập của sinh viên, mức độ tác động của từng
yếu tố đầu vào, từ đó dự đoán được kết quả học tập cuối khóa của sinh viên
qua việc kết hợp thông tin đầu vào và lộ trình học. Bên cạnh đó, chuyên đề
còn xây dựng được chương trình demo hiển thị các mô hình đã xây dựng
đến người dùng cuối.
Với việc triển khai hệ thống thử nghiệm cho thấy khả năng ứng dụng
kết quả này trong việc dự đoán kết quả học tập của sinh viên. Hệ thống
không chỉ hỗ trợ cho sinh viên mà còn hỗ trợ cho giáo viên chủ nhiệm, các
khoa chuyên ngành, phòng đào tạo và những ai quan tâm.
+ Đối với sinh viên: giúp cho sinh viên lựa chọn cho mình một lộ
trình học phù hợp với điều kiện và năng lực của bản thân để đạt được kết
quả học tập tối ưu.
+ Đối với giáo viên chủ nhiệm: hỗ trợ cho giáo viên chủ nhiệm có thể
tư vấn cho sinh viên trong việc chọn một lộ trình học phù hợp.
+ Đối với các khoa chuyên ngành và phòng đào tạo: hỗ trợ trong việc
đánh giá chất lượng cho từng lộ trình học nhằm nâng cao, cải thiện hơn nữa
trong việc xây dựng các lộ trình học để phù hợp với mọi điều kiện và năng
lực của sinh viên.