Nghiên cứu một số kỹ thuật khai phá dữ liệu cho bài toán dự đoán rủi ro tín dụng
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (943.55 KB, 79 trang )
ðẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ðẠI HỌC CÔNG NGHỆ
NGUYỄN VĂN TOÀN
NGHIÊN CỨU MỘT SỐ KỸ THUẬT KHAI PHÁ DỮ LIỆU
CHO BÀI TOÁN DỰ ðOÁN RỦI RO TÍN DỤNG
LUẬN VĂN THẠC SĨ
Hà Nội - 2008
2
ðẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ðẠI HỌC CÔNG NGHỆ
Nguyễn Văn Toàn
NGHIÊN CỨU MỘT SỐ KỸ THUẬT KHAI PHÁ DỮ LIỆU
CHO BÀI TOÁN DỰ ðOÁN RỦI RO TÍN DỤNG
Ngành: Công nghệ thông tin
Mã số: 1.01.10
LUẬN VĂN THẠC SĨ
NGƯỜI HƯỚNG DẪN KHOA HỌC
TS. Nguyễn ðức Dũng
Hà nội - 2008
8
MỤC LỤC
MỞ ðẦU 5
CHƯƠNG 1 - TỔNG QUAN KHAI PHÁ TRI THỨC TỪ DỮ LIỆU VÀ KHAI PHÁ
DỮ LIỆU 12
1.1 Giới thiệu khai phá tri thức từ dữ liệu và khai phá dữ liệu 12
1.2 Nhiệm vụ(task) khai phá dữ liệu 15
1.3 ðánh giá mô hình dự ñoán 16
1.4 Ứng dụng KDD và Datamining 18
CHƯƠNG 2 - BÀI TOÁN DỰ ðOÁN RỦI RO TÍN DỤNG 21
2.1. Bài toán dự ñoán rủi ro tín dụng 21
2.2. Thông tin về một khoản vay 22
2.2.1. Thông tin về khách hàng vay vốn 22
2.2.2. Thông tin về phương án sản xuất kinh doanh 23
2.2.3. Thông tin liên quan ñến tài sản bảo ñảm (TSBD) 24
2.2.4. Thông tin khác 24
2.3. Dữ liệu sử dụng cho bài toán 24
CHƯƠNG 3 - XỬ LÝ DỮ LIỆU DỰ ðOÁN RỦI RO TÍN DỤNG 25
3.1. Tiền xử lý dữ liệu 25
3.1.1. Công việc tiền xử lý dữ liệu 25
3.1.2. Tiền xử lý dữ liệu dự ñoán rủi ro tín dụng 30
3.2. Phương pháp lấy mẫu dữ liệu (Data sampling) 35
3.2.1. Phương pháp lấy mẫu dữ liệu 35
3.2.2. Lấy mẫu lên (Oversampling) 35
3.2.3. Lấy mẫu xuống (undersampling) 36
3.2.4. Kết hợp hai chiến lược trên 36
3.3. Hợp nhất các lớp của tập dữ liệu (Data merged) 36
CHƯƠNG 4 - DỰ ðOÁN RỦI RO TÍN DỤNG SỬ DỤNG 38
CÂY QUYẾT ðỊNH (C4.5) 38
4.1. Giới thiệu cây quyết ñịnh 38
4.1.1. Khái niệm 38
4.1.2. Các loại cây quyết ñịnh 38
4.1.3. Ví dụ thực hành 39
4.1.4. Xây dựng cây quyết ñịnh 40
4.2. Thuật toán C4.5 và ñặc ñiểm cây quyết ñịnh 41
4.2.1. Thuật toán C4.5 [17] 41
4.2.2. So sánh C4.5 với các phiên bản khác 45
4.2.3. ðặc ñiểm cây quyết ñịnh 46
4.3. Dự ñoán rủi ro tín dụng sử dụng cây quyết ñịnh (C4.5) 46
4.4. ðánh giá kết quả dự ñoán rủi ro tín dụng sử dụng cây quyết ñịnh (C4.5) 52
CHƯƠNG 5 - DỰ ðOÁN RỦI RO TÍN DỤNG SỬ DỤNG PHƯƠNG PHÁP QUY
NẠP LUẬT 58
5.1. Giới thiệu 58
5.2. Thuật toán CBA 59
5.3. Dự ñoán rủi ro tín dụng bằng CBA 65
5.4. ðánh giá kết quả dự ñoán rủi ro tín dụng 67
9
CHƯƠNG 6 - DỰ ðOÁN RỦI RO TÍN DỤNG SỬ DỤNG SUPPORT VECTOR
MACHINE 71
6.1. Giới thiệu Support Vector Machine 71
6.2. ðặc ñiểm của Support Vector Machine 73
6.3. Dự ñoán rủi ro tín dụng bằng Support Vector Machine 75
6.3.1. Lựa chọn tham số 75
6.3.2. Thực nghiệm với tập dữ liệu D1 76
6.3.3. Thực nghiệm với tập dữ liệu ñược hợp nhất lớp (D2) 77
6.4. ðánh giá kết quả dự ñoán rủi ro tín dụng bằng SVM 78
CHƯƠNG 7 - ðÁNH GIÁ CÁC KỸ THUẬT ðỐI VỚI BÀI TOÁN DỰ ðOÁN RỦI
RO TÍN DỤNG…… ……………………………………………………………… 79
TÀI LIỆU THAM KHẢO…………………………………………………………….82
10
BẢNG CÁC TỪ VIẾT TẮT
Thuật ngữ
Ý nghĩa
CBA Classification Based on Association – Phân loại dựa vào sự kết
hợp
CSDL Cơ sở dữ liệu
DM Data mining (Khai phá dữ liệu)
D1 Tập dữ liệu sau khi tiền xử lý
D2 Tập dữ liệu hợp nhất lớp thành 02 lớp A_B và C_D_E từ tập D1
KDD Knowledge Discovery in Database
(Khai phá tri thức từ dữ liệu)
SVM Support Vector Machine (máy véc-tơ hỗ trợ)
TSBD Tài sản bảo ñảm
11
BẢNG CÁC THUẬT NGỮ ANH-VIỆT
Tiếng Anh Tiếng Việt
Association Kết hợp
Classification And Regression
Tree – CART
Cây phân lớp hồi quy
Classification Phân lớp
Clustering Phân cụm
Classification Based on
Association
Phân loại dựa vào sự kết hợp
Bucket
Khối
Data mining Khai phá dữ liệu
Data cleaning Làm sạch dữ liệu
Data integration Tích hợp dữ liệu
Data merged Hợp nhất dữ liệu
Data sampling Lẫy mẫu dữ liệu
Data selection Lựa chọn dữ liệu
Data transformation Biến ñổi dữ liệu
Data reduction Thu gọn dữ liệu
Data discretization Rời rạc hóa dữ liệu
Data warehouse Kho dữ liệu
Decision tree Cây quyết ñịnh
Description Mô tả
Estimation Ước lượng
Imbalanced/Unbalanced data Dữ liệu phân bố không ñều/không cân bằng
Knowledge Discovery in Data Khai phá tri thức từ dữ liệu
Knowledge representation Biểu diễn tri thức
Mean-squared error sai số bình phương trung bình
Mean absolute error sai số tuyệt ñối trung bình
Rule Induction Quy nạp luật
Oversampling Lấy mẫu lên
Pattern evaluation ðánh giá các mẫu
Prediction Dự ñoán
Prediction Model Mô hình dự báo
Random oversampling Lấy mẫu lên ngẫu nhiên
Relative absolute error sai số tương ñối tuyệt ñối
Relative squared error Sai số bình phương tương ñối
Root mean-squared error Căn bậc hai sai số bình phương trung bình
Root relative squared error căn bậc hai sai số bình phương tương ñối
Synthetic Minority Over-
sampling Technique - SMOTE
Kỹ thuật lấy mẫu lên lớp thiểu số nhân tạo
Undersampling Lấy mẫu dưới
12
Chương 1 - TỔNG QUAN KHAI PHÁ TRI THỨC TỪ DỮ LIỆU
VÀ KHAI PHÁ DỮ LIỆU
1.1 Giới thiệu khai phá tri thức từ dữ liệu và khai phá dữ liệu
Hiện nay có nhiều ñịnh nghĩa về khai phá dữ liệu: theo Witten [2] khai phá dữ
liệu là quá trình khai phá các mẫu trong dữ liệu. Quá trình phải là tự ñộng hoặc bán tự
ñộng. Các mẫu khám phá phải có ý nghĩa. Còn theo Dunham[3] thì khai phá dữ liệu là
quá trình tìm kiếm thông tin ẩn chứa trong dữ liệu. Hay ñịnh nghĩa của Roiger thì khai
phá dữ liệu là quá trình tận dụng một hay một số kỹ thuật học máy ñể tự ñộng phân
tích và trích chọn tri thức từ dữ liệu bên trong CSDL.
Tựu chung lại thì khai phá dữ liệu (DM) là phân tích tập dữ liệu quan sát lớn ñể
tìm ra các mối liên hệ hiển nhiên và tổng quát hóa dữ liệu theo các cách ñể hiểu ñược
và có ý nghĩa cho chính dữ liệu. DM là một quá trình khai phá các tri thức mới và các
tri thức có ích ở dạng tiềm năng trong nguồn dữ liệu ñã có. DM chỉ là một bước của
quá trình khai phá tri thức từ dữ liệu (KDD - Knowledge Discovery in Data Process).
Quá trình KDD
Quá trình khai phá tri thức từ dữ liệu bao gồm một số bước từ các bộ dữ liệu
ñến tri thức mới. Quá trình này bao gồm các bước lặp như sau [4]:
Hình 1.1 – Quá trình KDD.
• Làm sạch dữ liệu (Data cleaning): giai ñoạn này thực hiện việc loại bỏ các dữ
liệu nhiễu, dữ liệu không phù hợp khỏi bộ dữ liệu ñược sử dụng ñể khai phá tri
thức.
13
• Tích hợp dữ liệu (Data integration): trong giai ñoạn này nhiều nguồn dữ liệu,
thường là hỗn hợp sẽ ñược tổng hợp vào một nguồn phổ biến.
• Lựa chọn dữ liệu (Data selection): trong bước này, dữ liệu không liên quan ñược
phân tích ñể quyết ñịnh giữ lại hay loại bỏ khỏi tập dữ liệu. Giai ñoạn này thực
hiện việc lựa chọn các trường của mỗi mẫu dữ liệu ñể thực hiện khai phá tri thức
thu ñược kết quả cao.
• Biến ñổi dữ liệu (Data transformation): có thể coi như hợp nhất dữ liệu, ñây là
giai ñoạn mà dữ liệu ñược lựa chọn ñược biến ñổi vào các mẫu thích hợp cho quá
trình khai phá.
• Khai phá dữ liệu (Data mining): ñây là giai ñoạn quyết ñịnh của quá trình khai
phá tri thức từ dữ liệu. Các kỹ thuật ñược sử dụng trong giai ñoạn này nhằm lấy ra
các mẫu hữu ích tiềm ẩn.
• ðánh giá các mẫu (Pattern evaluation): trong bước này, các mẫu biểu diễn tri
thức hấp dẫn ñược nhận biết dựa trên các ñộ ño ñược ñưa ra.
• Biểu diễn tri thức (Knowledge representation): là giai ñoạn cuối của quá trình
khai phá tri thức từ dữ liệu, nhằm biểu diễn trực quan tri thức cho người dùng.
Bước quan trọng này sử dụng các kỹ thuật trực quan ñể giúp người sử dụng hiểu và
biểu diễn các kết quả khai phá dữ liệu.
Thông thường một số bước ñược gộp lại với nhau. Ví dụ làm sạch dữ liệu (data
cleaning) và tích hợp dữ liệu có thể ñược gộp với nhau thành giai ñoạn tiền xử lý dữ
liệu (preprocessing) ñể sinh ra một kho dữ liệu (data warehouse). Lựa chọn dữ liệu
(data selection) và biến ñổi dữ liệu (data transformation) có thể ñược gộp lại thành giai
ñoạn hợp nhất dữ liệu, các dữ liệu ñược lựa chọn sẽ ñược biến ñổi ñể tạo thành tập dữ
liệu có ñịnh dạng thống nhất.
KDD là một quá trình lặp. Mỗi khi tri thức khai phá ñược biểu diễn cho người
dùng, các ñộ ño ñánh giá có thể ñược nâng cao, khai phá có thể ñược cải tiến trong
tương lai, dữ liệu mới có thể ñược chọn hoặc biến ñổi trong tương lai, hoặc các nguồn
dữ liệu mới có thể ñược tích hợp nhằm thu ñược các kết quả khác, thích hợp hơn.
Quá trình Data mining
Quá trình khai phá dữ liệu chỉ là một giai ñoạn của khai phá tri thức trong
CSDL. Quá trình này phải ñáng tin cậy và có thể dùng lại ñối với người dùng ít hiểu
biết về Data mining. Do ñó quy trình chuẩn công nghiệp Cross cho khai phá dữ liệu
(CRISP-DM: CRoss Industry Standard Process for Data mining) ñã ñược một số tổ
chức, công ty (SPSS/ISL, NCR, Daimler-Benz, OHRA) hợp tác phát triển và công bố
14
năm 1996. CRISP là một tiến trình chuẩn miễn phí, ñược sử dụng ñể xử lý vấn ñề khai
phá dữ liệu trong thương mại và nghiên cứu [5].
CRISP-DM là một vòng ñời bao gồm 6 giai ñoạn, ñược biểu diễn như hình sau:
Hình 1.2 – Quá trình CRISP-DM.
• Tìm hiểu nghiệp vụ (Business understanding): ñây là giai ñoạn ñầu tiên của quá
trình chuẩn CRISP-DM, cũng có thể ñược hiểu là giai ñoạn tìm hiểu nghiên cứu.
Phát biểu các mục tiêu của dự án và các yêu cầu rõ ràng trong phạm vi yêu
cầu nghiệp vụ hoặc nghiên cứu.
Biến ñổi các mục tiêu và các giới hạn vào các mẫu phát biểu ñịnh nghĩa vấn
ñề của data mining. Chuẩn bị ñưa ra các chiến lược ñể ñạt ñược những mục
tiêu.
• Tìm hiểu dữ liệu (Data understanding): giai ñoạn này gồm các công việc chính
là:
Tập hợp dữ liệu.
Sử dụng các phân tích dữ liệu mang tính thăm dò ñể hiểu dữ liệu và khai
phá sự hiểu biết ban ñầu
ðánh giá chất lượng dữ liệu
15
Nếu ñược ñề nghị thì lựa chọn các tập con hấp dẫn mà có thể gồm các mẫu
có thể hữu ích.
• Chuẩn bị dữ liệu (Data preparation): chuẩn bị dữ liệu từ những dòng ban ñầu
ñến tập dữ liệu cuối cùng ñược sử dụng trong các giai ñoạn sau. Giai ñoạn này lựa
chọn các tình huống và các biến mà ta muốn phân tích mà liên quan ñến phân tích
của chúng ta. Thực hiện các biến ñổi trên các biến chắc chắn, nếu cần thiết. Làm
sạch các dòng dữ liệu ñã sẵn sàng cho các công cụ mô hình hóa
• Mô hình hóa (Modeling): giai ñoạn này bao gồm các công việc chính là:
Lựa chọn và sử dụng các kỹ thuật mô hình hóa phù hợp.
Chỉnh sửa các thiết lập mô hình ñể tối ưu các kết quả.
Nếu cần thiết, lặp lại giai ñoạn chuẩn bị dữ liệu (preparation) ñể lấy các mẫu
của dữ liệu vào các yêu cầu cụ thể của một kỹ thuật khai phá dữ liệu.
• ðánh giá (Evaluation): ðánh giá chất lượng và hiệu lực của một hoặc nhiều mô
hình ñược thực hiện trong giai ñoạn mô hình hóa trước khi triển khai chúng cho sử
dụng trong thực tế. Xác ñịnh mô hình thực tế ñã thu ñược tập mục tiêu ở giai ñoạn
ñầu tiên hay chưa. ðưa vào một số khía cạnh quan trọng của vấn ñề nghiệp vụ hoặc
nghiên cứu mà chưa thu ñược thích ñáng. ði ñến các quyết ñịnh sử dụng các kết
quả khai phá dữ liệu.
• Triển khai (Deployment): Sử dụng các mô hình ñã tạo: Tạo các mô hình không có
nghĩa là hoàn thành dự án. Thí ñiểm một triển khai ñơn giản: sinh ra báo cáo. Thí
ñiểm triển khai phức tạp hơn: thực hiện quá trì khai phá dữ liệu song song trong bộ
phận khác.
1.2 Nhiệm vụ(task) khai phá dữ liệu
Một số bài toán chính mà khai phá dữ liệu thường thực hiện là [6]:
• Mô tả (Description)
• Ước lượng (Estimation)
• Dự ñoán (Prediction)
• Phân lớp (Classification)
• Phân cụm (Clustering)
• Kết hợp (Association)
Bài toán thông dụng nhất trong KPDL là Phân lớp (Classification). Với một tập
các dữ liệu huấn luyện cho trước và sự huấn luyện của con người, các giải thuật phân
loại sẽ học ra bộ phân loại (classifier) dùng ñể phân các dữ liệu mới vào một trong
16
những lớp (còn gọi là loại) ñã ñược xác ñịnh trước. Nhận dạng cũng là một bài toán
thuộc kiểu Phân loại.
Các giải thuật Tìm luật liên kết (Association Rule) tìm kiếm các mối liên kết
giữa các phần tử dữ liệu, ví dụ như nhóm các món hàng thường ñược mua kèm với
nhau trong siêu thị.
Các kỹ thuật Phân cụm (Clustering) sẽ nhóm các ñối tượng dữ liệu có tính chất
giống nhau vào cùng một nhóm. Mỗi cụm là một tập hợp các ñối tượng dữ liệu giống
nhau và khác với các ñối tượng cụm khác. Phân cụm khác với phân lớp ở chỗ không
có biến ñích cho phân cụm. Phân cụm không cố gắng phân lớp, ước lượng, dự ñoán
giá trị của một biến ñích. Thay vào ñó, các thuật toán phân cụm sẽ tìm các mảng dữ
liệu có quan hệ với nhau tạo thành các nhóm hoặc các cụm.
Mô tả dữ liệu (Description): ñôi khi các nhà nghiên cứu và phân tích thường tìm
các cách ñể mô tả các mẫu và xu hướng của dữ liệu. Các mô hình khai phá dữ liệu có
thể trong suốt. Vì vậy kết quả của mô hình khai phá dữ liệu phải mô tả các mẫu rõ ràng
như hình cây, các luật hay ñồ họa.
Ước lượng (Estimation): tương tự như phân lớp ngoại trừ biến ñích là số thay vì
chủ ñề như phân lớp. Các mô hình ñược xây dựng sử dụng các bản ghi ñầy ñủ, nó
cung cấp giá trị của biến ñích như dự ñoán. Sau ñó các quan sát mới, ñánh giá giá trị
của biến ñích ñược thực hiện, dựa vào các giá trị của dự ñoán. Ví dụ: ước lượng số
bệnh nhân huyết áp cao trong bệnh viện dựa vào ñộ tuổi, giới tính, … Quan hệ giữa
bệnh nhân huyết áp cao và các biến dự ñoán trong tập huấn luyện sẽ cung cấp cho ta
mô hình ước lượng. Chúng ta có thể sử dụng mô hình này cho các trường hợp mới.
Dự ñoán (Prediction): Tương tự như phân lớp và ước lượng. Tuy nhiên dự ñoán
ñưa ra kết quả là trong tương lai. Bài toán dự ñoán rủi ro tín dụng trong luận văn là
một ví dụ của dự ñoán. Bất kỳ phương pháp và kỹ thuật nào sử dụng cho phân lớp và
ước lượng ñều có thể sử dụng(thích hợp) cho dự ñoán.
1.3 ðánh giá mô hình dự ñoán
ðể ñánh giá một mô hình dự ñoán người ta thường sử dụng một số ñộ ño như
bảng sau [7]:
17
ðộ ño Công thức
mean-squared error
n
apap
nn
22
11
)( )( −++−
root mean-squared error
n
apap
nn
2
11
)( )( −++−
mean absolute error
n
apap
nn
22
11
|| || −++−
relative squared error
∑
=
−++−
−++−
i
i
n
nn
a
n
a
aaaa
apap
1
,
|| ||
)( )(
22
1
22
11
relative absolute error
22
1
22
11
|| ||
)( )(
aaaa
apap
n
nn
−++−
−++−
root relative squared error
|| ||
|| ||
1
11
aaaa
apap
n
nn
−++−
−
+
+
−
correlatinon coeffcient
1
))((
,
−
−−
=
∑
n
aapp
S
SS
S
i
ii
PA
AP
PA
1
)(
,
1
)(
22
−
−
=
−
−
=
∑
∑
n
aa
S
n
pp
S
i
i
A
i
i
P
Bảng 1.1
- Các
ñộ
ñ
o
ñ
ánh giá mô hình d
ự
ñ
oán.
Trong
ñ
ó,
p
i
là các giá tr
ị
d
ự
ñ
oán c
ủ
a mô hình và
a
i
là các giá tr
ị
th
ự
c t
ế
trong
t
ậ
p d
ữ
li
ệ
u.
•
Mean squared error - sai s
ố
bình ph
ươ
ng trung bình
•
Mean absolute error - sai s
ố
tuy
ệ
t
ñố
i trung bình
•
Root mean squared error - c
ă
n b
ậ
c hai sai s
ố
bình ph
ươ
ng trung bình
•
Relative absolute error - sai s
ố
t
ươ
ng
ñố
i tuy
ệ
t
ñố
i
•
Root relative squared error - c
ă
n b
ậ
c hai sai s
ố
bình ph
ươ
ng t
ươ
ng
ñố
i
D
ự
a vào ma tr
ậ
n Confusion, m
ộ
t s
ố
ñộ
ñ
o (measure)
ñượ
c
ñư
a ra nh
ằ
m
ñ
ánh
giá m
ộ
t mô hình data mining
ñ
ã xây d
ự
ng nh
ư
sau:
Ma tr
ậ
n Confusion:
D
ự
ñ
oán là m
ẫ
u tích
c
ự
c
D
ự
ñ
oán là m
ẫ
u không
tích c
ự
c
M
ẫ
u tích c
ự
c th
ự
c t
ế
M
ẫ
u tích c
ự
c
ñ
úng (TP) M
ẫ
u không tích c
ự
c sai
(FN)
M
ẫ
u không tích c
ự
c
th
ự
c t
ế
M
ẫ
u tích c
ự
c sai (FP) M
ẫ
u tích c
ự
c
ñ
úng (TN)
18
•
T
ỷ
l
ệ
m
ẫ
u tích c
ự
c(Positive)
ñ
úng: TPrate = TP/(TP + FN)
•
T
ỷ
l
ệ
m
ẫ
u không tích c
ự
c (Negative)
ñ
úng: TNrate = TN/(TN + FP)
•
T
ỷ
l
ệ
m
ẫ
u tích c
ự
c sai: FPrate = FP/(TN + FP)
•
T
ỷ
l
ệ
m
ẫ
u không tích c
ự
c sai: FPrate = FN/(TP + FN)
•
Giá tr
ị
d
ự
ñ
oán m
ẫ
u tích c
ự
c: PPvalue = TP/(TP + FP)
•
Giá tr
ị
d
ự
ñ
oán m
ẫ
u không tích c
ự
c: NPvalue = TN/(TN + FN)
M
ộ
t s
ố
các
ñộ
ñ
o khác là:
•
F-measure:
N
ế
u ch
ỉ
các l
ớ
p tích c
ự
c
ñượ
c xem xét thì hai
ñộ
ñ
o quan tr
ọ
ng là TPrate
và PPvalue. TPrate
ñượ
c
ñị
nh ngh
ĩ
a là recall (R): R = TPrate = TP/(TP + FN)
Giá tr
ị
d
ự
ñ
oán m
ẫ
u tích c
ự
c
ñượ
c
ñị
nh ngh
ĩ
a là precision (P): P =
PPvalue = TP/ (TP + FP). F-measure (F)
ñượ
c
ñề
xu
ấ
t
ñể
k
ế
t h
ợ
p hai
ñộ
ñ
o trên
thành m
ộ
t giá tr
ị
trung bình: F-measure = 2RP/(R +P).
V
ề
nguyên t
ắ
c, F-measure bi
ể
u di
ễ
n m
ộ
t trung bình
ñ
i
ề
u hòa gi
ữ
a recall
và precision: F-measure = 2/(1/R + 1/P)
M
ộ
t F-measure có giá tr
ị
cao s
ẽ
b
ả
o
ñả
m c
ả
hai giá tr
ị
recall và precision
ñề
u cao.
•
ROC Area: di
ệ
n tích c
ủ
a vùng ROC (Receiver Operating Characteristic)
1.4 Ứng dụng KDD và Datamining
Khai phá d
ữ
li
ệ
u
ñượ
c
ứ
ng d
ụ
ng trong nhi
ề
u l
ĩ
nh v
ự
c khoa h
ọ
c khác nhau nh
ằ
m
khai thác ngu
ồ
n d
ữ
li
ệ
u phong phú
ñượ
c l
ư
u tr
ữ
trong các h
ệ
th
ố
ng thông tin. Tùy theo
b
ả
n ch
ấ
t c
ủ
a t
ừ
ng l
ĩ
nh v
ự
c, vi
ệ
c v
ậ
n d
ụ
ng khai phá d
ữ
li
ệ
u có nh
ữ
ng cách ti
ế
p c
ậ
n
khác nhau. DM c
ũ
ng
ñượ
c v
ậ
n d
ụ
ng hi
ệ
u qu
ả
ñể
gi
ả
i quy
ế
t các bài toán ph
ứ
c t
ạ
p trong
các ngành
ñ
òi h
ỏ
i k
ỹ
thu
ậ
t cao [10], nh
ư
tìm ki
ế
m m
ỏ
d
ầ
u t
ừ
ả
nh vi
ễ
n thám, xác
ñị
nh
các vùng gãy trong
ả
nh
ñị
a ch
ấ
t
ñể
d
ự
ñ
oán thiên tai, c
ả
nh báo h
ỏ
ng hóc trong các h
ệ
th
ố
ng s
ả
n xu
ấ
t,… Các bài toán này
ñ
ã
ñượ
c gi
ả
i quy
ế
t t
ừ
khá lâu b
ằ
ng các k
ỹ
thu
ậ
t
nh
ậ
n d
ạ
ng hay xác su
ấ
t nh
ư
ng
ñượ
c gi
ả
i quy
ế
t v
ớ
i yêu c
ầ
u cao h
ơ
n b
ở
i các k
ỹ
thu
ậ
t
c
ủ
a DM. Phân nhóm và d
ự
ñ
oán là nh
ữ
ng công c
ụ
r
ấ
t c
ầ
n thi
ế
t cho vi
ệ
c qui ho
ạ
ch và
phát tri
ể
n các h
ệ
th
ố
ng qu
ả
n lý và s
ả
n xu
ấ
t trong th
ự
c t
ế
. Các k
ỹ
thu
ậ
t DM
ñ
ã
ñượ
c áp
d
ụ
ng thành công trong vi
ệ
c d
ự
ñ
oán t
ả
i s
ử
d
ụ
ng
ñ
i
ệ
n n
ă
ng cho các công ty cung c
ấ
p
ñ
i
ệ
n, l
ư
u l
ượ
ng vi
ễ
n thông cho các công ty
ñ
i
ệ
n tho
ạ
i, m
ứ
c
ñộ
tiêu th
ụ
s
ả
n ph
ẩ
m cho
các nhà s
ả
n xu
ấ
t, giá tr
ị
c
ủ
a s
ả
n ph
ẩ
m trên th
ị
tr
ườ
ng cho các công ty tài chính hay
phân nhóm các khách hàng ti
ề
m n
ă
ng, [10] Ngoài ra, KPDL còn
ñượ
c áp d
ụ
ng cho
19
các v
ấ
n
ñề
xã h
ộ
i nh
ư
phát hi
ệ
n t
ộ
i ph
ạ
m hay t
ă
ng c
ườ
ng an ninh xã h
ộ
i. Vi
ệ
c v
ậ
n
d
ụ
ng thành công
ñ
ã mang l
ạ
i nh
ữ
ng hi
ệ
u qu
ả
thi
ế
t th
ự
c cho các ho
ạ
t
ñộ
ng di
ễ
n ra hàng
ngày trong
ñờ
i s
ố
ng [11].
Trong l
ĩ
nh v
ự
c tài chính ngân hàng, data mining
ñượ
c
ứ
ng d
ụ
ng cho các phân
tích r
ủ
i ro tín d
ụ
ng, phát hi
ệ
n gian l
ậ
n, ti
ế
p th
ị
, quan h
ệ
khách hàng, d
ự
báo t
ỷ
giá
ngo
ạ
i t
ệ
, qu
ả
n lý r
ủ
i ro tác nghi
ệ
p, làm s
ạ
ch d
ữ
li
ệ
u, ví d
ụ
[8, 12, 13]:
•
H
ệ
th
ố
ng
ñ
ánh giá r
ủ
i ro tín d
ụ
ng Falcon c
ủ
a HNC inc., s
ử
d
ụ
ng t
ỷ
l
ệ
l
ớ
n
các ngân hàng bán l
ẻ
ñể
xác
ñị
nh các giao d
ị
ch nghi ng
ờ
th
ẻ
tín d
ụ
ng.
•
H
ệ
th
ố
ng Skicat c
ủ
a JDL, các nhà thiên v
ă
n h
ọ
c s
ử
d
ụ
ng
ñể
xác
ñị
nh và
phân l
ớ
p các
ñố
i t
ượ
ng thiên v
ă
n.
•
H
ệ
th
ố
ng FAIS c
ủ
a FINCEN(Financial Crimes Enforcement Network) xác
ñị
nh các giao d
ị
ch tài chính mà có th
ể
ch
ỉ
ra r
ằ
ng là hành
ñộ
ng r
ử
a ti
ề
n…
•
Ngân hàng UBS
ñ
ã nghiên c
ứ
u s
ử
d
ụ
ng data mining
ñể
phát tri
ể
n các
ứ
ng
d
ụ
ng cho vi
ệ
c Marketing, r
ủ
i ro tín d
ụ
ng, qu
ả
n lý r
ủ
i ro và làm s
ạ
ch d
ữ
li
ệ
u;
•
Công ty StatSoft
ñ
ã s
ử
d
ụ
ng k
ỹ
thu
ậ
t data mining
ñể
phát tri
ể
n các công c
ụ
h
ỗ
tr
ợ
trong ho
ạ
t
ñộ
ng tài chính và ngân hàng;
•
Ngân hàng Dexia s
ử
d
ụ
ng data mining
ñể
t
ạ
o m
ộ
t mô hình cho vi
ệ
c bán
hàng chéo và nâng cao hi
ệ
u qu
ả
c
ủ
a vi
ệ
c bán hàng;
•
Ngân hàng HSBC c
ủ
a M
ỹ
ñ
ã s
ử
d
ụ
ng các công c
ụ
SPSS(các công c
ụ
s
ử
d
ụ
ng data mining) cho vi
ệ
c m
ở
r
ộ
ng quan h
ệ
v
ớ
i khách hàng, gi
ả
m chi phí
ti
ế
p th
ị
, ti
ế
p th
ị
ñế
n v
ớ
i khách hàng nhanh h
ơ
n,
Theo k
ế
t qu
ả
th
ă
m dò c
ủ
a Kdnuggets, Data mining
ñượ
c
ứ
ng d
ụ
ng nhi
ề
u nh
ấ
t
trong l
ĩ
nh v
ự
c ngân hàng,
ñồ
ng th
ờ
i l
ĩ
nh v
ự
c
ứ
ng d
ụ
ng Data mining thành công nh
ấ
t
c
ũ
ng là l
ĩ
nh v
ự
c ngân hàng, C
ụ
th
ể
nh
ư
sau:
20
Hình 1.3 -
Th
ă
m dò
ứ
ng d
ụ
ng Data mining, 08/2004 c
ủ
a Kdnuggets.
Hình 1.4 -
Th
ă
m dò
ứ
ng d
ụ
ng data mining thành công, 2005 c
ủ
a Kdnuggets.
21
Chương 2 - BÀI TOÁN DỰ ðOÁN RỦI RO TÍN DỤNG
2.1. Bài toán dự ñoán rủi ro tín dụng
R
ủ
i ro tín d
ụ
ng có th
ể
ñượ
c hi
ể
u là nguy c
ơ
m
ộ
t ng
ườ
i
ñ
i vay không th
ể
tr
ả
ñượ
c g
ố
c và/ho
ặ
c lãi
ñ
úng th
ờ
i h
ạ
n quy
ñị
nh (v
ỡ
n
ợ
). Hi
ệ
n nay, các ngân hàng th
ươ
ng
m
ạ
i s
ử
d
ụ
ng khái ni
ệ
m nhóm n
ợ
ñể
phân lo
ạ
i m
ứ
c
ñộ
r
ủ
i ro và trích l
ậ
p d
ự
phòng r
ủ
i
ro cho các kho
ả
n vay.
Theo quy
ñị
nh phân lo
ạ
i n
ợ
hi
ệ
n hành c
ủ
a Ngân hàng Nhà N
ướ
c (NHNN): T
ổ
ch
ứ
c tín d
ụ
ng th
ự
c hi
ệ
n phân lo
ạ
i n
ợ
theo n
ă
m (05) nhóm nh
ư
sau:
a)
Nhóm 1 (N
ợ
ñủ
tiêu chu
ẩ
n) g
ồ
m:
-
Các kho
ả
n n
ợ
trong h
ạ
n và t
ổ
ch
ứ
c tín d
ụ
ng
ñ
ánh giá là có kh
ả
n
ă
ng
thu h
ồ
i
ñầ
y
ñủ
c
ả
g
ố
c và lãi
ñ
úng h
ạ
n;
-
Các kho
ả
n n
ợ
quá h
ạ
n d
ướ
i 10 ngày và t
ổ
ch
ứ
c tín d
ụ
ng
ñ
ánh giá là
có kh
ả
n
ă
ng thu h
ồ
i
ñầ
y
ñủ
g
ố
c và lãi b
ị
quá h
ạ
n và thu h
ồ
i
ñầ
y
ñủ
g
ố
c và lãi
ñ
úng th
ờ
i h
ạ
n còn l
ạ
i;
b)
Nhóm 2 (N
ợ
c
ầ
n chú ý):
-
Các kho
ả
n n
ợ
quá h
ạ
n t
ừ
10 ngày
ñế
n 90 ngày;
-
Các kho
ả
n n
ợ
ñ
i
ề
u ch
ỉ
nh k
ỳ
h
ạ
n tr
ả
n
ợ
l
ầ
n
ñầ
u (
ñố
i v
ớ
i khách hàng là
doanh nghi
ệ
p, t
ổ
ch
ứ
c thì t
ổ
ch
ứ
c tín d
ụ
ng ph
ả
i có h
ồ
s
ơ
ñ
ánh giá
khách hàng v
ề
kh
ả
n
ă
ng tr
ả
n
ợ
ñầ
y
ñủ
n
ợ
g
ố
c và lãi
ñ
úng k
ỳ
h
ạ
n
ñượ
c
ñ
i
ề
u ch
ỉ
nh l
ầ
n
ñầ
u);
c)
Nhóm 3 (N
ợ
d
ướ
i tiêu chu
ẩ
n):
-
Các kho
ả
n n
ợ
quá h
ạ
n t
ừ
91 ngày
ñế
n 180 ngày;
-
Các kho
ả
n n
ợ
c
ơ
c
ấ
u l
ạ
i th
ờ
i h
ạ
n tr
ả
n
ợ
l
ầ
n
ñầ
u, tr
ừ
các kho
ả
n n
ợ
ñ
i
ề
u ch
ỉ
nh k
ỳ
h
ạ
n tr
ả
n
ợ
l
ầ
n
ñầ
u phân lo
ạ
i vào nhóm 2 theo quy
ñị
nh
t
ạ
i ph
ầ
n b
ở
trên;
-
Các kho
ả
n n
ợ
ñượ
c mi
ễ
n ho
ặ
c gi
ả
m lãi do khách hàng không
ñủ
kh
ả
n
ă
ng tr
ả
lãi
ñầ
y
ñủ
theo h
ợ
p
ñồ
ng tín d
ụ
ng;
d)
Nhóm 4 (N
ợ
nghi ng
ờ
):
-
Các kho
ả
n n
ợ
quá h
ạ
n t
ừ
181 ngày
ñế
n 360 ngày;
-
Các kho
ả
n n
ợ
c
ơ
c
ấ
u l
ạ
i th
ờ
i h
ạ
n tr
ả
n
ợ
l
ầ
n
ñầ
u quá h
ạ
n d
ướ
i 90 ngày
theo th
ờ
i h
ạ
n tr
ả
n
ợ
ñượ
c c
ơ
c
ấ
u l
ạ
i l
ầ
n
ñầ
u;
-
Các kho
ả
n n
ợ
c
ơ
c
ấ
u l
ạ
i th
ờ
i h
ạ
n tr
ả
n
ợ
l
ầ
n th
ứ
hai;
22
e)
Nhóm 5 (N
ợ
có kh
ả
n
ă
ng m
ấ
t v
ố
n):
-
Các kho
ả
n n
ợ
quá h
ạ
n trên 360 ngày;
-
Các kho
ả
n n
ợ
c
ơ
c
ấ
u l
ạ
i th
ờ
i h
ạ
n tr
ả
n
ợ
l
ầ
n
ñầ
u quá h
ạ
n t
ừ
90 ngày
tr
ở
lên theo th
ờ
i h
ạ
n tr
ả
n
ợ
ñượ
c c
ơ
c
ấ
u l
ạ
i l
ầ
n
ñầ
u;
-
Các kho
ả
n n
ợ
c
ơ
c
ấ
u l
ạ
i th
ờ
i h
ạ
n tr
ả
n
ợ
l
ầ
n th
ứ
hai quá h
ạ
n theo th
ờ
i
h
ạ
n tr
ả
n
ợ
ñượ
c c
ơ
c
ấ
u l
ạ
i l
ầ
n th
ứ
hai;
-
Các kho
ả
n n
ợ
c
ơ
c
ấ
u l
ạ
i th
ờ
i h
ạ
n tr
ả
n
ợ
l
ầ
n th
ứ
ba tr
ở
lên, k
ể
c
ả
ch
ư
a
b
ị
quá h
ạ
n ho
ặ
c
ñ
ã quá h
ạ
n;
-
Các kho
ả
n n
ợ
khoanh, n
ợ
ch
ờ
x
ử
lý;
Các nhóm n
ợ
1, 2, 3, 4 hay 5
ñ
ôi khi
ñượ
c ánh x
ạ
thành các nhóm n
ợ
A, B, C,
D hay E t
ươ
ng
ứ
ng [14].
Nh
ư
v
ậ
y, m
ỗ
i kho
ả
n vay sau ngày
ñ
áo h
ạ
n
ñề
u
ñượ
c phân lo
ạ
i vào m
ộ
t trong
n
ă
m nhóm n
ợ
trên. M
ỗ
i nhóm n
ợ
bi
ể
u di
ễ
n m
ộ
t m
ứ
c
ñộ
r
ủ
i ro c
ủ
a kho
ả
n vay
ñ
ó. Vì
v
ậ
y trong lu
ậ
n v
ă
n này, tôi s
ử
d
ụ
ng nhóm n
ợ
c
ủ
a kho
ả
n vay
ñể
bi
ể
u di
ễ
n m
ứ
c
ñộ
r
ủ
i ro
c
ủ
a kho
ả
n vay
ñ
ó. Bài toán d
ự
ñ
oán r
ủ
i ro tín d
ụ
ng là vi
ệ
c d
ự
ñ
oán nhóm n
ợ
ñượ
c
phân lo
ạ
i sau ngày
ñ
áo h
ạ
n c
ủ
a các kho
ả
n vay.
M
ỗ
i kho
ả
n vay bao g
ồ
m các thông tin liên quan
ñế
n khách hàng, tài s
ả
n b
ả
o
ñả
m c
ủ
a kho
ả
n vay, ph
ươ
ng án s
ả
n xu
ấ
t kinh doanh và các thông tin khác liên quan
ñế
n kho
ả
n vay. M
ụ
c
ñ
ích c
ủ
a bài toán là d
ự
a vào các thông tin
ñ
ó
ñể
ñư
a ra d
ự
ñ
oán
nhóm n
ợ
(nhóm 1 hay nhóm A, nhóm 2 hay nhóm B, nhóm 3 hay nhóm C, nhóm 4
hay nhóm D, ho
ặ
c nhóm 5 hay nhóm E) mà kho
ả
n vay
ñ
ó
ñượ
c phân lo
ạ
i sau ngày
ñ
áo
h
ạ
n.
2.2. Thông tin về một khoản vay
Trong lu
ậ
n v
ă
n này, tôi s
ử
d
ụ
ng m
ộ
t t
ậ
p d
ữ
li
ệ
u c
ủ
a m
ộ
t l
ớ
p khách hàng là
doanh nghi
ệ
p và ch
ỉ
ch
ọ
n các kho
ả
n vay có tài s
ả
n b
ả
o
ñả
m c
ủ
a Ngân hàng cho m
ụ
c
ñ
ích nghiên c
ứ
u.
Thông tin chính c
ủ
a kho
ả
n vay bao g
ồ
m thông tin v
ề
khách hàng vay v
ố
n,
thông tin v
ề
tài s
ả
n b
ả
o
ñả
m và thông tin liên quan
ñế
n ph
ươ
ng án s
ả
n xu
ấ
t kinh
doanh. Nh
ữ
ng thông tin này c
ủ
a m
ộ
t kho
ả
n vay là r
ấ
t nhi
ề
u. Tuy nhiên tôi ch
ỉ
l
ự
a ch
ọ
n
nh
ữ
ng thông có th
ể
ả
nh h
ưở
ng
ñế
n r
ủ
i ro c
ủ
a kho
ả
n vay, còn nh
ữ
ng thông tin khác
ñượ
c l
ượ
c b
ỏ
kh
ỏ
i t
ậ
p d
ữ
li
ệ
u s
ử
d
ụ
ng cho bài toán. Nh
ữ
ng thông tin liên quan
ñế
n
kho
ả
n vay
ñượ
c s
ử
d
ụ
ng cho bài toán bao g
ồ
m:
2.2.1. Thông tin về khách hàng vay vốn
Nh
ữ
ng thông tin liên quan
ñế
n khách hàng vay v
ố
n bao g
ồ
m:
23
•
Lo
ạ
i hình doanh nghi
ệ
p c
ủ
a khách hàng: là doanh nghi
ệ
p(DN) nhà n
ướ
c trung
ươ
ng, DN nhà n
ướ
c
ñị
a ph
ươ
ng, DN t
ậ
p th
ể
, DN t
ư
nhân, DN n
ướ
c ngoài,…
•
ðị
a ch
ỉ
c
ủ
a khách hàng: là t
ỉ
nh/thành ph
ố
khách hàng, ví d
ụ
: thành ph
ố
H
ồ
Chí
Minh, thành ph
ố
Hà n
ộ
i, …
•
Thành ph
ầ
n kinh t
ế
: là thành ph
ầ
n kinh t
ế
c
ủ
a khách hàng, nh
ư
: Kinh t
ế
nhà
n
ướ
c trung
ươ
ng, Kinh t
ế
nhà n
ướ
c
ñị
a ph
ươ
ng,…
•
Ngành kinh t
ế
: là ngành kinh t
ế
c
ủ
a khách hàng, nh
ư
: v
ậ
n t
ả
i, nhà hàng, …
•
ð
ánh giá khách hàng: là
ñ
ánh giá c
ủ
a Ngân hàng v
ề
khách hàng, nh
ư
: Khách
hàng
ñặ
c bi
ệ
t, Khách hàng t
ố
t, Khách hàng trung bình,…
•
Khách hàng chi
ế
n l
ượ
c c
ủ
a ngân hàng: là khách hàng chi
ế
n l
ượ
c c
ủ
a ngân hàng
hay không, nh
ư
“Yes” là khách hàng chi
ế
n l
ượ
c còn “No” là khách hàng không
ph
ả
i là khách hàng chi
ế
n l
ượ
c.
•
Khách hàng có quan h
ệ
v
ớ
i nhi
ề
u t
ổ
ch
ứ
c tín d
ụ
ng:
ñể
phân bi
ệ
t khách hàng có
quan h
ệ
v
ớ
i nhi
ề
u t
ổ
ch
ứ
c tín d
ụ
ng (“Yes”) hay ch
ỉ
có quan h
ệ
tín d
ụ
ng v
ớ
i
Ngân hàng (“No”).
•
Khách hàng v
ượ
t gi
ớ
i h
ạ
n tín d
ụ
ng: là thu
ộ
c tính
ñể
phân bi
ệ
t khách hàng
ñ
ã
v
ượ
t h
ạ
n m
ứ
c do Ngân hàng c
ấ
p phép ban
ñầ
u (“Yes”) hay còn n
ằ
m trong h
ạ
n
m
ứ
c cho phép c
ủ
a khách hàng (“No”).
2.2.2. Thông tin về phương án sản xuất kinh doanh
Thông tin v
ề
ph
ươ
ng án s
ả
n xu
ấ
t kinh doanh c
ủ
a m
ỗ
i kho
ả
n vay bao g
ồ
m:
•
S
ả
n ph
ẩ
m c
ủ
a kho
ả
n vay: là s
ả
n ph
ẩ
m cho vay do Ngân hàng cung c
ấ
p cho
khách hàng nh
ư
: cho vay ph
ụ
c v
ụ
tiêu dùng, cho vay ph
ụ
c v
ụ
y t
ế
, cho vay
ñầ
u
t
ư
ch
ứ
ng khoán, cho vay
ñầ
u t
ư
b
ấ
t
ñộ
ng s
ả
n,…
•
Th
ờ
i h
ạ
n c
ủ
a kho
ả
n vay: là th
ờ
i h
ạ
n c
ủ
a kho
ả
n vay và
ñế
n ngày cu
ố
i cùng c
ủ
a
th
ờ
i h
ạ
n khách hàng ph
ả
i tr
ả
ñầ
y
ñủ
c
ả
g
ố
c và lãi. Ví d
ụ
: 3 tháng, 4 tháng, 5
tháng, ….
•
Lo
ạ
i
ñồ
ng ti
ề
n c
ủ
a kho
ả
n vay: là lo
ạ
i ti
ề
n mà khách hàng nh
ậ
n vay t
ừ
Ngân
hàng, nh
ư
: VN
ð
, USD, EUR, …
•
S
ố
ti
ề
n xin vay: là s
ố
ti
ề
n khách hàng xin vay và
ñượ
c ngân hàng ch
ấ
p nh
ậ
n cho
vay. Ví d
ụ
: 1 t
ỷ
VND, 2 t
ỷ
VND, …
•
M
ụ
c
ñ
ích vay v
ố
n: là m
ụ
c
ñ
ích vay v
ố
n c
ủ
a khách hàng, nh
ư
chi phí ph
ụ
c v
ụ
s
ả
n xu
ấ
t, tiêu dùng, kinh doanh, …
24
•
Kho
ả
n vay tu
ầ
n hoàn: kho
ả
n vay có ph
ả
i là kho
ả
n vay tu
ầ
n hoàn (“R”) hay
không (“N”).
•
Hình th
ứ
c b
ả
o
ñả
m: kho
ả
n vay
ñượ
c b
ả
o
ñả
m m
ộ
t ph
ầ
n(“P”), hay toàn
ph
ầ
n(“S”).
2.2.3. Thông tin liên quan ñến tài sản bảo ñảm (TSBD)
Thông tin liên quan
ñế
n tài s
ả
n b
ả
o
ñả
m bao g
ồ
m:
•
Nhóm TSBD: là nhóm tài s
ả
n
ñượ
c quy
ñị
nh trong h
ệ
th
ố
ng Ngân hàng, nh
ư
:
nhóm máy móc dây chuy
ề
n, nhóm tài s
ả
n b
ấ
t
ñộ
ng s
ả
n,…
•
Ph
ầ
n tr
ă
m b
ả
o
ñả
m: là ph
ầ
n
ñượ
c tính trên giá tr
ị
TSBD
ñể
tính s
ố
ti
ề
n b
ả
o
ñả
m
cho kho
ả
n vay nh
ư
: 50%, 70%, 100%.
2.2.4. Thông tin khác
Ngoài các thông tin trên, m
ỗ
i kho
ả
n vay còn có m
ộ
t s
ố
thông tin khác có th
ể
ả
nh h
ưở
ng
ñế
n m
ứ
c
ñộ
r
ủ
i ro c
ủ
a kho
ả
n vay là Chi nhánh cho vay: là chi nhánh c
ủ
a
ngân hàng th
ự
c hi
ệ
n vi
ệ
c cho khách hàng vay v
ố
n.
2.3. Dữ liệu sử dụng cho bài toán
Trong lu
ậ
n v
ă
n này, tôi l
ấ
y ng
ẫ
u nhiên 32,393 kho
ả
n vay
ñ
ã
ñượ
c phân lo
ạ
i sau
ngày
ñ
áo h
ạ
n trong d
ữ
li
ệ
u c
ủ
a Ngân hàng. T
ậ
p d
ữ
li
ệ
u này không ph
ả
n ánh chính xác
toàn b
ộ
d
ữ
li
ệ
u c
ủ
a Ngân hàng, tuy nhiên s
ự
phân b
ố
gi
ữ
a các nhóm n
ợ
t
ươ
ng
ñố
i
gi
ố
ng v
ớ
i s
ự
phân b
ố
c
ủ
a toàn b
ộ
d
ữ
li
ệ
u.
ðặ
c
ñ
i
ể
m c
ủ
a d
ữ
li
ệ
u: T
ỷ
l
ệ
n
ợ
x
ấ
u (n
ợ
nhóm 3, 4 và 5) c
ủ
a Ngân hàng công
th
ươ
ng Vi
ệ
t Nam luôn
ở
m
ứ
c th
ấ
p, c
ụ
th
ể
là cu
ố
i n
ă
m 2007 t
ỷ
l
ệ
n
ợ
x
ấ
u là 1.02 %
[15]. M
ặ
c dù d
ư
n
ợ
c
ủ
a t
ừ
ng kho
ả
n vay là khác nhau, nh
ư
ng v
ớ
i
ñặ
c
ñ
i
ể
m trên ta có
th
ể
nh
ậ
n th
ấ
y r
ằ
ng s
ố
kho
ả
n vay có nhóm n
ợ
1 và 2 s
ẽ
chi
ế
m ch
ủ
y
ế
u, còn s
ố
kho
ả
n
vay có nhóm n
ợ
3, 4 và 5 s
ẽ
chi
ế
m t
ỷ
l
ệ
r
ấ
t th
ấ
p. Vì v
ậ
y t
ậ
p d
ữ
li
ệ
u c
ủ
a bài toán s
ẽ
là
d
ữ
li
ệ
u không cân b
ằ
ng (imbalanced data).
Bài toán d
ự
ñ
oán r
ủ
i ro tín d
ụ
ng ph
ả
i x
ử
lý trên t
ậ
p d
ữ
li
ệ
u không cân b
ằ
ng.
Nên vi
ệ
c áp d
ụ
ng các k
ỹ
thu
ậ
t khai phá d
ữ
li
ệ
u cho bài toán c
ầ
n xem xét
ñế
n khía c
ạ
nh
d
ữ
li
ệ
u không cân b
ằ
ng.
25
Chương 3 - XỬ LÝ DỮ LIỆU DỰ ðOÁN RỦI RO TÍN DỤNG
3.1. Tiền xử lý dữ liệu
D
ữ
li
ệ
u
ñượ
c s
ử
d
ụ
ng
ñể
khai phá d
ữ
li
ệ
u th
ườ
ng
ñượ
c l
ấ
y t
ừ
nhi
ề
u ngu
ồ
n khác
nhau;
ñượ
c l
ư
u tr
ữ
trong nhi
ề
u n
ă
m, trên các thi
ế
t b
ị
khác nhau;
ñị
nh d
ạ
ng d
ữ
li
ệ
u có
th
ể
khác nhau.
ð
i
ề
u
ñ
ó d
ẫ
n
ñế
n d
ữ
li
ệ
u có th
ể
không
ñầ
y
ñủ
, nhi
ễ
u ho
ặ
c mâu thu
ẫ
n. Ví
d
ụ
d
ữ
li
ệ
u có th
ể
g
ồ
m:
•
Các tr
ườ
ng d
ữ
li
ệ
u l
ỗ
i th
ờ
i ho
ặ
c d
ư
th
ừ
a,
•
Các giá tr
ị
thi
ế
u,
•
Outliers,
•
D
ữ
li
ệ
u trong m
ộ
t bi
ể
u m
ẫ
u không thích h
ợ
p cho các mô hình khai phá d
ữ
li
ệ
u,
•
Các giá tr
ị
không phù h
ợ
p v
ớ
i chính sách ho
ặ
c ý ngh
ĩ
a thông th
ườ
ng.
Trong khi
ñ
ó, ch
ấ
t l
ượ
ng d
ữ
li
ệ
u là chìa khóa thành công c
ủ
a khai phá d
ữ
li
ệ
u.
Vì v
ậ
y
ñể
nâng cao
ñộ
chính xác c
ủ
a khai phá d
ữ
li
ệ
u, chúng ta ph
ả
i th
ự
c hi
ệ
n ti
ề
n x
ử
lý d
ữ
li
ệ
u nh
ằ
m t
ă
ng ch
ấ
t l
ượ
ng c
ủ
a d
ữ
li
ệ
u ph
ụ
c v
ụ
công vi
ệ
c khai phá. Dorian Pyle
ñ
ã
ñư
a ra
ñ
ánh giá r
ằ
ng ti
ề
n x
ử
lý d
ữ
li
ệ
u chi
ế
m kho
ả
ng 60% trên t
ổ
ng th
ờ
i gian c
ủ
a c
ả
quá trình khai phá d
ữ
li
ệ
u [16].
3.1.1. Công việc tiền xử lý dữ liệu
Quá trình ti
ề
n x
ử
lý d
ữ
li
ệ
u bao g
ồ
m 4 công vi
ệ
c chính là: làm s
ạ
ch d
ữ
li
ệ
u, tích
h
ợ
p và bi
ế
n
ñổ
i d
ữ
li
ệ
u, rút ng
ọ
n d
ữ
li
ệ
u và r
ờ
i r
ạ
c hóa d
ữ
li
ệ
u (Data discretization).
Hình 3.1 –
Mô ph
ỏ
ng các công vi
ệ
c ti
ề
n x
ử
lý d
ữ
li
ệ
u.
26
•
Làm sạch dữ liệu
Trong th
ự
c t
ế
, d
ữ
li
ệ
u th
ườ
ng không
ñầ
y
ñủ
nh
ư
giá tr
ị
thi
ế
u, thu
ộ
c tính thi
ế
u,
ho
ặ
c ch
ỉ
ch
ứ
a d
ữ
li
ệ
u k
ế
t h
ợ
p l
ạ
i; d
ữ
li
ệ
u nhi
ễ
u g
ồ
m l
ỗ
i ho
ặ
c outlier; d
ữ
li
ệ
u mâu
thu
ẫ
n nh
ư
s
ự
không nh
ấ
t quán c
ủ
a cùng m
ộ
t tr
ườ
ng d
ữ
li
ệ
u. Vì v
ậ
y chúng ta c
ầ
n ph
ả
i
làm s
ạ
ch d
ữ
li
ệ
u. Làm s
ạ
ch d
ữ
li
ệ
u bao g
ồ
m m
ộ
t s
ố
các công vi
ệ
c nh
ư
sau:
Xử lý các giá trị thiếu
: có r
ấ
t nhi
ề
u ph
ươ
ng pháp
ñể
x
ử
lý các giá tr
ị
thi
ế
u trong t
ậ
p
d
ữ
li
ệ
u nh
ư
:
•
S
ử
d
ụ
ng giá tr
ị
trung bình c
ủ
a thu
ộ
c tính
•
S
ử
d
ụ
ng giá tr
ị
trung bình c
ủ
a thu
ộ
c tính cho t
ấ
t c
ả
các ví d
ụ
thu
ộ
c cùng m
ộ
t
l
ớ
p
•
S
ử
d
ụ
ng giá tr
ị
có th
ể
x
ả
y ra nh
ấ
t d
ự
a trên d
ữ
li
ệ
u hi
ệ
n t
ạ
i (thông qua cây quy
ế
t
ñị
nh, Bayesian, …). Ví d
ụ
: giá tr
ị
nào có th
ể
x
ả
y ra nh
ấ
t c
ủ
a thu
ộ
c tính l
ươ
ng
c
ủ
a ng
ườ
i có
ñộ
tu
ổ
i x và trình
ñộ
y d
ự
a trên các d
ữ
li
ệ
u khác hi
ệ
n có?
Tìm ra dữ liệu nhiễu:
•
S
ử
d
ụ
ng bi
ể
u
ñồ
d
ữ
li
ệ
u (Histogram): phân tích s
ự
phân b
ổ
d
ữ
li
ệ
u
•
Phân tích c
ụ
m: phân tích d
ữ
li
ệ
u
ñể
tìm ra nh
ữ
ng b
ả
n ghi n
ằ
m ngoài m
ộ
t c
ụ
m
b
ấ
t k
ỳ
c
ủ
a t
ậ
p d
ữ
li
ệ
u.
•
H
ồ
i quy: s
ử
d
ụ
ng các hàm h
ồ
i quy
Làm phẳng dữ liệu nhiễu: (Smoothing Noisy Data)
•
Binning: s
ắ
p x
ế
p d
ữ
li
ệ
u vào trong các kh
ố
i (Buckets)
Ví d
ụ
:
B
ướ
c 1: chia các giá tr
ị
ñượ
c s
ắ
p x
ế
p vào 3 bin có kích th
ướ
c b
ằ
ng
nhau.
B
ướ
c 2: làm ph
ẳ
ng b
ằ
ng các giá tr
ị
trung bình/
ñườ
ng biên c
ủ
a bin
gi
ả
m các giá tr
ị
riêng bi
ệ
t và tránh outlier
4, 8, 15, 21, 21, 24, 25, 28, 34
Bin 1: 4, 8, 15
Bin 2: 21, 21, 24
Bin 3: 25, 28, 34
•
Làm ph
ẳ
ng theo giá tr
ị
trung bình c
ủ
a bin ta có:
Bin 1: 9, 9, 9
27
Bin 2: 22, 22, 22
Bin 3: 29, 29, 29
•
Làm ph
ẳ
ng theo
ñườ
ng biên ta có:
Bin 1: 4, 4, 15
Bin 2: 21, 21, 24
Bin 3: 25, 25, 34
•
Concept Hierarchy: ví d
ụ
bi
ể
u di
ễ
n các giá tr
ị
s
ố
c
ủ
a tr
ườ
ng tu
ổ
i là tr
ẻ
, trung
niên và già.
•
Lo
ạ
i b
ỏ
outlier: outlier là d
ữ
li
ệ
u n
ằ
m ngoài ph
ạ
m vi ho
ặ
c không nh
ấ
t quán v
ớ
i
d
ữ
li
ệ
u còn l
ạ
i.
ðể
th
ự
c vi
ệ
c lo
ạ
i b
ỏ
các outlier, ng
ườ
i ta th
ườ
ng s
ử
d
ụ
ng các
ph
ươ
ng pháp:
S
ử
d
ụ
ng bi
ể
u
ñồ
d
ữ
li
ệ
u
Phân c
ụ
m d
ữ
li
ệ
u:
ñể
tìm ra các c
ụ
m và tìm ra các giá tr
ị
n
ằ
m ngoài
các c
ụ
m. Nh
ư
hình v
ẽ
mô ph
ỏ
ng d
ướ
i
ñ
ây:
Hình 3.2 -
Minh h
ọ
a phân c
ụ
m d
ữ
li
ệ
u
H
ồ
i quy: tìm
ñườ
ng
ñ
i
ề
u ch
ỉ
nh t
ố
t nh
ấ
t cho các
ñ
i
ể
m d
ữ
li
ệ
u hi
ệ
n t
ạ
i.
Các
ñ
i
ể
m d
ữ
li
ệ
u không kh
ớ
p v
ớ
i
ñườ
ng trên là outler.
Ví d
ụ
: y = x là
ñườ
ng
ñ
i
ề
u ch
ỉ
nh t
ố
t nh
ấ
t cho d
ữ
li
ệ
u hi
ệ
n t
ạ
i, t
ừ
ñ
ó s
ẽ
nh
ậ
n th
ấ
y 3
ñ
i
ể
m là outlier. Nh
ư
trong hình v
ẽ
sau:
28
Hình 3.3 -
Bi
ể
u di
ễ
n tìm Outlier b
ằ
ng h
ồ
i quy
Xử lý dữ liệu mâu thuẫn
-
S
ử
d
ụ
ng các ph
ụ
thu
ộ
c hàm
ñ
ã bi
ế
t: ví d
ụ
item# -> Item
-
Duy
ệ
t l
ạ
i tích h
ợ
p d
ữ
li
ệ
u, vì có th
ể
m
ộ
t s
ố
mâu thu
ẫ
n v
ẫ
n t
ồ
n t
ạ
i do tên khác
nhau c
ủ
a cùng thu
ộ
c tính
•
Tích h
ợ
p d
ữ
li
ệ
u
D
ữ
li
ệ
u
ñượ
c l
ấ
y t
ừ
nhi
ề
u ngu
ồ
n khác nhau, nên có th
ể
:
-
Cùng khái ni
ệ
m nh
ư
ng khác tên thu
ộ
c tính
-
Cùng giá tr
ị
nh
ư
ng bi
ể
u di
ễ
n khác nhau
-
L
ặ
p l
ạ
i trong các ngu
ồ
n khác nhau
D
ẫ
n
ñế
n d
ữ
li
ệ
u mâu thu
ẫ
n và d
ư
th
ừ
a
Vì v
ậ
y, c
ầ
n ph
ả
i tích h
ợ
p d
ữ
li
ệ
u
ñể
h
ợ
p nh
ấ
t các ngu
ồ
n khác nhau vào m
ộ
t kho,
th
ườ
ng là data warehouse. Các ph
ươ
ng pháp th
ườ
ng
ñượ
c s
ử
d
ụ
ng là:
-
S
ử
d
ụ
ng metadata
-
Phân tích s
ự
t
ươ
ng quan (
ñ
ánh giá s
ự
áp
ñả
o c
ủ
a m
ộ
t thu
ộ
c tính v
ớ
i thu
ộ
c tính
khác)
•
Bi
ế
n
ñổ
i d
ữ
li
ệ
u
-
Ph
ạ
m v
ị
các giá tr
ị
c
ủ
a các thu
ộ
c tính (
ñặ
c tính) khác nhau, d
ẫ
n
ñế
n m
ộ
t thu
ộ
c
tính có th
ể
áp
ñả
o thu
ộ
c tính khác.
-
Gi
ả
i pháp: chu
ẩ
n hóa nh
ư
chia t
ỷ
l
ệ
các giá tr
ị
d
ữ
li
ệ
u trong m
ộ
t dãy nh
ư
[0
1], [-1 1] ng
ă
n c
ả
n các thu
ộ
c có nhi
ề
u giá tr
ị
h
ơ
n v
ớ
i m
ộ
t ph
ạ
m vi l
ớ
n. ví d
ụ
“l
ươ
ng” có ph
ạ
m vi d
ữ
li
ệ
u l
ớ
n h
ơ
n nhi
ề
u so v
ớ
i các thu
ộ
c tính nh
ư
“tu
ổ
i”. M
ộ
t
s
ố
ph
ươ
ng pháp th
ườ
ng
ñượ
c s
ử
d
ụ
ng là:
-
Co dãn giá tr
ị
d
ữ
li
ệ
u vào m
ộ
t dãy b
ằ
ng vi
ệ
c s
ử
d
ụ
ng m
ộ
t s
ố
ph
ươ
ng pháp nh
ư
:
Min-Max, Z-Score và co dãn th
ậ
p phân.
29
Chu
ẩ
n hóa d
ữ
li
ệ
u Min-Max: bi
ế
n
ñổ
i tuy
ế
n tính dãy
ñầ
u vào ban
ñầ
u vào trong
m
ộ
t dãy d
ữ
li
ệ
u ch
ỉ
ñị
nh m
ớ
i (c
ụ
th
ể
0-1).
min')min'(max'
min
max
min
'
+−
−
−
=
y
y
Giá tr
ị
nh
ỏ
nh
ấ
t c
ũ
ñượ
c ánh x
ạ
t
ớ
i giá tr
ị
nh
ỏ
nh
ấ
t m
ớ
i, min’; Giá tr
ị
l
ớ
n nh
ấ
t
c
ũ
ñượ
c ánh x
ạ
t
ớ
i giá tr
ị
l
ớ
n nh
ấ
t m
ớ
i, max’; y là giá tr
ị
ban
ñầ
u và y’ là giá tr
ị
m
ớ
i
Ví d
ụ
: gi
ả
s
ử
giá tr
ị
c
ũ
ñượ
c s
ắ
p x
ế
p t
ừ
1-100, ta s
ẽ
thu v
ề
dãy giá tr
ị
t
ươ
ng
ứ
ng
t
ừ
5
ñế
n 10 nh
ư
sau:
y’ = y/20 + 5
y=0 -> y’=5,…
-
Chu
ẩ
n hóa d
ữ
li
ệ
u Z-Score: h
ữ
u ích khi min và max không bi
ế
t ho
ặ
c outlier tr
ộ
i
h
ơ
n giá tr
ị
min-max. M
ụ
c
ñ
ích là h
ầ
u h
ế
t d
ữ
li
ệ
u s
ẽ
l
ệ
ch v
ớ
i d
ữ
li
ệ
u c
ũ
v
ớ
i
ñộ
l
ệ
ch chu
ẩ
n. N
ế
u ph
ầ
n l
ớ
n d
ữ
li
ệ
u n
ằ
m kho
ả
ng 50
ñế
n 100, nh
ư
ng ta có m
ộ
t vài
ñ
i
ể
m d
ữ
li
ệ
u ngoài dãy
ñ
ó, z-score s
ẽ
nén h
ầ
u h
ế
t d
ữ
li
ệ
u vào dãy nh
ỏ
h
ơ
n.
std
meany
y
−
='
-
Chu
ẩ
n hóa d
ữ
li
ệ
u co dãn th
ậ
p phân: Chia giá tr
ị
cho 10
n
, trong
ñ
ó n là s
ố
ch
ữ
s
ố
c
ủ
a giá tr
ị
l
ớ
n nh
ấ
t
Y’=y/10
n
Ví d
ụ
: X=900 là giá tr
ị
l
ớ
n nh
ấ
t -> n=3 => 900 co l
ạ
i thành 0.009
•
Rút ng
ọ
n d
ữ
li
ệ
u
-
V
ớ
i s
ố
l
ượ
ng l
ớ
n d
ữ
li
ệ
u d
ẫ
n
ñế
n gi
ả
m hi
ệ
u qu
ả
và phân tích khó.
-
Gi
ả
i pháp: Rút g
ọ
n d
ữ
li
ệ
u
ñể
rút g
ọ
n t
ậ
p d
ữ
li
ệ
u l
ớ
n thành bi
ể
u di
ễ
n nh
ỏ
h
ơ
n
mà có th
ể
ñư
a ra cùng phân tích.
ðể
t
ă
ng hi
ệ
u qu
ả
, có th
ể
rút g
ọ
n d
ữ
li
ệ
u l
ớ
n
thành bi
ể
u di
ễ
n nh
ỏ
h
ơ
n, m
ộ
t s
ố
ph
ươ
ng pháp th
ườ
ng
ñượ
c s
ử
d
ụ
ng là:
K
ế
t h
ợ
p d
ữ
li
ệ
u (cube d
ữ
li
ệ
u)
Rút g
ọ
n chi
ề
u/thu
ộ
c tính
Cô
ñọ
ng d
ữ
li
ệ
u
R
ờ
i r
ạ
c hóa (Discretization)
•
Data discretization và concept hierarchy
30
-
Chuy
ể
n d
ữ
li
ệ
u s
ố
(liên t
ụ
c) thành các giá tr
ị
rõ ràng
-
M
ộ
t s
ố
thu
ậ
t toán data mining ch
ỉ
ch
ấ
p nh
ậ
n các giá tr
ị
rõ ràng
3.1.2. Tiền xử lý dữ liệu dự ñoán rủi ro tín dụng
Trong lu
ậ
n v
ă
n này, tôi s
ử
d
ụ
ng ph
ầ
n m
ề
m Weka 3.5.8
ñể
th
ự
c hi
ệ
n vi
ệ
c x
ử
lý
d
ữ
li
ệ
u cho bài toán d
ự
ñ
oán r
ủ
i ro tín d
ụ
ng.
T
ậ
p d
ữ
li
ệ
u c
ủ
a bài toán
ñượ
c l
ấ
y t
ừ
m
ộ
t ngu
ồ
n (m
ộ
t h
ệ
th
ố
ng) và
ñ
ã
ñượ
c th
ự
c
hi
ệ
n k
ế
t n
ố
i t
ừ
nhi
ề
u b
ả
ng
ñể
thu
ñượ
c m
ộ
t b
ả
ng d
ữ
li
ệ
u g
ồ
m 32,393 b
ả
n ghi các
kho
ả
n vay. M
ỗ
i b
ả
n ghi g
ồ
m 19 tr
ườ
ng, trong
ñ
ó tr
ườ
ng
chỉ báo nợ
là thu
ộ
c tính c
ầ
n
d
ự
ñ
oán.
Thu
ộ
c tính th
ờ
i h
ạ
n kho
ả
n vay có giá tr
ị
là s
ố
nh
ư
: 1 tháng, 2 tháng, 3 tháng,…
Nh
ư
v
ậ
y, thu
ộ
c tính s
ẽ
ch
ứ
a r
ấ
t nhi
ề
u giá tr
ị
s
ố
khác nhau.
ð
i
ề
u này làm
ả
nh h
ưở
ng
ñế
n ch
ấ
t l
ượ
ng d
ữ
li
ệ
u và k
ế
t qu
ả
khai phá d
ữ
li
ệ
u.
ðể
không làm
ả
nh h
ưở
ng
ñế
n k
ế
t
qu
ả
khai phá d
ữ
li
ệ
u và không làm thay
ñổ
i b
ả
n ch
ấ
t c
ủ
a d
ự
li
ệ
u trong ho
ạ
t
ñộ
ng kinh
doanh c
ủ
a ngân hàng trong th
ự
c t
ế
, tôi
ñ
ã chuy
ể
n t
ậ
p giá tr
ị
s
ố
sang t
ậ
p giá tr
ị
r
ờ
i r
ạ
c.
C
ụ
th
ể
, thu
ộ
c tính th
ờ
i h
ạ
n kho
ả
n vay thay vì là các giá tr
ị
s
ố
1, 2, 3, 4, … tháng, tôi
chuy
ể
n thành các giá tr
ị
là NH – ng
ắ
n h
ạ
n, TH – trung h
ạ
n và DH – dài h
ạ
n. Trong
ñ
ó,
NH là các kho
ả
n vay có th
ờ
i h
ạ
n d
ướ
i ho
ặ
c b
ằ
ng 12 tháng; TH là các kho
ả
n vay có
th
ờ
i h
ạ
n l
ớ
n h
ơ
n 12 tháng và nh
ỏ
h
ơ
n 36 tháng; DH là các kho
ả
n vay có th
ờ
i h
ạ
n l
ớ
n
h
ơ
n 36 tháng.
Thu
ộ
c tính Thành ph
ầ
n kinh t
ế
(TPKT) ch
ứ
a các giá tr
ị
s
ố
, có 30 giá tr
ị
khác
nhau trong t
ậ
p d
ữ
li
ệ
u và s
ố
b
ả
n ghi thi
ế
u giá tr
ị
là 7. Các b
ả
n ghi thi
ế
u giá tr
ị
thu
ộ
c
tính Thành ph
ầ
n kinh t
ế
ñề
u thu
ộ
c l
ớ
p A,
ñ
ây là l
ớ
p chi
ế
m
ñ
a s
ố
trong t
ậ
p d
ữ
li
ệ
u. Vì
v
ậ
y tôi lo
ạ
i b
ỏ
nh
ữ
ng b
ả
n ghi thi
ế
u giá tr
ị
thu
ộ
c tính này.
Hình 3.4 -
Giao di
ệ
n weka phân tích thu
ộ
c tính Thành ph
ầ
n kinh t
ế
(TPKT).
