Tiểu luận môn hệ hỗ trợ quyết định NEURAL NETWORK VÀ ỨNG DỤNG TRONG NHẬN DIỆN THẺ TÍN DỤNG XẤU

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

CAO HỌC KHÓA 8

MÔN HỌC
HỆ HỖ TRỢ RA QUYẾT ĐỊNH
ĐỀ TÀI
NEURAL NETWORK VÀ ỨNG DỤNG TRONG
NHẬN DIỆN THẺ TÍN DỤNG XẤU



Giảng viên hướng dẫn: PGS.TS Đỗ Phúc
Học viên thực hiện: CH1301031 - Nguyễn Thành Phương
Lớp: CH08



TP. Hồ Chí Minh, tháng 6 năm 2014

GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương


GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

MỤC LỤC
CHƯƠNG 1: TỔNG QUAN 1
1.1 Lý do chọn đề tài 1
1.2 Mục đích nghiên cứu 2

1.3 Nội dung nghiên cứu 2
1.4 Bố cục báo cáo 2
CHƯƠNG 2: MẠNG NEURAL 3
2.1 Cấu trúc và mô hình của một neural nhân tạo 3
2.2 Lớp neural 5
2.3 Khái niệm và phân loại mạng neural 6
2.4 Các thủ tục học của mạng 11
2.5 Giải thuật lan truyền ngược 15
CHƯƠNG 3: TÌM HIỂU VIỆC ĐÁNH GIÁ RỦI RO THẺ TÍN DỤNG 20
3.1 Mở đầu 20
3.2 Thẻ tín dụng là gì 20
3.3 Khả năng và rủi ro của thẻ tín dụng 20
CHƯƠNG 4: THUẬT TOÁN VÀ MÔ HÌNH CỦA ỨNG DỤNG MINH HỌA 22
4.1 Thuật toán và mô hình 22
4.2 Các biến input 22
4.3 Các bước chạy thử và kết quả chương trình 23
CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 27
5.1 Kết quả 27
5.2 Hạn chế 27


Trang 1



GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

CHƯƠNG 1: TỔNG QUAN
1.1 Lý do chọn đề tài
Bộ não con người là một máy tính kì diệu, từ lâu con người đã nghĩ tới viêc xây

dựng các mô hình tính toán, mô phỏng quá trình hoạt động của bộ não con người.
Trước đây, do công cụ tính toán chưa phát triển mạnh nên ý tưởng đó vẫn nằm trong
phòng thí nghiệm và chỉ những người nghiên cứu mới biết về nó. Khi máy tính điện
tử, công cụ chủ yếu của công nghệ thông tin hiện đại, phát triển tới mức độ cao thì
những ý tưởng này đã được hiện thực hoá. Chất lượng và khối lượng của các hoạt
động trí óc này không ngừng tăng lên theo sự tiến triển nhanh chóng về khả năng lưu
trữ và xử lý thông tin của máy. Từ hàng chục năm nay, cùng với khả năng tính toán
khoa học kỹ thuật không ngừng được nâng cao, các hệ thống máy tính đã được ứng
dụng và thực hiện được rất nhiều mô hình tính toán thông minh để phục vụ cho các
ngành kinh tế, xã hội, hình thành dần kết cấu hạ tầng thông tin quốc gia, nền móng của
sự phát triển kinh tế thông tin ở nhiều nước. Sự phong phú về thông tin, dữ liệu cùng
với khả năng kịp thời khai thác chúng đã mang đến những năng suất và chất lượng mới
cho công tác quản lý, hoạt động kinh doanh, phát triển sản xuất và dịch vụ
Một trong những mô hình tính toán thông minh đó, ta phải kể đến đó chính là
mạng Neural nhân tạo. Điểm quyết định nên sự tồn tại và phát triển ở một con người
đó chính là bộ não. Cùng với sự phát triển như vũ bão của công nghệ thông tin trong
thời đại ngày nay, con người đã sử dụng bộ não của mình để tư duy, để tạo ra một
mạng Neural nhân tạo có thể thực hiện tính toán và làm được những điều huyền bí,
tưởng chừng như nan giải! Với sự kết hợp kỳ diệu của tin học và sinh học, con người
đã có thể mô phỏng được hoạt động của các mạng noron trong bộ não của chúng ta
thông qua các chương trình máy tính.
Có lẽ mạng Neural không chỉ hấp dẫn đối với những người yêu thích công nghệ
thông tin bởi khả năng do con người huấn luyện, mà còn bởi những ứng dụng thực tiễn
trong cuộc sống của nó. Chúng ta hoàn toàn có thể nhận dạng dấu vết vân tay của tội
phạm trong hình sự, có thể dự đoán thị trường chứng khoán, dự đoán thời tiết, dự toán
chi phí cho một dự án đường cao tốc, khôi phục những tấm ảnh, hay một chiếc xe lăn
dành cho người khuyết tật có thể nhận được mệnh lệnh điều khiển bằng cử chỉ, hành
Trang 2

GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

động, thậm chí là suy nghĩ của người ngồi trên xe v.v… nhờ có mạng Neural nhân
tạo.
Neural network được ứng dụng trong rất nhiều lĩnh vực kể trên nhưng một trong
những lĩnh vực thu hút nhất đó là kinh tế. Các nhà kinh doanh muốn dự đoán giá cả
lên xuống của các cổ phiếu, các ngân hàng muốn dự đoán tài khoản tín dụng này có tin
tưởng được hay không … tất cả đều có thể thực hiện được với sự trợ giúp của mạng
Neural. Trong khuôn khổ của một báo cáo khoa học, nhóm em chọn đề tài “Ứng dụng
neural network trong nhận diện thẻ tín dụng xấu” nhằm tìm hiểu chung về mạng và
thuật toán huấn luyện mạng neural, bên cạnh đó ứng dụng mạng neural vào việc dự
đoán độ rủi ro của thẻ tín dụng.
1.2 Mục đích nghiên cứu
- Tìm hiểu về mạng neural và ứng dụng.
- Nghiên cứu các bước xây dựng một ứng dụng nhờ mạng Neural.
- Nghiên cứu cách ứng dụng mạng Neural để dự đoán độ rủi ro của thẻ tín dụng.
1.3 Nội dung nghiên cứu
- Mạng Neural.
- Một giải thuật học của các mạng Neural với các trọng số.
- Thẻ tín dụng và cách nhận diện rủi ro bằng neural network.
1.4 Bố cục báo cáo
- Chương 1: Tổng quan
- Chương 2: Mạng neural
- Chương 3: Tìm hiểu việc đánh giá rủi ro thẻ tín dụng.
- Chương 4: Thuật toán và mô hình của các mạng Neural mờ sử dụng trong ứng
dụng.
- Chương 5: Kết luận và hướng phát triển
Trang 3

GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

CHƯƠNG 2: MẠNG NEURAL
2.1 Cấu trúc và mô hình của một neural nhân tạo
Mô hình toán học của mạng neural sinh học được đề xuất bởi McCulloch và
Pitts, thường được gọi là Neural M-P, ngoài ra nó còn được gọi là phần tử xử lý và
được ký hiệu là PE (Processing Element).
Mô hình Neural có m đầu vào x
1
, x
2
, , x
m
, và một đầu ra y
i
như sau:

Hình 2.1. Mô hình một Neural nhân tạo
Giải thích các thành phần cơ bản:
- Tập các đầu vào: Là các tín hiệu vào của Neural, các tín hiệu này thường được
đưa vào dưới dạng một vector m chiều.
- Tập các liên kết (các trọng số): Mỗi liên kết được thể hiện bởi một trọng số
(thường được gọi là trọng số liên kết). Trọng số liên kết giữa tín hiệu vào thứ j cho
Neural i thường được ký hiệu là w
ij
. Thông thường các trọng số này được khởi tạo
ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học
mạng.

- Bộ tổng (Hàm tổng): Thường dùng để tính tổng của tích các đầu vào với trọng
số liên kết của nó.
- Ngưỡng: Ngưỡng này thường được đưa vào như một thành phần của hàm
truyền.
Trang 4



GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

- Hàm truyền: Hàm này dùng để giới hạn phạm vi đầu ra của mỗi Neural. Nó
nhận đầu vào là kết quả của hàm tổng và ngưỡng đã cho. Thông thường, phạm vi đầu
ra của mỗi Neural được giới hạn trong đoạn [0,1] hoặc [-1,1]. Các hàm truyền rất đa
dạng, có thể là các hàm tuyến tính hoặc phi tuyến. Việc lựa chọn hàm truyền tùy thuộc
vào từng bài toán và kinh nghiệm của người thiết kế mạng.
- Đầu ra: Là tín hiệu đầu ra của một Neural, với mỗi Neural sẽ có tối đa một đầu
ra.
Về mặt toán học, cấu trúc của một Neural i được mô tả bằng cặp biểu thức sau:

)(
iii
netfy


và
j
n
j
iji
xwnet




1

trong đó: x
1
, x
2
, …x
m
là các tín hiệu đầu vào, còn w
i1
, w
i2
,…,w
im
là các trọng số
kết nối của Neural thứ i, net
i
là hàm tổng, f là hàm truyền,
i

là một ngưỡng, y
i
là tín
hiệu đầu ra của Neural.
Hàm truyền có thể có các dạng sau:
- Hàm bước







00
01
xkhi
xkhi
y
(1)
- Hàm giới hạn chặt (hay còn gọi là hàm bước)






01
01
)sgn(
xkhi
xkhi
xy
(2)
- Hàm bậc thang










00
10
11
)sgn(
xkhi
xkhix
xkhi
xy
(3)
- Hàm ngưỡng đơn cực
x




e
y
1
1
với λ>0 (4)
Trang 5



GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

- Hàm ngưỡng hai cực
1
1
2



 x

e
y
với λ>0 (5)

Đồ thị các dạng hàm truyền được biểu diễn như sau:

Hình 2.2 Đồ thị các dạng hàm truyền

2.2 Lớp neural
Một lớp bao gồm một nhóm các noron được tổ chức theo một cách sao cho tất cả
chúng đều nhận cùng một vecto đầu vào X để xử lý tại cùng thời điểm. Việc sản sinh ra
Net đầu vào, biến đổi thành tín hiệu ra Out xuất hiện cùng một lúc trong tất cả các
noron.
Vì mỗi noron trong một lớp sản sinh ra Net đầu vào và tín hiệu ra Out riêng nên
tất cả các tín hiệu này được tổ chức thành các vecto Net và Out. Các vecto Out này có
thể dùng như tín hiệu vào X của các noron kế tiếp. Hình vẽ sau là một ví dụ về 1 lớp có
4 noron và vecto tín hiệu vào có 3 biến.
Trang 6

GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương


Hình 2.3. Lớp neural
2.3 Khái niệm và phân loại mạng neural
2.3.1 Mạng neural một lớp
Mỗi một Neural có thể phối hợp với các Neural khác tạo thành một lớp các
trọng số. Mạng một lớp truyền thẳng như hình 4. Một lớp Neural là một nhóm các
Neural mà chúng đều có cùng trọng số, nhận cùng một tín hiệu đầu vào đồng thời.

Hình 2.4. Mạng truyền thẳng một lớp

Trong ma trận trọng số, các hàng là thể hiện Neural, hàng thứ j có thể đặt nhãn
như một vector w
j
của Neural thứ j gồm m trọng số w
ji
. Các trọng số trong cùng một
cột thứ j (j=1,2, ,n) đồng thời cùng nhận một tín hiệu đầu vào x
j
.
w
j
= [w
j1
, w
j2
, , w
jm

]
Tại cùng một thời điểm, vector đầu vào x = [x
1
, x
2
, , x
n
] có thể là một nguồn bên
ngoài là cảm biến hoặc thiết bị đo lường đưa tới mạng.
Trang 7



GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

2.3.2 Mạng neural truyền thẳng nhiều lớp

Hình 2.5. Mạng truyền thẳng nhiều lớp

Mạng neural nhiều lớp có các lớp được phân chia thành 3 loại sau đây:
- Lớp vào là lớp Neural đầu tiên nhận tín hiệu vào x
i
(i = 1, 2, , n). Mỗi tín hiệu
x
i
được đưa đến tất cả các Neural của lớp đầu vào. Thông thường, các Neural đầu vào
không làm biến đổi các tín hiệu vào x
i
, tức là chúng không có các trọng số hoặc không
có các loại hàm chuyển đổi nào, chúng chỉ đóng vai trò phân phối các tín hiệu.

- Lớp ẩn là lớp Neural sau lớp vào, chúng không trực tiếp liên hệ với thế giới bên
ngoài như các lớp Neural vào/ra.
- Lớp ra là lớp Neural tạo ra các tín hiệu ra cuối cùng.
2.3.3 Mạng neural phản hồi
Mạng neural phản hồi là mạng mà đầu ra của mỗi Neural được quay trở lại nối
với đầu vào của các Neural cùng lớp được gọi là mạng Laeral như hình 6

Trang 8



GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

Hình 2.6. Mạng hồi tiếp một lớp
2.3.4 Mạng neural hồi quy

Hình 2.7. Mạng neural hồi quy

Mạng neural phản hồi có thể thực hiện đóng vòng được gọi là mạng neural hồi
quy như hình 7. Mạng neural hồi quy có trọng số liên kết đối xứng như mạng
Hopfield, mạng luôn hội tụ về trạng thái ổn định (Hình 6). Mạng BAM thuộc nhóm
mạng neural hồi quy, gồm 2 lớp liên kết 2 chiều, không được gắn với tín hiệu vào/ra.
Nghiên cứu mạng neural hồi quy mà có trọng số liên kết không đối xứng, thì sẽ gặp
phải vấn đề phức tạp nhiều hơn so với mạng truyền thẳng và mạng hồi quy có trọng số
liên kết đối xứng.
2.3.5 Mạng Hopfield
Mạng Hopfield là mạng phản hồi một lớp, được chỉ ra trong hình 6. Cấu trúc chi
tiết của nó được thể hiện trong hình 8. Khi hoạt động với tín hiệu rời rạc, nó được gọi
là mạng Hopfield rời rạc, và cấu trúc của nó cũng được gọi là mạng hồi quy.

Trang 9



GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương


Hình 2.8. Cấu trúc của mạng Hopfield

Như mạng Hopfield đã vẽ ở trên, ta thấy nút có một đầu vào bên ngoài x
j
và một
giá trị ngưỡng
j

(j = 1,2, n). Một điều quan trọng cần nói ở đây là mỗi nút không có
đường phản hồi về chính nó. Nút đầu ra thứ j được nối tới mỗi đầu vào của nút khác
qua trọng số w
ij
, với i

j, (i = 1,2, ,n), hay nói cách khác w
ii
= 0, (với i = 1,2, ,n).
Một điều quan trọng nữa là trọng số của mạng Hopfield là đối xứng, tức là w
ij
=
w
ji
, (với i,j = 1,2, ,n). Khi đó, luật cập nhật cho mỗi nút mạng là như sau:

,sgn
1
)()1(















n
ij
j
i
k
jij
k
i
xywy


i = 1,2, ,n (6)

Luật cập nhật trên được tính toán trong cách thức không đồng bộ. Điều này có
nghĩa là, với một thời gian cho trước, chỉ có một nút mạng cập nhật được đầu ra của
nó. Sự cập nhật tiếp theo trên một nút sẽ sử dụng chính những đầu ra đã được cập nhật.
Nói cách khác, dưới hình thức hoạt động không đồng bộ của mạng, mỗi đầu ra được
cập nhật độc lập.
Trang 10



GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

Có sự khác biệt giữa luật cập nhật đồng bộ và luật cập nhật không đồng bộ. Với
luật cập nhật không đồng bộ thì sẽ chỉ có một trạng thái cân bằng của hệ (với giá trị
đầu đã được xác định trước). Trong khi đó, với luật cập nhật đồng bộ thì có thể làm
mạng hội tụ ở mỗi điểm cố định hoặc một vòng giới hạn.
2.3.6 Mạng BAM
Mạng BAM bao gồm hai lớp và được xem như là trường hợp mở rộng của mạng
Hopfield. Ở đây ta chỉ xét mạng rời rạc, vì nó đơn giản và dễ hiểu.

Hình 2.9. Cấu trúc của BAM
Khi mạng neural được tích cực với giá trị đầu vào của vector tại đầu vào của một
lớp, mạng sẽ có hai mẫu trạng thái ổn định, với mỗi mẫu tại đầu ra của nó là một lớp.
Tính động học của mạng thể hiện dưới dạng tác động qua lại giữa hai lớp. Cụ thể hơn,
giả sử một vector đầu vào x được cung cấp cho đầu vào của lớp Neural y. Đầu vào
được xử lý và truyền tới đầu ra của lớp y như sau:
y’ = a(wx) ;











jiji
xway
'
; với i = 1,2, ,n (7)
Ở đó a(.) là hàm truyền, vector y’ bây giờ lại nuôi trở lại lớp Neural X và tạo nên
đầu ra như sau:
Trang 11



GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

x’ = a(w
T
y’);










n
i
iijj
ywax
1
; với j = 1,2, ,m (8)
Sau đó x’ nuôi trở lại đầu vào của lớp y và tạo ra hàm y’’ theo phương trình (7).
Quá trình này cứ tiếp tục, bao gồm các bước như sau:
y
(1)
= a(wx
(0)
) (truyền thẳng lần thứ nhất)
x
(2)
= a(w
(T)
y
(1)
) (truyền ngược lần thứ nhất)
y
(3)
= a(wx
(2)
) (truyền thẳng lần thứ hai)
x
(4)
= a(w
(T)
y

(3)
) (truyền ngược lần thứ hai) (9)


y
(k-1)
= a(wx
(k-2)
) (truyền thẳng lần thứ k/2)
x
(k)
= a(w
(T)
y
(k-1)
) (truyền ngược lần thứ k/2)
Chú ý rằng trạng thái cập nhật trong phương trình (9) là đồng bộ theo phương
trình (7) và (8). Trạng thái cập nhật cũng có thể không đồng bộ theo phương trình (7)
và (8) với các nút i, j được chọn tự do. Người ta đã chỉ ra rằng, hệ thống ổn định cho
cả hai chế độ đồng bộ và không đồng bộ. Tuy nhiên, chế độ đồng bộ sẽ làm cho hệ
thống hội tụ nhanh hơn nhiều.
2.4 Các thủ tục học của mạng
Nguyên tắc học của mạng noron được chia làm 2 loại: học tham số và học cấu trúc.
Trong đo, học tham số quam tâm đến chiến lược hiệu chỉnh trong số của các noron
trong mạng. Học cấu trúc tập trung vào việc thay đổi cấu trúc bao gốm số lớp, số
noron, cấu trúc topo của các trọng số. Cả 2 loại có thể học đồng thời hoặc tách biệt.
2.4.1 Học tham số
Giả sử co n noron, mỗi noron có m trọng số. Chúng có thể được kết hợp lại tạo
thành ma trận dạng sau:
Trang 12

GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

W=














T
n
T
T
W
W
W

2
1

=












nmnn
m
m
WWW
WWW
WWW




21
22221
11211

Trong đó, w
i
=(w

i1
,w
i2
,…,w
im
)
T
, i=1,2,…,n là vecto trọng số của noron thứ i và
w
ij
là trọng số kết nối từ noron thứ j đến noron thứ i.
Các thủ tục học tham số nhằm tìm kiếm ma trận trọng số W sao cho mạng có
khả năng đưa ra các dự báo sát với thực tế. Các thủ tục học tham số có thể chia thành 3
lớp nhỏ hơn là: học có chỉ đạo (học có thầy), học tăng cường, học không có chỉ
đạo(học không có thầy).
2.4.2 Học có chỉ đạo:
Mỗi lần vectơ tín hiệu vào X được cung cấp cho mạng, ta cũng cấp luôn cho
mạng vectơ đầu ra mong muốn là Y. Và mạng phải sản sinh ra tín hiệu ra Out sao cho
nó gần với Y nhất. Cụ thể, nếu ta cấp một tập ngẫu nhiên M=(X
i
,Y
i
) tức là khi vectơ X
i

đi vào mạng, vectơ đầu ra Y
i
cũng được cung cấp (hình 1).Độ lệch giữa tín hiệu đầu
ra Out và vectơ đầu ra Y
i

sẽ được bộ sản sinh sai số thu nhận và sản sinh ra tín hiệu sai
số. Tín hiệu sai số này sẽ đi vào mạng và mạng sẽ hiệu chỉnh các trọng số của mình
sao cho tín hiệu đầu ra Out sẽ gần với vectơ đầu ra mong muốn Y
i.
.
Nếu tín hiệu đầu ra Out= Y thì lúc đó mạng noron đã bão hoà, khi đó thủ tục
học của mạng đã hội tụ.







Vecto vào
Mạng noron
Sản sinh sai số
Tín hiệu ra Out
Hình 2.10 - Sơ đồ học có chỉ đạo
Trang 13



GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương


2.4.3 Học tăng cường:
cũng là một dạng của học có chỉ đạo vì mạng noron vẫn nhận tín hiệu bên ngoài môi
trường. Tuy nhiên, tín hiệu ngoài môi trường chỉ là những tín hiệu mang tính phê
phán, chứ không phải là các chỉ dẫn cụ thể như trong học có chỉ đạo. Nghĩa là, tín hiệu

tăng cường chỉ có thể nói cho mạng biết tín hiệu vừa sản sinh là đúng hay sai chứ
không chỉ cho mạng biết tín hiệu đúng như thế nào. Tín hiệu tăng cường được xử lý
bởi bộ xử lý tín hiệu tăng cường (hình 2) nhằm mục đích giúp cho mạn hiệu chỉnh các
trọng số với hi vọng nhận được tín hiệu tăng cường tốt hơn trong tương lai. Các thủ
tục học tăng cường thường được biết đến như các thủ tục học với nhà phê bình chứ
không phải là học với thầy như các thủ tục học có chỉ đạo.








2.4.4 Học không chỉ đạo:
Trong thủ tục này, không có thông tin nào từ bên ngoài môi trường chỉ ra tín
hiệu đầu ra Out phải như thế nào hoặc đúng hay sai. Mạng noron phải tự khám phá các
đặc điểm, các mối quan hệ đang quan tâm như: dạng đường nét, có chuẩn – có bình
thường hay không, các hệ số tương quan, tính cân xứng, tính chạy,… của các mẫu học
và sau đó chuyển những quan hệ tìm thấy qua đầu ra. Trong quá trình học, các trọng số
của mạng sẽ thay đổi để thể hiện các đặc tính được phát hiện.
Vecto vào
Mạng noron
Tín hiệu ra Out
Sản sinh tín hiệu
tăng cường
Tín hiệu tăng
cường
Hình 2.11- Sơ đồ học tăng cường
Trang 14

GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

Để dễ hình dung công việc này, chúng ta hãy nhớ tới công việc của các nhà
thống kê, nhất là các nhà thống kê dùng máy tính hiện đại.






2.4.5 Học cấu trúc
Viêc học cấu trúc là việc tìm kiếm các tham số của cấu trúc mạng để tìm ra một
cấu trúc mạng hoạt động tốt nhất. Trong thực tế, việc học cấu trúc là việc tìm ra số lớp
ẩn và số noron trên mỗi lớp đó. Các kĩ thuật như giải thuật di truyền hay lập trình tiến
hoá thường được sử dụng trong các thủ tục học cấu trúc. Các kỹ thuật này thường chạy
rất lâu thậm chí đối với các mạng có kích thước trung bình.
Vecto vào
Mạng noron
Tín hiệu ra Out
Hình 2.12- Sơ đồ học không chỉ đạo
Trang 15



GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

2.5 Giải thuật lan truyền ngược

2.5.1 Kiến trúc mạng


Hình 2.13 Mạng neral 2 lớp









Trang 16



GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

Các noron lớp thứ t được nối đầy đủ với các noron lớp thứ t+1. Trong nhiều ứng
dụng thực tế, để đơn giản, người ta thường sử dụng mạng có 1 lớp ẩn, số noron trong
lớp ẩn được xác định dựa trên kinh nghiệm, hoặc dựa trên các kỹ thuật tìm kiếm khác
nhau.
Cấu trúc của mạng là đặc điểm chính tác động đến tính mềm dẻo của mô hình mà
mạng sản sinh ra, đó là số lớp, số noron và cách mà chúng được nối với nhau. Các đặc
điểm chính của mạng với chiến lược học lan truyền ngược sai số thường là:
- Các lớp của mạng noron lan truyền ngược của sai số được nối đầy đủ với nhau,
tức là tín hiệu ra của các noron trên lớp này chính là tín hiệu vào của tất cả các noron
trên lớp kế tiếp.
- Mỗi noron có một kết nối với Bias làm tăng khả năng thích nghi và tăng tính

mềm dẻo của mạng trong quá trình học.
- Số noron trên lớp vào và lớp ra là cố định đối vì nó chính là số chiều của vecto
vào và vecto lời giải. Chúng được xác định trước phụ, thuộc vào tương ứng ứng dụng
cụ thể mà mạng noron xây dựng.
- Thường chỉ sử dụng mạng có 3 lớp: một lớp vào, một lớp ra, một lớp ẩn là đã có
thể mô hình hoá được một lớp các bài toán lớn.
Với thủ tục học lan truyền ngược sai số truyền thống, các thông số cấu trúc (số
lớp, số noron trên mỗi lớp) thường được xác định thông qua việc thử và sai. Phần
nhiều các tác giả xây dựng mạng noron lan truyền ngược của sai số nhỏ liên kết với
nhau chứ không xây dựng một mạng noron lớn. Các thiết kế như vậy một phần xuất
phát từ khả năng tài nguyên của máy tính có hạn và phần khác là tập mẫu học không
đủ bao phủ toàn không gian biến.
2.5.2 Huấn luyện mạng
Học có giám sát với tập mẫu {(X
p
, T
p
)}.
Thủ tục học có thể tóm lược như sau:
Trang 17



GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

Mỗi khi đưa một mẫu X
p
=(x
p1
, …., x

pni
) vào mạng, ta thực hiện các công việc sau:
Lan truyền mẫu Xp qua mạng để có O
p
= Tinh(X
p
, W)
Tính sai số e của mạng dựa trên sai lệch O
p
-T
p
.
Hiệu chỉnh các trọng số liên kết noron dẫn tới lớp ra từ noron j tại lớp ẩn cuối cùng tới
noron i tại lớp ra:
w
ij
= w
ij
+ α . a
j
. δ
i
(1.23)
ở đây α là hệ số học
aj là đầu ra của noron j
δ
i
là sai số mà noron i ở lớp ra phải chịu trách nhiệm, được xác định theo
δ
i

= e
i
g’(Net
i
) (1.24)
Với erri là sai số thành phần thứ i trong e
p
, Net
i
là tổng thông tin vào có trọng
số của noron thứ i (Net
i
= ∑w
ij
. a
j
) và g’(.) là đạo hàm của hàm kích hoạt g được dùng
trong các noron.
Hiệu chỉnh các trọng số liên kết noron dẫn tới tất cả lớp ẩn từ noron thứ k sang noron
thứ j.
Tính tổng sai số tại noron j phải chịu trách nhiệm
δ
j
= g’(Net
j
)∑ w
ij
δ
i
(1.25)

Hiệu chỉnh trọng số w
jk

w
jk
= w
jk
+ α a
k
δ
j
(1.26)
(trường hợp xét liên kết từ noron vào thứ k sang noron j trên lớp ẩn, ta có a
k
=
I
k
chính là tín hiệu vào)
Trường hợp xét hàm kích hoạt tại các noron:

1
()
1
x
gx
e



Trang 18

GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

Ta có hệ thức g’(x) = g(x)(1 - g(x)).
Từ các công thức (1.23) và (1.26) ta có thể viết lại
w
ij
= w
ij
+ Δw
ij
w
jk
= w
jk
+ Δw
jk

với Δw
ij
= α a
j
δ
i
và Δw
jk
=α a
k

δ
j
Trong các ứng dụng thực tế, người ta thường hiệu chỉnh Δwij theo nguyên tắc có chú ý
đến thao tác trước đó. Do vậy
Δw
ij
(mới)
= α a
j
δ
i
+ β Δw
ij
(cũ)

Quá trình huấn luyện mạng cần chú ý tới các yếu tố sau:

- Các trọng số ban đầu w
ij
được gán các

giá trị ngẫu nhiên, nhỏ.
- Lựa chọn các hệ số học α và hệ số quán tính β sao cho α + β ≈ 1, với β
không lớn hơn α quá nhiều.
Các tín hiệu vào, ra nên được định cỡ chỉ nằm trong khoảng [0, 1]. Các nghiên cứu
thực nghiệm chỉ ra rằng nên ở trong khoảng [0.2, 0.8].
2.5.3 Sử dụng mạng
Giả sử đã huấn luyện mạng như trên với tập mẫu {(Xp, Yp)} để được ma trận
trọng số W. Quá trình lan truyền trong mạng một vecto tín hiệu vào X = (x
1

, x
2
, x
3
)
được cho bởi:
out = g(w
64
a
4
+ w
65
a
5
) = g(w
64
g(w
41
x
1
+ w
42
x
2
+ w
43
x
3
) w
65

g(w
51
x
1
+ w
52
x
2
+
w
53
x
3
)) = F(X, W)
*) Khả năng tính toán của mạng nhiều lớp:
Với một lớp ẩn, mạng có thể tính toán xấp xỉ một hàm liên tục bất kỳ với các
biến là các tín hiệu đầu vào.
Với hai lớp ẩn, mạng có thể tính toán xấp xỉ một hàm bất kỳ. Tuy vậy, số
noron trong các lớp ẩn có thể tăng theo hàm mũ đối với số đầu vào và cho đến nay vẫn
Trang 19



GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

chưa có những cơ sở lý luận đầy đủ để khảo sát họ các hàm có thể xấp xỉ nhờ các
mạng nhiều lớp.
Trang 20

GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương


CHƯƠNG 3: TÌM HIỂU VIỆC ĐÁNH GIÁ RỦI RO THẺ TÍN
DỤNG
3.1 Mở đầu
Ngân hàng bạn muốn biết những thẻ tín dụng nào xấu hay tốt để có những biện pháp
phòng ngừa thích hợp ?
Sau khi đào tạo một neural network trên dữ liệu lịch sử, neural network có thể phân
tích xác định các đặc tính phù hợp nhất và sử dụng để phân loại những người nộp hồ
sơ có rủi ro tín dụng tốt hay xấu.
3.2 Thẻ tín dụng là gì
Thẻ tín dụng là một hệ thống thanh toán, được gọi tên theo tấm thẻ (Credit card) phát
hành cho người sử dụng. Trong hệ thống này, nhà phát hành thẻ cho người tiêu dùng
mượn tiền để trả cho người bán hàng, rồi trả lại sau. Thẻ tín dụng cho phép người tiêu
dùng có thể "xoay vòng" món nợ với chi phí là tiền lãi. Hầu hết các thẻ tín dụng được
phát hành bởi các ngân hàng địa phương hay các tổ chức tín dụng, có cùng hình dạng
và kích thước theo tiêu chuẩn ISO 7810.
3.3 Khả năng và rủi ro của thẻ tín dụng
Thẻ tín dụng được phát hành sau khi nhà cung cấp dịch vụ tín dụng duyệt chấp thuận
tài khoản thẻ, sau đó chủ thẻ có thể sử dụng nó để mua sắm tại các điểm bán hàng
chấp nhận loại thẻ đó.
Khi mua sắm, người dùng thẻ cam kết sẽ trả tiền cho nhà phát hành thẻ. Chủ thẻ thể
hiện cam kết này bằng cách ký tên lên hóa đơn có ghi chi tiết của thẻ cùng với số tiền,
hoặc bằng cách nhập một mật mã cá nhân (PIN). Ngoài ra nhiều điểm bán hàng cũng
chấp nhận cách thức xác minh qua điện thoại hoặc xác minh qua internet cho những
Trang 21

GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

giao dịch được gọi là giao dịch vắng thẻ hoặc vắng chủ thẻ (CNP - Card/Cardholder
Not Present).
Người ta sử dụng nhiều hệ thống điện tử để xác minh trong vòng vài giây tính hợp lệ
của thẻ cũng như kiểm tra xem hạn mức tín dụng của thẻ còn đủ chi trả cho lần mua
sắm đó không. Việc xác minh được thực hiện bằng một đầu đọc thẻ (POS - Point of
Sale) kết nối vào ngân hàng thu nhận (acquiring bank) của người bán hàng. Đầu đọc
đọc dữ liệu của thẻ từ dải từ tính hoặc từ bản vi mạch trên thẻ. Loại thẻ mới sử dụng
bản vi mạch thường được gọi là thẻ "chip" hoặc thẻ EMV.
Các nhà bán hàng trực tuyến thường sử dụng một các thức khác để xác minh tài khoản
thẻ, trong đó chủ thẻ thường phải cung cấp thêm thông tin như mã số an ninh in ở mặt
sau thẻ, địa chỉ chủ thẻ hoặc mật khẩu định trước.
Hàng tháng, chủ thẻ nhận được một bảng kê trong đó thể hiện các giao dịch thực hiện
bằng thẻ, các khoản phí và tổng số tiền nợ. Sau khi nhận bảng kê, chủ thẻ có quyền
khiếu nại bác bỏ một số giao dịch mà anh/chị ta cho là không đúng. Nếu không khiếu
nại gì, trước ngày đến hạn, chủ thẻ phải trả một phần tối thiểu định trước, hoặc nhiều
hơn, hoặc trả hết món nợ. Nhà cung cấp dịch vụ tín dụng sẽ tính lãi trên phần còn nợ
(thường là với lãi suất cao hơn lãi suất của hầu hết những hình thức vay nợ khác).
Nhiều tổ chức tài chính có thể sắp xếp việc trả nợ tự động, cắt tiền từ tài khoản ngân
hàng của chủ thẻ (nếu có đủ tiền) để tránh trễ hạn trả nợ.
* Thẻ tín dụng là một công cụ rất tiện lợi tuy nhiên nó có thể gây ra những rủi ro cho
người sử dụng nó, người dùng có thể rơi vào tình trạng nợ rất nhiều tiền mà không có
khả năng chi trả. Điều ngân hàng mong muốn là xác định được tìa khoản tín dụng nào
có nguy cơ mất khả năng chi trả để có những biện pháp thích hợp nhằm đảm bảo lợi
ích của ngân hàng.
Việc dự đoán này được thực hiện dựa trên các chỉ số cá nhân của chủ tài khoàn như độ
tuổi, tình trạng hôn nhân, tình trạng việc làm và các chỉ số khác.

Trang 22



GVHD: PGS.TS Đỗ Phúc HV: Nguyễn Thành Phương

CHƯƠNG 4: THUẬT TOÁN VÀ MÔ HÌNH CỦA ỨNG DỤNG
MINH HỌA
4.1 Thuật toán và mô hình
Chương trình sử dụng mô hình Feedback neural networks với 20 biến input,
15 nueral trong lớp hidden layer và 1 Neural trong output layer.
Mạng neural được huấn luyện bằng thuật toán back propagation với 1000 bộ
dữ liệu mẫu.
4.2 Các biến input
Chương trình dùng các biến sau để input cho mạng neural

Giải thích 20 biến input
- Checking Account: tài khoản chi tiêu ngắn hạn.
- Term: Thời gian đáo hạn.