Một giải thuật học của các mạng noron mờ với các trọng số mờ tam giác

THÖ VIEÄN ÑIEÄN TÖÛ TRÖÏC TUYEÁN

OBO
OK S
.CO
M

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI
Khoa Công nghệ thông tin
---------------

BÁO CÁO NGHIÊN CỨU KHOA HỌC

Đề tài

Một giải thuật học của các mạng noron mờ với các trọng số mờ
tam giác

KIL

Giáo viên hướng dẫn: TS. Nguyễn Tân Ân
Sinh viên thực hiện :Phùng Thị Nguyệt
Lớp
: B_K54

Hà Nội, 04-2008



THệ VIEN ẹIEN Tệ TRệẽC TUYEN

Mc lc

KIL
OBO
OKS
.CO
M

Phn I: Gii thiu ........................................................................................ 2
I. Lý do chn ti ............................................................................... 2
II. Mc ớch nghiờn cu ........................................................................ 3
III. Ni dung nghiờn cu ....................................................................... 3
IV. B cc bỏo cỏo ................................................................................. 3
Phn II. Ni dung .......................................................................................... 3
Chng I:Tp m v mt s phộp toỏn trờn cỏc s m ........................ 4
I.1. Tp m............................................................................................. 4
I.1.1. Nhc li tp kinh in ............................................................. 4
I.1.2. nh ngha tp M .................................................................. 5
I.1.3 Cỏc phộp toỏn trờn tp m ...................................................... 6
I.1.3.1 Phộp hp hai tp m .............................................................. 6
I.1.3.2. Phộp giao 2 tp m ............................................................... 7
I.1.3.3 Phộp bự ca mt tp m. ....................................................... 8
I.2. Cỏc phộp toỏn trờn nhng s m .................................................. 9
Chng II Mng noron .......................................................................... 11
II.1.Mụ hỡnh ca 1 noron ................................................................... 11
II.2. Lp noron .................................................................................. 12
II.3. Khỏi nim v phõn loi mng noron ............................................. 13
II.4.Th tc hc ca mng ................................................................. 16
Hc tham s............................................................................. 16

Hc cu trỳc ............................................................................ 18
II.5 Gii thut hc lan truyn ngc ................................................ 18
II.5.1. Kin trỳc mng ....................................................................... 18
II.5.2. Hun luyn mng ................................................................... 20
II.5.3. S dng mng ........................................................................ 21
Chng III: Mt gii thut hc ca cỏc mng noron m ................... 22
vi nhng trng s m tam giỏc ............................................................ 22
III.1 Kin trỳc ca mng noron m ................................................ 22
III.2 Gii thut .................................................................................... 23
Kt lun: .................................................................................................. 24

1



THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN

I.

KIL
OBO
OKS
.CO
M

Phần I: Giới thiệu
Lý do chọn đề tài

Bộ não con người là một máy tính kì diệu, từ lâu con người đã nghĩ tới viêc
xây dựng các mơ hình tính tốn, mơ phỏng q trình hoạt động của bộ não con

người. Trước đây, do cơng cụ tính tốn chưa phát triển mạnh nên ý tưởng đó vẫn
nằm trong phòng thí nghiệm và chỉ những người nghiên cứu mới biết về nó. Khi
máy tính điện tử, cơng cụ chủ yếu của cơng nghệ thơng tin hiện đại, phát triển tới
mức độ cao thì những ý tưởng này đã được hiện thực hố. Chất lượng và khối
lượng của các hoạt động trí óc này khơng ngừng tăng lên theo sự tiến triển nhanh
chóng về khả năng lưu trữ và xử lý thơng tin của máy. Từ hàng chục năm nay,
cùng với khả năng tính tốn khoa học kỹ thuật khơng ngừng được nâng cao, các hệ
thống máy tính đã được ứng dụng và thực hiện được rất nhiều mơ hình tính tốn
thơng minh để phục vụ cho các ngành kinh tế, xã hội, hình thành dần kết cấu hạ
tầng thơng tin quốc gia, nền móng của sự phát triển kinh tế thơng tin ở nhiều nước.
Sự phong phú về thơng tin, dữ liệu cùng với khả năng kịp thời khai thác chúng đã
mang đến những năng suất và chất lượng mới cho cơng tác quản lý, hoạt động
kinh doanh, phát triển sản xuất và dịch vụ...
Một trong những mơ hình tính tốn thơng minh đó, ta phải kể đến đó chính là
mạng Noron nhân tạo. Điểm quyết định nên sự tồn tại và phát triển ở một con
người đó chính là bộ não. Cùng với sự phát triển như vũ bão của cơng nghệ thơng
tin trong thời đại ngày nay, con người đã sử dụng bộ não của mình để tư duy, để
tạo ra một mạng noron nhân tạo có thể thực hiện tính tốn và làm được những điều
huyền bí, tưởng chừng như nan giải! Với sự kết hợp kỳ diệu của tin học và sinh
học, con người đã có thể mơ phỏng được hoạt động của các mạng noron trong bộ
não của chúng ta thơng qua các chương trình máy tính.
Có lẽ mạng noron khơng chỉ hấp dẫn đối với những người u thích cơng
nghệ thơng tin bởi khả năng do con người huấn luyện, mà còn bởi những ứng
dụng thực tiễn trong cuộc sống của nó. Chúng ta hồn tồn có thể nhận dạng dấu
vết vân tay của tội phạm trong hình sự, có thể dự đốn thị trường chứng khốn, dự
đốn thời tiết, dự tốn chi phí cho một dự án đường cao tốc, khơi phục những tấm

2

THệ VIEN ẹIEN Tệ TRệẽC TUYEN
nh, hay mt chic xe ln dnh cho ngi khuyt tt cú th nhn c mnh lnh
iu khin bng c ch, hnh ng, thm chớ l suy ngh ca ngi ngi trờn xe
v.v nh cú mng noron nhõn to.

KIL
OBO
OKS
.CO
M

Khi nghiờn cu mng noron nhõn to, d thy vic hun luyn mng luụn l
vn khú v c nhiu ngi quan tõm. Ngy nay,cỏc mng noron ó c
phỏt trin thnh cỏc mng noron m x lý cỏc thụng tin m, trong nhng phỏt
trin nh vy vn hun luyn mng ngy cng tr nờn phc tp.Trong khuụn
kh ca mt bỏo cỏo khoa hc, em chn ti Mt gii thut hc ca cỏc mng
noron m v cỏc trng s m tam giỏc nhm tỡm hiu chung v mng v thut
toỏn hun luyn mng noron m.

II.
Mc ớch nghiờn cu
- Tỡm hiu v mng noron v ng dng.

- Nghiờn cu cỏc bc xõy dng mt ng dng nh mng noron.

III.

Ni dung nghiờn cu

1. Lý thuyt tp m.
2. Mng noron.
3. Mt gii thut hc ca cỏc mng noron m vi cỏc trng s m.

IV.

B cc bỏo cỏo

1.Chng 1: Lý thuyt tp m v mt s phộp toỏn trờn nhng s m.
2. Chng 2: Mng noron.
3.Chng 3: Gii thiu v mt thut toỏn ca cỏc mng noron m vi nhng
trong s m tam giỏc.

Phn II. Ni dung

3



THệ VIEN ẹIEN Tệ TRệẽC TUYEN

Chng I:Tp m v mt s phộp toỏn trờn cỏc s m

KIL
OBO
OKS
.CO
M

I.1. Tp m

I.1.1. Nhc li tp kinh in

nh ngha 1: Cho mt tp hp A. nh x à A : A {0 , 1} c nh ngha
trờn tp A nh sau:

1 nu

x A

à A (x) =

(1.1)

0 nu x A

c gi l hm thuc ca tp hp A. Tp A l tp kinh in. Nh vy à A (x) ch
nhn mt trong hai giỏ tr hoc bng 1 hoc bng 0. Giỏ tr 1 ca hm thuc à A (x)
ng vi trng hp x thuc A , ngc li giỏ tr 0 ng vi trng hp x khụng
thuc A. Mt tp X luụn cú
à X (x) = 1, vi mi x c gi l tp v tr.

Mt tp A cú dng
A = { x X | x tha món mt s tớnh cht no ú}
thỡ c núi l cú tp v tr X, hay c nh ngha trờn tp v tr X. Vớ d tp
A = { x R | 2< x <4} cú tp v tr l tp cỏc s thc R.
Vi khỏi nim tp v tr nh trờn thỡ hm thuc à A ca tp A cú tp v tr
X s c hiu l ỏnh x à A : X {0,1} t X vo tp {0,1} gm 2 phn t 0 v 1.
Vi cỏch s dng hm thuc nh vy thỡ cỏc phộp toỏn trờn tp hp c
biu din nh th no? Sau õy ta s xột ln lt cỏc phộp ú
Hm thuc à A (x) vi bn phộp toỏn trờn tp hp gm phộp hp, giao, hiu

(hỡnh 1.1) v phộp bự cú cỏc tớnh cht sau:

B

A\B

A

A

AB

B

a

b

B

c
4



THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN

Hình 1.1: Các phép tốn trên tập hợp
a. Hiệu của hai tập hợp

KIL
OBO
OKS
.CO
M

b. Giao của hai tập hợp
c. Hợp của hai tập hợp

- Phép hiệu: µ A\ B ( x) = µ A ( x) − µ A ( x) µ B ( x)
- Phép giao: µ A∩ B (x) = µ A ( x) µ B ( x)

- Phép hợp: µ A∪ B (x) = max{ µ A (x) , µ B (x) }.
- Phép bù: µ A (x) = 1 - µ A (x) .
C

I.1.2. Định nghĩa tập Mờ

Xét ví dụ đơn giản sau: Cho X là khơng gian nền các số thực.
Xét tập B = { x ∈ R | x ≈ 6}. Khi đó A là một tập mờ tập vũ trụ X vì các giá trị
xấp xỉ 6 sẽ gây phân vân cho người đọc. Có người cho rằng bắt đầu từ số 5.4455 là
xấp xỉ 6. Trong khi đó, người khác lại cho rằng 3.56666
Nhằm thống nhất những quan điểm trái ngược nhau đo, người ta đưa thêm
vào một giá trị trong khoảng từ 0 đến 1 để chỉ mức độ phụ thuộc của một giá trị
vào 2 quan điểm trên. Việc đưa thêm giá trị thuộc này gọi là việc mờ hố giá trị rõ
x. Từ đó ta đi đến khái niệm tập mờ.
Định nghĩa 2: Tập mờ là một tập hợp mà mỗi phần tử cơ bản x của nó được
gán thêm 1 giá trị thực µ X ∈ [0,1] để chỉ sự phụ thuộc của phần tử đó vào tập đã
cho. Khi độ phụ thuộc (độ thuộc) bằng 0 thì phần tử đó hồn tồn khơng phụ thuộc
vào tập đã cho, ngược lại với độ thuộc là 1, phần tử đó sẽ thuộc tập hợp với xác

suất là 100%

Như vậy tập mờ là tập gồm các cặp (x, µ (x) ). Tập kinh điển U các phần tử
của X gọi là tập vũ trụ của tập mờ. Cho x chạy hết các giá trị thuộc U ta sẽ có hàm
µ (x) nhận các giá trị thuộc [0,1]. Đây chính là điều khác biệt cơ bản giữa tập kinh

điển và tập mờ.

Kí hiệu: µ A ( x) : U → [0,1] hay A= {( µ A ( x) / x) : x ∈ U }
µ gọi là hàm thuộc (hàm thành viên)

5



THệ VIEN ẹIEN Tệ TRệẽC TUYEN
V mt ng ngha, hm thnh viờn cho ta kh nng biu th trc cm ca
chỳng ta v mt ý ngha ca khỏi nim m. Nhng ti sao khỏi nim mt tp m
li c biu th bng mt hm thnh viờn ny m khụng phi l mt hm khỏc.

KIL
OBO
OKS
.CO
M

Cú th thy, khụng th xỏc nh chớnh xỏc cho mt hm thnh viờn cho mt khỏi
nim m. Vỡ vy ngi ta núi hm thnh viờn cú tớnh cht ch quan v Zadeh a
ta ý tng l vic chp nhn mt khỏi nim m c biu th bng mt tp m
(hm thnh viờn) l mt rng buc (constraint).

I.1.3 Cỏc phộp toỏn trờn tp m

Mt nguyờn tc c bn trong vic xõy dng cỏc phộp toỏn trờn tp m l khụng
c mõu thun vi nhng phộp toỏn ó cú trong lý thuyt tp hp thụng thng.








%
Hm thuc ca cỏc tp m A B , A B , A c nh ngha cựng vi tp
m, song s khụng mõu thun vi cỏc phộp toỏn tng t ca tp hp thụng
thng nu nh chỳng khụng tha món nhng tớnh cht tng quỏt ca lý thuyt tp
hp thụng thng.

I.1.3.1 Phộp hp hai tp m
nh ngha 3:

Hp ca hai tp m A v B cú cựng tp v tr X l mt tp m A B
cng xỏc nh trờn v tr X cú hm thuc à



A B

a) à



A B

( x) ch ph thuc vo à ( x) , à ( x) .

b) à ( x ) = 0 vi mi x à
B

c) à

A

B



( x) = à ( x) .

A B

A B

( x) tha món:

( x) = à



BA

( x) , tc l cú tớnh giao hoỏn

d) Cú tớnh kt hp, tc l à




A









( A B ) C

( x) = à







A ( B C )

( x)



e) Nu A 1 A 2 thỡ A 1 B A 2 B hay à



A B

gim tc à ( x) à ( x)
A1



A2

6

à





A1 B

( x) cú tớnh cht khụng

( x) à



A2 B

( x)



THệ VIEN ẹIEN Tệ TRệẽC TUYEN
Cú nhiu cụng thc khỏc nhau c dựng tớnh hm thuc à



A B

( x) cho

hp hai tp m. Vớ d 5 cụng thc sau õy cú th c s dng nh ngha hm


A B

1) à



A B

( x) ca phộp hp gia hai tp m:

KIL
OBO
OKS
.CO
M

thuc à

( x) = max{ à ( x) , à ( x) }
A

(Lut ly max)

B

max{à ( x), à ( x)}
A

B
(
x
)
=


A B
1

2) à
3) à



A B

4) à



A B

( x) = min{1, à ( x) + à ( x) } (Phộp hp Lukasiewicz)
A

( x) =

B

A B

(1.3)
(1.4)

à ( x) + à ( x)


A



B

(tng Einstein)

1+ à ( x) + à ( x)
A

5) à

(1.2)

B

( x) = à ( x) + à ( x) à ( x) à ( x) (tng trc tip)
A

(1.5)

B

A

B

(1.6)

Trong phn nghiờn cu ny, chỳng ta s dng cụng thc (1.2) dựng tớnh toỏn.
Cỏc cụng thc cũn li cú th s dng trong hng phỏt trin sau ny.
I.1.3.2. Phộp giao 2 tp m
nh ngha 4:









Giao ca hai tp m A v B cú cựng tp v tr X l mt tp m A B
cng xỏc nh trờn tp v tr X vi hm thuc tha món :
a) à



A B

( x) ch ph thuc vo à ( x) , à ( x) .

b) à ( x ) = 1 vi mi x à
B

c) à

B



( x) = à ( x) .

A B



A B

( x) = à



BA

e) à ( x ) à ( x)
A2

A

( x) , tc l cú tớnh giao hoỏn

d) Cú tớnh kt hp, tc l à
A1

A









( x) = à



( x) à

( A B ) C

à



A1 B

A ( B C )

7



A2 B

( x)

( x) (hm khụng gim)



THệ VIEN ẹIEN Tệ TRệẽC TUYEN
Cú nhiu cụng thc khỏc nhau dựng tớnh hm thuc à



A B

tp m v bt c mt ỏnh x à



( x): X [0,1] no tha món 5 tiờu chun ó

KIL
OBO
OKS
.CO
M

A B

( x) ca giao hai



nờu trong nh ngha trờn u c xem nh l hm thuc ca giao hai tp m A


v B cú chung tp v tr X.

Cỏc cụng thc thng dựng tớnh hm thuc à



A B

1) à

A B

{

( x) ca phộp giao gm:

}

(1.8)

( x) = min à ( x) , à ( x)
A

B

min à ( x), à ( x) nếu max à ( x), à ( x) = 1





A
B
A
B
2) à ( x) =
A B
0 nếu max à ( x), à ( x) 1
A
B

(1.9)

3) à

(1.10)

{

}

{

{



A B

4) à





A B

}
( x) = max {0, à ( x) + à ( x) 1}

}





A

( x) =

B

(phộp giao Lukasiewicz)

à ( x) à ( x )




A

(tớch Einstein)

B

2 ( à ( x) + à ( x)) à ( x) à ( x)
A

B

A

B

(1.34)
5) à



A B

( x) = à ( x) à ( x)


A

(tớch i s)



B

(1.11)

T 5 cụng thc nờu trờn thỡ cú lut min v tớch i s l hai loi lut xỏc nh hm
thuc ca giao hai tp m c dựng nhiu hn. Trong ti liu ny, chỳng ta s
dng lut min (1.8) tớnh toỏn
I.1.3.3 Phộp bự ca mt tp m.
nh ngha 5:

Tp bự ca tp m A nh ngha trờn tp v tr X l mt tp m A cng xỏc
nh trờn tp v tr X vi hm thuc tha món :
a) à ( x) ch ph thuc vo à ( x ) .


A

A





b) Nu x A thỡ x A hay à ( x ) =1 à ( x) = 0


A

A

8



THệ VIEN ẹIEN Tệ TRệẽC TUYEN

c) Nu x A thỡ x A hay à ( x ) =0 à ( x) = 1


A







A



KIL
OBO
OKS
.CO
M

d) Nu A B thỡ A B tc l
à ( x ) à ( x ) à ( x ) à ( x)

A



B

A



B



Do hm thuc à ( x) ca A ch ph thuc vo à ( x ) nờn ta cú th xem à ( x)


A



A

A

nh l mt hm ca à [0,1] . T ú cú nh ngha tng quỏt v phộp bự m nh

A

sau :
* nh ngha 6 :





Tp bự ca tp m A nh ngha trờn tp v tr X l mt tp m A cng xỏc
nh trờn tp v tr X vi hm thuc
à ( à ):[ 0,1] [ 0,1]


A

tha món

a ) à (1) = 0 v à (0) = 1

b) à à à ( à ) à ( à ) tc l hm khụng tng.




A

c)

B

A



B

à ( x) =1 à ( x)


A



A

I.2. Cỏc phộp toỏn trờn nhng s m
Trc khi mụ t kin trỳc mng noron m chỳng ta cp ngn gn phộp
toỏn s hc m ó xỏc nh bi nguyờn lý m rng. Trong bi bỏo ny, chỳng ta
biu th ln lt nhng s thc v nhng s m l nhng ch thng v ch in
hoa.
T ú nhng vector tớn hiu vo v nhng trng s kt ni ca mng noron
m truyn thng nhiu noron c m hoỏ trong bi bỏo ny, di õy l phộp
cng, phộp nhõn, v ỏnh x khụng tuyn tớnh ca nhng s m trong mng noron
m:

9

THệ VIEN ẹIEN Tệ TRệẽC TUYEN
(1.12)

à AB ( z ) = max{à A ( x ) à B ( y ) | z = xy}

(1.13)

à f ( Net ) ( z ) = max{à Net ( x ) | z = f ( x )}

(1.14)

KIL
OBO
OKS
.CO
M

à A+ B ( z ) = max{à A ( x ) à B ( y ) | z = x + y}

Trong ú A,B,Net l nhng s m, à* (.) biu th hm thuc ca mi s
m, l toỏn t nh nht v f ( x) =

1
l hm kớch hot ca nhng noron n
1 + e x

v nhng noron ra ca mng noron m. Cỏc phộp toỏn ú c minh ho trong
hỡnh 1 v hỡnh 2

Hỡnh 1.2:cỏc phộp toỏn ca s m

Hỡnh 1.3: hm kớch hot m

Nhng phộp toỏn trc ca nhng s m c thc hin trờn cỏc tp mc
(nh ct- ). Tp mc h ca mt s m X c xỏc nh nh sau:

10



THệ VIEN ẹIEN Tệ TRệẽC TUYEN
[ X ]h = {x | à x ( x) h, x R}

vi 0 < h 1

(1.15)

Trong ú à x (x ) l hm thuc ca X v R l tp hp cỏc s thc. T ú

KIL
OBO
OKS
.CO
M

nhng tp mc ca nhng s m tr thnh nhng khong úng, chỳng ta biu th
[X]h nh sau:

[ X ]h = [[ X ]hL ,[ X ]Uh ]

(1.16)

Trong ú [X] hL v [ X ]Uh ln lt gii hn di v gii hn trờn ca tp
mc h.

Nhng phộp toỏn trc ca nhng s m c vit li cho nhng tp mc h
nh sau:
[ A] h + [ B ] h = [[ A]Uh , [ A] hL ] + [[ B ]Uh , [ B ]hL ] = [[ A] hL + [ B ] hL , [ A]Uh + [ B ]Uh ]
U
h

L
h

U
h

(1.17)

L
h

[ A] h .[ B ] h = [[ A] , [ A] ].[[ B ] , [ B ] ]

= [min{[ A] hL .[ B ] hL , [ A]hL .[ B ]Uh , [ A]Uh .[ B ] hL , [ A]Uh .[ B ]Uh },

max{[ A]hL .[ B ]hL , [ A] hL .[ B ]Uh , [ A]Uh .[ B ] hL , [ A]Uh .[ B ]Uh }]
L

h

(1.18)

U
h

f ([ Net ] h ) = f ([[ Net ] , [ Net ] ])

= [ f ([ Net ] hL ]), f ([ Net ]Uh )]

(1.19)

Trong trng hp 0 [ B] hL [ B]Uh , (1.18) cú th c n gin hoỏ nh sau:
[A]h [B]h = [min {[A]hL [B]hL , [A]hL [B]Uh },max{[A]Uh [B]hL ,[ A]Uh [B]Uh }]

Chng II Mng noron

II.1.Mụ hỡnh ca 1 noron
X1

X2

W1

OUT

W2

.

Wn

Xn

Bias
11 nhõn to
Hỡnh 1.4: noron

(1.20)



THệ VIEN ẹIEN Tệ TRệẽC TUYEN
u vo ca noron nhõn to gm n tớn hiu xi (i=1,2,,n). Mi tớn hiu u
vo tng ng vi mt trng s Wi (i=1,2,..,n) biu th mc nh hng ca Xi
ti noron th j. Gi s cỏc trng s l khỏc nhau, chỳng ta cú th c lng tng

KIL
OBO
OKS
.CO
M

tớn hiu i vo ca noron v c gi l Net u vo, nhng ta cú th gi nh l:
- Net u vo l hm ca cỏc tớn hiu Xi v cỏc trng s Wi.
- Hm liờn kt Net l tng ca tớch cỏc tớn hiu XI v Wi.
õy khụng phi l cỏch duy nht biu din tng tớn hiu vo ca noron. Cú

cũn rt nhiu hm phc tp nhng cỏch trờn l n gin v hu ớch khi chỳng ta
xõy dng mt mng cú nhiu noron
Ngoi ra ra cũn cú mt hn kớch hot f bin i t Net sang tớn hiu u ra
OUT=f(Net). Hm ny tho món cỏc iu kin sau:
- Tớn hiu Out phi khụng õm i vi mi giỏ tr ca Net.
- Hm f phi liờn tc v khụng b chn trờn khong [0,1].
Cú nhiu hm f tho món iu kin trờn, song trong bỏo cỏo ny em s dng
hm ch S (Sigmoidal):

Out = F ( Net , , ) =

1

1 + e ( Net

+ )

(1.21)

Vi giỏ tr Net õm ln, hm F cú giỏ tr 0 (sai); vi giỏ tr Net dng ln,
hm F cú giỏ tr 1 (ỳng). Hm cng nhn cỏc giỏ tr liờn tc t 0 n 1 (cỏc giỏ tr
m gia 0 v 1). Kh nng ny ca hm to nờn mi liờn h gia mng noron v
liờn kt m. Bng vic thay i cỏc thụng s , chỳng ta cú th tỏc ng ti tớnh
m ca hm. iu ny to iu kin thun li cho cỏc th tc hc, th tc d bỏo
ca mng.
õy, xột vi trng hp = 1 v = 0 ta cú

F ( Net ) =
II.2. Lp noron

1
1 + e net

(1.22)

Mt lp bao gm mt nhúm cỏc noron c t chc theo mt cỏch sao cho
tt c chỳng u nhn cựng mt vecto u vo X x lý ti cựng thi im. Vic
sn sinh ra Net u vo, bin i thnh tớn hiu ra Out xut hin cựng mt lỳc
trong tt c cỏc noron.
12



THÖ VIEÄN ÑIEÄN TÖÛ TRÖÏC TUYEÁN
Vì mỗi noron trong một lớp sản sinh ra Net đầu vào và tín hiệu ra Out riêng
nên tất cả các tín hiệu này được tổ chức thành các vecto Net và Out. Các vecto Out

KIL
OBO
OKS
.CO
M

này có thể dùng như tín hiệu vào X của các noron kế tiếp. Hình vẽ sau là một ví dụ
về 1 lớp có 4 noron và vecto tín hiệu vào có 3 biến.

Hình 1.5- Lớp noron.

II.3. Khái niệm và phân loại mạng noron

Một mạng noron bao gồm một vài lớp liên kết với nhau.

Nếu lấy số lớp là tiêu chuẩn để phân loại mạng thì ta có: mạng một lớp và
mạng nhiều lớp.

+ Mạng 1 lớp: đây là cấu trúc mạng noron đơn giản nhất. Mạng noron này chỉ
gồm 1 lớp xuất, không có lớp ẩn.

Noron

Input

Noron

Output

Noron
Noron

Hình 1.6- Cấu trúc mạng Noron 1 lớp

13



THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN
+ Mạng nhiều lớp: có lớp vào, lớp ra và các lớp ẩn. Trong đó, lớp nhận tín hiệu
đầu vào (vecto đầu vào X) được gọi là lớp vào. Các tín hiệu đầu ra của mạng được

KIL

OBO
OKS
.CO
M

sản sinh bởi lớp ra của mạng. Các lớp nằm giữa lớp vào và lớp ra được gọi là lớp
ẩn và nó là thành phần nội tại của mạng và khơng có bất kỳ tiếp xúc nào với mơi
trường bên ngồi. Số lượng lớp ẩn có thể dao động từ 0 đến một vài lớp. Càng
nhiều lớp ẩn thì khả năng mở rộng thơng tin càng cao và xử lý tốt mạng có nhiều
input và output. Tuy nhiên, thực tế cho thấy chỉ cần một lớp ẩn là mạng đã đủ để
giải quyết được một lớp các bài tốn khá phức tạp.

Hình1.7- Cấu trúc mạng noron nhiều lớp

Nếu lấy liên kết giữa các noron, giữa các lớp vào nhau làm tiêu chuẩn để
phân loại thì ta có: mạng truyền thẳng và mạng nối ngược (mạng hồi quy).
+ Mạng truyền thẳng (feedforrward): là mạng có đặc điểm khơng có tín hiệu ra
nào của một lớp là tín hiệu vào của noron nào đó trên cùng một lớp.

14




KIL
OBO
OKS
.CO
M

THÖ VIEÄN ÑIEÄN TÖÛ TRÖÏC TUYEÁN

Hình 1.8- Mạng feedforrward

+ Mạng nối ngược (feedback): là mạng có các tín hiệu ra được gửi trở lại như là
các tín hiệu vào của cùng một lớp hay lớp trước đó. Mạng noron có các vòng lặp
khép kín gọi là mạng hồi quy.

Hình 1.9- Mạng hồi quy

Vậy các thông số cấu trúc của mạng noron nhân tạo gồm có là:
+ Số tín hiệu vào và tín hiệu ra
+ Số lớp noron

+ Số noron trên mỗi lớp

+ Số trọng số của mỗi noron

+ Cách các trọng số được nối bên trong hoặc giữa các lớp
+ Những noron nào nhận tín hiệu hiệu chỉnh.
15



THệ VIEN ẹIEN Tệ TRệẽC TUYEN
+ S lng liờn kt ca mi noron (liờn kt y , liờn kt b phn v liờn kt
ngu nhiờn).

KIL
OBO

OKS
.CO
M

II.4.Th tc hc ca mng
Nguyờn tc hc ca mng noron c chia lm 2 loi: hc tham s v hc cu
trỳc. Trong o, hc tham s quam tõm n chin lc hiu chnh trong s ca
cỏc noron trong mng. Hc cu trỳc tp trung vo vic thay i cu trỳc bao gm
s lp, s noron, cu trỳc topo ca cỏc trng s. C 2 loi cú th hc ng thi
hoc tỏch bit.

Hc tham s
Gi s co n noron, mi noron cú m trng s. Chỳng cú th c kt hp li
to thnh ma trn dng sau:

W1T


W2T

W=
=
....


WnT

W11

W12 ....

W1m

W21

W22 .....

W2 m

...

Wn1

.... .....

Wn 2 ....

...

Wnm








Trong ú, wi=(wi1,wi2,,wim)T, i=1,2,,n l vecto trng s ca noron th i
v wij l trng s kt ni t noron th j n noron th i.

Cỏc th tc hc tham s nhm tỡm kim ma trn trng s W sao cho mng
cú kh nng a ra cỏc d bỏo sỏt vi thc t. Cỏc th tc hc tham s cú th chia
thnh 3 lp nh hn l: hc cú ch o (hc cú thy), hc tng cng, hc khụng
cú ch o(hc khụng cú thy).
Hc cú ch o(hc cú thy): Mi ln vect tớn hiu vo X c cung
cp cho mng, ta cng cp luụn cho mng vect u ra mong mun l Y. V mng
phi sn sinh ra tớn hiu ra Out sao cho nú gn vi Y nht. C th, nu ta cp mt
tp ngu nhiờn M=(Xi,Yi) tc l khi vect Xi i vo mng, vect u ra Yi cng
c cung cp (hỡnh 1). lch gia tớn hiu u ra Out v vect u ra Yi s
c b sn sinh sai s thu nhn v sn sinh ra tớn hiu sai s. Tớn hiu sai s ny
s i vo mng v mng s hiu chnh cỏc trng s ca mỡnh sao cho tớn hiu u
ra Out s gn vi vect u ra mong mun Yi. .
Nu tớn hiu u ra Out= Y thỡ lỳc ú mng noron ó bóo ho, khi ú th
tc hc ca mng ó hi t.

16



THệ VIEN ẹIEN Tệ TRệẽC TUYEN

Vecto vo

Tớn hiu ra Out

KIL
OBO
OKS
.CO
M

Mng noron
Sn sinh sai s

Hỡnh 1.10 - S hc cú ch o

Hc tng cng: cng l mt dng ca hc cú ch o vỡ mng noron
vn nhn tớn hiu bờn ngoi mụi trng. Tuy nhiờn, tớn hiu ngoi mụi trng ch
l nhng tớn hiu mang tớnh phờ phỏn, ch khụng phi l cỏc ch dn c th nh
trong hc cú ch o. Ngha l, tớn hiu tng cng ch cú th núi cho mng bit tớn
hiu va sn sinh l ỳng hay sai ch khụng ch cho mng bit tớn hiu ỳng nh
th no. Tớn hiu tng cng c x lý bi b x lý tớn hiu tng cng (hỡnh 2)
nhm mc ớch giỳp cho mn hiu chnh cỏc trng s vi hi vng nhn c tớn
hiu tng cng tt hn trong tng lai. Cỏc th tc hc tng cng thng c
bit n nh cỏc th tc hc vi nh phờ bỡnh ch khụng phi l hc vi thy nh
cỏc th tc hc cú ch o.

Vecto vo

Tớn hiu ra Out

Mng noron

Sn sinh tớn hiu
tng cng

Hỡnh 1.11- S hc tng cng

Tớn hiu tng
cng

Hc khụng ch o(hc khụng cú thy): Trong th tc ny, khụng cú
thụng tin no t bờn ngoi mụi trng ch ra tớn hiu u ra Out phi nh th no
hoc ỳng hay sai. Mng noron phi t khỏm phỏ cỏc c im, cỏc mi quan h

17



THệ VIEN ẹIEN Tệ TRệẽC TUYEN
ang quan tõm nh: dng ng nột, cú chun cú bỡnh thng hay khụng, cỏc h
s tng quan, tớnh cõn xng, tớnh chy, ca cỏc mu hc v sau ú chuyn
nhng quan h tỡm thy qua u ra. Trong quỏ trỡnh hc, cỏc trng s ca mng s

Vecto vo

KIL
OBO
OKS
.CO
M

thay i th hin cỏc c tớnh c phỏt hin.
d hỡnh dung cụng vic ny, chỳng ta hóy nh ti cụng vic ca cỏc nh
thng kờ, nht l cỏc nh thng kờ dựng mỏy tớnh hin i.

Tớn hiu ra Out

Mng noron

Hỡnh 1.12- S hc khụng ch o

Hc cu trỳc
Viờc hc cu trỳc l vic tỡm kim cỏc tham s ca cu trỳc mng tỡm ra
mt cu trỳc mng hot ng tt nht. Trong thc t, vic hc cu trỳc l vic tỡm
ra s lp n v s noron trờn mi lp ú. Cỏc k thut nh gii thut di truyn hay
lp trỡnh tin hoỏ thng c s dng trong cỏc th tc hc cu trỳc. Cỏc k thut
ny thng chy rt lõu thm chớ i vi cỏc mng cú kớch thc trung bỡnh.

II.5 Gii thut hc lan truyn ngc
II.5.1. Kin trỳc mng

18



THÖ VIEÄN ÑIEÄN TÖÛ TRÖÏC TUYEÁN
I2

I1

Ik

I3

wjk

KIL
OBO
OKS

.CO
M

Lớp ra (0)

H4

aj

H5

Lớp ra (1)

wjk

Lớp ra (2)

Oi

Hình 1.13- Mạng noron 2 lớp

Các noron lớp thứ t được nối đầy đủ với các noron lớp thứ t+1. Trong nhiều
ứng dụng thực tế, để đơn giản, người ta thường sử dụng mạng có 1 lớp ẩn, số
noron trong lớp ẩn được xác định dựa trên kinh nghiệm, hoặc dựa trên các kỹ thuật
tìm kiếm khác nhau.

Cấu trúc của mạng là đặc điểm chính tác động đến tính mềm dẻo của mô
hình mà mạng sản sinh ra, đó là số lớp, số noron và cách mà chúng được nối với
nhau. Các đặc điểm chính của mạng với chiến lược học lan truyền ngược sai số
thường là:

- Các lớp của mạng noron lan truyền ngược của sai số được nối đầy đủ với
nhau, tức là tín hiệu ra của các noron trên lớp này chính là tín hiệu vào của tất cả
các noron trên lớp kế tiếp.

- Mỗi noron có một kết nối với Bias làm tăng khả năng thích nghi và tăng
tính mềm dẻo của mạng trong quá trình học.

- Số noron trên lớp vào và lớp ra là cố định đối vì nó chính là số chiều của
vecto vào và vecto lời giải. Chúng được xác định trước phụ, thuộc vào tương ứng
ứng dụng cụ thể mà mạng noron xây dựng.

19



THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN
- Thường chỉ sử dụng mạng có 3 lớp: một lớp vào, một lớp ra, một lớp ẩn là
đã có thể mơ hình hố được một lớp các bài tốn lớn.

KIL
OBO
OKS
.CO
M

Với thủ tục học lan truyền ngược sai số truyền thống, các thơng số cấu trúc
(số lớp, số noron trên mỗi lớp) thường được xác định thơng qua việc thử và sai.
Phần nhiều các tác giả xây dựng mạng noron lan truyền ngược của sai số nhỏ liên
kết với nhau chứ khơng xây dựng một mạng noron lớn. Các thiết kế như vậy một

phần xuất phát từ khả năng tài ngun của máy tính có hạn và phần khác là tập
mẫu học khơng đủ bao phủ tồn khơng gian biến.

II.5.2. Huấn luyện mạng

Học có giám sát với tập mẫu {(Xp, Tp)}.
Thủ tục học có thể tóm lược như sau:

Mỗi khi đưa một mẫu Xp=(xp1, …., xpni) vào mạng, ta thực hiện các cơng việc
sau:
-

Lan truyền mẫu Xp qua mạng để có Op = Tinh(Xp, W)

-

Tính sai số e của mạng dựa trên sai lệch Op-Tp.

-

Hiệu chỉnh các trọng số liên kết noron dẫn tới lớp ra từ noron j tại lớp ẩn
cuối cùng tới noron i tại lớp ra:
wij = wij + α . aj . δi

(1.23)

ở đây α là hệ số học

aj là đầu ra của noron j

δi là sai số mà noron i ở lớp ra phải chịu trách nhiệm, được xác định theo
δi = ei g’(Neti)

(1.24)

với erri là sai số thành phần thứ i trong ep, Neti là tổng thơng tin vào có
trọng số của noron thứ i (Neti = ∑wij . aj) và g’(.) là đạo hàm của hàm kích hoạt g
được dùng trong các noron.

Hiệu chỉnh các trọng số liên kết noron dẫn tới tất cả lớp ẩn từ noron thứ k
sang noron thứ j.

20



THÖ VIEÄN ÑIEÄN TÖÛ TRÖÏC TUYEÁN
Tính tổng sai số tại noron j phải chịu trách nhiệm
δj = g’(Netj)∑ wij δi

(1.25)

KIL
OBO
OKS
.CO
M

Hiệu chỉnh trọng số wjk
wjk = wjk + α ak δj

(1.26)

(trường hợp xét liên kết từ noron vào thứ k sang noron j trên lớp ẩn, ta có
ak = Ik chính là tín hiệu vào)

Trường hợp xét hàm kích hoạt tại các noron:

g ( x) =

1
1 + e− x

Ta có hệ thức g’(x) = g(x)(1 - g(x)).

Từ các công thức (1.23) và (1.26) ta có thể viết lại
wij = wij + ∆wij

với ∆wij = α aj δi

wjk = wjk + ∆wjk

và

∆wjk=α ak δj

Trong các ứng dụng thực tế, người ta thường hiệu chỉnh ∆wij theo nguyên
tắc có chú ý đến thao tác trước đó. Do vậy

∆wij(mới) = α aj δi + β ∆wij(cũ)

Quá trình huấn luyện mạng cần chú ý tới các yếu tố sau:

Các trọng số ban đầu wij được gán các giá trị ngẫu nhiên, nhỏ.
Lựa chọn các hệ số học α và hệ số quán tính β sao cho α + β ≈ 1, với β không
lớn hơn α quá nhiều.

Các tín hiệu vào, ra nên được định cỡ chỉ nằm trong khoảng [0, 1]. Các
nghiên cứu thực nghiệm chỉ ra rằng nên ở trong khoảng [0.2, 0.8].

II.5.3. Sử dụng mạng

Giả sử đã huấn luyện mạng như trên với tập mẫu {(Xp, Yp)} để được ma trận
trọng số W. Quá trình lan truyền trong mạng một vecto tín hiệu vào X = (x1, x2,
x3) được cho bởi:

21



THệ VIEN ẹIEN Tệ TRệẽC TUYEN
out = g(w64 a4 + w65 a5) = g(w64 g(w41x1 + w42x2 + w43x3) w65 g(w51x1 + w52x2 +
w53x3)) = F(X, W)

KIL
OBO
OKS
.CO
M

*) Kh nng tớnh toỏn ca mng nhiu lp:
Vi mt lp n, mng cú th tớnh toỏn xp x mt hm liờn tc bt k vi
cỏc bin l cỏc tớn hiu u vo.

Vi hai lp n, mng cú th tớnh toỏn xp x mt hm bt k. Tuy vy, s
noron trong cỏc lp n cú th tng theo hm m i vi s u vo v cho n nay
vn cha cú nhng c s lý lun y kho sỏt h cỏc hm cú th xp x nh
cỏc mng nhiu lp.

Chng III: Mt gii thut hc ca cỏc mng noron m
vi nhng trng s m tam giỏc
III.1 Kin trỳc ca mng noron m

Gi s chỳng ta cú 3 lp mng noron truyn thng vi ni noron vo, nH
noron n, no noron ra. Nhng vector tớn hiu vo, vector tớn hiu ớch, trng s kt
ni v nhng bias c m hoỏ.
Mi quan h vo v ra ca mi noron ca mng noron m cú th c vit
nh sau:
Nhng noron vo:
O pi = X pi ,

i = 1, 2 ,..., n I

Nhng noron n:
O pj = f ( Net pj ),
Net pj =

nH

j = 1, 2 ,... n H

W ji O pi + j

i =1

Nhng noron ra:

Opk = f ( Net pk ), k = 1,2,...n0 .
nH

Net pk = Wkj Opj + k
j =1

22

(1 .27 )

(1 .28 )
(1 .29 )

(1.30)
(1.31)



THệ VIEN ẹIEN Tệ TRệẽC TUYEN
Trong ú Xpi l mt u vo m, Wij v Wkj l nhng trng s m,

KIL
OBO
OKS
.CO
M

j v k l nhng bias m (hỡnh 1.14).

Hỡnh1.14: Kin trỳc mt mng noron m

III.2 Gii thut

Gi s rng cú m cp vector m vo-ra (Xp,Tp), p=1,2,,m c a ra
trong quỏ trỡnh hun luyn d liu. Chỳng ta cng gi s rng cú n giỏ tr ca h
(nh h1,h2,,hn) c s dng cho s hc ca mng noron m. S hc õy l
hc cú giỏm sỏt vi tp mu {(Xp,Tp)}. Gii thut hc ca mng noron m cú th
c túm tt nh sau:
Khi a mt mu Xp=(x1,x2,,xm) vo mng ta thc hin cỏc bc sau:
Bc 0: khi to cỏc trng s m v cỏc bias m.
Bc 1: lp li bc 2 vi h=h1,h2,,hn.
Bc 2: lp li cỏc th tc vi p=1,2,,m.

(1) Tớnh toỏn tuyn tớnh: tớnh toỏn tp mc h ca vector m ra Op ng vi
vector m voXp. Tc l cho vector m vo Xp tớnh vector ra Op.
(2) Tớnh toỏn ngc: s dng hm giỏ e ph iu chnh cỏc trng s m v
cỏc bias m.
Bc 3: Nu mt iu kin nh trc khụng tho món thỡ quay li bc 1.
23

THệ VIEN ẹIEN Tệ TRệẽC TUYEN
Kt lun:
1. Mng ny cú th x lý thụng tin vo m, thụng tin ra m, cỏc thụng s ca

KIL
OBO
OKS
.CO
M

mng m. Quỏ trỡnh tớnh toỏn nay thc hin trờn nhng s m.
2. Trong quỏ trỡnh hun luyn phi chỳ ý chn tp mc h nh hng ti quỏ
trỡnh tớnh toỏn v kt qu. Cỏch chn bias.
3. Vi cỏch trờn nh vy thỡ phi x lý c lut if-then. Thỡ cỏc s small,
medium, large, l nhng s m. Nhng lut m ny ng dng trong mng
noron.

24