ứng dụng mạng noron trong bài toán xác định lộ trình cho robot

ĐẠI H C THÁI NGUYÊN
KHOA CÔNG NGHỆ THÔNG TIN
-----------------------------------

ĐINH THỊ THUÝ QUỲNH

ỨNG DỤNG MẠNG NƠRON TRONG BÀI
TOÁN XÁC ĐỊNH LỘ TRÌNH CHO ROBOT

LUẬN VĂN THẠC SĨ CƠNG NGHỆ THƠNG TIN

THÁI NGUYÊN - 2008


ĐẠI H C THÁI NGUYÊN
KHOA CÔNG NGHỆ THÔNG TIN
-----------------------------------

ĐINH THỊ THUÝ QUỲNH

ỨNG DỤNG MẠNG NƠRON TRONG BÀI
TOÁN XÁC ĐỊNH LỘ TRÌNH CHO ROBOT
Chun ngƠnh: Khoa học máy tính
Mƣ số: 60.48.01

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN
NGƯỜI HƯỚNG DẪN KHOA H C:
PGS – TS ĐẶNG QUANG Á

THÁI NGUYÊN - 2008

MỤC LỤC
1
M CL C
DANH M C HÌNH

4

LỜI NĨI Đ U

6

CHƯ NG 1

T NG QUAN MẠNG N RON NHÂN TẠO............................

8

1.1. Gi i thi u m ng n ron..........................................................

8

1.1.1. Những kiến trúc tính tốn.............................................

8

1.1.2. Lịch sử phát triển của mạng n ron...............................

9

1.1.3. N ron sinh học..............................................................

11

1.1.4. N ron nhơn tạo..............................................................

12

1.1.5. Mạng n ron nhơn tạo....................................................

14

1.1.6. Tiếp cận n ron trong tính tốn......................................

18

1.2. Ph m vi ứng d ng c a m ng n ron....................................

22

1.2.1. Những bƠi tốn thích hợp..............................................

22

1.2.2. Các lĩnh vực ứng dụng của mạng n ron.......................

24

1.2.3. Ưu nh ợc điểm của mạng n ron..................................

25

1.3. M ng Hopfield.......................................................................

26

1.3.1. Mạng Hopfield r i rạc...................................................

28

1.3.2. Mạng Hopfiel liên tục...................................................

28

1.4. M ng n ron trong k thu t robot.......................................

29

1.5. Nh n xét.................................................................................

30

CHƯ NG 2 GIỚI THI U BÀI TỐN L P L TRÌNH CHO ROBOT............

32

2.1. Gi i thi u robot nhơn t o.....................................................

32

2.1.1. Tổng quan.....................................................................

32

2.1.2. Giải pháp thiết kế..........................................................

33

2.2. BƠi toán l p l trình..............................................................

34

1

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




2.2.1. M đầu..........................................................................

34

2.2.2. Các ví dụ thực tế...........................................................

37

2.2.3. BƠi tốn lập lộ trình chuyển động cho robot................

39

2.3. Các thƠnh ph n c bản c a vi c l p l trình........................

40

2.3.1. Trạng thái........................................................................

40

2.3.2. Th i gian.........................................................................

40

2.3.3. HƠnh động.......................................................................

41

2.3.4. Trạng thái đầu vƠ trạng thái kết thúc..............................

41

2.3.5. Tiêu chuẩn......................................................................

41

2.3.6. Giải thuật........................................................................

42

i lập lộ trình............................................................

42

2.3.8. Lộ trình...........................................................................

42

2.3.9. Lập lộ trình chuyển động................................................

46

2.4. Khơng gian cấu hình...............................................................

46

2.4.1. Các khái niệm khơng gian cấu hình................................

46

2.4.2. Mơ hình cấu hình............................................................

47

2.4.3. Khơng gian cấu hình ch ớng ngại..................................

56

2.4.4. Định nghĩa chính xác về vấn đề lập lộ trình...................

58

2.3.7. Ng

CHƯ NG 3

NG D NG MẠNG N RON NHÂN TẠO TRONG BÀI TỐN

L P L TRÌNH CHO ROBOT.....................................................................

60

3.1. M ng n ron nhơn t o vƠ bƠi toán l p l trình......................

60

3.2. Ứng d ng m ng Hopfield giải bƠi tốn l p l trình .............

62

3.2.1. Khái qt một số ph

ng pháp lập lộ trình.....................

62

ng pháp do Yang vƠ Meng đề xuất..........................

63

3.2.3. Mơ hình Yang vƠ Meng cải tiến......................................

67

3.3. Các kết quả thử nghi m..........................................................

69

ng trình Đềmơ.........................................................

69

3.2.2. Ph

3.3.1. Ch

2

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




3.3.2. So sánh các kết quả..........................................................

71

3.3.3. Kết luận............................................................................

73

K T LU N...............................................................................................

75

TÀI LI U THAM KH O............................................................................

76

PH L C..................................................................................................

77

3

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




DANH MỤC HÌNH
Hình 1.1: Mơ hình n ron sinh học..............................................................

11

Hình 1.2: Mơ hình một n ron nhơn tạo......................................................

14

Hình 1.3: Mơ hình mạng truyền thẳng 1 lớp..............................................

16

Hình 1.4: Mơ hình mạng truyền thẳng nhiều lớp.......................................

17

Hình 1.5: Mạnh hồi quy 1 lớp có nối ng ợc..............................................

17

Hình 1.6: Mạnh hồi quy nhiều lớp có nối ng ợc.......................................

18

Hình 1.7: Mơ hình mạng Hopfield.............................................................

27

Hình 2.1: Các thƠnh phần cấu thƠnh Robot................................................

34

Hình 2.2: Khối Rubitc (a); bƠi tốn dịch chuyển số (b).............................

36

Hình 2.3: Giải thuật kéo 2 thanh thép tách ra.............................................

37

Hình 2.4: Sử dụng Robot di động để di chuyển Piano...............................

38

Hình 2.5: (a) ng

i lập lộ trình thiết kế giải thuật lập lộ trình...................

43

(b) Ng

i lập lộ trình thiết kế toƠn bộ máy ...............................

43

Hình 2.6: Một số lộ trình vƠ sự cải tiến lộ trình.........................................

44

Hình 2.7: Mơ hình có thứ bậc 1 máy có thể chứa đựng 1 máy khác..........

45

Hình 2.8: Khơng gian cấu hình...................................................................

47

Hình 2.9: Một Robot điểm di chuyển trong không gian 2D, C – Space lƠ
R2................................................................................................................ 48

Hình 2.10: Một Robot điểm di chuyển trong khơng gian 3D, C – Space
lƠ R3............................................................................................................

48

Hình 2.11: Một đa thức lồi có thể đ ợc xác định b i phép giao của các
nửa mặt phẳng.............................................................................................

49

Hình 2.12: Dấu hiệu của f(x,y) phơn chia R2 thƠnh 3 vùng: f(x,y) <0,
f(x,y) >0, f(x,y) =0......................................................................................

50

Hình 2.13: (a)Đa diện. (b)Biểu diễn các cạnh của một mạt trong đa diện

53

4

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Hình 2.14: (a) Sử dụng f để phơn chia R2 thƠnh 2 vùng. (b) Sử dụng mƠu
đạ số để mô hình hố vùng mặt..................................................................

54

Hình 2.15: Biểu thị một đa giác với những lỗ. Ng ợc chiều kim đồng hồ
cho biên ngoƠi vƠ thuận chiều kim đồng hồ cho biên trong.......................
Hình 2.16: C – Space vƠ nhiệm vụ tìm đ

55

ng từ qI đến qG trong Cfree.

C = Cfree  Cobs...........................................................................................

57

Hình 3.1: Giao diện ch

ng trình mơ hình ngun bản.............................

69

Hình 3.2: Giao diện ch

ng trình mơ hình cải tiến ...................................

69

Hình 3.3: Mê cung 1...................................................................................

71

Hình 3.4: Mê cung 2...................................................................................

72

Hình 3.5: Mê cung 3...................................................................................

72

5

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




L I NÓI Đ U
Nh các khả năng: Học, nhớ lại vƠ khái quát hoá từ các mẫu huấn luyện
hoặc dữ liệu, mạng n ron nhơn tạo tr thƠnh một phát minh mới đầy hứa hẹn
của hệ thống xử lý thơng tin. Các tính tốn n ron cho phép giải quyết tốt
những bƠi toán đặc tr ng b i một số hoặc tất cả các tính chất sau: Sử dụng
khơng gian nhiều chiều, các t

ng tác phức tạp, ch a biết hoặc khơng thể

theo dõi về mặt tốn học giữa các biến. NgoƠi ra ph

ng pháp nƠy cịn cho

phép tìm ra nghiệm của những bƠi tốn địi hỏi đầu vƠo lƠ các cảm nhận của
con ng

i nh : tiếng nói, nhìn vƠ nhận dạng...

BƠi tốn lập lộ trình cho robot lƠ một bƠi toán khá phức tạp, do khi tồn tại
vƠ hƠnh động trong môi tr

ng robot sẽ phải chịu rất nhiều sự tác động khác

nhau. Tuy nhiên, các tính toán n ron lại cho phép giải quyết tốt các bƠi tốn
có nhiều t

ng tác phức tạp. Vì vậy, ứng dụng mạng n ron trong bƠi tốn xác

định lộ trình cho robot sẽ hứa hẹn lƠ một giải pháp hiệu quả góp phần nơng
cao hiệu năng lƠm việc của robot nh khả năng di chuyển nhanh chóng, chính
xác trong các mơi tr

ng lƠm việc của mình.

Trên thế giới, đƣ có một số nghiên cứu ứng dụng mạng n ron trong bƠi
tốn lập lộ trình cho robot. Tuy nhiên, lĩnh vực nƠy còn khá mới mẻ vƠ ch a
đ ợc ứng dụng rộng rƣi

n ớc ta. Trong n ớc cũng ch a có một tƠi liệu

chính thống nƠo về lĩnh vực nƠy. Với những ứng dụng ngƠy cƠng rộng rƣi của
công nghệ robot, việc nghiên cứu vƠ áp dụng những thƠnh tựu mới của công
nghệ thông tin vƠo thiết kế vƠ cải tiến các kỹ năng trong đó có kỹ năng tránh
các vật cản khi di chuyển lƠ một trong những vấn đề nóng đang rất đ ợc quan
tơm. Chính vì những lý do trên em đƣ quyết định chọn đề tƠi: “Ứng d ng
m ng n ron trong bƠi toán xác định l trình cho robot” Với mục đích tìm

6

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




hiểu về mạng n ron nhơn tạo vƠ bƠi toán lập lộ trình cho robot, ứng dụng
mạng n ron vƠo bƠi toán trên.
Luận văn gồm 3 ch

ng với các nội dung c bản sau:

Chư ng 1: Trình bƠy tổng quan về c s của mạng n ron nhơn tạo, vƠ
nêu khái quát những ứng dụng của mạng n ron trong cơng nghệ robot.
Chư ng 2: Trình bƠy: bƠi tốn lập lộ trình vƠ những thƠnh phần của
nó, khơng gian cấu hình, cấu hình ch ớng ngại vật.
Chư ng 3: Trình bƠy: h

ng pháp lập lộ trình của Yang vƠ Meng, cải

tiến mơ hình ngun bản do Yang vƠ Meng đề xuất, cƠi đặt thử nghiệm
hai mơ hình đƣ trình bƠy, đ a ra những nhận xét về hiệu quả của hai mơ
hình đó.
Mặc dù đƣ hết sức nỗ lực, song do th i gian vƠ kinh nghiệm nghiên cứu
khoa học cịn hạn chế nên khơng thể tránh khỏi những thiếu sót. Em rất mong
nhận đ ợc sự góp ý của các thầy cô vƠ bạn bè đồng nghiệp để hiểu biết của
mình ngƠy một hoƠn thiện h n.
Qua luận văn nƠy em xin chơn thƠnh cảm n: PGS .TS Đặng Quang Á Viện Cơng nghệ thơng tin đƣ tận tình giúp đỡ, động viên, định h ớng,

h ớng dẫn em nghiên cứu vƠ hoƠn thƠnh luận văn nƠy. Em xin cảm n các
thầy cô giáo trong viện Công nghệ thông tin, các thầy cô giáo khoa Công
nghệ thông tin ĐH Thái nguyên, đƣ giảng dạy vƠ giúp đỡ em trong hai năm
học qua, cảm n sự giúp đỡ nhiệt tình của các bạn đồng nghiệp .
THÁI NGUYÊN 11/2008

Ng

i viết luận văn

Đinh Thị Thuý Quỳnh
7

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




CHƯ NG I

TỔNG QUAN MẠNG NƠRON NHÂN TẠO
1.1. GI I THIỆU MẠNG NƠRON
1.1.1 Những kiến trúc tính tốn
Khái niệm tính tốn có thể đ ợc hiểu theo nhiều cách. Tr ớc đơy, việc
tính tốn bị ảnh h

ng b i quan niệm tính tốn theo ch

ng trình (Programed

computing). Theo quan điểm nƠy, để giải quyết bƠi tốn thì b ớc đầu tiên ta
cần thiết kế giải thuật sau đó cƠi đặt giải thuật đó trên cấu trúc hiện hƠnh có
u thế nhất.
Quan sát các hệ sinh học, đặc biệt lƠ bộ nƣo ng

i ta thấy chúng có

những đặc điểm sau:
(1) Bộ nƣo tích hợp vƠ l u trữ kinh nghiệm: Tức lƠ bộ nƣo có khả năng tự
phơn loại vƠ liên kết các dữ liệu vƠo.
(2) Bộ nƣo xem xét kinh nghiệm mới dựa trên những kinh nghiệm đƣ l u
trữ.
(3) Bộ nƣo có khả năng dự đốn chính xác những tình huống mới dựa trên
những kinh nghiệm tự tổ chức tr ớc đơy.
(4) Bộ nƣo không yêu cầu thông tin hoƠn hảo.
(5) Bộ nƣo thể hiện một kiến trúc chấp nhận lỗi tức lƠ có thể khơi phục sự
mất đi của một vƠi noron bằng cách thích nghi với noron còn lại hoặc
bằng cách đƠo tạo bổ xung.
(6) C chế hoạt động của bộ nƣo đôi khi không rõ rƠng trong vận hƠnh. Ví
dụ với một số bƠi tốn chúng ta có thể cung cấp nghiệm nh ng khơng
thể giải thích đ ợc các b ớc tìm nghiệm.

8

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




(7) Bộ nƣo có khuynh h ớng đ a ra những giải pháp trong một trạng thái

cơn bằng hoặc có khuynh h ớng dẫn đến trạng thái đó
Từ đó ta nhận thấy, tính tốn dựa trên các hệ sinh học khác với tính tốn
theo ch

ng trình

các đặc điểm sau:

- Q trình tính tốn đ ợc tiến hƠnh song song vƠ phơn tán trên
nhiều noron
- Tính tốn thực chất lƠ q trình học chứ khơng phải theo một s
đồ định sẵn từ tr ớc.
Dựa trên nhữnh đặc điểm nƠy một ph

ng pháp tính tốn mới có nền

tảng từ sinh học lƠ mạng noron nhơn tạo (Artifical Neural Networks_ ANNs)
đƣ ra đ i vƠ có tiềm năng tr thƠnh kiến trúc tính toán chiếm u thế.
1.1.2 Lịch sử phát triển c a m ng noron.
Mạng noron nhơn tạo đ ợc xơy dựng từ những năm 1940 nhằm mô
phỏng một số chức năng của bộ nƣo ng
nƣo ng

i. Dựa trên quan điểm cho rằng bộ

i lƠ bộ điều khiển. Mạng noron nhơn tạo đ ợc thiết kế t

ng tự nh

noron sinh học sẽ có khả năng giải quyết hƠng loạt các bƠi tốn nh tính tốn

tối u, điều khiển, cơng nghệ robot…
Q trình nghiên cứu vƠ phát triển noron nhơn tạo có thể chia thƠnh 4
giai đoạn nh sau:
- Giai đoạn 1: Có thể tính từ nghiên cứu của William (1890) về tơm lý
học với sự liên kết các noron thần kinh. Năm 1940 Mc Culloch vƠ Pitts đƣ cho
biết noron có thể mơ hình hố nh thiết bị ng ỡng (Giới hạn) để thực hiện các
phép tính logic vƠ mơ hình mạng noron của Mc Culloch – Pitts cùng với giải
thuật huấn luyện mạng của Hebb ra đ i năm 1943.

9

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




- Giai đoạn 2: vƠo khoảng gần những năm 1960, một số mơ hình noron
hoƠn thiện h n đƣ đ ợc đ a ra nh : Mơ hình Perceptron của Rosenblatt
(1958), Adalile của Widrow (1962). Trong đó mơ hình Perceptron rất đ ợc
quan tơm vì nguyên lý đ n giản, nh ng nó cũng có hạn chế vì nh Marvin
Minsky vƠ Seymour papert của MIT ( Massachurehs Insritute of Technology)
đƣ chứng minh nó khơng dùng đ ợc cho các hƠm logic phức (1969). Cịn
Adaline lƠ mơ hình tuyến tính, tự chỉnh, đ ợc dùng rộng rƣi trong điều khiển
thích nghi, tách nhiễu vƠ phát triển cho đến nay.
- Giai đoạn 3: Có thể tính vƠo khoảng đầu thập niên 80. Những đóng
góp lớn cho mạng noron trong giai đoạn nƠy phải kể đến Grossberg,
Kohonen, Rumelhart vƠ Hopfield. Trong đó đóng góp lớn của Hopfield gồm
hai mạng phản hồi: Mạng r i rạc năm 1982 vƠ mạng liên tục năm 1984. Đặc
biệt, ơng đƣ dự kiến nhiều khả năng tính tốn lớn của mạng mƠ một n ron
khơng có khả năng đó. Cảm nhận của Hopfield đƣ đ ợc Rumelhart, Hinton vƠ

Williams đề xuất thuật toán sai số truyền ng ợc nổi tiếng để huấn luyện mạng
noron nhiều lớp nhằm giải bƠi tốn mƠ mạng khác khơng thực hiện đ ợc.
Nhiều ứng dụng mạnh mẽ của mạng noron ra đ i cùng với các mạng theo
kiểu máy Boltzmann vƠ mạng Neocognition của Fukushima.
- Giai đoạn 4: Tính từ năm 1987 đến nay, hƠng năm thế giới đều m
hội nghị toƠn cầu chuyên ngƠnh n ron IJCNN (International Joit Conference
on Neural Networks). Rất nhiều cơng trình đ ợc nghiên cứu để ứng dụng
mạng n ron vƠo các lĩnh vực nh : Kỹ thuật tính, điều khiển, bƠi tốn tối u, y
học, sinh học, thống kê, giao thơng, hố học,...Cho đến nay mạng n ron đƣ
tìm vƠ khẳng định đ ợc vị trí của mình trong rất nhiều ứng dụng khác nhau.

10

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




1.1.3. N ron sinh học.
Hệ thần kinh gồm hai lớp tế bƠo: N ron (tế bƠo thần kinh) vƠ glia (tế
bƠo glia). N ron lƠ thƠnh phần c bản của hệ thần kinh, chúng có chức năng
xử lý thơng tin. Glia thực hiện chức năng hỗ trợ. Vì vậy tr ớc khi nghiên cứu
về n ron nhơn tạo chúng ta sẽ trình bƠy khái quát về cấu tạo vƠ hoạt động của
n ron sinh học.
N ro sinh học có nhiều loại, chúng khác nhau về kích th ớc vƠ khả
năng thu phát tín hiệu. Tuy nhiên chúng có cấu trúc vƠ nguyên lý hoạt động
chung nh sau:
Mỗi n ron sinh học gồm có 3 thƠnh phần: Thơn n ron với nhơn

bên

trong (soma), một đầu dơy thần kinh ra (axon) vƠ một hệ thống phơn nhánh
hình cơy (Dendrite) để nhận các thơng tin vƠo. Trong thực tế có rất nhiều dơy
thần kinh vƠo vƠ chúng bao phủ một diện tích rất lớn (0,25mm2). Đầu dơy
thần kinh ra đ ợc rẽ nhánh nhằm chuyển giao tín hiệu từ thơn n ron tới n ron
khác. Các nhánh của đầu dơy thần kinh đ ợc nối với các khớp thần kinh
(synapse). Các khớp thần kinh nƠy đ ợc nối với thần kinh vƠo của các n ron
khác. Các n ron có thể sửa đổi tín hiệu tại các khớp. Hình ảnh đ n giản của
một n ron thể hiện trong hình 1.1.

Hình 1.1. Mơ hình nơron sinh học
11

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Hoạt động của n ron sinh học có thể đ ợc mơ tả nh sau:
Mỗi n ron nhận tín hiệu vƠo từ các tế bƠo thần kinh khác. Chúng tích
hợp các tín hiệu vƠo, khi tổng tín hiệu v ợt q một ng ỡng nƠo đó chúng tạo
tín hiệu ra vƠ gửi tín hiệu nƠy tới các n ron khác thông qua dơy thần kinh.
Các n ron liên kết với nhau thƠnh mạng. Mức độ bền vững của các liên kết
nƠy xác định một hệ số gọi lƠ trọng số liên kết.
1.1.4. N ron nhơn t o.
Mô phỏng n ron sinh học, ta có n ron nhơn tạo. Mỗi n ron có rất nhiều
dơy thần kinh vƠo, nghĩa lƠ mỗi n ron có thể tiếp nhận đồng th i nhiều dữ
liệu. Giả sử n ron i có N tín hiệu đầu vƠo, mỗi tín hiệu vƠo Sj đ ợc gán một
trọng số wij t

ng ứng. Ta có thể ớc l ợng tổng tín hiệu đầu vƠo đi vƠo

n ron (neti) theo một số dạng sau:
(i)

Dạng truyến tính
neti   wij S j
N

i 1

(ii)

Dạng toƠn ph

(1.1)

ng
neti   wij S 2j
N

i 1

(iii)

(1.2)

Dạng mặt cầu
neti  p 2  wij ( S j  wij )2
N

i 1

(1.3)

Trong đó p vƠ wij lần l ợt lƠ bán kính vƠ tơm cầu.

 HƠm kích hoạt.

HƠm biến đổi tín hiệu đầu vƠo net cho tín hiệu đầu ra out đ ợc gọi lƠ
hƠm kích hoạt. HƠm nƠy có đặc điểm lƠ khơng ơm vƠ bị chặn. Có nhiều dạng
12

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




hƠm kích hoạt. Ng

i ta th

ng sử dụng một hƠm kích hoạt chung cho toƠn

mạng.
Một số hƠm kích hoạt th

ng đ ợc sử dụng.

+ HƠm McCuloch-Pitts

1 nÕu net  
out  f net   
0 nÕu net  

(1.4)

Trong đó  lƠ ng ỡng.

+ HƠm McCuloch-Pitts trễ

1 nÕu net  UTP

out  f net   0 nÕu net  LTP
 f net  nÕu kh¸c


(1.5)

Trong đó UTP>LTP
UTP lƠ ng ỡng trên (Upper Trip Point)
LTP lƠ ng ỡng d ới (Lower Trip Point)
+ HƠm Sigmoid.

out  f(net) 

1
1  e - (net 0)

(1.6)

Trong đó  >0 lƠ hằng số xác định độ nghiêng của hƠm.

 Nút bias:

LƠ một nút thêm vƠo nhằm lƠm tăng khả năng thích nghi của mạng
n ron trong quá trình học. Trong các mạng n ron có sử dụng bias, mỗi
n ron có thể có một trọng số t

ng ứng với bias. Trọng số nƠy ln có

giá trị lƠ 1.

13

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Mơ hình của một nút xử lý (nút thứ i):
V1
Wi1

Vj

Wij

U i   Vi  f ( U i )

Vi

WiN

VN

Hình 1.2. Mơ hình một nơron nhân tạo.

U i   WijV j  
N

(1.7)

i 1
j i

Vi  f i ( U i )

(1.8)

Trong đó:
Ui lƠ tổng tín hiệu vƠo tại n ron i.
Vi lƠ tín hiệu ra tại n ron i.
Wij lƠ trọng số liên kết từ n ron i đến n ron j

i lƠ ng ỡng (đầu vƠo ngoƠi ) kích hoạt n ron i

fi

lƠ hƠm kích hoạt của n ron i

1.1.5. M ng n ron nhơn t o
Mạng n ron nhơn tạo (Artificial Neural Network) lƠ một cấu trúc mạng
đ ợc hình thƠnh nên b i một số l ợng lớn các n ron nhơn tạo liên kết với
nhau. Mỗi n ron có các đặc tính đầu vƠo, đầu ra vƠ thực hiện một chức năng
tính tốn cục bộ.

14

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Với việc giả lập các hệ thống sinh học, các cấu trúc tính tốn mạng
n ron có thể giải quyết đ ợc lớp các bƠi toán nhất định nh : bƠi tốn lập lịch,
bƠi tốn tìm kiếm, bƠi tốn nhận dạng mẫu, bƠi tốn xếp loại,... Mạng n ron
cịn giải quyết đ ợc lớp các bƠi toán sử dụng dữ liệu không đầy đủ, xung đột
m hoặc xác suất. Những bƠi toán nƠy đ ợc đặc tr ng b i một số hoặc tất cả
các tính chất sau: Sử dụng không gian nhiều chiều, các t

ng tác phức tạp,

ch a biết hoặc khơng thể theo dõi về mặt tốn học giữa các biến; khơng gian
nghiệm có thể rỗng, có nghiệm duy nhất hoặc có một số nghiệm bình đẳng
nh nhau. NgoƠi ra, mạng n ron nhơn tạo cịn thích hợp để tìm nghiệm của
những bƠi tốn địi hỏi đầu vƠo lƠ những cảm nhận b i con ng

i nh : Tiếng

nói, nhìn vƠ nhận dạng,... Tuy nhiên việc ánh xạ từ một bƠi toán bất kỳ sang
một giải pháp mạng n ron lại lƠ một việc không đ n giản.
Mạng n ron lƠ một cấu trúc xử lý song song, thơng tin phơn tán vƠ có
các đặc tr ng nổi bật sau:

 LƠ mơ hình tốn học dựa trên bản chất của n ron sinh học.

 Bao gồm một số l ợng lớn các n ron liên kết với nhau.

 Mạng n ron có khả năng học, khái qt hố tập dữ liệu học thông
qua việc gán vƠ hiệu chỉnh các trọng số liên kết.

 Tổ chức theo kiểu tập hợp mang lại cho mạng n ron khả năng tính
tốn rất lớn, trong đó khơng có n ron nƠo mang thơng tin riêng biệt.
Mạng n ron nhơn tạo có một số mơ hình thơng dụng sau:
a. Mạng truyền thẳng:
- Mạng truyền thẳng một lớp: LƠ mơ hình liên kết c bản vƠ đ n giản nhất.
Các n ron tổ chức lại với nhau tạo thƠnh một lớp, tín hiệu đ ợc truyền theo
một h ớng nhất định nƠo đó. Các đầu vƠo đ ợc nối với các n ron theo trọng
15

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




số khác nhau, sau quá trình xử lý cho ra một chuỗi các tín hiệu ra. Nếu mạng
lƠ mơ hình LTU thì nó đ ợc gọi lƠ mạng perception, cịn mạng n ron theo mơ
hình LGU thì đ ợc gọi lƠ Adaline.

x1

y1

x2

y2

xm

yn

Hình 1.3. Mơ hình mạng truyền thẳng một lớp
Với mỗi giá trị đầu vƠo x =[x1, x2, ..., xm]T qua q trình xử lí của mạng sẽ thu
đ ợc một bộ đầu ra t

ng ứng y =[y1, y2,..., yn]T với ph

ng pháp xác định

nh sau:

yi  f i(  wij x j   i )
m

j 1

i  1,n

(1.9)

Trong đó:
m: Số tín hiệu vƠo.
n: Số tín hiệu ra.

Wi T  [ wi1 , wi 2 ,...,win ] T lƠ véc t trọng số của n ron thứ i.

fi: lƠ hƠm kích hoạt của n ron thứ i.

: LƠ ng ỡng của n ron thứ i.

- Mạng truyền thẳng nhiều lớp: Với cấu trúc đ n giản nh trên, khi giải
quyết các bƠi toán phức tạp mạng truyền thẳng một lớp sẽ gặp rất nhiều khó

16

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




khăn. Để khắc phục nh ợc điểm nƠy, ng

i ta đ a ra mạng truyền thẳng

nhiều lớp. Đơy lƠ mạng truyền thẳng gồm nhiều lớp kết hợp với nhau. Lớp
nhận tín hiệu gọi lƠ lớp đầu vƠo (input layer), lớp đ a các tín hiệu ra gọi lƠ lớp
đầu ra (output layer), các lớp

giữa lớp vƠo vƠ lớp ra gọi lƠ lớp ẩn (hidden

layers). Cấu trúc của mạng n ron truyền thẳng nhiều lớp đ ợc mơ tả trong
hình 1.4.
Lớp ẩn

Lớp vƠo

Lớp ra

x1

y1
y2

x2
...

...

...

...

xm

yn

Hình 1.4. Mạng nơron truyền thẳng nhiều lớp.

 Mạng hồi quy.

- Mạng hồi quy một lớp có nối ng ợc.

x1

y1

x2

y2

xN

ym

Hình 1.5. Mạng hồi quy một lớp có nối ngược.
- Mạng hồi quy nhiều lớp có nối ng ợc.

17

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




x1

y1

x2

y2

...

...

...

...

xN

yM
Hình 1.6. Mạng hồi quy nhiều lớp có nối ngược.

1.1.6. Tiếp c n n ron cho tính tốn.
1.1.6.1. Đào tạo và lập trình.
NgƠy nay máy tính đ ợc ứng dụng rộng rƣi trong tất cả các lĩnh vực
của đ i sống xƣ hội. Giải quyết một bƠi toán bằng máy tính cũng có rất nhiều
ph

ng pháp khác nhau. Thơng th

ng, thì ph

ng pháp lập trình chiếm u

thế. Tuy nhiên lập trình địi hỏi một cú pháp hình thức vƠ một loạt các ngôn
ngữ, cũng nh kỹ năng của con ng

i. Một giải pháp điển hình để giải quyết

vấn đề trong hệ sinh học lƠ đào tạo. Ví dụ, trẻ con khơng đ ợc “lập trình”
nh ng chúng học theo ví dụ vƠ thích nghi. Dĩ nhiên, để tiếp cận đƠo tạo khả
thi, máy tính phải có thể đƠo tạo đ ợc vƠ phải có dữ liệu đƠo tạo. Một trong
những giải pháp để giải quyết vấn đề nƠy lƠ sử dụng mạng n ron. Mạng
n ron có những đặc điểm nổi bật sau:

 Các hệ n ron hoạt động nh các hệ thơng tin có thể đƠo tạo đ ợc,
thích nghi vƠ thậm chí tự tổ chức.

 Các mạng n ron phát triển một chức năng dựa trên dữ liệu đƠo tạo
mẫu.

18

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




 Các mạng n ron có thể cung cấp những kiến trúc tính tốn thơng
qua đƠo tạo h n lƠ thiết kế.
1.1.6.2. Luật học
Các luật học đóng vai trị quan trọng trong việc xác định một mạng
n ron nhơn tạo. Một cách đ n giản về khái niệm học của mạng n ron lƠ cập
nhật các trọng số trên c s các mẫu. Theo nghĩa rộng thì học có thể đ ợc
chia lƠm hai loại: Học tham số vƠ học cấu trúc.
a. Học tham số: Các thủ tục học nƠy nhằm tìm kiếm ma trận trọng số sao cho

mạng có khả năng đ a ra dự báo sát với thực tế. Dạng chung của luật học
tham số có thể đ ợc mô tả nh sau:

Wij  rx j ,i  1, N ; j  1, M

Tron đó:

Wij lƠ sự thay đổi trọng số liên kết từ n ron j đến n ron i.

xj lƠ tín hiệu vƠo n ron j.

 lƠ tốc độ học nằm trong khoảng (0,1).

r lƠ hằng số học.
Vấn đề đặt ra

đơy lƠ tín hiệu học r đ ợc sinh ra nh thế nƠo để hiệu

chỉnh trọng số của mạng.
Có thể chia học tham số ra thƠnh ba lớp nhỏ h n: Học có chỉ đạo, học
tăng c

ng vƠ học khơng có chỉ đạo. Việc xác định r phụ thuộc vƠo từng kiểu

học.
- Học có tín hiệu chỉ đạo: LƠ quá trình mạng học dựa vƠo sai số giữa
đầu ra thực vƠ đầu ra mong muốn để lƠm c s cho việc hiệu chỉnh trọng số.
Sai số nƠy chính lƠ hằng số học r. Luật học điển hình của nhóm nƠy lƠ luật
19

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Delta của Widrow(1962) nêu ra dùng để xấp xỉ trọng số của Adaline dựa trên
nguyên tắc giảm gradient.
Trong nhóm luật học nƠy cũng cần phải kể đến luật học perceptron của
Rosenblatt(1958). Về c bản luật học nƠy thay đổi các giá trị trọng số trong
th i gian học, còn luật perceptron thì thêm hoặc bỏ trọng số tuỳ theo giá trị sai
số lƠ d

ng hay ơm.

Một loạt các luật học khác cũng dựa trên t t

ng nƠy. Luật Oja lƠ cải

tiến vƠ nơng cấp của luật Delta. Luật truyền ng ợc lƠ m rộng của luật Delta
cho mạng nhiều lớp. Đối với mạng truyền thẳng th

ng sử dụng luật truyền

ng ợc để chỉnh trọng số với tín hiệu chỉ đạo từ bên ngoƠi vƠ ng

i ta gọi

mạng nƠy lƠ mạng lan truyền ng ợc.
- Học khơng có tín hiệu chỉ đạo: Luật học nƠy sử dụng đầu ra của mạng
lƠm c s để hiệu chỉnh các trọng số liên kết. Hay trong luật nƠy chính lƠ tín

hiệu ra của mạng. Điển hình lƠ luật Hebb(1949) th

ng dùng cho các mạng tự

liên kết. Luật LVQ (learning Vector Quantization) dùng cho mạng tự tổ chức
một lớp mạng ánh xạ đặc tr ng của Kohonen.
Luật học Hebb lƠ luật sinh học xuất phát từ tiên đề của Hebb cho rằng:
Giữa hai n ron có quan hệ vƠ có thay đổi thế năng mạng thì giữa chúng có sự
thay đổi trong số liên kết. Nói cách khác trọng số đ ợc điều chỉnh theo mối
t

ng quan tr ớc vƠ sau, nghĩa lƠ:

Wij  yi x j , i  1, N , j  1, M

(1.11)

Trong đó:

Wij lƠ sự thay đổi trọng số liên kết từ n ron i đến n ron j.

xj lƠ tín hiệu vƠo n ron j

20

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

yi lƠ tín hiệu ra của n ron i.

 lƠ tố độ học, nằm trong khoảng(0,1).

Luật Hebb giải thích việc chỉnh trọng số trong phạm vi cục bộ của
mạng mƠ khơng cần tín hiệu chỉ dạo từ bên ngoƠi. Hopfield cũng cải tiến luật
Hebb cho các mạng tự liên kết thƠnh 16 dạng khác nhau theo kiểu luật Hebb,
luật đối Hebb, luật Hopfield,...
Nh vậy ứng với mỗi nhóm mạng th

ng áp dụng một luật học nhất

định. Nếu tồn tại hƠng chục loại mạng khác nhau thì số luật học có thể tăng
lên rất nhiều lần.
Đối với mạng phản hồi th

ng sử dụng luật Hebb vƠ các luật cải tiến

của nó để chỉnh trọng số mƠ khơng cần tín hiệu chỉ đạo từ bên ngoƠi.
- Học tăng cường: Trong một số tr

ng hợp, thơng tin phản hồi chỉ lƠ

tín hiệu bao gồm hai trạng thái cho biết tín hiệu đầu ra của mạng lƠ đúng hay
sai. Quá trình học dựa trên các thông tin h ớng dẫn nh vậy đ ợc gọi lƠ học
có củng cố (học tăng c

ng) vƠ tín hiệu mang thơng tin phản hồi đ ợc gọi lƠ

tín hiệu củng cố cho q trình học. Ta có thể thấy rằng quá trình học nƠy lƠ

một dạng của quá trình học có tín hiệu chỉ đạo b i vì mạng nhận đ ợc một số
thông tin phản hồi từ bên ngoƠi.
b. Học cấu trúc: Tìm kiếm các tham số của cấu trúc mạng để tìm ra một cấu
trúc mạng hoạt động tốt nhất. Trong thực tế việc học cấu trúc lƠ tìm ra số lớp
ẩn vƠ tìm ra số n ron trong mỗi lớp đó. Giải thuật di truyền th
dụng trong các cấu trúc nh ng th

ng đ ợc sử

ng chạy rất lơu, thậm chí ngay cả đối với

mạng có kích th ớc trung bình. NgoƠi ra kỹ thuật gọt tỉa mạng hay mạng tăng
dần cũng đ ợc áp dụng trong việc học cấu trúc của mạng có kích th ớc t

ng

đối nhỏ.

21

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




1.2. PHẠM VI ỨNG DỤNG C A MẠNG NƠRON.
1.2.1. Những bƠi tốn thích h p.
Mạng n ron đ ợc coi nh một hộp đen để biến đổi véc t đầu vƠo m
biến thƠnh vect đầu ra n biến. Tín hiệu ra có thể lƠ các tham số thực (tốt nhất
nằm trong khoảng [0,1], hoặc [-1,1], số nhị phơn 0,1, hay số l ỡng cực -1,

+1). Số biến của vect ra không hạn chế song sẽ ảnh h

ng tới th i gian tính

vƠ tải ngun liệu của máy tính. Nói chung, các lớp bƠi tốn áp dụng cho
n ron có thể phơn chia lƠm 4 loại:
- Phơn lớp (clasification).
- Mơ hình hố (modening).
- Biến đổi, thực hiện ánh xạ từ khơng gian đa biến nƠy vƠo không
gian đa biến khác t

ng ứng (transformation add mapping).

- Liên kết vƠ kỹ thuật dịch chuyển cửa sổ (asosiation and moving
window).
1.2.1.1. Phân loại.
Một trong các công việc đ n giản vƠ th

ng đ ợc sử dụng nhiều trong

quản lý các đối t ợng đa biến lƠ phơn loại (phơn lớp một đối tuợng vƠo các
nhóm, nhóm con hay chủng loại). Ví dụ: bƠi tốn phơn lớp ảnh, nhận dạng
mẫu,...
Khi phải phơn loại một quyết định phức tạp, chúng ta phải bắt đầu với
việc nghiên cứu, thống kê các mối liên quan giữa nhiều đối t ợng. Có thể nói
việc xơy dựng một cơy phơn lớp vƠ các quyết định phải đ ợc thực hiện tr ớc
khi thủ tục học đ ợc tiến hƠnh. Nếu kết quả cuối cùng không thoả mƣn, chúng
ta cần phải xem xét lại cách biểu diễn các đối t ợng hoặc cơy phơn lớp hoặc
thay đổi cả hai.
22

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




1.2.1.2. Mơ hình hố.
Các hệ thống phơn loại đ a ra các cơu trả l i r i rạc nh có, khơng
hoặc một số ngun định danh các đối t ợng đầu vƠo thuộc lớp nƠo. Mơ hình
hố u cầu hệ thống phải sản sinh ra các cơu trả l i mang tính liên tục. Trong
q trình mơ hình hố cần một số l ợng nhỏ các số liệu để xơy dựng mơ hình.
Mơ hình nƠy có thể đ a ra các dự báo cho tất cả các đối t ợng đầu vƠo. Việc
tìm ra đ

ng cong phù hợp với các số liệu thực nghiệm lƠ một trong những

ứng dụng thuộc dạng nƠy. Trong bất kỳ loại mơ hình nƠo cũng phải tuơn theo
một giả định lƠ: Các thay đổi nhỏ của tín hiệu vƠo chỉ gơy ra những biến đổi
nhỏ của tín hiệu ra.
Trong các vấn đề đa biến mạng n ron có nhiều u thế h n so với các
mơ hình hố cổ điển sử dụng các hƠm giải tích. B i vì trong ph

ng pháp mơ

hình hố cổ điển, đối với mỗi đầu ra ta phải xác định một hƠm cụ thể cùng
một bộ các tham số. Trong khi đó đối với mạng n ron thì khơng phải quan
tơm tới những hƠm đó. Tuy nhiên, trong các ph

ng pháp mơ hình hố cổ

điển, các hệ số có thể có một số ý nghĩa nƠo đó đối với vấn đề cần giải quyết,
trái lại các trọng số của mạng không mang một ý nghĩa nƠo cả.
Trong nhiều ứng dụng khá đặc biệt, khi sai số thực hiện khá lớn chúng
ta có thể mơ hình hố bằng cách cơn xứng hố giữa tín hiệu vƠo vƠ tín hiệu ra.
Trong các tr

ng hợp nƠy, sử dụng mạng nh một bảng tra lƠ đủ, mặc dù các

bảng nƠy sẽ cho l i giải gống nhau trong một khoảng nƠo đó của tín hiệu vƠo.
Đối với việc chọn chiến l ợc học, chúng ta cần quan tơm tới sự phơn bố
của các đối t ợng dùng để học. Nếu số l ợng đối t ợng dùng cho việc học lƠ
ít vƠ đ ợc phơn bố đều trong toƠn khơng gian, khi đó số liệu có thể đ ợc dùng
ngay cho việc mơ hình hố. Trái lại, nếu các đối t ợng lƠ nhiều, sẵn có nh ng
phơn bố ngẫu nhiên trong khơng gian biến, đầu tiên ta phải giảm thiểu chúng

23

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên