Giải thuật di truyền để xác định trọng số tối ưu cho mạng nơron trong kỹ thuật xử lý ảnh

Đại Học Quốc Gia Tp. Hồ Chí Minh
TRƯỜNG ĐẠI HỌC BÁCH KHOA

----------oOo----------

NGUYỄN ĐỨC CHÍ

ĐỀ TÀI

GIẢI THUẬT DI TRUYỀN ĐỂ XÁC ĐỊNH TRỌNG SỐ
TỐI ƯU CHO MẠNG NƠ RON TRONG KỸ THUẬT XỬ LÝ ẢNH
Chuyên ngành: KỸ THUẬT VÔ TUYẾN ĐIỆN TỬ
Mã số ngành: 2.07.01/07

LUẬN ÁN THẠC SỸ

TP. HỒ CHÍ MINH, tháng 10 năm 2003


LỜI NÓI ĐẦU
--------oOo-------Giải thuật di truyền (GA) là phương thức giải quyết vấn đề bắt chước hành vi của
con người để sinh tồn và phát triển, nó giúp tìm ra giải pháp tối ưu hay tốt nhất trong
điều kiện thời gian và không gian nhất định, nhưng không có nghóa là luôn tìm ra giải
pháp tuyệt đối cho vấn đề, đôi khi có thể chỉ là tương đối trong điều kiện cho phép.
Khác với các phương pháp cổ điển dựa trên các công thức toán hay phương pháp suy
luận dựa trên kinh nghiệm của các chuyên gia chỉ để ý đến một số giới hạn giải pháp,
GA giải quyết vấn đề bằng cách xét đến toàn bộ các giải pháp, mà trước tiên là một
số giải pháp tiêu biểu, sau đó loại bỏ từ từ những thành phần không thích hợp, kém
thích nghi để chọn những thành phần thích nghi để sinh sản và biến hóa.
Cùng với giải thuật di truyền, trong những năm 70, mạng nơ ron nhân tạo và logic
mờ được nghiên cứu và áp dụng thành công trong việc giải quyết các trường hợp phức

tạp. Khái niệm tính toán được hiểu theo nhiều cách khác nhau. Về lịch sử, việc tính
toán thường gắn liền với chương trình trong đó giải thuật được thiết kế và được cài đặt
lên máy tính bằng cách sử dụng các cấu trúc lệnh hiện hành. Từ đó một quan niệm
khác được nảy sinh khi chúng ta xem xét tính toán trong các hệ sinh học, như sự tính
toán trong bộ não con người khác rất nhiều so với mô hình trên ở chỗ: sự tính toán
được phân bố cực đại và song song, việc học thay thế sự phát triển chương trình ưu
thế hơn. Nhờ nắm bắt cách cư xử này từ tự nhiên, một mô hình tính toán mới xuất
phát từ ý niệm sinh học là mạng nơ ron nhân tạo (ANN) đã ra đời.
Mạng nơ ron nhân tạo là một cấu trúc mạng gồm các nơ ron kết nối với nhau, mỗi
nơ ron có những đặc tính nhập xuất và cài đặt một tính toán hay một chức năng cục
bộ. Đầu ra của mỗi nơ ron được xác định bởi các đặc tính nhập xuất của nó, các mối
liên kết (trọng số) của nó với những nơ ron khác. Có nhiều loại mạng nơ ron nhưng dù
chọn loại mạng nào để giải quyết một vấn đề ta cũng cần mạng mô phỏng càng gần
vấn đề càng tốt. Điều này phụ thuộc vào phương pháp tìm tập trọng số tốt nhất cho
bài toán.
Luận án này sẽ nghiên cứu một phương pháp mới là giải thuật di truyền, sử dụng
nó trong việc tìm kiếm tập trọng số tối ưu cho mạng nơ ron, đặc biệt là mạng lan
truyền, một mạng được sử dụng khá rộng rãi trong việc giải các bài toán phức tạp.
Luận án cũng nghiên cứu về việc ứng dụng mạng nơ ron trong lónh vực xử lý ảnh, cụ
thể là các vấn đề về nhận dạng, như nhận dạng chữ trong văn bản, để từ đó xây dựng
một mạng, dùng giải thuật di truyền để xác định tập trọng số tối ưu cho mạng, mà có
thể nhận dạng hoàn toàn một văn bản lưu trữ trong một file ảnh.
Sau cùng em xin chân thành cảm ơn thầy Lê Tiến Thường đã hướng dẫn, giúp đỡ
em hoàn thành luận án này.
Nguyễn Đức Chí


TÓM TẮT LUẬN ÁN
----------oOo----------

Giải thuật di truyền được ứng dụng trong nhiều lónh vực khác nhau, từ khoa học tự
nhiên đến khoa học nhân văn, từ kỹ thuật sang thương mại lẫn kinh tế tài chính, giải
thuật di truyền là một hình thức tìm kiếm có tính ngẫu nhiên nhưng được hướng dẫn
bởi hàm số thích nghi. Giải thuật di truyền không phải lúc nào cũng tìm ra giải pháp
tối ưu, nhưng chắc chắn nó sẽ cung cấp những giải pháp tương đối tốt trên nền tảng
vững chắc và trong thời gian nhanh nhất. Trong luận án này sẽ nghiên cứu về giải
thuật di truyền, mạng nơ ron nhân tạo, các phương pháp nhận dạng, để từ đó dùng
giải thuật di truyền để xác định tập trọng số tối ưu cho mạng nơ ron, và ứng dụng giải
thuật để tìm tập trọng số tối ưu cho bài toán nhận dạng chữ trong văn bản dùng mạng
nơ ron. Luận án được chia thành 4 chương, nội dung cụ thể của từng chương như sau:
Chương 1: GIẢI THUẬT DI TRUYỀN
Nội dung của chương là trình bày các vấn đề liên quan đến giải thuật di truyền bao
gồm: lịch sử quá trình tính toán tiến hóa, các thuật ngữ sinh học, các bước quan trọng
để thực hiện của giải thuật, cơ chế thực hiện của giải thuật di truyền, sau cùng ứng
dụng giải thuật vào bài toán tối ưu hàm nhiều biến.
Chương 2: MẠNG NƠ RON NHÂN TẠO
Nội dung của chương là trình bày về các vấn đề cơ bản của mạng nơ ron như: lịch
sử nghiên cứu và ứng dụng, định nghóa, phân loại, mô hình, các mạng nơ ron một lớp
và các giải thuật huấn luyện mạng, đặc biệt là trình bày về mạng lan truyền và giải
thuật huấn luyện mạng nổi tiếng lan truyền ngược.
Chương 3: GIẢI THUẬT DI TRUYỀN XÁC ĐỊNH TRỌNG SỐ TỐI ƯU CHO
MẠNG NƠ RON
Nội dung của chương là dùng giải thuật di truyền được trình bày trong chương 1 để
xác định trọng số tối ưu cho mạng lan truyền, bao gồm xây dựng sơ đồ giải thuật, viết
chương trình, và ứng dụng cụ thể vào bài toán XOR.
Chương 4: MẠNG NƠ RON TRONG NHẬN DẠNG
Chương này sẽ trình bày về các vấn đề nhận dạng như: các phương pháp nhận
dạng, nhận dạng ký tự dùng mạng nơ ron, và sau cùng sẽ xây dựng một mạng nơ ron
hoàn chỉnh để nhận dạng một phông chữ cụ thể trên văn bản, dùng giải thuật di
truyền để xác định tập trọng số tối ưu cho mạng này. Tập trọng số tìm được được trình

bày trong phần phụ luïc.


Giải thuật di truyền trong xử lý ảnh

THD: TS.Lê Tiến Thường

MỤC LỤC
Chương 1: GIẢI THUẬT DI TRUYỀN
1. Tóm tắt lịch sử tính toán tiến hóa ...............................................................................1
2. Thuật ngữ sinh học......................................................................................................2
3. Giải thuật di truyền đơn giản ......................................................................................3
4. Các tính chất quan trọng của giải thuật di truyền ......................................................5
5. Các bước quan trọng trong việc áp dụng giải thuật di truyền ....................................6
6. Cơ chế thực hiện của gi27
-0.334
-0.8397
0.1963
-1.5253
0.238

-2.1434
0.4419
0.1703
-2.1759
-3.4395
1.343
-2.4835
-0.9443
-2.9721

0.9168
-0.2098
-1.3736
-2.7119
-1.1416

-2.5443
1.499
-0.0801
-0.4607
-0.2253
2.7613
1.458
-0.0858
-2.1909
2.6459
-3.1203
6.71
-0.331
-0.8744
-0.4012
3.4566
0.184
-0.383
-0.9725
-3.1285
-0.0348
0.1561
-0.3837
0.3049

-3.5493
-1.1704
-0.9783
1.1885

-1.4372
-3.6707
-1.5303
1.579
0.1165
-0.4848
-0.6154
-0.1527
0.0704
2.896
3.0594
-2.8828
0.9088
1.2668
0.3209
-1.6811
-0.2245
-0.154
-0.836
4.0671
-0.1737
-0.6965
2.6139
-0.2961
7.4738

-0.501
-0.3107
1.6851

0.8835
7.6183
0.0461
-0.3071
1.542
1.9493
0.0265
-0.3984
2.3083
-0.5154
-1.6636
1.1087
-0.2665
0.3132
-2.6727
1.3431
-0.1074
0.1838
-0.2185
-2.1261
-0.0714
-0.1283
10.643
0.3838
-3.6826
0.5107

0.1222
0.6372

2.0882
-3.8124
-0.7107
2.9399
0.087
-0.8044
-0.1121
-0.1599
-0.8849
2.0374
2.3536
-3.0312
2.6531
-0.2967
6.7031
-0.6589
0.0531
-1.2507
0.651
2.5012
-0.261
0.0464
-3.1335
-0.1771
1.4089
-0.6379
6.9978

-1.4146

THD: TS. Lê Tiến Thường
-0.5776
1.5172
-0.5873
-0.1927
0.5713
0.0305
-1.0318
-1.2428
0.4848
-0.4364
0.0115
-1.0771
-0.7095
-0.047

2.2336
-3.2207
1.1779
1.6536
-3.332
2.3678
2.7102
-2.5309
0.218
-0.2018
-0.376
0.8864

0.4743
1.8539

-4.4224
2.5681
-2.948
2.0036
-2.9225
2.7684
-0.4112
-4.2772
-2.4814
-0.0314
-2.1405
-1.2629
-3.7639
3.6746

0.3232
0.2451
2.8967
0.8431
0.6141
-2.3639
0.0168
-0.2991
-0.6715
-1.4959
-0.2141
0.1384

2.5924
0.2062

Tập trọng số tối ưu w789
-2.6602
1.414
-0.0154
0.2091
-1.5274
-1.0797
-0.0789
0.2737
-0.2467
-0.8681
-0.2706
0.2415
10.565
0.2388
-2.9849
2.3585
0.162
1.1888
-0.2148
-0.3428
-0.1532
-0.7771
4.2126
-0.0462
-3.5582
2.9179

-2.8475
6.6798

0.6459
-3.472
-0.1885
-0.2275
4.5614
-0.5384
0.0643
2.2851
0.5027
-1.1187
1.205
-0.3539
-3.1288
-0.0839
1.08
-1.0338
0.2598
-3.3966
-1.1663
1.4822
0.1419
-0.3093
-2.1696
-0.0826
0.9445
2.2267
2.8356

-4.799

104

-2.0271
0.9927
4.4687
0.2841
-2.4972
0.9363
0.0066
-0.1472
-0.1486
-0.421
-1.0798
-0.7719
4.1222
-0.0971
-3.1268
3.7916
-0.2697
7.3619
-0.4164
-0.7998
1.4306
0.5245
2.5362
-0.3175
-1.2627
0.1196

-1.4278
0.884

-0.7807
-1.2105
-1.0045
-0.1152
0.9702
-0.4222
0.2004
-0.6643
-1.0843
0.986
1.2429
-0.1915
-2.1291
-0.0545
0.3454
3.6368
0.2742
-3.8311
0.8225
1.2467
-0.775
-0.2037
-0.2895
-0.2983
-0.5429
1.1282
2.4718

-2.9708

0.7994
0.7896
-2.3549
-3.3876
-1.1043
6.2394
-0.4034
0.5503
1.0678
4.8118
-1.8965
-1.1203
-1.8844
0.5226

0.336
-0.087
-0.1964
-0.0883
3.6042
0.425
1.0312
-0.1138
3.6277
-0.2924
-1.0974
0.4923
-0.7956

0.5871

2.0329
-4.3356
0.6502
-1.8981
-2.4821
2.445
2.3492
3.9879
-0.1251
1.9379
0.7904
-4.8845
0.625
-3.3521

-1.0837
-1.6035
2.4505
-0.119
-2.5413
2.7979
-0.265
5.9186
-0.3198
-0.3894
-0.4063
0.677
2.5904

-0.3542
-0.4025
-0.1617
-0.2047
1.2486
-0.2458
0.3107
-0.2719
-1.1356
1.3208
0.1652
-0.6499
-0.7734
-0.305
0.3147

3.0344
0.5942
-0.7953
-0.0311
0.2759
3.5079
0.2028
-3.9469
0.8731
2.7204
0.3118
-0.2572
-0.3188
-0.1673

6.0829
1.339
-0.0853
-3.7628
2.6139
-0.3478
3.157
-0.4172
-0.7568
-1.4757
0.9485
-1.5696
1.4318
1.7677

-1.4945
-0.6275
0.4617
-0.2347
-0.3524
-0.1494
-0.124
0.6467
-0.2515
7.1676
-2.5837
-1.1546
1.4137
0.1409
-3.2305

-0.6061
-0.1904
0.6945
10.656
0.2441
-0.1995
0.9778
1.2229
1.5161
-0.4322
-0.2034
-0.6896

HVTH: Nguyễn Đức Chí


Giải thuật di truyền trong xử lý ảnh

Mạng
5

Phụ lục

0.3071
-0.7619
-1.9462
1.9558
-13.0346
1.5188
-6.1252

2.0264
-0.4406
-0.0857
-0.0503
0.0555
0.7415
6.8387
-1.1346
0.2775
-0.0771
5.3619
-4.1247
2.292
-0.4036
1.9469
0.0625
0.3939
-0.987
2.2933
0.0574
-3.6535
0.1483
-0.2671
-0.1684
0.369
-9.4333
4.1202
-0.4308
-0.0386
0.7078

-0.7402
0.4142
0.2899
-3.7412
1.362
-0.6256
0.4796
-0.4859
0.3114
0.0573
-0.0734
-2.2344

0.5656
-1.1385
0.8428
-1.1102
4.9219
-0.4227
3.4448
-0.8493
5.3501
-0.0502
0.0337
0.0705
0.2751
-2.748
1.3603
-0.2439
0.0615

-4.0451
4.5991
-0.2429
0.5494
-0.3854
0.0669
-0.0238
0.6253
-7.8606
-0.6651
-3.5684
-1.0123
-0.4582
1.4155
0.6339
5.6139
-0.7972
0.4869
-0.0887
6.7155
0.8895
-0.0393
0.5327
1.1615
0.2714
0.4116
-0.8392
0.93
0.6369
-0.0604

-0.0753
3.116

0.222
-0.5294
3.2497
-0.2
-3.0179
-0.8117
-2.6395
2.1639
-5.0146
-0.033
0.0812
0.0098
-0.7867
5.5576
-8.5817
-0.9098
0.0692
2.5305
-2.2496
0.5653
-0.9317
0.9284
-0.0505
1.122
-0.3579
-1.2781
-0.8157

-1.2322
-8.9649
6.3436
-1.7906
0.3683
-0.446
0.4402
-0.8464
-0.0754
-3.5443
0.2588
-0.2266
-0.2586
-0.9366
3.0019
-0.0014
0.5658
-1.9282
0.2509
-0.0502
0.4107
-2.9932

THD: TS. Lê Tiến Thường

Tập trọng số tối ưu w10_14

-1.8314
0.4354
-2.5086

0.1539
4.9186
-14.024
6.5565
-1.2009
2.076
0.0042
0.0591
-0.0215
0.299
-2.362
1.8648
-0.5121
0.0634
-0.8895
2.3568
-0.1493
0.4961
-2.0857
0.0301
-0.4785
-0.0749
6.5385
0.7669
-0.482
7.543
-1.4798
-1.2416
-0.8857
5.247

-0.0224
0.594
0.0389
1.4449
0.4169
-0.3114
0.2843
0.8585
0.523
1.0593
-0.3034
0.6835
-0.8993
0.068
-13.812
1.9294

-1.1443
-0.0767
1.876
1.2367
-2.7527
9.1058
-0.8659
-0.6954
-0.5222
0.0651
-0.0615
-0.0478
-0.4081

0.4296
-0.0792
0.0696
0.0828
1.4983
-1.502
1.1485
-0.3071
0.6668
0.0102
0.2691
-13.8533
2.5007
4.5062
-0.1751
0.0332
0.8272
-10.7873
0.3561
-4.962
1.1439
-0.4024
-0.0254
-1.6438
-0.065
0.527
-0.1099
4.8035
1.3738
-0.5075

0.1325
-0.061
0.2397
0.0107
6.5776
-0.8838

0.5991
-7.0939
-1.0805
-4.221
-0.265
-3.4356
-0.9482
0.5013
1.007
0.0799
-0.0335
-0.0818
0.4623
-2.188
3.0945
-0.0541
0.0645
-1.9858
0.0968
-0.4331
0.1465
-0.1724
-0.0682

0.733
10.7843
-0.7867
3.0527
0.3672
5.7273
-5.5692
2.0047
-0.5046
2.0984
-0.4208
-0.0906
0.0861
2.8039
0.8743
-0.815
0.1606
3.75
-0.1853
0.4071
-9.4056
4.0781
-0.3616
-0.0985
-3.1741
-0.3141

105

1.2579

-0.8018
0.5855
2.8178
-1.253
7.3647
-8.0469
4.4123
-1.9817
0.0846
0.0706
0.392
-0.8594
2.6784
-1.4185
0.072
-0.06
0.9763
-0.0319
0.423
-9.4808
4.1053
0.0811
0.3827
1.1291
-1.0157
-5.598
0.3698
-5.0968
2.6806
-0.7526

0.5329
-0.4497
0.3148
-0.039
-0.0913
-8.436
-0.3003
0.1321
-0.5188
-5.1249
1.02
0.7769
5.4714
-0.8014
0.4862
-0.065
5.6069
0.5378

-0.7245
3.7595
-0.845
-2.4577
1.7822
-6.0727
5.4929
-0.9052
0.7069
0.0531
-0.0839

-0.1381
0.4556
-1.6388
0.9447
-0.0576
0.3162
-0.6997
1.8719
0.6549
5.5894
-0.9116
0.0456
-0.8278
6.4372
0.9518
1.6706
4.3718
2.0771
0.7689
0.5832
-0.9878
0.9615
0.751
0.0947
0.0632
-1.0495
-0.5789
-0.3411
-7.9772
3.6796

-0.0094
0.2554
-0.5218
0.5576
-0.9584
-0.0237
-3.247
-0.7633

-0.2454
3.286
-4.5509
2.3437
-1.267
1.805
0.1447
0.083
-0.135
0.0099
0.0118
1.0557
-0.3339
2.2314
-1.4113
-0.0974
-9.0491
4.6606
-4.1828
0.2734
-0.4145

0.0312
0.0058
0.2242
-2.6782
-2.5098
-0.3496
3.6963
-1.2828
2.9741
-0.0212
0.4644
-2.1016
0.3057
-0.014
0.4257
2.2085
0.871
0.2486
1.2275
-0.6567
-0.8351
-0.8869
5.2046
-0.0273
0.5684
-0.0386
0.6697
0.2002

0.824

-1.2123
3.5291
-0.141
3.1207
-0.2441
5.1877
-9.4748
4.2177
-0.078
0.014
-0.44
-0.3203
-2.7315
0.5934
-0.0134
5.9138
-1.0659
1.2997
-0.8228
5.2112
-0.0864
-0.0644
-0.3565
1.1071
-3.3791
-0.6088
-5.5117
2.6444
0.4679
1.135

-0.3597
0.5728
-0.8365
0.0336
-14.207
2.5438
0.6634
0.124
-4.0043
1.7789
-14.219
0.29
-4.8724
0.9733
-0.4772
0.0834
-1.7113
-0.4262

1.4605
-2.1987
-2.8272
0.4221
-2.5266
2.3334
-4.4084
5.5477
-0.8849
0.0846
-0.0198

0.4141
-12.8772
1.9891
2.723
-0.0448
-0.5968
-2.0178
-1.7286
0.2511
-5.0109
0.0508
-0.0487
0.6084
-1.5125
-0.8662
0.623
1.4619
-3.7782
1.2331
-0.3559
0.0716
-0.1976
0.3314
0.0644
11.1276
-1.1166
-1.0171
0.2889
4.0544
-5.4891

-0.1271
-0.4731
1.974
-0.3378
-0.0916
0.0541
1.8621
0.0764

HVTH: Nguyễn Đức Chí


Giải thuật di truyền trong xử lý ảnh
0.0403
0.2908
0.4114
-4.6359
1.5132
-0.0378
6.5206
-1.1151
0.0373
0.0328
3.1894
1.5401
0.714
-2.0498
0.2305
0.4288
0.0381

0.0158
1.1217
0.0015
-0.0186
0.0012
1.2512

Mạng
6

Mạng
7
Mạng
8

Phụ lục

0.3573
-0.0757
-9.9619
4.6178
-5.0947
0.0261
-0.8652
0.0756
-0.0507
-0.0572
-1.7055
0.4353
0.3526

2.2622
0.1266
3.8275
0.0918
-0.0043
-2.4612
-0.0026
-0.0424
-0.6931
-2.0871

0.2844
0.7642
6.9065
-1.3681
2.7986
-0.0762
5.6072
0.0295
-0.0816
0.0541
-2.0713
-3.2984
-1.6495
-3.0838
1.1436
-4.1157
-0.0137
0.0891
1.2088

-0.0612
0.0657
-6.0856
-0.6361

0.6
-0.2762
-0.7553
-0.81
-2.9655
-0.0862
-4.2708
-0.0843
0.0489
-0.0652
-1.3176
-1.7075
2.523
0.7363
-3.8671
1.9399
0.0846
0.5973
-1.0858
0.048
-0.0598
0.4811
0.7001

THD: TS. Lê Tiến Thường

-0.271
-0.662
5.7862
-5.161
2.9388
0.0912
2.403
-0.0242
0.0279
0.0982
-0.2696
1.599
0.8105
0.2067
3.8781
0.0151
0.0897
-9.626
4.6851
-0.0911
0.0453
0.2267

0.2965
0.8143
-6.259
5.19
-0.387
-0.0627
-1.2383

-0.0546
-0.0028
-0.0857
3.0216
-1.3112
-3.0716
-1.2128
0.7517
1.7216
-0.0193
6.6419
-1.2769
-0.0373
-0.0937
1.9599

-0.2106
0.5627
3.4288
-3.1035
-0.0391
0.0818
1.1765
-0.0838
0.0346
0.0705
-1.3151
0.3672
-1.5497
-7.4992

4.5219
-2.1778
0.0601
-0.8821
0.0763
0.014
0.0381
0.6173

0.0826
-0.8861
-0.6638
2.7185
-0.014
0.0512
-2.47
-0.0702
0.0216
0.8238
1.5529
0.9342
2.381
5.2096
0.049
-0.9528
0.0886
5.6189
0.0003
0.0704
0.0302

-2.9102

-0.7092
0.3691
1.9249
-1.5376
0.0129
-0.0291
1.1574
-0.0341
0.0565
-7.9608
-1.5511
-2.6897
-1.6063
-3.4054
0.0138
-2.8642
-0.0111
-4.255
0.0193
-0.0486
-0.0368
-2.0484

0.9569
-0.1152
-3.0627
0.7106
-0.0687

0.6436
-1.0297
0.0665
0.0788
-1.5514
0.8244
3.2615
-0.4316
3.2271
-5.9836
2.1512
-0.0953
2.2462
-0.0387
0.0922
0.0832
1.3624

0.3213
-0.2457
0.7024
-0.112
-0.0565
-9.64
4.69
0.0239
0.073
3.284
-0.9759
-3.4111

1.8268
-2.1798
3.6982
-0.8728
-0.047
-1.3174
0.0044
0.0197
-0.0253
0.2222

Tập trọng số tối ưu w15

-0.2242 5.0894 0.0128 -0.3979 0.0450 -0.2515 -0.2815 -0.3721 -0.0295 -0.2783 0.0628
-0.3598 -0.0800 -0.2651 -0.4326

Tập trọng số tối ưu w16_17
0.2008

4.5779 -0.3212 -0.4087 -0.2482 -0.3235

Tập trọng số tối ưu w18
0.7469

4.2882 -0.0278 -0.1716

106

HVTH: Nguyễn Đức Chí