Nghiên cứu kỹ thuật nhận dạng ảnh lá cây dược liệu sử dụng mạng nơ ron

i
ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

NGUYỄN XUÂN CƯỜNG

NGHIÊN CỨU KỸ THUẬT NHẬN DẠNG ẢNH LÁ CÂY DƯỢC LIỆU
SỬ DỤNG MẠNG NƠ RON

Chuyên ngành: Khoa học máy tính
Mã số: 60.48.01.01

TÓM TẮT LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

THÁI NGUYÊN, 2016

Số hóa bởi Trung tâm Học liệu –
ĐHTN




ii
Công trình được hoàn thành tại:
Trường Đại học Công nghệ Thông tin và Truyền thông
- Đại học Thái Nguyên

Người hướng dẫn khoa học: TS. Nguyễn Văn Tảo

Phản biện 1: TS. Phạm Đức Long
Phản biện 2: PGS. TS. Ngô Quốc Tạo

Luận văn được bảo vệ trước hội đồng chấm luận văn họp tại: Trường Đại
học Công nghệ Thông tin và Truyền thông
- Đại học Thái Nguyên, ngày 17 tháng 9 năm 2016

Có thể tìm hiểu luận văn tại:
- Trung tâm học liệu Đại học Thái Nguyên
- Thư viện trường Đại học Công nghệ Thông tin và Truyền thông

Số hóa bởi Trung tâm Học liệu –
ĐHTN




iii
LỜI CAM ĐOAN
Tôi xin cam đoan những nghiên cứu của tôi về nhận dạng ảnh lá cây dược liệu sử
dụng mạng nơ ron là những gì tôi viết ra không sao chép từ các tài liệu, không sử
dụng các kết quả của người khác mà không trích dẫn cụ thể.
Tôi xin cam đoan ứng dụng này tôi trình bày trong khoá luận là do tôi tự phát triển
dưới sự hướng dẫn của thầy Nguyễn Văn Tảo không sao chép ứng dụng của người khác.
Nếu sai tôi hoàn toàn chịu trách nhiệm theo quy định
của trường Đại Học Công Nghệ Thông tn và Truyền thông- Đại Học Thái Nguyên.

Thái Nguyên, ngày

tháng

năm 2016

Học viên

Nguyễn Xuân Cường

Số hóa bởi Trung tâm Học liệu –
ĐHTN




iv
LỜI CẢM ƠN
Trong thời gian qua, tôi đã nhận được rất nhiều sự hướng dẫn giúp đỡ và động
viên tận tình từ nhiều phía. Tất cả những điều đó đã trở thành một nguồn động lực lớn
giúp tôi có thể thực hiện được đề tài nghiên cứu được giao. Với tất cả sự cảm kích và
trân trọng, tôi xin được gửi lời cảm ơn đến tất cả mọi người.
Trước hết tôi xin chân thành cảm ơn thầy hướng dẫn – Tiến sĩ Nguyễn Văn Tảo
người đã hết sức nhiệt tình bảo ban hướng dẫn, đóng góp những ý kiến quý báu cho tôi
để có thể học tập và hoàn thành khóa luận tốt nghiệp này.
Xin gửi lời cảm ơn chân thành nhất đến Ban giám hiệu trường Đại học Công Nghệ
Thông Tin và truyền thông – Đại học Thái Nguyên đã tạo điều kiện giúp đỡ tôi có thể
thực hiện đề tài. Cảm ơn các thầy cô công tác tại trường Đại học Công Nghệ Thông
Tin và truyền thông – Đại học Thái Nguyên đã dạy dỗ và truyền đạt những kiến thức
quí báu cho tôi trong suốt thời gian học tập và rèn luyện tại trường.
Tôi xin được gửi lời biết ơn vô hạn tới cha mẹ, người thân đã nuôi dưỡng và tạo
điều kiện tốt nhất cho tôi học tập sinh hoạt, ở bên tôi những lúc khó khăn nhất để chuyên
tâm thực hiện khóa luận.
Cuối cùng, xin cảm ơn tập thể lớp cao học CNTT K13E và đặc biệt những người
bạn tốt đã ở bên tôi, khuyến khích, động viên tôi và cho tôi những lời khuyên chân

thành trong cuộc sống và học tập.
Xin trân trọng cảm ơn!
Thái Nguyên, ngày tháng

năm 2016

Học viên

Nguyễn Xuân Cường

Số hóa bởi Trung tâm Học liệu –
ĐHTN




v
MỤC LỤC
LỜI CAM ĐOAN ........................................................................................................i LỜI CẢM
ƠN

...........................................................................................................

iii

MỤC

LỤC................................................................................................................... v DANH MỤC
CÁC HÌNH VẼ...................................................................................vii TÓM TẮT NỘI DUNG
..............................................................................................

x

MỞ

..................................................................................................................... 1
1. Đặt vấn đề.................................................................................................. 1
2. Đối tượng và phạm vi nghiên cứu............................................................. 3
3. Hướng nghiên cứu của đề tài .................................................................... 4
4. Những nội dung nghiên cứu chính ............................................................ 4
5. Phương pháp nghiên cứu........................................................................... 4
6. Ý nghĩa khoa học của đề tài ...................................................................... 5
CHƯƠNG 1: GIỚI THIỆU VỀ MẠNG NƠ RON VÀ XỬ LÝ ẢNH SỐ ................. 6
1.1. Giới thiệu về mạng nơ ron ..................................................................... 6
1.1.1. Giới thiệu về mạng nơron nhân tạo................................................. 6
1.1.2. Nơron sinh học và nơron nhân tạo ................................................ 10
1.2. Tổng quan về cây dược liệu ................................................................. 19
1.3. Giới thiệu về xử lý ảnh số .................................................................... 20
CHƯƠNG 2: KỸ THUẬT NHẬN DẠNG SỬ DỤNG MẠNG NƠ RON .............. 22
2.1. Kỹ thuật trích chọn đặc trưng ảnh........................................................ 22
2.1.1. Kỹ thuật phát hiện đặc trưng biên ................................................. 22
2.1.2. Một số kỹ thuật phát hiện biên trực tiếp ....................................... 23
2.1.3. Kỹ thuật xây dựng đặc trưng ảnh từ biên...................................... 25
2.2. Mạng nơ-ron lan truyền thẳng nhiều lớp ............................................. 30
2.2.1. Mạng perceptron một lớp .............................................................. 30
2.2.2. Mạng perceptron nhiều lớp ........................................................... 32
2.2.3 Một số vấn đề cần chú ý khi sử dụng mạng MLP ......................... 43

Số hóa bởi Trung tâm Học liệu –
ĐHTN

ĐẦU


vi
CHƯƠNG 3: THỬ NGHIỆM NHẬN DẠNG ẢNH LÁ CÂY DƯỢC LIỆU .............. 47
3.1. Giới thiệu.............................................................................................. 47
3.2. Thu thập, phân tích và xử lý dữ liệu .................................................... 48
3.2.1. Thu thập dữ liệu ............................................................................ 48
3.2.2. Xử lý dữ liệu ................................................................................. 51
3.2.3. Hậu xử lý ....................................................................................... 51
3.3. Mạng nơron trong hệ thống nhận dạng lá cây dược liệu ..................... 51
3.4. Một số kết quả thư nghiêm va đanh gia hệ thống nhận dạng lá cây
dược liệu ...................................................................................................... 53
3.4.1. Thử nghiệm hệ thống nhận dạng lá cây dược liệu ........................ 53
3.4.2. Đánh giá kết quả nhận dạng .......................................................... 61
3.4.3. Hướng phát triển trong tương lai .................................................. 64
KẾT LUẬN CHUNG................................................................................................ 65
DANH MỤC TÀI LIỆU THAM KHAO .................................................................. 67

Số hóa bởi Trung tâm Học liệu –
ĐHTN




vii
DANH MỤC CÁC HÌNH VẼ

Hình 1.1: Cấu trúc của một nơron sinh học điển hình .................................... 11
Hình 1.2: Nơron nhân tạo................................................................................ 12
Hình 1.3: Mạng tự kết hợp .............................................................................. 15
Hình 1.4: Mạng kết hợp khác kiểu .................................................................. 16
Hình 1.5: Mạng truyền thẳng .......................................................................... 16
Hình 1.6: Mạng phản hồi ................................................................................ 17
Hình 1.7: Perceptron ....................................................................................... 17
Hình 1.8: Mạng MLP tổng quát ...................................................................... 18
Hình 2.1: Lưu đồ kỹ thuật Prewitt Edge Detection. ....................................... 26
Hình 2.2: Ảnh lá cây dược liệu áp dụng thuật toán tách biên trực tếp. ......... 27
Hình 2.3: Lưới phủ lên tập biên ảnh khi xác định tập đặc trưng điểm rút gọn27
Hình 2.4: Lưới phủ lên tập biên ảnh khi xác định tập đặc trưng điểm rút gọn với kích
thước khác nhau. ............................................................................... 28
Hình 2.5: Đặc trưng ảnh lá cây dược liệu ....................................................... 28
Hình 2.6: Tam giác vuông biểu diễn góc đặc trưng........................................ 29
Hình 2.7: Mạng perceptron một lớp................................................................ 31
Hình 2.8 Thực hiện hàm XOR bằng mạng MLP ............................................ 33
Hình 2.9: Lan truyền tín hiệu trong quá trình học theo phương pháp lan truyền ngược sai
số ..................................................................................................... 34
Hình 2.10. Sai số E được xét là hàm của trọng số W ..................................... 36
Hình 2.11. Minh họa về ý nghĩa của quán tính trong thực tế ......................... 42
Hình 2.12. Hàm sigmoid g(x) = 1/(1+e-x) ...................................................... 43
Hình 2.13. Nội suy hàm y = sin(x/3) + v, 0≤ x ≤ 20 sử dụng MLP................ 45
Hình 3.1: Các loại lá cây dược liệu dùng để nhận dạng ................................. 49
Hình 3.2: Một phần của tập ảnh huấn luyện ................................................... 50

Số hóa bởi Trung tâm Học liệu –
ĐHTN

viii
Hình 3.3: Một phần của tập ảnh thử nghiệm................................................... 50
Hình 3.4: Mô hình Noron trong bài toán nhận dạng mẫu ............................... 52
Hình 3.5: Giao diện hệ thống nhận dạng lá cây dược liệu .............................. 53
Hình 3.6: Giao diện nhận dạng đặc trưng của ảnh cây ................................... 54
Hình 3.7: Giao diện chức năng huấn luyện mạng nơron ................................ 55
Hình 3.8: Giao diện chức năng nhận dạng ảnh lá cây dược liệu .................... 56
Hình 3.9: Kết quả nhận dạng khi tham số khoảng cách giữa các điểm lớn.... 62

Số hóa bởi Trung tâm Học liệu –
ĐHTN




ix
DANH MỤC CÁC BẢNG
Bảng 1.1: Một số hàm truyền thông dụng....................................................... 14
Bảng 3.1: Số lượng ảnh trong tập huấn luyện và tập thử nghiệm của mỗi loài57
Bảng 3.2: Kết quả thử nghiệm nhận dạng ảnh lá cây dược liệu ..................... 58
Bảng 3.3: Một số kết quả thử nghiệm nhận dạng lá cây dược liệu................. 59

Số hóa bởi Trung tâm Học liệu –
ĐHTN

x
TÓM TẮT NỘI DUNG
Tóm tắt
Hiện nay nhu cầu tm kiếm và hiểu biết thêm về thông tn các loại lá thuốc của con
người là rất lớn, đòi hỏi sự phát triển của các ứng dụng nhận dạng để phục vụ nhu cầu đó
cũng ngày càng cao.
Việc sử dụng các hệ thống nhận dạng có một ý nghĩa hết sức quan trọng trọng và
vô cùng hữu ích cho con người. Các hệ thống nhận dạng giúp nâng cao khả năng tự
động cũng như phân loại các đối tượng trong đời sống thực tế. Chính vì vai trò quan
trọng của nó , luân văn đã tm hiểu và trinh bay môt phương phap nhân diên với đối tượng
là la cây sư dung mang nơron truyên thăng nhiêu lơp lan truyên ngươc đồng thời xây dưng
hê thôn g nhân diên la cây. Kết quả đạt được bao gồm hai phần chính:
Trình bày tổng quan về nhận dạng mẫu và bài toán nhận dạng lá cây dược liệu
dùng mạng nơ ron lan truyền ngược.
Hệ thống hóa một số vấn đề về nhận dạng mẫu sử dụng mạng nơron. Thực nghiệm:
Xây dựng thành công hệ thống nhận dạng mẫu lá cây
dược liệu, hệ thống đã giải quyết thành công các yêu cầu bài toán đặt ra như khả năng tìm
đặc trưng ảnh, nhận dạng được các mẫu lá cây dược liệu đã được huấn luyện.
Tuy hệ thống còn đơn giản nhưng đã phần nào giải quyết được bài toán nhận dạng
lá cây dược liệu với độ chính xác tương đối.

Số hóa bởi Trung tâm Học liệu –
ĐHTN




1

2

MỞ ĐẦU
1. Đặt vấn đề
Cây dược liệu có những vai trò hết sức quan trọng đối với mỗi quốc gia, đặc biệt là
trong chăm sóc sức khỏe cho con người. Việt Nam là một quốc gia nằm trong vùng khí
hậu nhiệt đới gió mùa nóng ẩm, có nguồn tài nguyên động thực vật phong phú và đa
dạng với khoảng 10.350 loài thực vật bậc cao,
800 loài rêu, 600 loài nấm và hơn 2.000 loài tảo. Theo kết quả điều tra của Viện Dược
liệu, cả nước ghi nhận được 3.948 loài thực vật và nấm lớn, 52 loài tảo biển, 408 loài
động vật và 75 loại khoáng sản có công dụng làm thuốc. Trong tổng số 3.948 loài cây
thuốc, gần 90% là cây thuốc mọc tự nhiên tập trung chủ yếu trong các quần xã rừng, chỉ
có gần 10% là cây thuốc trồng.
Trong những năm qua, công tác quản lý dược liệu đã đạt được những thành tựu
như: tến hành khảo sát, đánh giá sự phân bố của dược liệu, tạo tền đề xây dựng Danh
mục cây thuốc Việt Nam, Danh mục động vật làm thuốc, Danh mục khoáng vật làm thuốc,
Danh mục các loài cây thuốc có khả năng khai thác, Danh mục cây thuốc bị đe doạ cần
bảo vệ ở Việt Nam. Điều này đã được kết luận tại Hội nghị toàn quốc về Quản lý và phát
triển cây dược liệu của Việt Nam được tổ chức tại TP. Hạ Long tỉnh Quảng Ninh diễn ra
ngày
27/12/2013.
Việt Nam có 3/4 diện tích là đồi núi, rừng, điều nay cho thấy chúng ta có một
lượng lớn các loài cây dược liệu tự nhiên, hiện nay chúng ta mới phát hiện và khai thác
được khoảng 3000 loài cây. Trong khi theo dự báo thì chúng ta có khoảng hàng trăm nghìn
loại cây dược liệu khác nhau. Như vậy, cả nước chúng ta mới phát hiện và khai thác được
khoảng 30% theo trữ lượng dự báo và do đó còn khoảng 70% cây dược liệu chưa được
phát hiện và khai thác. Đây là một bài toán luôn được đặt ra cho các nhà quản lý, nhà
dược liệu và các nhà khoa học.

Để khắc phục được những hạn chế trên, trong nước và thế giới đã nghiên
cứu và ứng dụng các tến bộ khoa học kỹ thuật của công nghệ thông tin, cụ thể là công
nghệ xử lý ảnh vào hỗ trợ nhận dạng và phát hiện các cây dược liệu để phục vụ cho việc
khai thác, vì một thực tế là khi bà con chúng ta lên rừng, hay đi đâu đó gặp những cây
thuốc mà chúng ta lại không biết đó là cây gì, tác dụng của các loại cây đó, nên việc
nghiên cứu đề xuất các kỹ thuật xử lý ảnh và nhận dạng ra các cây dược liệu là việc làm rất
cần thiết.
Ngày nay, trên thế giới đã có nhiều nhà khoa học quan tâm nghiên cứu và đề
xuất những kỹ thuật nhận dạng ảnh các cây dược liệu [19], cụ thể: Nhóm tác giả
Lee và Hong [15], đề xuất phương pháp nhận dạng ảnh cây dược liệu dựa vào đặc
trưng của đường viền của lá cây dược liệu. Patl và Kumar [16,18], nhận dạng cây dược
liệu, tác dụng của cây dựa vào trích xuất các đặc trưng của lá từ đó tiến hành cung cấp
những thông tn về thuộc tính của cây và phân loại cây theo đặc trưng tác dụng của cây
[17]. Nhóm tác Du, Wang và Zhang [19]; Sari, Burak và Sankur [5,9,10,11], đề xuất kỹ
thuật nhận dạng cây dược liệu dựa vào hình dạng, các vùng đặc trưng của lá, đặc trưng
kết cấu của lá cây dược liệu, với đề xuất này giúp chúng ta có thể xây dựng các hệ
thống nhận dạng dữ liệu cây dược liệu cho kết quả tỷ lệ nhận dạng và phát hiện cao.


Hình ảnh về lá cây dược liệu được phân loại thành 3 lớp [4]
Tuy nhiên, những đề xuất của các tác giả trên đều có một số hạn chế, đó là tốc độ
chậm khi tập cơ sở dữ liệu về cây, lá cây dược liệu lớn, điều này cũng dẫn đến độ tin
cậy giảm. Để khắc phục những hạn chế trên thì nhiều công trình khác cũng được đề
xuất như các kỹ thuật xử lý ảnh và nhận dạng ảnh cây dược liệu dựa vào trích chọn đặc
trưng của ảnh cây, ảnh lá cây dược liệu sử dụng mạng Noron tế bào [4].
Ở Việt Nam, việc nghiên cứu đề xuất các kỹ thuật xử lý ảnh vào nhận dạng ảnh cây
dược liệu còn rất khiêm tốn, mới chỉ tập trung vào một số nhóm tác giả [1,2,3,4]. Tuy
nhiên, các đề xuất mới chỉ dừng lại ở việc nghiên cứu đề mô mà chưa đánh giá, khắc phục
được những hạn chế trên, chưa so sánh được tốc độ nhận dạng và độ tin cậy của ảnh cây

dược liệu.
Xuất phát từ thực tế, đề tài luận văn được chọn là “Nghiên cứu kỹ thuật nhận dạng
ảnh lá cây dược liệu sử dụng mạng Noron” dựa vào trích chọn đặc trưng về màu sắc, hình
dạng, gân lá,… của lá cây dược liệu.
2. Đối tượng và phạm vi nghiên cứu
Đối tượng nghiên cứu
- Một số loại cây dược liệu
- Đặc trưng của cây dược liệu, lá cây dược liệu, kết cấu, màu sắc, hình dạng, gân lá
cây dược liệu,…
- Một số thuật toán và ứng dụng
Phạm vi nghiên cứu:
+ Nghiên cứu lý thuyết về mạng nơ ron tế bào, xử lý ảnh số
+ Nghiên cứu các kỹ thuật xử lý ảnh và nhận dạng ảnh lá cây dược liệu
+ Biểu diễn, trích xuất và mô tả ảnh cây dược liệu, các đặc trưng của lá cây dược
liệu.


+ Xây dựng chương trình thực nghiệm về nhận dạng ảnh lá cây dược liệu
3. Hướng nghiên cứu của đề tài
- Nghiên cứu lý thuyết, thu thập, phân tích các tài liệu có liên quan đến đối tượng
của đề tài.
- Nghiên cứu các kỹ thuật xử lý ảnh và nhận dạng ảnh lá cây dược liệu sử dụng
mạng nơ ron tế bào dựa vào các đặc trưng của lá cây dược liệu như màu sắc, kết cấu,
hình dạng, gân lá,…
- Cài đặt thử nghiệm, đánh giá, quan sát và hiệu chỉnh ảnh, kết xuất được các
thành phần, thuộc tính, công dụng của các cây dược liệu ra file định dạng nhằm phục vụ
cho các yêu cầu thực tế.
4. Những nội dung nghiên cứu chính
Dự kiến luận văn gồm: Phần mở đầu, ba chương chính, phần kết luận, tài liệu
tham khảo và phụ lục. Bố cục như sau:

Phần mở đầu: Nêu lý do chọn đề tài và bố cục luận văn
Chương 1: GIỚI THIỆU VỀ MẠNG NƠ RON VÀ XỬ LÝ ẢNH SỐ Chương 2: KỸ THUẬT
NHẬN DẠNG ẢNH SỬ DỤNG MẠNG NƠ RON Chương 3: THỬ NGHIỆM NHẬN DẠNG
ẢNH LÁ CÂY DƯỢC LIỆU Phần kết luận: Tóm tắt các kết quả đạt được, hướng phát
triển tiếp
Tài liệu tham khảo
5. Phương pháp nghiên cứu
Phương pháp nghiên cứu của đề tài luận văn được sử dụng là kết hợp giữa nghiên
cứu lý thuyết với nghiên cứu thực nghiệm, cụ thể:
- Phương pháp nghiên cứu lý thuyết: Thu thập tài liệu, đọc hiểu các kiến thức cơ
bản về xử lý ảnh số; Nghiên cứu một số kỹ thuật xử lý ảnh và nhận dạng ảnh lá cây dược
liệu dựa vào các đặc trưng về màu sắc, hình dạng, gân lá,… So sánh, phân tích và đánh
giá các kết quả nghiên cứu với những công


5
trình của các tác giả khác đã công bố và đưa ra những phương pháp, kỹ thuật đề xuất mới
và đề xuất cải tiến.
Tìm hiểu một số công cụ hỗ trợ lập trình.
- Phương pháp nghiên cứu thực nghiệm:
+ Nghiên cứu xây dựng cơ sở dữ liệu ảnh huấn luyện (thu nhận ảnh lá cây dược liệu,
các mẫu lá cây dược liệu, hình dạng,…)
+ Nghiên cứu, đánh giá và lựa chọn phương pháp, giải pháp công nghệ cài đặt thử
nghiệm với một số mẫu dữ liệu và đánh giá kết quả.
- Phương pháp trao đổi khoa học: Công bố, trao đổi, thảo luận và báo cáo tại các
hội thảo, hội nghị khoa học,…
6. Ý nghĩa khoa học của đề tài
Nghiên cứu mạng nơ ron tế bào và các ứng dụng.
Nghiên cứu các kỹ thuật xử lý ảnh và nhận dạng ảnh mẫu lá cây dược liệu.
Nghiên cứu một số giải thuật, phương pháp để đánh giá độ tin cậy của ảnh được

nhận dạng.
Ứng dụng công nghệ xử lý ảnh và mạng nơ ron tế bào vào bài toán thực tế. Giải
quyết bài toán: Phát hiện, khai thác cây dược liệu của Việt Nam
dựa vào nhận dạng ảnh lá cây dược liệu. Kết quả là nhận dạng được cây dược liệu, công
dụng của cây đối với việc chăm sóc sức khỏe, chữa trị bệnh cho con người.
Là cơ sở khoa học nhằm hỗ trợ nâng cao hiệu quả phát hiện, khai thác các cây dược
liệu của Việt Nam. Đồng thời, các kết quả của đề tài sẽ còn làm cơ sở khoa học cho việc
đề xuất và xây dựng các chương trình ứng dụng cho nhiều ứng dụng thực tế trong lĩnh vực
y học.


6
CHƯƠNG 1: GIỚI THIỆU VỀ MẠNG NƠ RON VÀ XỬ LÝ ẢNH SỐ
1.1. Giới thiệu về mạng nơ ron
1.1.1. Giới thiệu về mạng nơron nhân tạo
1.1.1.1. Mạng nơron nhân tạo là gì?
Định nghĩa: Mạng nơron nhân tạo, Artifcial Neural Network (ANN) gọi tắt là mạng
nơron, neural network, là một mô hình xử lý thông tin phỏng theo cách thức xử lý thông
tin của các hệ nơron sinh học. Nó được tạo lên từ một số lượng lớn các phần tử (gọi là
phần tử xử lý hay nơron) kết nối với nhau thông qua các liên kết (gọi là trọng số liên kết)
làm việc như một thể thống nhất để giải quyết một vấn đề cụ thể nào đó.
Một mạng nơron nhân tạo được cấu hình cho một ứng dụng cụ thể (nhận dạng
mẫu, phân loại dữ liệu, ...) thông qua một quá trình học từ tập các mẫu huấn luyện. Về
bản chất học chính là quá trình hiệu chỉnh trọng số liên kết giữa các nơron.
1.1.1.2. Lịch sử phát triển mạng nơron
Các nghiên cứu về bộ não con người đã được tiến hành từ hàng nghìn năm nay.
Cùng với sự phát triển của khoa học kĩ thuật đặc biệt là những tến bộ trong ngành điện
tử hiện đại, việc con người bắt đầu nghiên cứu các nơron nhân tạo là hoàn toàn tự nhiên.
Sự kiện đầu tên đánh dấu sự ra đời của mạng nơron nhân tạo diễn ra vào năm 1943
khi nhà thần kinh học Warren McCulloch và nhà toán học Walter Pits viết bài báo

mô tả cách thức các nơron hoạt động. Họ cũng đã tiến hành xây dựng một mạng nơron
đơn giản bằng các mạch điện. Các nơron của họ được xem như là các thiết bị nhị phân với
ngưỡng cố định. Kết quả của các mô hình này là các hàm logic đơn giản chẳng hạn như “ a
OR b” hay “a AND b”.


7
Tiếp bước các nghiên cứu này, năm 1949 Donald Hebb cho xuất bản cuốn sách
Organization of Behavior. Cuốn sách đã chỉ ra rằng các nơron nhân tạo sẽ trở lên hiệu quả
hơn sau mỗi lần chúng được sử dụng.
Những tiến bộ của máy tính đầu những năm 1950 giúp cho việc mô hình hóa các
nguyên lý của những lý thuyết liên quan tới cách thức con người suy nghĩ đã trở thành
hiện thực. Nathanial Rochester sau nhiều năm làm việc tại các phòng thí nghiệm nghiên
cứu của IBM đã có những nỗ lực đầu tiên để mô phỏng một mạng nơron. Trong thời kì
này tính toán truyền thống đã đạt được những thành công rực rỡ trong khi đó những
nghiên cứu về nơron còn ở giai đoạn sơ khai. Mặc dù vậy những người ủng hộ triết lý
“thinking machines” (các máy biết suy nghĩ) vẫn tiếp tục bảo vệ cho lập trường của mình.
Năm 1956 dự án Dartmouth nghiên cứu về trí tuệ nhân tạo (Artficial Intelligence)
đã mở ra thời kỳ phát triển mới cả trong lĩnh vực trí tuệ nhân tạo lẫn mạng nơron. Tác
động tích cực của nó là thúc đẩy hơn nữa sự quan tâm của các nhà khoa học về trí tuệ
nhân tạo và quá trình xử lý ở mức đơn giản của mạng nơron trong bộ não con người.
Những năm tếp theo của dự án Dartmouth, John von Neumann đã đề xuất việc mô
phỏng các nơron đơn giản bằng cách sử dụng rơle điện áp hoặc đèn chân không. Nhà sinh
học chuyên nghiên cứu về nơron Frank Rosenblatt cũng bắt đầu nghiên cứu về
Perceptron. Sau thời gian nghiên cứu này Perceptron đã được cài đặt trong phần cứng
máy tính và được xem như là mạng nơron lâu đời nhất còn được sử dụng đến ngày
nay. Perceptron một tầng rất hữu ích trong việc phân loại một tập các đầu vào có giá
trị liên tục vào một trong hai lớp. Perceptron tính tổng có trọng số các đầu vào, rồi trừ
tổng này cho một ngưỡng và cho ra một trong hai giá trị mong muốn có thể. Tuy nhiên
Perceptron còn rất nhiều hạn chế, những hạn chế này đã được chỉ

8
ra trong cuốn sách về Perceptron của Marvin Minsky và Seymour Papert viết năm 1969.
Năm 1959, Bernard Widrow và Marcian Hof thuộc trường đại học Stanford đã
xây dựng mô hình ADALINE (ADAptve LINear Elements) và MADALINE. (Multple ADAptive
LINear Elements). Các mô hình này sử dụng quy tắc học Least-Mean-Squares (LMS: Tối
thiểu bình phương trung bình). MADALINE là mạng nơron đầu tên được áp dụng để giải
quyết một bài toán thực tế. Nó là một bộ lọc thích ứng có khả năng loại bỏ tín hiệu dội
lại trên đường dây điện thoại. Ngày nay mạng nơron này vẫn được sử dụng trong các ứng
dụng thương mại.
Năm 1974 Paul Werbos đã phát triển và ứng dụng phương pháp học lan truyền
ngược (back-propagation). Tuy nhiên phải mất một vài năm thì phương pháp này mới trở
lên phổ biến. Các mạng lan truyền ngược được biết đến nhiều nhất và được áp dụng rộng
dãi nhất nhất cho đến ngày nay.
Thật không may, những thành công ban đầu này khiến cho con người nghĩ quá lên
về khả năng của các mạng nơron. Chính sự cường điệu quá mức đã có những tác động
không tốt đến sự phát triển của khoa học và kỹ thuật thời bấy giờ khi người ta lo sợ
rằng đã đến lúc máy móc có thể làm mọi việc của con người. Những lo lắng này khiến
người ta bắt đầu phản đối các nghiên cứu về mạng nơ ron. Thời kì tạm lắng này kéo dài
đến năm 1981.
Năm 1982 trong bài báo gửi tới viện khoa học quốc gia, John Hopfield bằng sự
phân tích toán học rõ ràng, mạch lạc, ông đã chỉ ra cách thức các mạng nơron làm
việc và những công việc chúng có thể thực hiện được. Cống hiến của Hopfield không chỉ ở
giá trị của những nghiên cứu khoa học mà còn ở sự thúc đẩy trở lại các nghiên cứu về
mạng neuron.
Cũng trong thời gian này, một hội nghị với sự tham gia của Hoa Kỳ và
Nhật Bản bàn về việc hợp tác/cạnh tranh trong lĩnh vực mạng nơron đã được

9
tổ chức tại Kyoto, Nhật Bản. Sau hội nghị, Nhật Bản đã công bố những nỗ lực của họ trong
việc tạo ra máy tính thế hệ thứ 5. Tiếp nhận điều đó, các tạp chí định kỳ của Hoa Kỳ bày
tỏ sự lo lắng rằng nước nhà có thể bị tụt hậu trong lĩnh vực này. Vì thế, ngay sau đó,
Hoa Kỳ nhanh chóng huy động quỹ tài trợ cho các nghiên cứu và ứng dụng mạng nơ ron.
Năm 1985, viện vật lý Hoa Kỳ bắt đầu tổ chức các cuộc họp hàng năm về mạng nơ
ron ứng dụng trong tin học (Neural Networks for Computing).
Năm 1987, hội thảo quốc tế đầu tiên về mạng nơ ron của Viện các kỹ sư điện và
điện tử IEEE (Institute of Electrical and Electronic Engineer) đã thu hút hơn 1800 người
tham gia.
Ngày nay, không chỉ dừng lại ở mức nghiên cứu lý thuyết, các nghiên cứu ứng dụng
mạng nơron để giải quyết các bài toán thực tế được diễn ra ở khắp mọi nơi. Các ứng
dụng mạng nơron ra đời ngày càng nhiều và ngày càng hoàn thiện hơn. Điển hình là
các ứng dụng: xử lý ngôn ngữ (Language Processing), nhận dạng kí tự (Character
Recognition), nhận dạng tiếng nói (Voice Recognition), nhận dạng mẫu (Patern
Recognition), xử lý tín hiệu (Signal Processing), Lọc dữ liệu (Data Filtering),…..
1.1.1.3. So sánh mạng nơron với máy tính truyền thống
Các mạng nơron có cách tiếp cận khác trong giải quyết vấn đề so với máy tính
truyền thống. Các máy tính truyền thống sử dụng cách tiếp cận theo hướng giải thuật, tức
là máy tính thực hiện một tập các chỉ lệnh để giải quyết một vấn đề. Vấn đề được giải
quyết phải được biết và phát biểu dưới dạng một tập chỉ lệnh không nhập nhằng.
Những chỉ lệnh này sau đó phải được chuyển sang một chương trình ngôn ngữ bậc cao và
chuyển sang mã máy để máy tính có thể hiểu được.
Trừ khi các bước cụ thể mà máy tính cần tuân theo được chỉ ra rõ ràng, máy tính sẽ
không làm được gì cả. Điều đó giới hạn khả năng của các máy


10
tính truyền thống ở phạm vi giải quyết các vấn đề mà chúng ta đã hiểu và biết chính xác
cách thực hiện. Các máy tính sẽ trở lên hữu ích hơn nếu chúng có thể thực hiện được

những việc mà bản thân con người không biết chính xác là phải làm như thế nào.
Các mạng nơron xử lý thông tin theo cách thức giống như bộ não con người. Mạng
được tạo nên từ một số lượng lớn các phần tử xử lý được kết nối với nhau làm việc song
song để giải quyết một vấn đề cụ thể. Các mạng nơron học theo mô hình, chúng không
thể được lập trình để thực hiện một nhiệm vụ cụ thể. Các mẫu phải được chọn lựa cẩn
thận nếu không sẽ rất mất thời gian, thậm chí mạng sẽ hoạt động không đúng. Điều hạn
chế này là bởi vì mạng tự tm ra cách giải quyết vấn đề, thao tác của nó không thể dự
đoán được.
Các mạng nơron và các máy tính truyền thống không cạnh tranh nhau mà bổ
sung cho nhau. Có những nhiệm vụ thích hợp hơn với máy tính truyền thống, ngược lại có
những nhiệm vụ lại thích hợp hơn với các mạng nơron. Thậm chí rất nhiều nhiệm vụ đòi
hỏi các hệ thống sử dụng tổ hợp cả hai cách tếp cận để thực hiện được hiệu quả cao nhất
(thông thường một máy tính truyền thống được sử dụng để giám sát mạng nơron).
1.1.2. Nơron sinh học và nơron nhân tạo
1.1.2.1. Nơron sinh học
Qua quá trình nghiên cứu về bộ não, người ta thấy rằng: bộ não con người bao gồm
khoảng 10

11

nơron tham gia vào khoảng 10

15

kết nối trên các đường truyền. Mỗi đường

truyền này dài khoảng hơn một mét. Các nơron có nhiều đặc điểm chung với các tế bào
khác trong cơ thể, ngoài ra chúng còn có những khả năng mà các tế bào khác không có
được, đó là khả năng nhận, xử lý và truyền các tín hiệu điện hóa trên các đường mòn
nơron, các con đường này tạo nên hệ thống giao tếp của bộ não.

11

Hình 1.1: Cấu trúc của một nơron sinh học điển hình
Mỗi nơron sinh học có 3 thành phần cơ bản:
• Các nhánh vào hình cây ( dendrites)
• Thân tế bào (cell body)
• Sợi trục ra (axon)
Các nhánh hình cây truyền tín hiệu vào đến thân tế bào. Thân tế bào tổng hợp
và xử lý cho tín hiệu đi ra. Sợi trục truyền tín hiệu ra từ thân tế bào này sang nơron khác.
Điểm liên kết giữa sợi trục của nơron này với nhánh hình cây của nơron khác gọi là
synapse. Liên kết giữa các nơron và độ nhạy của mỗi synapse được xác định bởi quá
trình hóa học phức tạp. Một số cấu trúc của nơron được xác định trước lúc sinh ra.
Một số cấu trúc được phát triển thông qua quá trình học. Trong cuộc đời cá thể, một số
liên kết mới được hình thành, một số khác bị hủy bỏ.


12
Như vậy nơron sinh học hoạt động theo cách thức sau: nhận tín hiệu đầu vào, xử lý
các tín hiệu này và cho ra một tín hiệu output. Tín hiệu output này sau đó được truyền đi
làm tín hiệu đầu vào cho các nơron khác.
Dựa trên những hiểu biết về nơron sinh học, con người xây dựng nơron nhân tạo
với hy vọng tạo nên một mô hình có sức mạnh như bộ não.
1.1.2.2. Nơron nhân tạo
Một nơron là một đơn vị xử lý thông tn và là thành phần cơ bản của một mạng
nơron. Cấu trúc của một nơron được mô tả trên hình dưới.

Hình 1.2: Nơron nhân tạo
Các thành phần cơ bản của một nơron nhân tạo bao gồm:

♦ Tập các đầu vào: Là các tín hiệu vào (input signals) của nơron, các tín hiệu này
thường được đưa vào dưới dạng một vector N chiều.
♦ Tập các liên kết: Mỗi liên kết được thể hiện bởi một trọng số (gọi là
trọng số liên kết – Synaptc weight). Trọng số liên kết giữa tín hiệu vào thứ j


13
với nơron k thường được kí hiệu là w

. Thông thường, các trọng số này được
kj

khởi tạo một cách ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục
trong quá trình học mạng.
♦ Bộ tổng (Summing function): Thường dùng để tính tổng của tích các đầu vào
với trọng số liên kết của nó.


13
♦ Ngưỡng (còn gọi là một độ lệch - bias): Ngưỡng này thường được đưa vào như
một thành phần của hàm truyền.
♦ Hàm truyền (Transfer function) : Hàm này được dùng để giới hạn phạm vi
đầu ra của mỗi nơron. Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng đã cho. Thông
thường, phạm vi đầu ra của mỗi nơron được giới hạn trong đoạn [0,1] hoặc [-1, 1]. Các
hàm truyền rất đa dạng, có thể là các hàm tuyến tính hoặc phi tuyến. Việc lựa chọn
hàm truyền nào là tuỳ thuộc vào từng bài toán và kinh nghiệm của người thiết kế mạng.
Một số hàm truyền thường sử dụng trong các mô hình mạng nơron được đưa ra trong
bảng 1 .
♦ Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa là một đầu
ra.

Xét về mặt toán học, cấu trúc của một nơron k, được mô tả bằng cặp
biểu thức sau: [cong thuc] trong đó: x , x , ..., x : là các tín hiệu vào; (w , w