Nghiên cứu tiếp cận công nghệ mạng nơron tế bào CNN và ứng dụng trong xử lý ảnh

Mạng nơron tế bào và ứng dụng trong xử lý ảnh

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN
---    ---

ĐẶNG THỊ THO – 0 3 0 3 0 6 0 2

Đề tài:

Nghiên cứu tiếp cận công nghệ mạng
nơron tế bào CNN
và ứng dụng trong xử lý ảnh
LUẬN VĂN CỬ NHÂN TIN HỌC
Giáo viên hướng dẫn
Ts: Hà Mạnh Đào

HÀ NỘI- NĂM 2007

SVTH Đặng Thị Tho

1


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

Nhận xét của giáo viên hướng dẫn
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

SVTH Đặng Thị Tho

2


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

Nhận xét của giáo viên phản biện
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

SVTH Đặng Thị Tho

3


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

Lời cảm ơn
----Trước hết em xin chân thành cảm ơn các thầy giáo, cô giáo trong Khoa
CNTT của Trường Đại học CNTT- Đại học Quốc Gia TP HCM đã trang bị cho
em những kiến thức cơ bản cần thiết trong những năm học vừa qua, để em có
thể thực hiện tốt cuốn luận văn này cũng như đủ tự tin để làm việc sau này.
Em xin bày tỏ lòng biết ơn chân thành tới thầy giáo Hà Mạnh Đào đã tận
tình hướng dẫn và giúp đỡ em trong suốt thời gian vừa qua, để em có thể hoàn
thành tốt luận văn này.
Em xin chân thành cảm ơn các thầy cô và bạn bè tại trung tâm, nơi mà em
đã được học và lao động suốt hơn bốn năm qua, đã tận tình giúp đỡ tạo điều
kiện cho em hoàn thành luận văn này.
Mặc dù đã rất cố gắng, nhưng trong một khoảng thời gian cho phép,quá
trình hoàn thành luận văn không tránh khỏi nhiều thiếu sót. Kính mong quý thầy
cô, các bạn đóng góp ý kiến để luận văn được hoàn thiện hơn.

Sinh viên
Đặng Thị Tho

SVTH Đặng Thị Tho

4


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

LỜI MỞ ĐẦU
Trước kia nhiều người tưởng rằng hoạt động của máy tính điện tử phản
ánh cơ chế hoạt động của bộ não con người. Tuy nhiên hiện nay vấn đề đã trở
nên rõ ràng là nơron và các tế bào thần kinh có cơ chế hoạt động hoàn toàn khác.
Đối với các máy tính số hiện nay việc xử lý tín hiệu âm thanh, hình ảnh, hương
vị, tín hiệu tiếp xúc là những vấn đề phức tạp đòi hỏi độ tính toán lớn, ngược lại
ở các sinh vật sống việc xử lý các chuỗi tín hiệu này lại rất đơn giản. Do vậy cần
phải có một nguyên lý tính toán mới, cấu trúc mới để tiếp tục nâng cao được khả
năng tính toán và giải quyết được những vấn đề mà máy tính điện tử hiện hành
chưa giải quyết được.
Để có thể chế tạo được hệ thống điện tử có khả năng tính toán tương tự
như hệ nơron tính toán này, đòi hỏi ta phải thay đổi về kiến trúc máy tính, về
thuật toán, về công nghệ và khả năng xử lý song song của hàng vạn hoặc hàng
triệu bộ xử lý trên một chíp. Máy tính vạn năng CNN UM (Cellular Neural
Network Universal Machine) ra đời đã mở ra một hướng mới cho sự phát triển
của khoa học tính toán tiếp cận đến các phương thức xử lý, cảm nhận và hành
động của các tổ chức trong cơ thể sinh vật sống. Mạng nơron tế bào CNN
(Cellular Neural Network) là một giải pháp mở đầu cho loại máy tính vạn năng
xử lý dòng mảng dữ liệu đầy tiềm năng này.
Đây là một lĩnh vực khoa học công nghệ mới mẻ đầy triển vọng, hứa hẹn

một hệ thống máy tính thông minh có những chức năng xử lý tương tự như con
người. Chính vì thế đối với em đây là vấn đề còn rất mới và rộng lớn, nhưng lại
là điều thúc đẩy em lựa chọn đề tài nghiên cứu về mạng nơron tế bào CNN
(Cellular Neural Network), bước đầu làm quen với CNN. Dưới sự gợi ý của thầy

SVTH Đặng Thị Tho

5


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

giáo hướng dẫn em đã chọn lĩnh vực mô phỏng là ứng dụng của CNN vào xử lý
ảnh.
Thời gian qua mạng tế bào CNN đã được nhiều nước trên thế giới đầu tư
nghiên cứu như một công nghệ xử lý song song cực mạnh đa năng có nhiều ứng
dụng quan trọng trong công nghiệp, quân sự, y tế,…Trong đó có các ứng dụng
xử lý ảnh tốc độ cao. Đây là nhóm ứng dụng chủ yếu trong nhiều lĩnh vực của
cuộc sống mà các hệ camera thông thường không đáp ứng được.
Mạng nơron tế bào (Cellular Neural Network-CNN) là một hệ xử lý song
song có khả năng xử lý 10 12 phép tính/giây với hàng chục ngàn CPU tích hợp
song song trên một chíp duy nhất và các ứng dụng công nghệ này cho phép giải
quyết nhiều bài toán xử lý thời gian thực mà các máy tính số hiện hành chưa
thực hiện được. Ứng dụng công nghệ mạng nơron tế bào trong xử lý ảnh tốc độ
cao trong công nghiệp đã được nhiều nhóm nghiên cứu trên thế giới triển khai.
Ở Việt Nam, lĩnh vực này còn mới mẻ và chưa được nghiên cứu nhiều.
Đề tài của em với mong muốn tìm hiểu và nghiên cứu về mạng nơron tế bào
CNN, bước đầu làm quen với CNN và ứng dụng của CNN vào xử lý ảnh thời
gian thực, em rất chân thành mong được sự ủng hộ của thầy cô và các bạn.
Một lần nữa em xin cảm ơn thầy giáo hướng dẫn Ths Hà Mạnh Đào đã tận

tình giúp đỡ em trong quá trình thực hiện và hoàn thành đề tài này.
Em rất mong được sự góp ý, giúp đỡ của các thầy cô và bạn bè. Em xin
chân thành cám ơn!
Hà Nội. 09- 2007
Sinh viên thực hiện
Đặng Thị Tho

SVTH Đặng Thị Tho

6


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

ĐỀ CƯƠNG CHI TIẾT LUẬN VĂN TỐT NGHIỆP
Tên đề tài:
NGHIÊN CỨU TIẾP CẬN CÔNG NGHỆ MẠNG NƠRON TẾ BÀO CNN
VÀ ỨNG DỤNG TRONG XỬ LÝ ẢNH
1. Mục đích và ý nghĩa của đề tài
Mạng nơron nói chung và mạng nơ ron tế bào nói riêng là một lĩnh
vực của khoa học trí tuệ nhân tạo, được ứng dụng rộng rãi trong nhiều
ngành khoa học, kinh tế, giáo dục, y tế, quân sự,…Mạng nơron tế bào đã
mở ra một hướng mới cho sự phát triển của ngành khoa học tính toán. Đây
là một lĩnh vực khoa học công nghệ mới mẻ, đầy triển vọng và đa dạng
ứng dụng. Công nghệ mạng nơron tế bào đã tạo điều kiện cho khoa học
khám phá ra cơ chế hoạt động của nhiều tổ chức trong cơ thể con người và
các quy luật sự sống khác.
Với sự phát triển của công nghệ, các ứng dụng của CNN sẽ giải
quyết nhiều vấn đề mà các hệ máy tính hiện hành chưa giải quyết được.
Cùng các tính năng vượt trội, một ngày không xa công nghệ CNN sẽ thay

thế các ứng dụng của các máy tính hiện hành và thâm nhập vào các hệ
nhúng, hệ cơ điện tử tạo nên các sản phẩm và hệ thống.
Với ý tưởng tiếp cận công nghệ mạng nơron tế bào, theo kịp sự phát
triển của công nghệ thông tin. Em đã nghiên cứu, tìm hiểu các ứng dụng
của mạng CNN nhằm mục đích làm chủ tầm lĩnh vực công nghệ quan
trọng này. Trong giai đoạn hiện nay, có nhiều ứng dụng mà máy tính số
Turing chưa thực hiện được. Đây là vấn đề cần được quan tâm và đầu tư
nghiên cứu, đặc biệt chú trọng các nghiên cứu cơ bản về mạng nơron tế
bào, cần sớm đưa chương trình đào tạo, mở các môn học mới về tính toán

SVTH Đặng Thị Tho

7


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

nơron, công nghệ mạng nơron tế bào vào các trường đại học cho các bậc
đào tạo đại học và sau đại học.
2. Mục tiêu của đề tài
* Hiểu được một cách tổng quát về mạng nơron:
 Các cấu trúc cơ bản của mạng nơron nhân tạo
+ Mạng truyền thẳng
+Mạng hồi qui, đặc biệt là mạng Hopfield
 Các loại luật học:
+ Học tham số
+ Học cấu trúc
 Các ứng dụng quan trọng của mạng nơ ron
* Nghiên cứu và hiểu cơ sở, cấu trúc, những điểm nổi bật nhất và ứng
dụng tiêu biểu nhất của mạng nơron tế bào CNN, nhất là ứng dụng trong

xử lý ảnh, xử lý tiếng nói và xử lý tín hiệu não.
* Ứng dụng của CNN vào xử lý ảnh
- Mô hình xử lý ảnh sử dụng CNN
- Thuật toán xử lý ảnh CNN
- Chương trình mô phỏng xử lý ảnh bằng CNN
3. Các nội dung cần đạt
- Nắm được những vấn đề cơ bản của công nghệ mạng nơ ron nhân tạo
trên cơ sở đó hiểu được mạng nơ ron tế bào CNN
- Mô hình ứng dụng CNN vào xử lý ảnh
- Xây dựng được chương trình mô phỏng sử dụng CNN xử lý ảnh
- Trình bày được hướng phát triển của đề tài
- Hoàn thành luận văn theo đúng qui định

SVTH Đặng Thị Tho

8


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

4. Môi trường cài đặt
- Máy tính cài đặt hệ điều hành windows 2k hoặc windows xp
- Cài đặt máy ảo java hoặc phần mềm Matlab
- Thực hiện cài đặt chương trình mô phỏng sử dụng công nghệ CNN vào
xử lý ảnh.
5. Thời gian thực hiện: 5 tháng
- Một tháng đầu: Tìm hiểu, nghiên cứu cơ sở lý thuyết về công nghệ mạng
nơron tế bào CNN
- Ba tháng sau: Tìm hiểu ứng dụng quan trọng của CNN, khảo sát tình hình
triển khai ứng dụng công nghệ CNN vào xử lý ảnh trong nước và trên thế

giới.
- Một tháng cuối cùng: Xây dựng chương trình mô phỏng sử dụng CNN xử lý
ảnh. Viết báo cáo và hoàn thiện luận văn
Giáo viên hướng dẫn

Sinh viên thực hiện

TS. Hà Mạnh Đào

SVTH Đặng Thị Tho

Đặng Thị Tho

9


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

Mục lục
DANH MỤC CÁC HÌNH VẼ.................................................................................13
DANH MỤC CÁC BẢNG.......................................................................................15

PHẦN MỘT: GIỚI THIỆU VỀ CÔNG NGHỆ
Chương 1 Giới thiệu về mạng nơron nhân tạo...............................17
1.1 Bộ não và nơron sinh học .................................................17
1.2 Khái quát về mạng nơron nhân tạo.....................................21
1.3 Hai cách nhìn về mạng nơron.............................................22
1.4 Phân loại các mạng nơron ..................................................24
1.5 Ứng dụng của mạng nơron nhân tạo...................................26
Chương 2 Mạng nơron tế bào CNN................................................27

2.1 Tổng quan về mạng nơron tế bào CNN..............................27
2.1.1 Giới thiệu về mạng nơron tế bào...................................27
2.1.2 Khả năng ứng dụng của mạng CNN..............................30
2.1.3 Tình hình nghiên cứu hiện nay về
mạng nơron tế bào CNN.............................................32
2.1.3.1 Một số hướng nghiên cứu trên thế giới.................32
2.1.3.2 Tình hình nghiên cứu về công nghệ CNN
ở Việt Nam..........................................................35
2.2 Cơ sở toán học và hệ động lực trong mạng CNN...............37
2.3 Một số phương pháp thiết kế mẫu cho
mạng nơron tế bào CNN....................................................42
2.3.1 Mẫu trong CNN.............................................................42
2.3.2 Một số phương pháp thiết kế mẫu................................44

SVTH Đặng Thị Tho

10


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

2.4 Một số ứng dụng tiêu biểu của mạng nơron tế bào.............52
2.4.1 Máy tính vạn năng CNN UM.......................................52
2.4.2 Giải phương trình vi phân đạo hàm riêng.....................55
PHẦN HAI: ỨNG DỤNG MẠNG CNN TRONG XỬ LÝ ẢNH
Chương 3 Ứng dụng công nghệ CNN trong xử lý ảnh .................60
3.1 Những vấn đề cơ bản trong xử lý ảnh ................................60
3.1.1 Các giai đoạn xử lý ảnh ................................................60
3.1.2 Phương pháp tạo mẫu ảnh..............................................62
3.2 Một số hạn chế trong xử lý ảnh truyền thống.....................65

3.3 Ứng dụng CNN để xử lý ảnh .............................................67
3.3.1 Tiền xử lý ảnh ...............................................................67
3.3.2 Tác vụ hình thái học......................................................68
3.3.3 Đặc trưng của đối tượng ảnh.........................................71
3.3.4 Phân loại ảnh..................................................................73
3.4 Khả năng ứng dụng công nghệ xử lý ảnh nhanh CNN
trong các ngành công nghiệp..............................................74
Chương 4 Mô phỏng.........................................................................83
4.1 Giới thiệu về chương trình mô phỏng................................83
4.2 Thực hiện quá trình mô phỏng...........................................85
4.2.1 Khởi động chương trình mô phỏng...............................85
4.2.2 Các thao tác và khả năng của chương trình mô phỏng..86
4.2.2.1 Thay đổi kích thước của CNN.................................86
4.2.2.2 Đặt các tham số........................................................87
4.2.2.3 Chạy chương trình ...................................................89
4.3 Kết quả mô phỏng..............................................................90

SVTH Đặng Thị Tho

11


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

Chương 5 Kết luận và phương hướng phát triển
5.1 Những kết quả nghiên cứu đạt được................................92
5.2 Đánh giá về kết quả chương trình mô phỏng...................92
5.3 Hướng phát triển của đề tài..............................................93
TÀI LIỆU THAM KHẢO........................................................................94
PHỤ LỤC..................................................................................................96

Lớp CNN.java....................................................................103
Lớp CNNimage.java.........................................................106
Lớp Template.java............................................................106
Lớp CNNcanvas.java........................................................107
Lớp CNNMath.java...........................................................107

SVTH Đặng Thị Tho

12


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

Danh mục các hình vẽ
Chương một.
1. Hình 1.1 Các thành phần của một nơron ...................................................17
2. Hình 1.2 Khớp nối (synapse)......................................................................18
3. Hình 1.3 Asimple nơron ............................................................................21
4. Hình 1.4 Học tham số có giám sát..............................................................23
5. Hình 1.5 Mạng nơron truyền thẳng & nhiều lớp........................................24
6. Hình 1.6 Mạng nơron hồi qui.....................................................................24
7. Hình 1.7 Sơ đồ hoạt động của một cell......................................................28
Chương hai.
1. Hình 2.1 Mạng nơron tế bào 2D, kích thước 4×4.....................................30
2. Hình 2.2 Liên kết cục bộ giữa các tế bào .................................................30
3. Hình 2.3 Ba kiểu lân cận tế bào ................................................................37
4. Hình 2.4 Ví dụ về mạch điện của 1 tế bào ...............................................39
5. Hình 2.5 Đặc tính của nguồn điều khiển phi tuyến...................................39
6. Hình 2.6 Sơ đồ khối của hệ động lực tế bào CNN tiêu chuẩn ..................40

7. Hình 2.7 Một số cửa sổ bảng logic............................................................45
8. Hình 2.8 Cấu trúc máy tính CNN UM......................................................53
Chương ba:
1. Hình 3.1 Các bước cơ bản trong xử lý ảnh ..............................................60
2. Hình 3.2 Các thành phần chính của hệ thống xử lý ảnh ...........................61
3. Hình 3.3 Lấy mẫu và lượng hoá................................................................63
4. Hình 3.4 Phương pháp lấy mẫu và lượng tử hoá.......................................64
5. Hình 3.5 Thực hiện erosion và dilation ảnh nhị phân...............................66

SVTH Đặng Thị Tho

13


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

6. Hình 3.6 Lưu đồ xác định diện tích của đối tượng ảnh.............................73
7. Hình 3.7 Lưu đồ chương trình phân loại DSP...........................................74
8. Hình 3.8 Lưu đồ thuật toán phát hiện sự hình thành tia lửa......................76
9. Hình 3.9 Lưu đồ chương trình ứng dụng phân loại thuốc viên chuyển động
tốc độ cao sử dụng Bi-i V2.............................................................78
10. Hình 3.10 Các kiểu liên kết nơron trong võng mạc & mô hình CNN.....79
11. Hình 3.11 Cấu trúc xử lý của một mô hình võng mạc............................80

SVTH Đặng Thị Tho

14


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

Danh mục các bảng
Bảng 1: So sánh khả năng làm việc với máy tính ..........................................23
Bảng 2: Bảng về luật cục bộ............................................................................46
Bảng 3: So sánh nguyên lý hoạt động của máy tính số
và máy tính vạn năng CNN...............................................................55
Bảng 4: So sánh mạng nơron tế bào (CNN)
và phương trình vi phân đạo hàm riêng PDE....................................58
Bảng 5: Đặc trưng của đối tượng ảnh..............................................................71

SVTH Đặng Thị Tho

15


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

PHẦN 1



GIỚI THIỆU
VỀ CÔNG NGHỆ

SVTH Đặng Thị Tho

16


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

CHƯƠNG 1
GIỚI THIỆU VỀ MẠNG NƠRON NHÂN TẠO
Cách tiếp cận mạng nơron nhân tạo có ý nghĩa thực tiễn rất lớn, cho phép
tạo ra thiết bị có thể kết hợp khả năng xử lý song song cao của bộ não với tốc độ
tính toán cao của máy tính. Mạng nơron nhân tạo là một nhóm các nơron nhân
tạo được liên kết với nhau sử dụng các mô hình toán học hoặc các mô hình tính
toán để xử lý thông tin.
Các nơron nhân tạo là các mạch điện tử mô phỏng hoạt động của nơron
sinh học, chúng nhận tín hiệu từ nhiều đầu vào khác nhau, tính toán các tín hiệu
này và cho tín hiệu đầu ra tương ứng. Trước tiên, chúng ta cần xem xét một số
khái niệm cơ bản, các cấu trúc cơ bản, cũng như cơ chế hoạt động của mạng
nơron sinh học.

1.1. Bộ não và nơron sinh học
Các nhà nghiên cứu sinh học về bộ não cho ta thấy rằng các nơron (tế bào
thần kinh) là đơn vị cơ sở đảm nhiệm những chức năng xử lý nhất định trong hệ
thần kinh, bao gồm não, tuỷ sống và các dây thần kinh. Mỗi nơron sinh học gồm
3 phần (hình 1.1):

Hình 1.1 Các thành phần của một nơron

SVTH Đặng Thị Tho

17


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

- Phần thân (cell body) và nhân (nucleus) bên trong: gọi là soma.

- Một đầu thần kinh ra (gọi là sợi trục axon).
- Một hệ thống dạng cây các dây thần kinh vào (gọi là dendrite).
Các dây thần kinh vào tạo thành một lưới dày đặc xung quanh thân tế bào,
chiếm diện tích khoảng 0.25 mm2, còn dây thần kinh ra tạo thành trục dài có thể
từ 1 cm cho đến hàng mét. Đường kính của nhân tế bào thường chỉ là 10 -4 m.
Trục dây thần kinh ra cũng có thể phân nhánh theo dạng cây để nối với các dây
thần kinh vào hoặc trực tiếp với nhân tế bào các nơron khác thông qua các khớp
nối (gọi là synapse – hình 1.2).

Hình 1.2 Khớp nối (Synapse)
Thông thường, mỗi nơron có thể gồm vài chục cho tới hàng trăm ngàn
khớp nối để nối với các nơron khác. Người ta ước lượng rằng lưới các dây thần
kinh ra cùng với các khớp nối bao phủ diện tích khoảng 90% bề mặt nơron.
Các tín hiệu truyền trong các dây thần kinh vào và dây thần kinh ra của
các nơron là tín hiệu điện và được thực hiện thông qua các quá trình phản ứng và
giải phóng các chất hữu cơ. Các chất này được phát ra từ các khớp nối dẫn tới
các dây thần kinh vào sẽ làm tăng hay giảm điện thế của nhân tế bào. Khi điện
thế này đạt tới một ngưỡng nào đó, sẽ tạo ra một xung điện dẫn tới trục dây thần

SVTH Đặng Thị Tho

18


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

kinh ra. Xung này được truyền theo trục, tới các nhánh rẽ khi chạm tới các khớp
nối với các nơron khác sẽ giải phóng các chất truyền điện. Người ta chia làm hai
loại khớp nối: khớp nối kích thích (excitatory) hoặc khớp nối ức chế (inhibitory).
Phát hiện quan trọng nhất trong ngành nghiên cứu về bộ não là các liên kết

khớp thần kinh khá mềm dẻo, có thể biến động và chỉnh đổi theo thời gian tuỳ
thuộc vào các dạng kích thích. Hơn nữa, các nơron có thể sản sinh các liên kết
mới với các nơron khác và đôi khi, lưới các nơron có thể di trú từ vùng này sang
vùng khác trong bộ não. Các nhà khoa học cho rằng đây chính là cơ sở quan
trọng để giải thích cơ chế học của bộ não con người.
Phần lớn các quá trình xử lý thông tin đều xảy ra trên vỏ não, mỗi vùng
não đều có những chức năng nhất định. Người ta thấy các nơron rất đơn giản
trong cơ chế làm việc, nhưng mạng các nơron liên kết với nhau lại có khả năng
tính toán, suy nghĩ, ghi nhớ và điều khiển. Ta có thể thấy chức năng cơ bản của
bộ não như sau:
- Bộ nhớ được tổ chức theo các bó thông tin và truy nhập theo nội dung.
- Bộ não có khả năng tổng quát hoá, có thể truy xuất các tri thức hay các
mối liên kết chung của các đối tượng tương ứng với một khái niệm
chung nào đó.
- Bộ não có khả năng sửa sai, theo nghĩa có thể điều chỉnh hoặc tiếp xúc
thực hiện ngay khi có những sai lệch do thông tin bị thiếu hoặc không
chính xác. Ngoài ra, bộ não còn có thể phát hiện và phục hồi các thông
tin bị mất dựa trên sự tương tự giữa các đối tượng.
- Bộ não có khả năng xuống cấp và thay thế dần dần. Khi có những trục
trặc tại vùng não (do bệnh, chấn thương) hoặc bắt gặp những thông tin
hoàn toàn mới lạ, bộ não vẫn có thể tiếp tục làm việc.

SVTH Đặng Thị Tho

19


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

- Bộ não có khả năng học.

So sánh khả năng làm việc của bộ não với máy tính
Bảng 1:
Máy tính

Bộ não người

Đơn vị tính toán

Bộ xử lý trung tâm với 10 5 Mạng 1011 nơron

Bộ nhớ

mạch logic cơ sở
109 bit RAM

1011 nơron

Thời gian xử lý
Thông lượng

1010 bit bộ nhớ ngoài
10-8 giây
109 bit/giây

1014 khớp nối thần kinh
10-3 giây
1014 bit/giây

Cập nhật thông tin

105 bit/giây

1014 nơron/giây

Dễ dàng thấy rằng bộ não người có thể lưu giữ nhiều thông tin hơn các
máy tính hiện đại. Tuy nhiên điều này không phải đúng mãi, bởi lẽ bộ não tiến
hoá chậm, trong khi đó nhờ những tiến bộ trong công nghệ vi điện tử, bộ nhớ
máy tính được nâng cấp rất nhanh. Hơn nữa sự hơn kém về bộ nhớ trở nên hoàn
toàn thứ yếu so với sự khác biệt về tốc độ tính toán và khả năng xử lý song song.
Các bộ vi xử lý có thể tính 108 lệnh trong một giây, trong khi đó mạng nơron não
bộ xử lý chậm hơn, cần khoảng vài miligiây để kích hoạt. Tuy nhiên, bộ não có
thể kích hoạt hầu như cùng một lúc tại rất nhiều nơron và khớp nối, trong khi đó
ngay cả máy tính hiện đại cũng chỉ có một số hạn chế các bộ vi xử lý song song.
Nếu chạy một mạng nơron nhân tạo trên máy tính, phải tốn hàng trăm lệnh máy
để kiểm tra một nơron có được kích hoạt hay không (tiêu phí khoảng 10 -8.102
giây/nơron). Do đó, dù bộ vi xử lý có thể tính toán nhanh hơn hàng triệu lần so
với các nơron bộ não, nhưng xét tổng thể bộ não lại tính toán nhanh hơn hàng tỷ
lần.

SVTH Đặng Thị Tho

20


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

Như vậy cách tiếp cận mạng nơron nhân tạo có ý nghĩa thực tiễn rất lớn cho
phép tạo ra các thiết bị có thể kết hợp khả năng song song cao của bộ não với tốc
độ tính toán cao của máy tính.

1.2. Khái quát về mạng nơron nhân tạo
Mạng nơron nhân tạo (Artificial Neural Network) gọi tắt là MMR bao
gồm các nút (đơn vị xử lý, nơron) được nối với nhau bởi các liên kết nơron. Mỗi
liên kết kèm theo một trọng số nào đó, đặc trưng cho đặc tính kích hoạt/ức chế
giữa các nơron. Có thể xem các trọng số là phương tiện để lưu giữ thông tin dài
hạn trong mạng nơron và nhiệm vụ của quá trình huấn luyện (học) mạng là cập
nhật các trọng số khi có thêm các thông tin về các mẫu học, hay nói một cách
khác, các trọng số được điều chỉnh sao cho dáng điệu vào ra của nó mô phỏng
hoàn toàn phù hợp môi trường đang xét. Mạng nơron có thể học từ dữ liệu mẫu
và tổng quát hoá dựa trên các dữ liệu mẫu học. Trong mạng nơron, các nơron
đón nhận tín hiệu vào gọi là nơron vào và các nơron đưa thông tin ra gọi là nơron
ra.
Ta có thể thấy mạng nơron nhân tạo là một thiết bị với nhiều đầu vào và
một đầu ra như sau (hình 1.3).
TEACH/USE
X1
X2

Neuron

INPUT

Xn
TEACHING INPUT

1.3. Hai cáchHình
nhìn1.3.
vềAmạng
nơron
simple nơron

SVTH Đặng Thị Tho

21

OUTPUT


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

Mạng nơron như một công cụ tính toán:
Giả sử mạng nơron NN có m nơron vào và n nơron ra, khi đó với mỗi véc
tơ các tín hiệu vào X = (x1,…,xm), sau quá trình tính toán tại các nơron ẩn, ta
nhận được kết quả ra Y = (y1,…,yn). Theo nghĩa nào đó mạng nơron làm việc
như 1 bảng tra mà không cần biết dạng phụ thuộc hàm tường minh giữa Y và X:
Y = Tinh (X, NN)
Các nơron trên cùng một lớp có thể tính toán đồng thời, do vậy độ phức
tạp tính toán nói chung sẽ phụ thuộc vào số lớp mạng.
Các thông số cấu trúc mạng nơron bao gồm:
+ Số thông số cấu trúc mạng nơron.
+ Số lớp nơron.
+ Số nơron trên mỗi lớp ẩn.
+ Số lượng liên kết của mỗi nơron (liên kết đầy đủ, liên kết bộ phận và
liên kết ngẫu nhiên).
+ Các trọng số liên kết nơron.
 Mạng nơron có khả năng học
Mạng nơron như một hệ thống thích nghi có khả năng học (huấn luyện)
để tinh chỉnh các trọng số liên kết cũng như cấu trúc của mình sao cho phù hợp
với các mẫu học (samples). Người ta phân biệt ba loại kỹ thuật học:
 Học có giám sát (supervised learning) hay còn gọi là học có

thầy.
 Học không có giám sát (unsupervised learning) hay còn gọi là
học không có thầy.
 Học tăng cường.

SVTH Đặng Thị Tho

22


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

Trong học có giám sát, mạng được cung cấp một tập mẫu học {(X s, Ys)}
theo nghĩa Xs là các tín hiệu vào, thì kết quả ra đúng của hệ phải là Y s. Ở mỗi lần
học, véc tơ tín hiệu vào Xs được đưa vào mạng, sau đó so sánh sự sai khác giữa
các kết quả ra đúng Ys, với kết quả tính toán outs. Sai số này sẽ được dùng để
hiệu chỉnh lại các trọng số liên kết trong mạng. Quá trình cứ tiếp tục cho đến khi
thoả mãn một tiêu chuẩn nào đó. Có hai cách sử dụng tập mẫu học: hoặc dùng
các tập mẫu lần lượt, hết mẫu này đến mẫu khác, hoặc sử dụng đồng thời tất cả
các mẫu một lúc. Các mạng với cơ chế học không giám sát được gọi là các mạng
tự tổ chức. Các kỹ thuật học trong mạng nơron có thể nhằm vào hiệu chỉnh các
trọng số liên kết (gọi là học tham số) hoặc điều chỉnh, sửa đổi cấu trúc của mạng
bao gồm số lớp, số nơron, kiểu và trọng số các liên kết (gọi là học cấu trúc). Cả
hai mục đích học này có thể thực hiện đồng thời hoặc tách biệt.
- Học tham số: Giả sử có k nơron trong mạng và mỗi nơron có đúng 1
liên kết vào với các nơron khác. Khi đó, ma trận trọng số liên kết W sẽ có kích
thước kxl. Các thủ tục học tham số nhằm mục đích tìm kiếm ma trận W sao cho:
Ys = Tinh (Xs, W) đối với mọi mẫu học S = (Xs, Ys)
Ss

outs

Mạng nơron N

Sai số

Hiệu chỉnh W

Ys

Hình 1.4 Học tham số có giám sát
- Học cấu trúc: Với học tham số ta giả định rằng mạng có một cấu trúc
cố định. Việc học cấu trúc của mạng truyền thẳng gắn với yêu cầu tìm ra số lớp
của mạng và số nơron trên mỗi lớp.

SVTH Đặng Thị Tho

23


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

1.4. Phân loại các mạng nơron
- Theo kiểu liên kết nơron: Ta có mạng nơron truyền thẳng (feel-forward
Neural Network) và mạng nơron qui hồi (recurrent NN). Trong mạng nơron
truyền thẳng, các liên kết nơron đi theo một hướng nhất định, không tạo thành đồ
thị không có chu trình (Directed Acyclic Graph) với các đỉnh là các nơron, các
cung là các liên kết giữa chúng. Ngược lại, các mạng qui hồi cho phép các liên
kết nơron tạo thành chu trình. Vì các thông tin ra của các nơron được truyền lại
cho các nơron đã góp phần kích hoạt chúng, nên mạng hồi qui còn có khả năng

lưu giữ trạng thái trong của nó dưới dạng các ngưỡng kích hoạt ngoài các trọng
số liên kết nơron.
- Theo số lớp: Các nơron có thể tổ chức lại thành các lớp sao cho mỗi nơron
của lớp này chỉ được nối với các nơron ở lớp tiếp theo, không cho phép các liên
kết giữa các nơron trong cùng một lớp, hoặc từ nơron lớp dưới lên nơron lớp
trên. Tuy nhiên cũng không cho phép các liên kết nơron nhảy qua một lớp.
Lớp vào

Nơron vào

Lớp ẩn
Nơron ra
b) Mạng nơron truyền thẳng

Lớp ra
a) Mạng nơron nhiều lớp

Hình 1.5 Mạng nơron truyền thẳng và nhiều lớp

Hình 1.6 Mạng nơron hồi qui

SVTH Đặng Thị Tho

24


Mạng nơron tế bào và ứng dụng trong xử lý ảnh

Dễ thấy các nơron cùng một lớp nhận được tín hiệu từ lớp trên cùng một
lúc, do vậy về nguyên tắc chúng có thể xử lý song song. Thông thường, lớp

nơron vào chỉ chịu trách nhiệm truyền tín hiệu vào, không thực hiện một tính
toán nào nên khi tính số lớp của mạng, người ta không tính lớp vào. Ví dụ, mạng
nơron ở hình 1.5 có hai lớp: một lớp ẩn và một lớp ra.
Nhận xét
Mạng nơron truyền thẳng chỉ đơn thuần tính toán các tín hiệu ra dựa trên
các tín hiệu vào và các trọng số liên kết nơron đã xác định sẵn ở trong mạng. Do
đó chúng không có trạng thái bên trong nào khác ngoài vectơ trọng số W. Đối
với mạng hồi qui, trạng thái trong của mạng được lưu giữ tại các ngưỡng của các
nơron. Điều này có nghĩa là quá trình tính toán trên mạng truyền thẳng xảy ra dễ
dàng hơn mạng qui hồi. Nói chung, các mạng qui hồi có thể không ổn định, thậm
chí rối loạn theo nghĩa, khi nào cho véc tơ giá trị đầu vào X nào đó, mạng cần
phải tính toán rất lâu, thậm chí có thể bị lặp vô hạn trước khi đưa ra được kết quả
mong muốn. Quá trình học của mạng qui hồi cũng phức tạp hơn rất nhiều. Tuy
vậy, các mạng qui hồi có thể cho phép mô phỏng các hệ thống tương đối phức
tạp trong thực tế.
Ngoài ra còn nhiều hệ nơ ron khác như: Hệ nơ ron- mờ, hệ mờ- nơron, hệ
nơron-gen,.... Và đặc biệt gần đây nhất là sự phát minh ra mạng nơron tế bào
(CNN). Phát kiến này đã đánh dấu một sự phát triển mới của khoa học mạng
nơron. Mạng nơron tế bào cho phép thực hiện trên các chíp (CNN chip), cho
phép tạo ra thế hệ máy tính mới xử lý song song tín hiệu tượng tự với tốc độ và
hiệu quả mà không một máy tính tuần tự nào hiện nay có thể sánh được. Đặc biệt
CNN đã mở ra một chân trời mới, một thời kỳ mới- thời kỳ ứng dụng mạnh mẽ
mạng nơ ron trong thực tế.

SVTH Đặng Thị Tho

25