Mạng hopfield và ứng dụng trong nhận dạng hình ảnh

ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG

HỒNG CHÍ THÀNH

MẠNG HOPFIELD VÀ ỨNG DỤNG
TRONG NHẬN DẠNG HÌNH ẢNH

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

THÁI NGUYÊN - 2016
Số hóa bởi Trung tâm Học liệu – ĐHTN




ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG

HỒNG CHÍ THÀNH

MẠNG HOPFIELD VÀ ỨNG DỤNG
TRONG NHẬN DẠNG HÌNH ẢNH
Chun ngành: Khoa học máy tính
Mã số: 60 48 01 01

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Người hướng dẫn khoa học: TS. Vũ Vinh Quang

THÁI NGUYÊN - 2016

Số hóa bởi Trung tâm Học liệu – ĐHTN




i
LỜI CẢM ƠN
Xin chân thành cảm ơn Thầy TS. Vũ Vinh Quang đã tận tình chỉ dạy,
hướng dẫn tơi trong suốt thời gian học tập và làm luận văn.
Tôi cũng xin biết ơn chân thành đến các Thầy giáo Viện Công nghệ
Thông tin đã giảng dạy, giúp đỡ trong suốt thời gian học tập.
Xin cảm ơn tất cả các anh chị em học viên Cao học khóa 13, cảm ơn các
cán bộ công chức, giảng viên Trường đại học Công nghệ Thông tin và Truyền
thông - Đại học Thái Nguyên đã tạo điều kiện tốt cho tôi trong suốt hai năm
học đã qua.
Xin cảm ơn các bạn bè, đồng nghiệp đã chỉ bảo tôi rất nhiều trong thời
gian thực hiện luận văn này.
Cuối cùng, xin chân thành cảm ơn các thành viên trong gia đình đã
động viên và tạo mọi điều kiện thuận lợi để tơi có được kết quả như ngày
hôm nay.
Thái Nguyên, tháng 06 năm 2016.
Người viết luận văn

Hồng Chí Thành

Số hóa bởi Trung tâm Học liệu – ĐHTN

ii
LỜI CAM ĐOAN
Tên tơi là: Hồng Chí Thành
Sinh ngày: 14/10/1979
Học viên lớp cao học CK13A - Trường Đại học Công nghệ thông tin và
Truyền thông - Đại học Thái Nguyên.
Hiện đang công tác tại: Trường THPT Ngọc Hà - TP Hà Giang - Hà Giang.
Tôi xin cam đoan đề tài luận văn “Mạng Hopfield và ứng dụng trong
nhận dạng hình ảnh” là cơng trình nghiên cứu của bản thân tơi. Các số liệu,
kết quả nghiên cứu trong luận văn này là trung thực và chưa từng được ai công
bố trong một cơng trình nào khác. Tơi xin chịu trách nhiệm về luận văn của
mình.
Thái Nguyên, ngày 25 tháng 6 năm 2016
TÁC GIẢ LUẬN VĂN

Hồng Chí Thành

Số hóa bởi Trung tâm Học liệu – ĐHTN




iii
MỤC LỤC
LỜI CẢM ƠN .................................................................................................... i
LỜI CAM ĐOAN ............................................................................................. ii
DANH MỤC CÁC BIỂU ĐỒ, HÌNH VẼ ........................................................ v
LỜI MỞ ĐẦU ................................................................................................... 1
CHƯƠNG I MỘT SỐ KIẾN THỨC CƠ BẢN VỀ NHẬN DẠNG ẢNH ....... 3
1.1 Không gian biểu diễn đối tượng.............................................................. 3

1.2 Khơng gian diễn dịch. ............................................................................. 4
1.3 Mơ hình và bản chất q trình nhận dạng. .............................................. 4
1.3.1 Mơ hình. ................................................................................................................. 4
1.3.2 Bản chất của quá trình nhận dạng....................................................................... 6
1.4 Nhận dạng ảnh......................................................................................... 8
1.4.1 Nhận dạng dựa trên phân hoạch không gian. ................................................... 9
1.4.2 Nhận dạng dựa theo cấu trúc.............................................................................10
1.4.3 Nhận dạng dựa vào kỹ thuật mạng neural.......................................................12
CHƯƠNG II CƠ SỞ LÝ THUYẾT VỀ MẠNG NEURAL ........................... 13
2.1 Giới thiệu chung về mạng Neural. ........................................................ 13
2.1.1 Quá trình phát triển ............................................................................................13
2.1.2 Cấu trúc mạng neural nhân tạo. .......................................................................15
2.1.3 Cấu trúc mạng Neural sinh học . ......................................................................16
2.2 Khái niệm cơ bản. ................................................................................. 20
2.2.1 Neural nhân tạo và mạng Neural nhân tạo......................................................20
2.2.2 Khái niệm mạng Hopfield. ...............................................................................24
2.3 Phân loại mạng Hopfield...................................................................... 25
2.4 Mạng Hopfield rời rạc. .......................................................................... 28
2.5 Mạng Hopfield liên tục. .......................................................................................29
2.6 Một số đặc điểm của mạng Hopfield. ................................................... 32
2.7 Một số ứng dụng của mạng Hopfield.................................................... 32
Số hóa bởi Trung tâm Học liệu – ĐHTN




iv
2.8 Khả năng nhớ mẫu của mạng Hopfield ................................................ 32
2.9 Ưu, nhược điểm của mạng Hopfield. .................................................... 34
2.9.1 Ưu điểm của mạng Hopfield.............................................................................34

2.9.2 Nhược điểm của mạng Hopfield. .....................................................................34
CHƯƠNG 3 ỨNG DỤNG MẠNG HOPFIELDTRONG BÀI TỐN NHẬN
DẠNG HÌNH ẢNH......................................................................................... 35
3.1 Mô tả hệ thống nhận dạng dựa trên mạng Hopfield. ............................ 35
3.1.1 Mạng Hopfield với bài toán tối ưu ..................................................................35
3.1.2 Các bước thành lập mạng Hopfield: ................................................................36
3.2 Mạng Hopfield với bài tốn nhận dạng hình ảnh. ................................ 37
3.2.1 Bài tốn về nhận dạng hình ảnh........................................................................37
3.2.2 Mạng Hopfield trong nhận dạng hình ảnh. .....................................................37
3.2.3 Huấn luyện mạng Hopfield. .............................................................................39
3.2.4 Thuật tốn mạng Neural Hopfield trong bài tốn nhận dạng hình ảnh. ....40
3.3 Ứng dụng mạng Hopfield trong nhận dạng ảnh.................................... 41
3.4 Đánh giá kết quả nghiên cứu ứng dụng mạng Hopfield trong nhận
dạng ảnh. ..................................................................................................... 49
3.4.1 Mục tiêu của chương trình.................................................................................49
3.4.2. Demo và hình ảnh..............................................................................................50
3.4.3 Đánh giá kết quả..................................................................................................55
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ...................................................... 56
TÀI LIỆU THAM KHẢO ............................................................................... 57

Số hóa bởi Trung tâm Học liệu – ĐHTN




v
DANH MỤC CÁC BIỂU ĐỒ, HÌNH VẼ
Hình 1.1 Mơ hình cấu trúc của đối tượng nhà. ................................................. 6
Hình 1.2 Sơ đồ tổng quát một hệ nhận dạng. .................................................... 8
Hình 2.1 Cấu trúc mạng neural. ...................................................................... 15

Hình 2.2 Mơ hình tế bào thần kinh. ................................................................ 19
Hình 2.3 Mơ hình xử lý của một neural nhân tạo. .......................................... 21
Hình 2.4 Mạng Hopfield ................................................................................. 26
Hình 2.5 Đồ thị hàm satlins............................................................................. 26
Hình 2.6 Mơ hình mạng Hopfield. ................................................................. 30
Hình 2.7 Thí nghiệm mạng với ảnh nhiễu. ..................................................... 33
Hình 3.1: Mạng Hopfield một lớp với 16 neural vào và 16 neural ra. ........... 41
Hình 3.2 Thí nghiệm mạng với ảnh nhiễu. ..................................................... 49

Số hóa bởi Trung tâm Học liệu – ĐHTN




1
LỜI MỞ ĐẦU
Kỹ thuật nhận dạng hiện nay đã và đang được nhiều người quan tâm hiện
nay, đặc biệt trong anh ninh quốc phịng: như nhận dạng hình ảnh, nhận dạng
mẫu tóc, nhận dạng vân tay,… là một ngành khoa học có rất nhiều ứng dụng
trong khoa học kỹ thuật, tin học, sinh học và cả trong lĩnh vực an ninh quốc gia.
Nó là một bộ phận quan trọng trong các hệ thống thơng minh; được sử dụng
trong việc dị tìm, xử lý số liệu và hỗ trợ ra quyết định, … Nói một cách tổng
qt thì nhận dạng là một bộ mơn khoa học có liên quan một cách hữu cơ đến
việc phân lớp, tính tốn các độ đo.
Trong lý thuyết nhận dạng nói chung và nhận dạng ảnh nói riêng có ba
cách tiếp cận khác nhau:
- Nhận dạng dựa vào phân hoạch không gian.
- Nhận dạng theo cấu trúc.
- Nhận dạng dựa vào kỹ thuật mạng neural.
Hai cách tiếp cận đầu là các kỹ thuật kinh điển. Các đối tượng ảnh quan

sát và thu nhận được phải trải qua giai đoạn tiền xử lý nhằm tăng cường chất
lượng, làm nổi các chi tiết, tiếp theo là trích chọn và biểu diễn các đặc trưng,
và cuối cùng mới qua giai đoạn nhận dạng. Cách tiếp cận thứ ba hoàn tồn
khác. Nó dựa vào cơ chế đốn nhận, lưu trữ và phân biệt đối tượng mô phỏng
theo hoạt động của hệ thần kinh con người. Do cơ chế đặc biệt, các đối tượng
thu nhận bởi thị giác người không cần qua giai đoạn cải thiện mà chuyển ngay
sang giai đoạn tổng hợp, đối sánh với các mẫu đã lưu trữ để nhận dạng. Đây là
cách tiếp cận có nhiều hứa hẹn. Trong các mạng Neural thì mạng Hopfield
thường được sử dụng trong lý thuyết nhận dạng do những ưu điểm riêng biệt
cấu trúc mạng này. Hướng nghiên cứu mạng Hopfield sử dụng trong nhận dạng
ảnh nói chung là một hướng phù hợp với chun ngành khoa học máy tính và
có ứng dụng cao.
Số hóa bởi Trung tâm Học liệu – ĐHTN




2
Đối tượng
-Mạng Hopfield.
-Lý thuyết nhận dạng.
-Ứng dụng cài đặt bài toán nhận dạng.
Phạm vi nghiên cứu
- Lý thuyết cơ bản về Bài toán nhận dạng ảnh.
- Cấu trúc của mạng Hopfield.
- Một số thuật toán học trên mạng Hopfield.
Nội dung nghiên cứu chính của luận văn được trình bày trong ba chương
như sau:
Chương 1: Một số kiến thức cơ bản về nhận dạng ảnh.
Chương 2: Cơ sở lý thuyết về mạng Neural.

Chương 3: Ứng dụng mạng Hopfield trong bài toán nhận dạng hình ảnh.

Số hóa bởi Trung tâm Học liệu – ĐHTN




3
CHƯƠNG 1
MỘT SỐ KIẾN THỨC CƠ BẢN VỀ NHẬN DẠNG ẢNH
Nhận dạng nói chung hay nhận dạng ảnh nói riêng là quá trình phân loại
các đối tượng được biểu diễn theo một mơ hình nào đó và gán cho chúng vào
một lớp (gán cho đối tượng một tên gọi) dựa theo những quy luật và các mẫu
chuẩn. Con người thu nhận thơng tin qua các giác quan, trong đó thị giác đóng
vai trị quan trọng nhất. Những năm trở lại đây với sự phát triển của phần cứng
máy tính, xử lý ảnh và đồ họa phát triển một cách mạnh mẽ và có nhiều ứng
dụng trong cuộc sống. Q trình xử lý ảnh được xem như là quá trình thao tác
ảnh đầu vào nhằm cho ra kết quả mong muốn. Kết quả đầu ra của một quá trình
xử lý ảnh có thể là một ảnh “tốt hơn” hoặc một kết luận. Quá trình nhận dạng
dựa vào những mẫu học biết trước gọi là nhận dạng có thầy hay học có thầy
(supervised learning); trong trường hợp ngược lại gọi là học khơng có thầy
(non supervised learning). Chúng ta sẽ lần lượt giới thiệu các khái niệm này.
Các kiến thức dưới đây được tham khảo từ [1], [2], [3].
1.1 Không gian biểu diễn đối tượng.
Các đối tượng khi quan sát hay thu thập được, thường được biểu diễn bởi
tập các đặc trưng hay đặc tính. Như trong trường hợp xử lý ảnh, ảnh sau khi
được tăng cường để nâng cao chất lượng, phân vùng và trích chọn đặc tính,
được biểu diễn bởi các đặc trưng như biên, miền đồng nhất, ... Người ta thường
phân các đặc trưng này theo các loại như: đặc trưng tơ pơ, đặc trưng hình học
và đặc trưng chức năng. Việc biểu diễn ảnh theo đặc trưng nào là phụ thuộc

vào ứng dụng tiếp theo.
Ở đây ta đưa ra một cách hình thức việc biểu diễn các đối tượng. Giả sử đối
tượng X (ảnh, chữ viết, dấu vân tay, ...) được biểu diễn bởi n thành phần (n đặc
trưng): X = {x1, x2,..., xn}; mỗi xi biểu diễn một đặc tính. Khơng gian biểu diễn
đối tượng thường gọi tắt là không gian đối tượng X được định nghĩa:
Số hóa bởi Trung tâm Học liệu – ĐHTN




4

X = {X1, X2,..., Xm}
trong đó mỗi Xi biểu diễn một đối tượng. Khơng gian này có thể là vơ hạn. Để
tiện xem xét chúng ta chỉ xét tập X là hữu hạn.
1.2 Không gian diễn dịch.
Không gian diễn dịch là tập các tên gọi của đối tượng. Kết thúc quá
trình nhận dạng ta xác định được tên gọi cho các đối tượng trong tập khơng
gian đối tượng hay nói là đã nhận dạng được đối tượng. Một cách hình thức gọi

 là tập tên đối tượng:
= {w1, w2,...,wk} với wi, i = 1, 2,..., k là tên các đối tượng.
Quá trình nhận dạng đối tượng f là một ánh xạ f: X ---> với f là tập các
quy luật để định một phần tử trong X ứng với một phần tử trong . Nếu tập các
quy luật và tập tên các đối tượng là biết trước như trong nhận dạng chữ viết (có
26 lớp từ A đến Z), người ta gọi là nhận dạng có thầy. Trường hợp thứ hai là
nhận dạng khơng có thầy. Đương nhiên trong trường hợp này việc nhận dạng
có khó khăn hơn.
1.3 Mơ hình và bản chất q trình nhận dạng.
1.3.1 Mơ hình.

Việc chọn lựa một q trình nhận dạng có liên quan mật thiết đến kiểu
mô tả mà người ta sử dụng để đặc tả đối tượng. Trong nhận dạng, người ta phân
chia làm hai họ lớn:
- Họ mô tả theo tham số.
- Họ mô tả theo cấu trúc.
Cách mô tả được lựa chọn sẽ xác định mơ hình của đối tượng. Như vậy,
chúng ta sẽ có 2 loại mơ hình: mơ hình theo tham số và mơ hình cấu trúc.
 Mơ hình tham số:
Sử dụng một véc tơ để đặc tả đối tượng. Mỗi phần tử của véc tơ mô tả
một đặc tính của đối tượng. Thí dụ như trong các đặc trưng chức năng, người
Số hóa bởi Trung tâm Học liệu – ĐHTN




5
ta sử dụng các hàm cơ sở trực giao để biểu diễn. Và như vậy ảnh sẽ được biểu
diễn bởi một chuỗi các hàm trực giao. Giả sử C là đường bao của ảnh và C(i,j)
là điểm thứ i trên đường bao, i = 1, 2,..., N (đường bao gồm N điểm).
Giả sử tiếp:
x0 =
y0 =

N

1
N



1
N

N

xi

i 1



yi

i 1

là toạ độ tâm điểm. Như vậy, moment trung tâm bậc p, q của đường bao là:
pq=

1
N

N



(xi-x0)p(yi-y0)q

(1.1)

i 1

Véc tơ tham số trong trường hợp này chính là các moment ij với i=1, 2,
..., p và j = 1, 2, ..., q. Còn trong số các đặc trưng hình học, người ta hay sử
dụng chu tuyến, đường bao, diện tích và tỉ lệ T = 4S/p2, với S là diện tích, p
là chu tuyến.
Việc lựa chọn phương pháp biểu diễn sẽ làm đơn giản cách xây dựng. Tuy
nhiên, việc lựa chọn đặc trưng nào là hồn tồn phụ thuộc vào ứng dụng.
 Mơ hình cấu trúc:
Cách tiếp cận của mơ hình này dựa vào việc mô tả đối tượng nhờ một
số khái niệm biểu thị các đối tượng cơ sở trong ngôn ngữ tự nhiên. Để mô tả
đối tượng, người ta dùng một số dạng nguyên thuỷ như đoạn thẳng, cung, ...
Chẳng hạn một hình chữ nhật được định nghĩa gồm 4 đoạn thẳng vng góc
với nhau từng đơi một. Trong mơ hình này người ta sử dụng một bộ kí hiệu kết
thúc Vt, một bộ kí hiệu khơng kết thúc gọi là Vn. Ngồi ra có dùng một tập các
luật sản xuất để mô tả cách xây dựng các đối tượng phù hợp dựa trên các đối
Số hóa bởi Trung tâm Học liệu – ĐHTN




6
tượng đơn giản hơn hoặc đối tượng nguyên thuỷ (tập Vt). Trong cách tiếp cận
này, ta chấp nhận một khẳng định là: cấu trúc một dạng là kết quả của việc áp
dụng luật sản xuất theo những nguyên tắc xác định bắt đầu từ một dạng gốc ban
đầu. Một cách hình thức, ta có thể coi mơ hình này tương đương một văn phạm
G = (Vt, Vn, P, S) với:
- Vt là bộ ký hiệu kết thúc.
- Vn là bộ ký hiệu không kết thúc.
- P là luật sản xuất.
- S là dạng (ký hiệu bắt đầu).

Thí dụ: đối tượng nhà gồm mái và tường, mái là một tam giác gồm 3 cạnh là 3
đoạn thẳng, tường là một hình chữ nhật gồm 4 cạnh vng góc với nhau từng
đơi một sẽ được mô tả thông qua cấu trúc mô tả dựa vào văn phạm sinh như chỉ
trong hình dưới đây:

Hình 1.1 Mơ hình cấu trúc của đối tượng nhà.
1.3.2 Bản chất của quá trình nhận dạng.
Quá trình nhận dạng gồm 3 giai đoạn chính:
- Lựa chọn mơ hình biểu diễn đối tượng.
- Lựa chọn luật ra quyết định (phương pháp nhận dạng) và suy diễn quá
trình học.
- Học nhận dạng.
Số hóa bởi Trung tâm Học liệu – ĐHTN




7
Khi mơ hình biểu diễn đối tượng đã được xác định, có thể là định lượng
(mơ hình tham số) hay định tính (mơ hình cấu trúc), q trình nhận dạng chuyển
sang giai đoạn học. Học là giai đoạn rất quan trọng. Thao tác học nhằm cải
thiện, điều chỉnh việc phân hoạch tập đối tượng thành các lớp.
Việc nhận dạng chính là tìm ra quy luật và các thuật tốn để có thể gán
đối tượng vào một lớp hay nói một cách khác gán cho đối tượng một tên.
 Học có thầy (supervised learning)
Kỹ thuật phân loại nhờ kiến thức biết trước gọi là học có thầy. Đặc điểm
cơ bản của kỹ thuật này là người ta có một thư viện các mẫu chuẩn. Mẫu cần
nhận dạng sẽ được đem so sánh với mẫu chuẩn để xem nó thuộc loại nào. Thí
dụ như trong một ảnh viễn thám, người ta muốn phân biệt một cánh đồng lúa,
một cánh rừng hay một vùng đất hoang mà đã có các miêu tả về các đối tượng

đó. Vấn đề chủ yếu là thiết kế một hệ thống để có thể đối sánh đối tượng trong
ảnh với mẫu chuẩn và quyết định gán cho chúng vào một lớp. Việc đối sánh
nhờ vào các thủ tục ra quyết định dựa trên một công cụ gọi là hàm phân lớp
hay hàm ra quyết định.
 Học khơng có thầy (non supervised learning)
Kỹ thuật học này phải tự định ra các lớp khác nhau và xác định các tham
số đặc trưng cho từng lớp. Học khơng có thầy đương nhiên là khó khăn hơn.
Một mặt, do số lớp khơng được biết trước, mặt khác những đặc trưng của các
lớp cũng không biết trước. Kỹ thuật này nhằm tiến hành mọi cách gộp nhóm
có thể và chọn lựa cách tốt nhất. Bắt đầu từ tập dữ liệu, nhiều thủ tục xử lý khác
nhau nhằm phân lớp và nâng cấp dần để đạt được một phương án phân loại.

Số hóa bởi Trung tâm Học liệu – ĐHTN




8
Nhìn chung, dù là mơ hình nào và kỹ thuật nhận dạng ra sao, một hệ
thống nhận dạng có thể tóm tắt theo sơ đồ sau:

Trích chọn đặc điểm
biểu diễn đối tượng

Trả lời

Phân lớp ra
quyết định

Quá trình tiền

xử lý

Đánh giá

Khối nhận dạng

Hình 1.2 Sơ đồ tổng quát một hệ nhận dạng.
1.4 Nhận dạng ảnh.
Nhận dạng ảnh là giai đoạn cuối của các hệ thống xử lý ảnh. Nhận dạng
dựa trên lý thuyết nhận dạng (Pattern Recognition) đã được đề cập trong nhiều
sách về nhận dạng. Trong lý thuyết nhận dạng nói chung và nhận dạng ảnh nói
riêng có ba cách tiếp cận khác nhau:
-

Nhận dạng dựa vào phân hoạch không gian.

-

Nhận dạng dựa vào cấu trúc.

-

Nhận dạng dựa vào kỹ thuật mạng neural.

Nhận dạng ảnh là quá trình phân loại các đối tượng ảnh được biểu diễn theo
một mơ hình nào đó và gán cho chúng một tên (gán cho một đối tượng một tên
gọi, tức là một dạng)
Nhận dạng ảnh là q trình liên quan đến các mơ tả đối tượng mà người
ta muốn đặc tả nó. Q trình nhận dạng thường đi sau q trình trích chọn các
đặc tính chủ yếu của đối tượng. Có hai kiểu mơ tả đối tượng:

- Mô tả tham số (nhận dạng theo tham số).
- Mô tả theo cấu trúc (nhận dạng theo cấu trúc).
Số hóa bởi Trung tâm Học liệu – ĐHTN




9
Trên thực tế, người ta đã áp dụng kỹ thuật nhận dạng khá thành công với
nhiều đối tượng khác nhau như: nhận dạng ảnh vân tay, ảnh khuôn mặt, nhận
dạng chữ (chữ cái, chữ số, chữ có dấu).
Nhận dạng chữ in hoặc đánh máy phục vụ cho việc tự động hố q trình
đọc tài liệu, tăng nhanh tốc độ và chất lượng thu nhận thơng tin từ máy tính.
Nhận dạng chữ viết tay (với mức độ ràng buộc khác nhau về cách viết,
kiểu chữ, ...) phục vụ cho nhiều lĩnh vực.
Ví dụ:
Bạn đang có trong tay một số tài liệu giấy như sách, báo, tờ rơi quảng
cáo, hợp đồng, …, máy quét chỉ có thể giúp bạn biến những tài liệu giấy này
thành tài liệu dạng ảnh. Với các tài liệu dạng ảnh, bạn chỉ có thể đọc mà khơng
thể biên tập lại chúng trên các hệ soạn thảo điện tử hiện nay; các hệ thống tìm
kiếm cũng khơng thể tìm được các đoạn văn bản trên những tài liệu này. Với
chương trình nhận dạng sẽ giúp ta nhận dạng các tài liệu đó dưới dạng file ảnh,
rồi từ đó biên dịch nó sang các định dạng như: .doc, .text, …
1.4.1 Nhận dạng dựa trên phân hoạch không gian.
Trong kỹ thuật này các đối tượng nhận dạng là các đối tượng định lượng.
Mỗi đối tượng được biểu diễn bởi một véctơ nhiều chiều. Trước tiên ta xem xét
một số khái niệm như: phân hoạch không gian, hàm phân biệt sau đó đi vào
một số kỹ thuật cụ thể.
 Phân hoạch không gian:
Giả sử không gian đối tượng X được định nghĩa: X = {Xi, i=1, 2, …,m},

Xi là một véctơ. Người ta nói p là một phân hoạch khơng gian X thành các lớp
Ci, Ci⊂ X nếu:
Ci

Cj  ví i i  j vµ

Ci  X

Nói chung đây là trường hợp lý tưởng: tập X tách được hoàn toàn. Trong
thực tế, thường gặp không gian biểu diễn tách được từng phần. Như vậy phân
Số hóa bởi Trung tâm Học liệu – ĐHTN




10
loại là dựa vào việc xây dựng một ánh xạ f: X ---> p. Công cụ xây dựng ánh xạ
này là các hàm phân biệt (Descriminant functions).
 Hàm phân lớp
Để chia đối tượng thành các lớp, cần xác định số lớp và ranh giới giữa
các lớp đó. Gọi {gi} là lớp các hàm phân lớp hay hàm tách biệt. Lớp hàm này
được định nghĩa như sau:
Nếu ∀i ≠k, gk (X) > gi (X) thì ra quyết định X ∈lớp k.

Như vậy để phân biệt k lớp ta cần k-1hàm phân biệt. Hàm phân biệt g(.)
của một lớp nào đó thường được dùng trong thực tế do tính đơn giản, dễ xử lý
là hàm tuyến tính. Hàm tuyến tính có dạng:
g(X) = W0 + W1X1 + W2X2 + … + WkXk
trong đó:
-Wi là trọng số gán cho các thành phần Xi;

- W0 là trọng số hằng.
• Phân lớp dựa theo khoảng cách (Distance) làmột cơng cụ tốt đểxác định
đối tượng có “gần nhau” về một đặc trưng nào đó hay khơng. Nếu khoảng cách
nhỏ hơn một ngưỡng nào đấy thì ta coi hai đối tượng là giống nhau. Nếu chúng
giống nhau ta gộp gộp chúng, nếu chúng khác nhau và ta tách thành hai hoặc
nhiều lớp phân biệt.
• Phân lớp dựa theo xác suất có điều kiện (Conditional Probability).
Trong một số trường hợp, người ta dựa vào xác suất có điều kiện để phân lớp
cho đối tượng. Lý thuyết xác suất có điều kiện được Bayes nghiên cứu khákỹ
lưỡng và được dùng để phân biệt đối tượng.
1.4.2 Nhận dạng dựa theo cấu trúc.
Ngoài cách biểu diễn định lượng (theo tham số) như đã mô tả ở trên, tồn
tại nhiều kiểu đối tượng mạng tính định tính (theo cấu trúc). Phương pháp nhận

Số hóa bởi Trung tâm Học liệu – ĐHTN




11
dạng ở đây là nhận dạng logic, dựa vào hàm phân biệt là hàm Bool. Cách nhận
dạng là nhận dạng các từ có cùng độ dài.
Giả sử hàm phân biệt cho mọi ký hiệu là: ga(X), gb(X),… tương ứng với
các ký hiệu a, b,…Để dễ dàng hình dung, ta giả sử có từ ‘abcd’ được biểu diễn
bởi một dãy ký tự X  x1, x2, x3, x4 , khi đó hàm phân biệt tương ứng nhận
được là:

ga  x1 +gb  x2 +gc  x3 +gd  x4
Thủ tục phân loại và nhận dạng ở đây gồm hai giai đoạn:
- Giai đoạn 1: xác định các quy tắc xây dựng, tương đương với việc

nghiên cứu một văn phạm trong một ngơn ngữ chính thống.
- Giai đoạn 2: xem xét tập các dạng trong khơng gian mẫu có được sinh
ra hồn tồn từcác dạng cơ bản đó khơng. Nếu nó thuộc tập đó thì coi như đã
phân loại xong.
Các đối tượng cần được nhận dạng theo phương pháp này được biểu diễn
bởi một câu trong ngôn ngữ, gọi là L(G). Khi đó thao tác phân lớp chính là xem
xét một đối tượng có thuộc văn phạm L(G) khơng. Nói cách khác, nó có được
sinh ra bởi các luật của văn phạm G hay không. Như vậy các bước cần phải
thực hiện là:
+ Xác định tập V1 chung cho tất cảmọi đối tượng.
+ Xác định các quy tắc P để sản sinh ra một câu và chúng khác nhau đối
với mỗi lớp.
+ Thực hiện quá trình học với các câu biểu diễn các đối tượng mẫu l
nhằm xác định văn phạm G.
+ Ra quyết định: xác định một đối tượng X được biểu diễn bởi một câu lx.
Nếu lx nhận biết bởi L(Gk) thì ta nói rằng X là một đối tượng thuộc loại Ck.

Số hóa bởi Trung tâm Học liệu – ĐHTN




12

1.4.3 Nhận dạng dựa vào kỹ thuật mạng neural.
Là kỹ thuật tái tạo mạng neural thần kinh của con người bằng máy tính.
Nó bao gồm các phần tử đơn giản (còn gọi là neural) hoạt động song song được
nối với nhau bằng các liên kết có trọng số để kích thích hoặc ức chế giữa các
neural. Có nhiều cấu trúc mạng neural khác nhau như: mạng neural sinh học,
mạng neural nhân tạo, mạng neural hồi quy, mạng neural hồi quy một lớp,

mạng neural một lớp,… Trước tiên, cần xem xét một số khái niệm cơ bản về
bộ não cũng như cơ chế hoạt động của mạng neural sinh học.

Số hóa bởi Trung tâm Học liệu – ĐHTN




13
CHƯƠNG 2
CƠ SỞ LÝ THUYẾT VỀ MẠNG NEURAL
Mạng Neuron nhân tạo (Artificial Neural Network- ANN) là mơ hình xử
lý thơng tin được mô phỏng dựa trên hoạt động của hệ thống thần kinh của sinh
vật, bao gồm số lượng lớn các Neural được gắn kết để xử lý thông tin. ANN
giống như bộ não con người, được học bởi kinh nghiệm (thơng qua huấn luyện),
có khả năng lưu giữ những kinh nghiệm hiểu biết (tri thức) và sử dụng những
tri thức đó trong việc dự đốn các dữ liệu chưa biết (unseen data).
Các ứng dụng của mạng Neural được sử dụng trong rất nhiều lĩnh vực
như điện, điện tử, kinh tế, qn sự,… để giải quyết các bài tốn có độ phức tạp
và địi hỏi có độ chính xác cao như điều khiển tự động, khai phá dữ liệu, nhận
dạng,… Các kiến thức về mạng neural được tham khảo từ [4], [6], [7].
2.1 Giới thiệu chung về mạng Neural.
2.1.1 Quá trình phát triển
Mạng neural nhân tạo được xây dựng từ những năm 1940 nhằm mô
phỏng một số chức năng của bộ não người. Dựa trên quan điểm cho rằng bộ
não người là bộ điều khiển. Mạng neural nhân tạo được thiết kế tương tự như
neural sinh học sẽ có khả năng giải quyết hàng loạt các bài tốn như tính tốn
tối ưu, điều khiển, cơng nghệ robot…
Nghiên cứu về mạng neural nhân tạo người ta chia quá trình phát triển
của nó làm bốn giai đoạn cơ bản sau:

+ Giai đoạn một: Là sự khởi nguồn của mạng neural, nó bắt đầu bằng
nghiên cứu của William 1890 về tâm lý với sự liên kết các neural thần kinh.
Cho đến năm 1940 Meculloch và Pitts đã đưa ra: neural có thể được mơ hình
hóa như là thiết bị ngưỡng (có giới hạn) để thực hiện phép biến đổi logic, tiếp
sau đó là sự ra đời mơ hình mạng neural của Culloch-Pitts. Đến năm 1943 thì
giải thuật huấn luyện mạng đầu tiên của Hebb được cơng bố.
Số hóa bởi Trung tâm Học liệu – ĐHTN




14
+ Giai đoạn hai: Đến năm 1960, các mơ hình neural hoàn thiện hơn đã
lần lượt ra đời như: Năm 1958 mơ hình Perceptron của Rosenbalt, năm 1962
mơ hình Adline của Widrow. Trong đó nổi bật lên là mơ hình Adaline, đó là
một mơ hình tuyến tính, tự chỉnh, được dùng rộng rãi trong điều kiện thích nghi,
tách nhiễu, và vẫn phát triển tới ngày nay.
+ Giai đoạn ba: Giai đoạn này được tính từ năm 1980, đây có thể coi là
giai đoạn đột phá với những đóng góp lớn lao đó là: Grossberg, Kohnem,
Rumelhart và Hopfield.
Năm 1982 trong bài báo gửi tới viện khoa học quốc gia, John
Hopfieldbằng sự phân tích tốn học rõ ràng, mạch lạc, ơng đã chỉ ra cách thức các
mạng neural làm việc và những cơng việc chúng có thể thực hiện được. Đặc biệt
hơn là ơng đã dự kiến được những khả năng tính tốn của mạng mà một neural
khơng thể có. Cống hiến của Hopfield không chỉ ở giá trị của những nghiên cứu
khoa học mà còn ở sự thúc đẩy trở lại các nghiên cứu về mạng neural.
Sáng kiến Hopfield đã được Rumelhart, Hinton và Wiliam phát triển cho
ra đời thuật toán sai số truyền ngược nổi tiếng cho việc huấn luyện mạng neural
nhiều lớp nhằm giải quyết những bài toán đặc thù. Ngồi ra cịn có sự ra đời
của mạng Neocognition của Fukushima và mạng theo kiểu máy Bolrzmann.

+ Giai đoạn bốn: Giai đoạn này được tính từ năm1987 đến nay.
Năm 1987, hội thảo quốc tế đầu tiên về mạng neural của Viện các kỹ sư
điện và điện tử IEEE (Institute of Electrical and Electronic Engineer) đã thu hút
hơn 1800 người tham gia.
Hàng năm trên thế giới đều mở hội nghị toàn cầu về chuyên ngành mạng
neural IJCNN (internationnal Joint Conference on Neural Networks). Cho đến
nay mạng Neural đã được ứng dụng một cách rộng rãi trong rất nhiều lĩnh vực
như: y học, thống kê, giao thơng, hóa học, kỹ thuật tính, tối ưu, qn sự, …

Số hóa bởi Trung tâm Học liệu – ĐHTN




15

2.1.2 Cấu trúc mạng neural nhân tạo.
Mạng neural nhân tạo (Atificial Neural Network) được tạo thành từ việc
liên kết các neural lại với nhau. Ở đây các neural được tổ chức thành từng lớp.
Đầu ra của mỗi neural sẽ được nối đến đầu vào của một số neural lớp khác theo
cấu trúc phù hợp.
Xét một cách tổng quát, mạng neural nhân tạo có cấu trúc xử lý song
song thơng tin phân tán mang một số đặc tính nổi bật sau:
- Là mơ hình tốn học dựa trên bản chất của neural.
- Bao gồm một số lượng rất lớn các neural liên kết với nhau.
- Mạng neural có khả năng học, khái qt hóa tập dữ liệu thơng qua việc
gán và hiệu chỉnh các trọng số liên kết.
- Tổ chức theo kiểu tập hợp mang lại cho mạng neural khả năng tính
tốn rất lớn, trong đó khơng có neural nào mang thông tin riêng biệt.
Cấu trúc của mạng neural nhân tạo thường có các lớp sau: lớp vào (input

layer), lớp ra (output layer) và các lớp ẩn (hidden layer). Với mạng neural thì
các neural một lớp chỉ nối tới các neural lớp khác, khơng có sự liên kết giữa
các neural cùng lớp.

Lớp ẩn

Đầu

Đầu ra

…
…
…
…
Hình 2.1 Cấu trúc mạng neural.

Hoạt động của mạng neural có thể mơ tả sơ lược như sau:

Số hóa bởi Trung tâm Học liệu – ĐHTN




16
Lớp vào là lớp nhận thông tin từ dữ liệu gốc. Thơng tin này được đưa
đến một số hay tồn bộ các neural lớp tiếp theo (hidden layer). Như vậy mỗi
nút sẽ nhận được tín hiệu của một hay một số các nút từ lớp vào. Dữ liệu này
sẽ được xử lý bên trong thân neural bởi các hệ số và các hàm đầu vào, hàm đầu
ra để đưa tín hiệu ra ở đầu ra. Tín hiệu này sẽ là tín hiệu đầu vào của lớp tiếp
theo. Q trình xử lý tương tự cho đến khi tín hiệu được đưa ra ở các nút lớp

ra. Đây chính là tín hiệu ra của mạng và là giá trị cần tìm.
Với hình thức giả lập mạng neural sinh học nhưng mạng neural nhân tạo
cũng chỉ đạt ở mức hết sức đơn giản. Bộ não con người đồng thời có thể kích
hoạt song song hoạt động của nhiều neural và độ phức tạp của các neural là rất
cao, với mạng neural nhân tạo thì điều đó đang là một thách thức lớn. Tuy vậy
với ưu điểm về tốc độ xử lý của máy tính hiện đại (là cao hơn rất nhiều so với
bộ não con người) và sự phát triển không ngừng của khoa học ngày nay thì ta
có thể hi vọng sẽ có những bước đột phá mới trong lĩnh vực mơ phỏng mạng
neural sinh học.
2.1.3 Cấu trúc mạng Neural sinh học .
Não là tổ chức vật chất cao cấp, có cấu tạo vô cùng phức tạp, dày đặc
các mối liên kết giữa các neural nhưng xử lý thông tin rất linh hoạt trong một
mơi trường bất định.
Trong bộ não có khoảng 1011  1012 neural và mỗi neural có thể liên kết
với 10 4 neural khác qua các khớp nối. Những kích hoạt hoặc ức chế này được
truyền qua trục neural (axon) đến các neural khác.
Phát hiện quan trọng nhất trong ngành nghiên cứu về bộ não là các liên
kết khớp thần kinh khá mềm dẻo, có thể biến động và điều chỉnh theo thời gian
tùy thuộc vào các dạng kích thích. Hơn nữa, các neural có thể sản sinh các liên
Số hóa bởi Trung tâm Học liệu – ĐHTN




17
kết mới với các neural khác và đôi khi, lưới các neural có thể di trú từ vùng này
sang vùng khác trong bộ não. Các nhà khoa học cho rằng đây chính là cơ sở
quan trọng để giải thích cơ chế học của bộ não con người.
Phần lớn các quá trình xử lý thơng tin đều xảy ra trên vỏ não. Toàn bộ
vỏ não được bao phủ bởi mạng các tổ chức cơ sở có dạng hình thùng trịn với

đường kích khoảng 0,5mm, độ cao 4mm. Mỗi đơn vị cơ sở này chứa khoảng
2000 neural. Người ta chỉ ra rằng mỗi vùng não có những chức năng nhất định.
Điều rất đáng ngạc nhiên chính là các neural rất đơn giản trong cơ chế làm việc,
nhưng mạng các neural liên kết với nhau lại có khả năng tính tốn, suy nghĩ,
ghi nhớ và điều khiển. Có thể điểm qua những chức năng cơ bản của bộ não
như sau:
- Bộ nhớ được tổ chức theo các bó thơng tin và truy nhập theo nội dung
(có thể truy xuất thơng tin dựa theo giá trị các thuộc tính của đối tượng).
- Bộ não có khả năng tổng qt hố, có thể truy xuất các tri thức hay các
mối liên kết chung của các đối tượng tương ứng với một khái niệm chung nào
đó.
- Bộ não có khả năng dung thứ lỗi theo nghĩa có thể điều chỉnh hoặc tiếp
tục thực hiện ngay khi có những sai lệch do thơng tin bị thiếu hoặc khơng chính
xác. Ngồi ra, bộ não cịn có thể phát hiện và phục hồi các thông tin bị mất dựa
trên sự tương tự giữa các đối tượng.
- Bộ não có khả năng xuống cấp và thay thế dần dần. Khi có những trục
trặc tại các vùng não (do bệnh, chấn thương) hoặc bắt gặp những thơng tin hồn
tồn mới lạ, bộ não vẫn có thể tiếp tục làm việc.
- Bộ não có khả năng học.


So sánh khả năng làm việc của bộ não và máy tính

Số hóa bởi Trung tâm Học liệu – ĐHTN




18

Đơn vị tính tốn

Máy tính

Bộ não người

Bộ xử lý trung tâm

Mạng 1011neural

với 105mạch logic cơ
sở
Bộ nhớ

109 bit RAM

1011neural

1010 bit bộ nhớ ngoài

Với 1014 khớp nối thần
kinh

Thời gian xử lý

10-8 giây

10-3 giây

Thông lượng

109 bit/giây

1014 bit/giây

Cập nhật

105 bit/giây

1014neural/giây

thông tin
Người ta thấy rằng bộ não con người có thể lưu trữ nhiều thơng tin hơn
các máy tính hiện đại. Tuy rằng điều này khơng phải đúng mãi mãi, bởi lẽ bộ
não tiến hóa chậm, trong khi đó nhờ những tiến bộ trong cơng nghệ vi điện tử,
bộ nhớ máy tính được nâng cấp rất nhanh. Hơn nữa, sự hơn kém về bộ nhớ trở
nên hoàn toàn thứ yếu so với sự khác biệt về tốc độ tính tốn và khả năng xử lý
song song. Các bộ vi xử lý có thể tính 108 lệnh trong một giây, trong khi đó
mạng neural xử lý chậm hơn, cần khoảng vài mili giây để kích hoạt. Tuy nhiên,
bộ não có thể kích hoạt hầu như cùng một lúc tại rất nhiều neural và khớp nối,
trong khi đó ngay cả máy tính hiện đại cũng chỉ có một số hạn chế các bộ vi xử
lý song song. Nếu chạy một mạng neural nhân tạo trên máy tính, phải tốn hàng
trăm lệnh máy để kiểm tra một neural có được kích hoạt hay khơng (tiêu phí
khoảng 10-8 x 102 giây/neural). Do đó, cho dù bộ vi xử lý có thể tính tốn
nhanh hơn hàng triệu lần so với các neural bộ não, nhưng xét tổng thể bộ não
lại tính tốn nhanh hơn hàng tỷ lần.

Số hóa bởi Trung tâm Học liệu – ĐHTN