Điều khiển thiết bị điện qua mạng

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
---------------------------------------

LUẬN VĂN THẠC SĨ KHOA HỌC

NGHIÊN CỨU CÔNG NGHỆ MẠNG NƠ RON TẾ BÀO
CNN VÀ ỨNG DỤNG TRONG XỬ LÝ ẢNH
NGÀNH : KỸ THUẬT ĐIỆN TỬ
MÃ SỐ:23.04.3898
TẠ THỊ KIM HUỆ

Người hướng dẫn khoa học : TS. HOÀNG MẠNH THẮNG

HÀ NỘI 2009


LỜI CAM ĐOAN

Tôi xin cam đoan: Luận văn “Nghiên cứu công nghệ mạng nơ ron tế bào
CNN và ứng dụng trong xử lý ảnh” là công trình nghiên cứu riêng của tôi, không
sao chép từ bất cứ tài liệu nào
Tôi muốn gửi lời cảm ơn chân thành nhất tới TS. Hoàng Mạnh Thắng, người
thầy đã tận tình hướng dẫn và giúp đỡ tôi trong suốt quá trình làm luận văn. Tôi xin
gửi lời cảm ơn tới Bộ môn Kỹ thuật Máy tính - khoa Công nghệ thông tin - trường
Đại học Sư phạm Hà Nội, và Bộ môn Điện tử Tin học Đại học Bách Khoa Hà Nội,
đã tạo những điều kiện tốt nhất cho tôi trong quá trình học tập và làm luận văn. Xin
cảm ơn những đồng nghiệp trong bộ môn Kỹ thuật Máy tính đã luôn khuyến khích,
động viên, và giúp đỡ tôi trong thời gian học tập và công tác vừa qua.
Tôi xin gửi lời cảm ơn sâu sắc nhất tới gia đình: cha mẹ, chồng, chị gái và
những người thân trong gia đình đã luôn động viên, cổ vũ và hỗ trợ tôi trong suốt

quá trình học tập và nghiên cứu để có được kết quả như hôm nay.

Hà Nội, ngày 15 tháng 10 năm 2009
Học viên

Tạ Thị Kim Huệ


MỤC LỤC
MỤC LỤC.....................................................................................................................
Danh mục các ký hiệu và chữ viết tắt.............................................................................
Danh mục các bảng biểu ................................................................................................
Danh mục các hình vẽ....................................................................................................
MỞ ĐẦU..................................................................................................................... 1
Chương 1: Tìm hiểu về cấu trúc mạng Nơron tế bào CNN........................................... 4
1.1. Tổng quan ........................................................................................................... 4
1.2 Cơ sở toán học của CNN...................................................................................... 5
1.2.1 Các chú thích và định nghĩa cơ bản ............................................................. 5
1.2.2 Biểu diễn theo ma trận vector và điều kiện biên........................................... 9
1.2.3 Sự tồn tại và đơn trị của các nghiệm .......................................................... 13
1.2.4 Giới hạn của các nghiệm ........................................................................... 17
1.2.5 Tính bất biến không gian của CNN............................................................ 18
1.2.6 Ba phân lớp mạng nơ ron tế bào đơn giản.................................................. 21
1.2.7 Lược đồ lưu lượng mô tả luồng tín hiệu dẫn nạp ....................................... 25
1.3 Kết luận ............................................................................................................. 26
Chương 2: Phân tích các đặc tính của mạng CNN...................................................... 27
2.1 Các đặc tính của mạng CNN 2 chiều .................................................................. 27
2.1.1 Cấu trúc mạng CNN hai chiều ................................................................... 27
2.1.2 Dải động của CNN .................................................................................... 30
2.1.3 Tính chất ổn định của CNN ....................................................................... 33

2.1.4 Động lực học của mạng nơ ron tế bào phi tuyến và có trễ.......................... 42
2.2 Hỗn độn trong mạng nơ ron tế bào ..................................................................... 44
2.2.1 Ví dụ về CNN 2 tế bào dao động. .............................................................. 45
2.2.2 Ví dụ CNN hỗn độn với 2 tế bào và 1 đầu vào dạng sin............................. 47
2.2.3 Rẽ nhánh và hỗn độn trong CNN............................................................... 49
2.3 Mạng nơ ron tế bào nhiều lớp............................................................................. 50
2.4 Mối quan hệ của CNN với phương trình vi phân đạo hàm riêng và ô tô mát tế
bào........................................................................................................................... 52
Kết luận ................................................................................................................... 54
Chương 3: Mô phỏng các hệ động lực CNN .............................................................. 55
3.1 Phân tích định lượng về mặt toán học................................................................. 55
3.2 Hai đối tượng mẫu nghiên cứu: các mẫu EDGE và EDGEGRAY ...................... 63
3.2.1 CNN EDGE: Các mẫu CNN nhị phân dò đường biên................................ 63
3.2.2 EDGEGRAY CNN ................................................................................... 69
3.2.3 Ba bước xác định đồ thị dịch chuyển điểm điều khiển ............................... 76
3.3 Hệ thống phần mềm mô phỏng........................................................................... 77
3.3.1 Sự kết hợp của phương trình vi phân CNN tiêu chuẩn ............................... 77
3.3.2 Ảnh đầu vào .............................................................................................. 78
3.3.3 Phần mềm mô phỏng................................................................................. 78
3.4 Phần cứng bộ gia tốc số...................................................................................... 83

Nghiên cứu công nghệ CNN và ứng dụng trong xử lý ảnh


3.5 Thực thi CNN tương tự ...................................................................................... 84
3.6 Thang chia tỷ lệ các tín hiệu............................................................................... 86
3.7 Discrete-time CNN (DTCNN)............................................................................ 87
3.8 Kết luận ............................................................................................................. 88
Chương 4: Ứng dụng hệ động lực CNN trong xử lý ảnh ............................................ 89
Tổng quan................................................................................................................ 89

4.1 Nhu cầu xử lý ảnh trong công nghiệp và an ninh quốc phòng............................ 89
4.2 Xử lý ảnh bằng máy tính hệ lệnh tuần tự ........................................................... 92
4.3 Công nghệ CNN và hệ thống thu ảnh - xử lý song song ..................................... 93
4.4 Mô hình hệ phỏng sinh học trong chế tạo thị giác nhân tạo ................................ 94
4.4.1 Thị giác sinh học ....................................................................................... 94
4.4.2 Mô hình võng mạc nhân tạo với công nghệ mạng CNN nhiều lớp ............. 96
4.4.3 Chip tế bào thị giác.................................................................................. 101
4.4.4 Máy tính thị giác (Visual computers)....................................................... 103
4.5 Phương pháp xử lý ảnh vân tay sử dụng mạng CNN .........................................104
4.5.1 Một số thuật toán nhận dạng vân tay ....................................................... 105
4.5.2 Nâng cấp ảnh vân tay đa mức xám sử dụng CNN .................................... 106
4.5.3 Phân tích đặc trưng vân tay dùng CNN.................................................... 110
4.6 Kết luận ............................................................................................................111
KẾT LUẬN ............................................................................................................. 112
TÀI LIỆU THAM KHẢO........................................................................................ 114
PHỤ LỤC ................................................................................................................ 118

Nghiên cứu công nghệ CNN và ứng dụng trong xử lý ảnh


Danh mục các ký hiệu và chữ viết tắt
CNN
CNN-UM
DP
DSP
EDGE
IC
ODE
VLSI

Cellular Neural Network
CNN-Universal Machine
Driving Point
Digital Signal Processing
Edge Dection template
Integrated Circuit
Ordinary Differential Equation
Very Large Scale Integration

Mạng nơ ron tế bào
Máy tính vạn năng CNN
Điểm điều khiển
Xử lý tín hiệu số
Mẫu dò đường biên
Mạch tích hợp
Phương trình vi phân thường
Độ tích hợp rất cao

Danh mục các bảng biểu
Bảng 3.1: Ngôn ngữ diễn tả mô phỏng cho mẫu EDGE trong CSD (script)................ 81
Bảng 3.2: So sánh công nghệ xử lý ảnh số chuẩn và xử lý ảnh tương tự, thời gian
tính toán μs (bao gồm cả thời gian truyền dữ liệu). .................................................... 85
Bảng 3.3: So sánh các cấu trúc khác nhau của analogic CNN .................................... 86

Danh mục các hình vẽ
Hình 1.1: Cấu trúc mạng nơ ron tế bào tiêu chuẩn................................................... 6
Hình 1.2: a) r=1 (lân cận 3x3), r=2 (lân cận 5x5) .................................................... 6
Hình 1.3: Các cell biên............................................................................................ 8
Hình 1.4: Mạch CNN với điều kiện biên cố định .................................................. 10
Hình 1.5: Mạch CNN với điều kiện biên Neumann ............................................... 11

Hình 1.6: Mạch CNN theo điều kiện biên tuần hoàn (Toroidal) ............................ 11
Hình 1.7: 3 sơ đồ đóng gói thường dùng ............................................................... 12
Hình 1.8: Cấu trúc băng ma trận Aˆ và Bˆ ............................................................... 12
Hình 1.9: Ví dụ về một mạch vô nghiệm sau thời gian giới hạn T......................... 13
Hình 1.10: Mạch có vô số nghiệm riêng, với cùng trạng thái ban đầu x(0)=0........ 14
Hình 1.11: Mạch có finite escape time .................................................................. 14
Hình 1.12: CNN có nghiệm đơn trị t≥0................................................................. 15
Hình 1.13: Mạch điện tương đương ...................................................................... 17
Hình 1.14: Cấu trúc phân lớp của CNN................................................................. 21
Hình 1.15: Phân lớp Zero-feedback (feedforward) ζ(0,B,z) ................................. 22
Hình 1.16: Phân lớp Zero-input (Autonomous) ζ(A, 0, z).................................... 23
Hình 1.17: Phân lớp Uncoupled (scalar) ζ (Aº,B, z) ............................................. 23

Nghiên cứu công nghệ CNN và ứng dụng trong xử lý ảnh


Hình 1.18: Cấu trúc Cell của một CNN tiêu chuẩn C(i,j)....................................... 24
Hình 1.19: Hình ảnh minh họa tế bào C(i,j) điển hình nhận đầu vào từ một nơ ron
cảm biến phía bên trái và nơ ron lân cận phía dưới qua tế bào tiếp theo tương ứng.
............................................................................................................................. 25
Hình 1.20: Lược đồ luồng tín hiệu hồi tiếp A kết hợp với mẫu A.......................... 26
Hình 1.21: Lược đồ dòng tín hiệu dẫn nạp đầu ra B kết hợp với mẫu B ................ 26
Hình 2.1: Lân cận của cell C(i,j) lần lượt với r=1, r=2, r=3 ................................... 27
Hình 2.2: Mô hình của một cell............................................................................. 28
Hình 2.3: Đường đặc tính của nguồn điều khiển phi tuyến .................................... 29
Hình 2.4: Đặc tính của điện trở phi tuyến trong phương trình mạch tế bào............ 39
Hình 2.5: Mạch tương đương trạng thái cân bằng của một cell trong CNN ........... 39
Hình 2.6: a), b), c) Các định tuyến động và điểm cân bằng của mạch tương đương
với các giá trị khác nhau của g(t) .......................................................................... 40
Hình 2.6: d), e), f), g) Các định tuyến động và điểm cân bằng của mạch tương

đương với các giá trị khác nhau của g(t) ............................................................... 41
Hình 2.7: Các mẫu vô hướng của các toán tử tế bào tương tác. Đơn vị sử dụng .... 41
Hình 2.8: a) 1x2 CNN cùng các tế bào biên với điều kiện biên là 0,
y00 = y01 = y02 = y03 = y10 = y13 = y20 = y21 = y22 = y23 = 0 ...................................... 45
b) Đồ thị luồng dữ liệu tương ứng......................................................................... 45
Hình 2.9: Dạng sóng nghiệm tuần hoàn của x1(t ), x2 (t ) và quỹ đạo tương ưng trong
trường hợp α=2, β=2, x1 (0) = 0.1, x2 (0) = 0.1 ......................................................... 46
Hình 2.10 : Dạng nghiệm hỗn độn của x1 (t ), x2 (t ) quỹ đạo tương ứng với trường hợp
α=2, β=-1.2, x1 (0) = 0.1, x2 (0) = 0.1 ..................................................................... 48
Hình 2.11: Phổ năng lượng tần số tính toán số học từ nghiệm hỗn loạn x1(t) và x2(t)
............................................................................................................................. 49
Hình 2.12: Bản đồ Poincare trích xuất từ quỹ đạo hấp dẫn lạ thường ở hình 13c
được gọi là “ hấp dẫn giầy nữ”.............................................................................. 49
Hình 2.13 : Quỹ đạo hấp dẫn lạ thường của CNN 3x3 với p1=1,25; p2=1,1; p3=1;
s=3,2; r=4,4 và giá trị ban đầu x(0)=(0,1;0,1;0,1).................................................. 50
Hình 3.1: Mô phỏng tính toán của CNN kích thước 4x4 ...................................... 58
Hình 3.2: 6 giá trị của điều kiện khởi tạo, cell C(2,2) có giá trị khởi tạo như nhau 59
Hình 3.3: Trạng thái cuối cùng tương ứng với trạng thái khởi tạo cho ở hình 3.2. . 60
Hình 3.4: Chế độ tạm thời của cell C(2,2) tương ứng với điều kiện khởi tạo ở hình
3.2......................................................................................................................... 60
Hình 3.5: Chọn 4 trạng thái khởi tạo ban đầu ........................................................ 61
Hình 3.6: Trạng thái kết thúc tương ứng với trạng thái ban đầu cho ở hình 3.5 ..... 61
Hình 3.7: a/ đầu ra tương ứng với điều kiện khởi tạo ở hình 3.5, b/ Điểm cân bằng
ổn định hệ thống tương ứng với trọng thái khởi tạo ở hình 3.5.............................. 61
Hình 3.8: Điều kiện khởi tạo khác......................................................................... 62
Hình 3.9: Đầu ra của CNN với quy luật thay đổi của nó đối với các mẫu vô hướng
hình 2.7(a), (b) và với điều kiện ban đầu cho bởi hình 3.8..................................... 62
Hình 3.10: Trạng thái kết thúc tương ứng với đầu ra ở hình 3.9 ............................ 62

Nghiên cứu công nghệ CNN và ứng dụng trong xử lý ảnh

Hình 3.11: Các cell tức thời tại 3 vị trí khác trong trong ảnh
: trạng thái
biến xij ,
: Biến đầu ra yij , ***: đầu ra và trạng thái là như nhau.............. 65
Hình 3.12: Định tuyến động tương ứng với mẫu dò đường biên............................ 67
Hình 3.13: Tế bào trạng thái và đầu ra tức thời trong 30 nấc tại 3 vị trí khác nhau
của ảnh trong ví dụ 3.5 biểu diễn các đường đậm và mỏng tương ứng .................. 71
Hình 3.14: Định tuyến trạng thái động và đầu ra động trong trường hợp đặc biệt
mức bù bằng 0, ωij = 0 ......................................................................................... 74
Hình 3.15: Trạng thái định tuyến tĩnh với ωij ≠ 0 ................................................. 75
Hình 3.16: Đồ thị dịch chuyển điểm điều khiển DP Γ x (ωij ) .................................. 76
Hình 3.16: Các bộ vi xử lý vật lý cho nhiều tế bào CNN ảo .................................. 84
Hình 3.17: Giá trị hạn chế không đổi f h (.) .......................................................... 87
Hình 4.1: Thực hiện erosion và dilation ảnh nhị phân ........................................... 93
Hình 4.2: Cấu trúc mắt người và các thành phần của võng mạc ............................ 94
Hình 4.3: Các kiểu liên kết nơron trong võng mạc và mô hình CNN..................... 97
Hình 4.4. Cấu trúc xử lý của một mô hình võng mạc............................................. 99
Hình 4.5: Cấu trúc mô phỏng của võng mạc CNN ...............................................100
Hình 4.8: Mạng CNN 2D.....................................................................................101
Hình 4.9: Mô hình kết nối của mạng nơron tế bào................................................102
Hình 4.10: Quá trình tính toán của mạng nơron tế bào .........................................102
Hình 4.11: Kiến trúc bên trong của một tế bào xử lý ............................................103
Hình 4.12: Sơ đồ khối của máy tính thị giác.........................................................104
Hình 4.13: Máy tính thị giác trên PC104-plus và Máy tính thị giác trên PC để bàn.
............................................................................................................................104
Hình 4.11: Mẫu vân tay .......................................................................................105
Hình 4.14: Mẫu vân tay .......................................................................................105
Hình 4.15: Một số kiểu của vân tay......................................................................105

Hình 4.16: Hệ thống nhận dạng vân tay. ..............................................................106
Hình 4.17: Nâng cấp ảnh vân tay dùng cân bằng Histogram ................................107
Hình 4.18: Các mẫu của các điểm đường viền có tham số CNN (A, B, z) ............108
Hình 4.19: Sơ đồ khối làm mảnh đỉnh vân ...........................................................108
Hình 4.20: Sơ đồ khối của tìm kiếm điểm đường viền..........................................108
Hình 4.21: Cửa sổ 3x3 để trích đặc trưng ............................................................109
Hình 4.22: Sơ đồ khối quá trình matching vân tay dùng CNN..............................110
Hình 4.23: Kết quả thử nghiệm của một số phương pháp xử lý ảnh vân tay bằng
CNN ....................................................................................................................110

Nghiên cứu công nghệ CNN và ứng dụng trong xử lý ảnh


1
Tạ Thị Kim Huệ

Luận văn thạc sỹ

MỞ ĐẦU
Mục đích, đối tượng và phạm vi nghiên cứu
Máy tính điện tử ra đời đã hơn 60 năm và đang đến gần giới hạn vật lý về
kích thước và tốc độ xử lý. Sự ra đời của mạng nơron tế bào CNN đã mở ra một
thời đại mới cho sự phát triển của khoa học tính toán tiếp cận đến các phương thức
xử lý cũng như phương thức cảm nhận và hành động của các tổ chức trong cơ thể
sinh vật sống.
Các máy tính số hiện nay về cơ bản là loại máy logic với các dữ liệu rời rạc
được mã hóa theo hệ nhị phân. Tính chất cơ bản của nó là khả năng thực hiện thuật
toán theo chương trình được lưu trong bộ nhớ. Đây là loại máy tính vạn năng xử lý
trên các số nguyên (Universal Machine on Integers) hay còn gọi là máy Turing
(Turing Machine). Các phép tính cơ bản của nó là các phép số học và logic. Thuật

toán là các chuỗi logic của các phép tính cơ bản này.
Sự ra đời của bóng bán dẫn năm 1948 và của các vi mạch tích hợp IC
(Integrated Circuit) năm 1960 đã tạo ra các máy tính số có tính thực tiễn cao với giá
thành rẻ và hiện nay đã trở thành một loại hàng hóa thông dụng. Trước kia nhiều
người tưởng rằng hoạt động của máy tính điện tử phản ánh cơ chế hoạt động của bộ
não con người. Tuy nhiên hiện nay vấn đề đã trở nên rõ ràng là nơron và các tế bào
thần kinh có cơ chế hoạt động hoàn toàn khác.
Hệ nơron tính toán thường xử lý mảng tín hiệu tương tự (analog) có tính liên
tục về thời gian và biên độ. Cấu trúc gồm nhiều lớp mảng 2chiều nơron có các kết
nối mạng cục bộ (local) là chủ yếu, và kết nối toàn cục (global) là không nhiều. Có
nơ ron được tích hợp với các tế bào cảm biến (sensing) và tế bào tác động
(actuating). Các nơron hoạt động với độ trễ thay đổi và có cơ chế hoạt động dạng
sóng kích hoạt. Các dữ liệu và sự kiện (event) là các mảng tín hiệu phụ thuộc không
gian và/hoặc thời gian.

Nghiên cứu công nghệ CNN và ứng dụng trong xử lý ảnh


2
Tạ Thị Kim Huệ

Luận văn thạc sỹ

Rõ ràng với các tính chất cơ bản nêu trên máy tính số hiện nay không có khả
năng tiếp cận đến khả năng xử lý của não người, đến khả năng xử lý của các sinh
vật sống. Để có thể chế tạo được hệ thống điện tử có khả năng tính toán tương tự
như hệ thần kinh này, đòi hỏi phải thay đổi về kiến trúc, về thuật toán về công nghệ
và khả năng xử lý song song của hàng vạn hoặc hàng triệu bộ xử lý trên một chip.
Hiện nay hầu hết các bài toán xử lý ảnh đều có thể được giải quyết được bằng CNN
với bộ công cụ phát triển cùng hệ thống các thư viện hoàn chỉnh.

Ý nghĩa khoa học và thực tiễn của đề tài
Sự ra đời của CNN mở ra một hướng mới cho sự phát triển của khoa học tính
toán. CNN là công nghệ xử lý song song cực mạnh và đa năng. Mạng Nơron tế bào
CNN là một giải pháp mở đầu cho loại máy tính vạn năng xử lý dòng mảng dữ liệu.
Trong nhiều bài toán thực tế, việc xử lý ảnh trong thời gian thực là yêu cầu bắt buộc.
Tuy nhiên các phương pháp xử lý ảnh truyền thống lại đòi hỏi nhiều thời gian xử lý
nhất là với những ảnh có kích thước lớn. Để đáp ứng yêu cầu đó người ta đã và
đang tìm kiếm nhiều phương pháp xử lý ảnh song song khác nhau nhằm giảm thời
gian xử lý. Mạng nơ ron tế bào (Cellular Neural Network – CNN) là một trong
những công cụ xử lý ảnh thời gian thực hữu hiệu và đang được quan tâm nghiên
cứu rộng rãi trên thế giới do có nhiều ưu điểm trong đó có bản chất xử lý song song.
Nội dung của luận văn
Chương 1: Tìm hiểu về cấu trúc mạng nơ ron tế bào CNN
Phần này trình bày tổng quan về sự hình thành và phát triển công nghệ mạng
nơ-ron tế bào CNN, cơ sở toán học xây dựng và kiến trúc của mạng CNN
Chương 2: Các đặc tính của mạng CNN
Đưa ra một số tính chất liên quan đến dải đặc tính động và trạng thái ổn định
của mạng nơ ron tế bào được đề cập, các hệ động lực học của mạng nơ ron tế bào
phi tuyến và có trễ, tính hỗn độn trong mạng nơ ron tế bào và mối quan hệ của CNN
với phương trình vi phân đạo hàm riêng và ô tô mát tế bào.
Chương 3: Mô phỏng mạng CNN

Nghiên cứu công nghệ CNN và ứng dụng trong xử lý ảnh


3
Tạ Thị Kim Huệ

Luận văn thạc sỹ

Phân tích và mô phỏng các hệ động lực CNN định lượng về mặt toán học và
các phương thức số học để tính toán ra kết quả. Sử dụng hệ thống mô phỏng bằng
phần mềm sử dụng một trong các phương pháp số học để giải quyết việc thiết lập
các ODE của các hệ động lực CNN. Giới thiệu về phần mềm CNN SimulatorCANDY
Chương 4: Ứng dụng trong xử lý ảnh
Mạng nơ ron tế bào và công nghệ xử lý ảnh tốc độ cao trên cơ sở mạng nơ
ron tế bào là một lĩnh vực khoa học công nghệ mới ở Việt nam và trên thế giới; có
nhiều triển vọng cho nhiều ứng dụng đột phá. Mục tiêu của chương này là giới thiệu
một số ứng dụng xử lý ảnh nhanh, xử lý song song trên nền mạng nơ ron tế bào.
Giới thiệu hai ứng dụng cụ thể là Xây dựng mô hình thị giác nhân tạo và nhận dạng
vân tay sử dụng công nghệ CNN
Kết luận

Nghiên cứu công nghệ CNN và ứng dụng trong xử lý ảnh


4
Tạ Thị Kim Huệ

Luận văn thạc sỹ

Chương 1: Tìm hiểu về cấu trúc mạng
Nơron tế bào CNN
Phần này trình bày tổng quan về sự hình thành và phát triển công nghệ mạng
nơ-ron tế bào CNN, cơ sở toán học và kiến trúc của mạng nơ ron tế bào CNN
1.1. Tổng quan
Sự phát triển của công nghiệp điện tử và máy tính được xem xét bằng 3 tiến
trình cách mạng về công nghệ 1 . Cuộc cách mạng thứ nhất, máy tính có hiệu năng
tính toán cao, giá rẻ sử dụng vi xử lý vào những năm 1970, sản xuất PC hàng loạt
vào những năm 1980. Với công nghệ Laser và sợi quang giá rẻ, giảm chi phí về

băng thông vào cuối thập kỷ 1980 tạo nền tảng cho sự phát triển của nghành công
nghiệp Internet phát triển vào những năm 1990. Cuộc cách mạng thứ 3 là cuộc cách
mạng về công nghệ cảm biến vào cuối thập kỷ 1990 tạo ra các bộ cảm biến giá rẻ và
mảng kỹ thuật vi điện tử MEMS (micro-electro-mechanical system) tăng lên nhanh
chóng trong hầu hết các cấu trúc có thể nhận thức được. Các thiết bị cảm biến về thị
giác, thính giác, khứu giác vị giác nhân tạo và đo được tất cả các thông số vật lý,
hóa học sinh học. Hàng nghìn và triệu tín hiệu analog được tạo ra và đợi xử lý, cần
thiết một mô hình tính toán mới. Để xử lý mảng tín hiệu analog mô hình Anlogic
Cellular Computer là một ứng cử viên nặng ký. Lõi của máy tính là một Mạng tế
bào phi tuyến/nơron 2 , một mảng xử lý tín hiệu analog động hoặc là các tế bào. Kiến
trúc máy tính này là một máy tính vạn năng CNN 3 , máy tính Analogic CNN bắt
trước các cảm ứng xử lý sinh học và lưu trữ chương trình. Những nghiên cứu gần
đây về quang học và thang đo –nano, mở ra một hướng mới đạt tới cấp độ nguyên
tử và phân tử.
CNN được nghiên cứu bởi Leon O. Chua và Lin Yang tại Berkeley năm
1988. không giống như tế bào người máy tự động, bộ xử lý quản lý CNN nhận và
phát ra các tín hiệu analog, thời gian liên tục và các giá trị tương tác cũng là các giá
trị thực, đầu ra của mảng CNN đóng một vai trò rất quan trọng. Hơn thế nữa CNN

Nghiên cứu công nghệ CNN và ứng dụng trong xử lý ảnh


5
Tạ Thị Kim Huệ

Luận văn thạc sỹ

là một cơ cấu tổ chức nghiêm ngặt với một hệ thống phức tạp. Ý nghĩa của các mẫu
vô hướng, sự mô tả các dạng liên kết bên trong là yếu tố quyết định. Điều này cho
phép không chỉ mô phỏng mà còn thiết kế các hệ thống phức tạp.

Stored programmability (Chương trình được lưu trữ) do John von Neuman
phát minh là ưu điểm của máy tính số với khả năng không giới hạn của việc số hóa
tín hiệu, mở ra một hướng phát triển mới với các thuật toán số và phần mềm. Thực
vậy theo nguyên lý Turing- Church bất kỳ thuật toán trên số nguyên được quan
niệm bởi con người có thể mô tả bằng hàm Đệ quy/Kỹ thuật Turing/Grammars.
Máy tính vạn năng CNN 4 là một mảng tín hiệu analog. Là máy tính lưu giữ
chương trình như một người thông minh không giới hạn dung lượng mảng các tín
hiệu analog vạn năng, tới các thuật toán không gian-thời gian tương tự và phần
mềm. Thuật ngữ kiểu tính toán Analogic CNN là thực tế. Có các toán tử thực thi bởi
vi xử lý ảo với 4096 hoặc 16000 bộ xử lý, lưu trữ, lập trình.
Chip vạn năng CNN là một chip xử lý mảng, tương tự trí tuệ nhân tạo, lập
trình và có chương trình lưu trữ. Máy tính hoàn chỉnh trên một chip bao gồm một
mảng 64x64 0.5micron CMOS các bộ xử lý tế bào, mỗi tế bào cung cấp bằng bộ
cảm biến ảnh cho các đầu ra quang học trực tiếp của các ảnh hoặc các video còn
giao tiếp và điều khiển mạch như một bộ nhớ logic và bộ nhớ tương tự nội bộ. Mỗi
tế bào CNN được giao tiếp với các láng giềng gần nó nhất cũng như thế giới bên
ngoài. Mỗi máy tính mảng có thể xử lý 3 nghìn tỷ tương đương toán tử số trên 1s
(trong chế độ tương tự). Thuật ngữ đo lường SPA (speed, power, area) chip vạn
năng CNN tốt hơn bất kỳ bộ DSP nào
1.2 Cơ sở toán học của CNN
1.2.1 Các chú thích và định nghĩa cơ bản
Định nghĩa 1: Kiến trúc CNN tiêu chuẩn
CNN có kiến trúc tiêu chuẩn bao gồm một mảng chữ nhật kích thước MxN
của các Cell C(i,j) với các chiều (i, j ), i = 1, 2, . . . , M, j = 1, 2, . . . , N (Hình 1.1).
Khi M≠N ví dụ CNN có kích thước 5x512 phù hợp máy quét, máy fax hoặc máy
copy.

Nghiên cứu công nghệ CNN và ứng dụng trong xử lý ảnh

6
Tạ Thị Kim Huệ

Luận văn thạc sỹ

Hình 1.1: Cấu trúc mạng nơ ron tế bào tiêu chuẩn
Định nghĩa 2: Hiệu ứng cầu của tế bào C(i,j)
Hiệu ứng cầu của tế bào, Sr (i, j ) có bán kính r của Cell C(i,j) được định
nghĩa như sau, tất các các cell lân cận thỏa mãn điều kiện sau

{

S r (i , j ) = C ( k , l ) |

max

1≤ k ≤ M ,1≤ l ≤ N

{ k − i , l − j } ≤ r } (1.1)

Trong đó r là một số nguyên dương

Hình 1.2: a) r=1 (lân cận 3x3), r=2 (lân cận 5x5)
Ta thu được Sr (i, j ) là lân cận (2r+1)x(2r+1) hình 1.2
+ Trong IC, mỗi cell nối tới tất cả các lân cận Sr (i, j ) qua mạch “dẫn nạp”.
+ Khi r>N/2 và M=N, CNN được kết nối hoàn chỉnh, mỗi cell được kết nối
tới các cell khác và Sr (i, j ) là một mảng hoàn chỉnh.
Định nghĩa 3: Các tế bào thông thường (Regular Cells), và các tế bào biên
(Boundary Cells)
Một tế bào C(i,j) được gọi là regular cell nếu và chỉ nếu tất cả các cell lân

cận C (k , l ) ∈ Sr (i, j ) tồn tại, nếu không C(i,j) được gọi là cell biên (hình 1.3). Cell
biên phía ngoài cùng xa nhất được gọi là Cell cạnh (edge cells). Không phải tất cả
các cell biên đều là cell cạnh nếu r>1.

Nghiên cứu công nghệ CNN và ứng dụng trong xử lý ảnh


7
Tạ Thị Kim Huệ

Luận văn thạc sỹ

Định nghĩa 4: CNN tiêu chuẩn
Một lớp CNN kích thước MxN tiêu chuẩn được định nghĩa như sau. Một
mảng chữ nhật kích thước MxN của các cell C(i,j) xác định tại vị trí (i,j),
i=1,2,3…M, j=1,2,…N. Mỗi cell C(i,j) xác định bởi công thức toán học sau:
1. Phương trình trạng thái (state equation)
(1.2)
Khi xij ∈ R, ykl ∈ R, ukl ∈ R và zij ∈ R được gọi là trạng thái (state), đầu ra
(output),

đầu

vào

(input),

ngưỡng

(threshold)

của

cell

C(i,j),

A(i, j; k , l ) và B(i, j; k , l ) được gọi là toán tử phản hồi (feedback) và toán tử

dẫn nhập đầu vào (input synaptic) được định nghĩa dưới đây
2. Phương trình đầu ra
(1.3)
3. Các điều kiện biên
Điều kiện biên xác định ykl và ukl với các tế bào thuộc Sr (i, j ) của các cell
cạnh nhưng nằm ngoài mảng kích thước MxN
4. Trạng thái khởi tạo
(1.4)
Đối với ứng dụng CNN trong xử lý ảnh. Đầu vào ukl thường là cường độ
điểm ảnh thang độ xám kích thước MxN, thông thường −1 ≤ ukl ≤ +1 khi đó mức
“trắng” được mã hóa là -1 và “đen” được mã hóa là +1. Đối với ảnh tĩnh, ukl là hằng
số với thời gian, đối với ảnh động (video) ukl là một hàm theo thời gian. Các biến
khác (x(0),y,z) cũng đặc trưng cho ảnh.
A(i,j;k,l), B(i,j;k,l) và zij thay đổi theo vị trí (i,j) và thời gian t. Trong một số
trường hợp khác cũng có thể coi A(i,j;k,l), B(i,j;k,l) và zij không đổi theo không
gian và thời gian. Trong hầu hết các trường hợp chung A(i,j;k,l), B(i,j;k,l) là các
toán tử phi tuyến. Các toán tử xkl (t ), ykl (t ), ukl (t ), xij (t ), yij (t ), và uij (t ), 0 ≤ t ≤ t0

Nghiên cứu công nghệ CNN và ứng dụng trong xử lý ảnh

8
Tạ Thị Kim Huệ

Luận văn thạc sỹ

Thu được các mẫu vô hướng
( A(i, j; k , l ) o ykl )(t0 ),( B(i, j; k , l ) o ukl )(t0 ), 0 ≤ t ≤ t0 .

Hình 1.3: Các cell biên
Quy luật tiếp theo phụ thuộc vào trạng thái (mẫu C) và các biến hỗn hợp
(mẫu D) tương ứng.
Khi đó (C (i, j; k , l ) o xkl )(t0 ), ( D(i, j; k , l ) o (ukl , xkl , ykl )(t0 ) là hàm phi tuyến
của trạng thái, đầu vào đầu ra của cell C(i,j) và C(k,l) bao hàm nhiều ứng dụng với
hệ số thực và có thể liên quan đến thời gian trễ (time delays)
Định nghĩa 5: CNN bất biến không gian và đẳng hướng
Một CNN bất biến không gian và đẳng hướng nếu và chỉ nếu các toán tử
A(i,j;k,l), B(i,j;k,l) và toán tử ngưỡng zij không đổi theo không gian. Trong trường
hợp này ta có

(1.5)
CNN tiêu chuẩn (với toán tử tiếp hợp tuyến tính) có phương trình trạng thái
như sau (điều kiện tương tự phương trình 1.2)

(1.2*)

Nghiên cứu công nghệ CNN và ứng dụng trong xử lý ảnh


9
Tạ Thị Kim Huệ

Luận văn thạc sỹ

1.2.2 Biểu diễn theo ma trận vector và điều kiện biên
Hệ thống phương trình vi phân thường (ODE-Ordinary Differential
Equations) n=MN xác định một CNN tiêu chuẩn được viết lại như sau
(1.6)
Khi đó

~

X ij là vector có chiều dài (2r + 1)2 các thành phần của vector bao gồm toàn

bộ biến xkl ∈ Sr (i, j ) với { xkl : k − i ≤ r , l − j ≤ r} . Biểu diễn phương trình (2.6) bằng
phương trình vi phân ma trận MxN được biểu diễn với cấu trúc CNN 1-1 (one-toone) tương ứng

(1.7)
Định nghĩa 6: Các cell ảo (virtual cells)
Bất kỳ cell C(k,l) với điều kiện k − i ≤ r , l − j ≤ r , và k ∉ {1, 2,..., M } và/hoặc
l ∉ {1, 2,..., N } được gọi là cell ảo, xij , ykl , ukl và zij tương ứng là trạng thái ảo, đầu vào

ảo, đầu ra ảo, mức ngưỡng ảo
Điều kiện biên
Bất kỳ biến ảo xij ở phương trình (1.6) xác định qua điều kiện biên thường sử
dụng lân cận 3x3
1. Điều kiện biên cố định (Dirichlet)

Nghiên cứu công nghệ CNN và ứng dụng trong xử lý ảnh

10
Tạ Thị Kim Huệ

Luận văn thạc sỹ

Các cell ảo bên trái: yi,0 = α1 ,

ui ,0 =β1 ,

Các cell ảo bên phải: yi, N +1 = α 2 ,

ui , N +1 =β 2 ,

Các cell ảo ở đỉnh:

y0, j = α 3 ,

Các cell ảo ở đáy:

yM +1, j = α 4 ,

u0, j =β 3 ,

i = 1, 2,...M
i = 1, 2,...M
j = 1, 2,...N

uM +1, j =β 4 ,

j = 1, 2,...N

Khi đó α i và βi là các hằng số (thường bằng 0)
Thực hiện mạch: Thêm một cột hoặc hang dọc theo đường biên và mỗi cell
có một đầu vào và đầu ra cố định bằng nguồn (Hình 1.4)

Hình 1.4: Mạch CNN với điều kiện biên cố định
2. Điều kiện biên Zero-flux (Neumann)
Các cell ảo bên trái: yi,0 = yi,1 ,

ui ,0 =ui ,1 ,

Các cell ảo bên phải: yi, N +1 = yi, N ,

ui , N +1 =ui , N ,

Các cell ảo ở đỉnh:

y0, j = y1, j ,

Các cell ảo ở đáy:

yM +1, j = yM , j ,

u0, j =u1, j ,

uM +1, j =uM , j ,

i = 1, 2,...M
i = 1, 2,...M
j = 1, 2,...N

j = 1, 2,...N

Điều kiện biên này thường áp dụng trong các trường hợp không có đầu vào
ví dụ uij =0 với mọi (i,j).
Bởi vì bất kỳ đầu vào nào đều có thể tạo ra năng lượng từ bên ngoài làm cho
hệ thông trở thành một “hệ thống mở”, CNN với đầu vào bằng 0 được gọi là
autonomous CNN, là loại CNN quan trọng với nhiều ứng dụng rộng rãi
3. Điều kiện biên tuần hoàn (Toidal)
Các cell ảo bên trái: yi,0 = yi, N ,

ui ,0 =ui , N ,

i = 1, 2,...M

Nghiên cứu công nghệ CNN và ứng dụng trong xử lý ảnh


11
Tạ Thị Kim Huệ

Luận văn thạc sỹ

Các cell ảo bên phải: yi, N +1 = yi ,1 ,

ui , N +1 =ui ,1 ,

i = 1, 2,...M

Hình 1.5: Mạch CNN với điều kiện biên Neumann

Các cell ảo ở đỉnh:

y0, j = yM , j ,

u0, j =uM , j ,

Các cell ảo ở đáy:

yM +1, j = y1, j ,

u M +1, j =u1, j ,

j = 1, 2,...N

j = 1, 2,...N

Hình 1.6: Mạch CNN theo điều kiện biên tuần hoàn (Toroidal)
Nhận dạng mỗi cell từ hàng trên đỉnh tương ứng với cell ở hàng đáy, nhận
dạng cell từ cột bên trái tương ứng với cell ở cột bên phải.
Phương trình vi phân vector
Hầu hết các định lý, các phép toán hệ thống của phương trình Vi phân
thường đều đưa về công thức dạng vector, chúng ta viết lại phương trình vi phân
thường dạng ma trận MxN thành dạng vector MNx1. Có nhiều cách để thực hiện
yêu cầu biến đổi trên, 3 cách thường dùng đó là
1. Sơ đồ đóng gói duyện theo hàng (Row-wise)
2. Sơ đồ đóng gói theo đường chéo (Diagonal)
3. Sơ đồ đóng gói duyệt theo cột (Column-wise)
Khi đó
x= [ xˆ 1 ,xˆ 2 ,..., xˆ n ] là vector trạng thái với cùng yêu cầu về trạng thái biến
T

Nghiên cứu công nghệ CNN và ứng dụng trong xử lý ảnh


12
Tạ Thị Kim Huệ

Luận văn thạc sỹ

Hình 1.7: 3 sơ đồ đóng gói thường dùng
Sau khi bao gói lại thu được hệ thống phương trình dạng vector n=MN

(1.8)
Hai ma trận Aˆ và Bˆ là ma trận n × n gồm các phần tử khác không lần lượt với
trọng số tiếp hợp A(i,j;k,l) và B(i,j;k,l) tương đương với 3 sơ đồ đóng gói ở trên

Hình 1.8: Cấu trúc băng ma trận Aˆ và Bˆ
Mỗi ma trận thưa- sparse (ma trận 0 hầu hết các phần tử là 0) với cấu trúc
băng như hình 1.8. M=N với băng thông
w=2q+1
Khi đó
q= N+1 cho sơ đồ đóng gói duyệt theo hàng
q= 2N-2 cho sơ đồ đóng gói theo đường chéo
q= 2N-1 cho sơ đồ đóng gói duyệt theo cột

Nghiên cứu công nghệ CNN và ứng dụng trong xử lý ảnh


13
Tạ Thị Kim Huệ

Luận văn thạc sỹ

Dải tương ứng với 3 lược đồ đóng gói ở trên co thể phân chia thành 2 hoặc
nhiều băng nhỏ mỗi băng nhỏ là một ma trận thưa. Aˆ và Bˆ là các ma trận lớn, ví dụ
M=N=1000 (ứng dụng cho HDTV), n=1,000,000, q=1001,w=2003 cho sơ đồ đóng
gói duyệt theo hàng, chỉ có 0.2% L= 106 (L là băng thông của ma trận đầy. Điều này
chỉ ra rằng Aˆ và Bˆ là các ma trận rất thưa.
1.2.3 Sự tồn tại và đơn trị của các nghiệm
Một câu hỏi quan trọng về “sự tồn tại và đơn trị của các nhiệm” cho một
CNN, câu hỏi này không phải là một vấn đề trong lý thuyết hệ thống và trong mạch
tuyến tính, xem xét 3 mạch phi tuyến đơn giản sau đây
Mạch như hình 1.9a phương trình trạng thái của nó được đưa ra như sau
x=−

1
, t ≥ 0 (1.9)
2x

Đặc tính phía bên tay phải trong hình 1.9(b), nghiệm của phương trình (1.9)
với giá trị ban đầu x(0) = x0 > 0 được đưa ra như sau : x(t ) = x 2 − t , t ≥ 0

(1.10) ,

mô tả trên hình 1.9c. Quan sát mạch này không có nghiệm với bất kỳ trạng thái khởi
đầu x0 > 0 khi t ≥ T = x02

Hình 1.9: Ví dụ về một mạch vô nghiệm sau thời gian giới hạn T
Xem xét mạch như hình 1.10a có phương trình trạng thái như sau
x=

3 1/ 3
x
2

(1.11)

Đặc tính phía bên tay phải hình 1.10b, nghiệm của phương trình (1.11) với
điều kiện đầu x(0)=0 được đưa ra như sau:

x(t ) =

{

0,
( t −T )3 / 2

0 ≤t ≤T
t ≥T

(1.12)

Nghiên cứu công nghệ CNN và ứng dụng trong xử lý ảnh


14
Tạ Thị Kim Huệ

Luận văn thạc sỹ

Với mọi T ∈ R. Nghiệm này được thể hiện trên hình 1.10c với nhiều lựa
chọn khác nhau của T = T1 , T2 ,..., TN , với T nhận giá trị bất kỳ mạch có vô số nghiệm
riêng.

Hình 1.10: Mạch có vô số nghiệm riêng, với cùng trạng thái ban đầu x(0)=0
Xem xét mạch như hình 1.11a, phương trình trạng thái như sau
x = x2

(1.13)

Đặc tính phía bên tay phải hình 1.11b. nghiệm của phương trình (1.13) với
điều kiện đầu x(0)=1 được đưa ra như sau
x=

1
1− t

(1.14)

Tại hình 1.11c mạch với một nghiệm không liên tục khi t ≥1, có tiệm cận tại
t=1, hiện tượng này được gọi là finite escape time.

Hình 1.11: Mạch có finite escape time
Ví dụ trong hình 1.11 chỉ ra rằng một mạch đơn giản gồm 2 phần tử phi
tuyến có thể không có nghiệm, hoặc có nghiệm tồn tại nhưng không phải là duy
nhất hoặc nghiệm không liên tục khi t≥0. bằng cách nào chúng ta xác định được hay
không mạch phi tuyến có giá trị nghiệm đơn trị với mọi t≥0. Đây là cơ sở quan
trọng để xác định tiệm cận khi t→∞.
Định lý 1: Sự tồn tại toàn cục và định lý đơn trị

Nghiên cứu công nghệ CNN và ứng dụng trong xử lý ảnh


15
Tạ Thị Kim Huệ

Luận văn thạc sỹ

CNN tiêu chuẩn mô tả bởi phương trình (1.2) thỏa mãn 3 giả thuyết sau đây
H1:

toán

tử

dẫn

nạp

là

tuyến

tính

và

không

nhớ

ví

dụ

A(i, j; k , l ) ykl và B(i, j; k , l )ukl là phép nhân vô hướng, khi đó A(i, j; k , l ) và B(i, j; k , l )

là các số thực
H2: Đầu ra uij (t ) và mức ngưỡng zij (t ) là hàm liên tục theo thời gian
H3: Hàm phi tuyến f(x) là Lipschitz liên tục trong trường hợp L là hằng số
với mọi x′ và x′′∈ R
(1.15)
Với bất kỳ trạng thái ban đầu xij (0) ∈ R , CNN có nghiệm đơn trị t≥0 (hình
1.12)

Hình 1.12: CNN có nghiệm đơn trị t≥0
CNN tiêu chuẩn sẽ thỏa mãn 3 giả thuyết H1, H2, H3
Chứng minh:
Áp dụng giả thuyết H1 viết lại phương trình (1.1) ở dạng vector như sau
(1.16)
H(x,t) là một Lipschitz liên tục đối với x, chọn bất kỳ x′ và x′′∈ R n và giả sử
y = [ f ( x1 ),..., f ( xn ) ] do đó y′ = f ( x′) và y′′ = f ( x′′)
T

(1.17)
Thu được

Nghiên cứu công nghệ CNN và ứng dụng trong xử lý ảnh

16
Tạ Thị Kim Huệ

Luận văn thạc sỹ

(1.18)
Kết hợp phương trình (1.18) và (1.17) ta có

(1.19)
là hằng số Lipschitz toàn cục, độc lập với x và t
Do đó h(x,t) Lipschitz liên tục đồng dạng với mọi t, hơn thế nữa khi
x0 ∈ R n , h( x0 , t ) liên tục với mọi t, xem giả thuyết H2, có thể tìm ra giá trị giới hạn

M xo to a ( thông thường phụ thuộc vào x0, t0, và a) như vậy
Với mọi x, ta có

Xem xét hàm liên tục Lipschitz h(x,t) từ định lý Picard-lindelot (tham khảo
phụ lục 2) rằng nghiệm đơn trị tồn tại trong khoảng thời gian nhỏ nhất
(s)
Bằng việc chọn b đủ lớn và a>1/L, nghiệm có giá trị xấp xỉ bằng 1/L(s) khi
đó Lˆ độc lập với x0 , t0 , a và b . Chúng ta có thể sử dụng thủ tục tương tự để chỉ ra
nghiệm đơn trị tồn tại sau 1/L(s) hoặc tại bất kỳ thời điểm nào

Nghiên cứu công nghệ CNN và ứng dụng trong xử lý ảnh


17
Tạ Thị Kim Huệ

Luận văn thạc sỹ

1.2.4 Giới hạn của các nghiệm
Định lý 2: Giới hạn của các nghiệm tường minh
Cho mọi trạng thái khởi tạo, đầu ra, và giá trị ngưỡng thỏa mãn

Khi đó

(1.20)
Bổ đề 1(phụ lục 1)
Nghiệm đầy đủ của phương trình

Được đưa ra là

Trong trường hợp đặc biệt khi f (τ ) = f 0 là một hằng số, ta có

Mạch điện tương đương được thể hiện trên hình 1.13

Hình 1.13: Mạch điện tương đương
Chứng minh định lý 2:

(1.21)
Khi đó α ij (t ) và βij (t ) được định nghĩa t≥0 trong định lý 1, áp dụng bổ đề 1, ta
có

Nghiên cứu công nghệ CNN và ứng dụng trong xử lý ảnh


18
Tạ Thị Kim Huệ

Luận văn thạc sỹ

(1.22)
Ta có bất đẳng thức sau

(1.23)
Khi đó

Nhưng

Do vậy, (2.21)–(2.28) thu được

Độc lập với (i,j)
1. CNN bất biến không gian, xij (t ) là giới hạn bởi

(1.29)
2. Định lý 2 đưa ra giá trị điện thế nhỏ nhất của nguồn cung cấp khi thực thi
mạch CNN và là cơ sở cho việc thiết kế mạch CNN
1.2.5 Tính bất biến không gian của CNN

Nghiên cứu công nghệ CNN và ứng dụng trong xử lý ảnh