Mạng trí tuệ nhân tạo (ANNs) trong việc tối ưu anten mảng

NGUYỄN VIỆT DŨNG

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
---------------------------------------

NGUYỄN VIỆT DŨNG

KỸ THUẬT TRUYỀN THÔNG

MẠNG TRÍ TUỆ NHÂN TẠO (ANNs)
TRONG VIỆC TỐI ƯU HÓA ANTEN MẢNG

LUẬN VĂN THẠC SĨ KỸ THUẬT
KỸ THUẬT TRUYỀN THÔNG

KHOÁ 2011B

Hà Nội – Năm 2013

1


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
--------------------------------------NGUYỄN VIỆT DŨNG

MẠNG TRÍ TUỆ NHÂN TẠO (ANNs)
TRONG VIỆC TỐI ƯU HÓA ANTEN MẢNG

Chuyên ngành : Kỹ thuật Truyền thông

LUẬN VĂN THẠC SĨ KỸ THUẬT
KỸ THUẬT TRUYỀN THÔNG

NGƯỜI HƯỚNG DẪN KHOA HỌC:
TS. PHẠM THÀNH CÔNG

Hà Nội – Năm 2013

2


LỜI CAM ĐOAN

Tôi là Nguyễn Việt Dũng, số hiệu học viên: CB110822, học viên cao học lớp
KTTT 1 khóa 2011B. Người hướng dẫn là TS. Phạm Thành Công.
Tôi xin cam đoan luận văn là công trình nghiên cứu của chính tôi, không có
sự sao chép hay vay mượn dưới bất kỳ hình thức nào để hoàn thành bản luận văn tốt
nghiệp cao học chuyên ngành Điện tử Viễn thông.
Tôi xin chịu hoàn toàn trách nhiệm về nội dung của luận văn này trước Viện
đào tạo sau đại học – Trường Đại học Bách khoa Hà nội.
Học viên

Nguyễn Việt Dũng

3


MỤC LỤC
LỜI CAM ĐOAN ............................................................................................. 3

CÁC TỪ VIẾT TẮT ........................................................................................ 7
DANH MỤC BẢNG ......................................................................................... 8
DANH MỤC HÌNH VẼ.................................................................................... 9
LỜI MỞ ĐẦU ................................................................................................. 11
CHƯƠNG 1. MẠNG TRÍ TUỆ NHÂN TẠO ANN ...................................... 12
1.1. Mạng trí tuệ nhân tạo ANN ...................................................................... 12
1.2. Lịch sử phát triển của mạng nơron nhân tạo .............................................. 12
1.3. Các tính chất của mạng nơron nhân tạo .................................................... 13
1.4. Mô hình mạng nơron ................................................................................ 13
1.4.1. Mô hình nơron sinh học ................................................................... 13
1.4.2. Mô hình nơron nhân tạo.................................................................... 16
1.5. Cấu tạo mạng nơron .................................................................................. 20
1.6. Cấu trúc mạng nơron ................................................................................. 22
1.7. Phương thức làm việc của mạng nơron ...................................................... 24
1.8. Các luật học............................................................................................... 26
1.9. Mạng nơron truyền thẳng và mạng nơron hồi quy .................................... 30
1.9.1 Mạng nơron truyền thẳng ................................................................... 30
1.9.1.1. Mạng nơron truyền thẳng một lớp ............................................ 30
1.9.1.2. Mạng nơron truyền thẳng nhiều lớp .......................................... 31
1.9.2. Mạng nơron hồi quy ......................................................................... 32
1.9.2.1. Mạng hồi quy không hoàn toàn (Partially Recurrent Networks) 32
1.9.2.2. Mạng các dãy của Jordan (Jordan Sequential Netwoks) ............ 33
1.9.2.3. Mạng hồi quy đơn giản (Simple Recurrent Networks) .............. 34
1.9.2.4. Mạng hồi quy hoàn toàn (Fully Recurrent Networks-FRN) ...... 34
CHUONG 2. THUẬT GIẢI DI TRUYỀN GA ............................................. 37

4


2.1. Thuật giải di truyền GA ............................................................................. 37

2.2. Khởi tạo quần thể ...................................................................................... 38
2.3. Xác định độ thích nghi .............................................................................. 39
2.4. Chọn lọc tự nhiên ...................................................................................... 39
2.5. Ghép đôi .................................................................................................... 40
2.6. Lai tạo ....................................................................................................... 43
2.7. Đột biến..................................................................................................... 46
2.8. Thế hệ tiếp theo ......................................................................................... 47
2.9. Sự hội tụ .................................................................................................... 47
2.10. Một vài vấn đề với thuật giải di truyền .................................................... 47
CHUONG 3. THUẬT TOÁN TỐI ƯU HÓA BẦY ĐÀN PSO ..................... 53
3.1. Khái quát ................................................................................................... 53
3.2. Ý tưởng ban đầu ........................................................................................ 54
3.1.1. Mô hình đàn ong............................................................................... 54
3.2.2. Sự lan truyền tin tức ......................................................................... 55
3.2.3. Công thức khái quát .......................................................................... 55
3.2.4. Thông tin thật sự được truyền đi ....................................................... 59
3.3. Sự hình thành công thức ............................................................................ 60
3.3.1. Kích thước bầy đàn........................................................................... 60
3.3.2. Các liên kết thông tin ........................................................................ 60
3.3.3. Sự khởi tạo ....................................................................................... 61
3.3.4. Phương trình di chuyển..................................................................... 61
3.3.5. Khoảng giới hạn ............................................................................... 63
3.3.6. Sự phân bố ở vùng lân cận ................................................................ 64
3.3.7. Hai lỗi phổ biến ................................................................................ 65
3.3.8. Sự bùng nổ và vận tốc cực đại .......................................................... 66
3.2.9. Thiết lập các tham số bằng tay .......................................................... 67
5


CHƯƠNG 4. ỨNG DỤNG THUẬT TOÁN TỐI ƯU VÀO BÀI TOÁN

TỐI ƯU ANTEN MẢNG ............................................................................... 69
4.1. Giới thiệu về Anten mảng phản xạ ............................................................ 69
4.1.1. Anten mảng phản xạ ......................................................................... 69
4.1.2. Mảng phản xạ mạch in...................................................................... 70
4.1.1.1. Ưu điểm của mảng phản xạ ...................................................... 71
4.1.1.2. Nhược điểm của mảng phản xạ ................................................ 71
4.2. Ứng dụng kỹ thuật phần mềm cho việc thiết kế và tối ưu hóa mảng phản
xạ ..................................................................................................................... 73
4.2.1. Đặc tính đơn của mảng phản xạ trong mạng trí tuệ nhân tạo ............. 73
4.2.2. Thuật toán Meta PSO và thuật toán điều chỉnh ................................. 75
4.2.2.1. Thuật toán Meta PSO ............................................................... 75
4.2.2.2. Thuật toán điều chỉnh............................................................... 76
4.2.3. Ứng dụng của Mạng trí tuệ nhân tạo ANN và thuật toán MPSO để
thiết kế Anten mảng phản xạ ...................................................................... 78
KẾT LUẬN ..................................................................................................... 86
TÀI LIỆU THAM KHẢO.............................................................................. 87

6


CÁC TỪ VIẾT TẮT
Viết tắt

Tiếng Anh

Tiếng Việt

ANN

Artificial Neural Networks

Mạng trí tuệ nhân tạo

PDS

Parallel Distributer Processing

Quy trình phân bố song song

MIMO

Multiple Input Multiple Output

Nhiều đầu vào, nhiều đầu ra

Single Input Single Output

Một đầu vào, một đầu ra

Processing Elements

Phần tử chuyển đổi

Multiple Input Single Output

Nhiều đầu vào, một đầu ra

Back Propagation

Mạng lan truyền ngược

SISO
PE
MISO
BP
RTRL

BPTT

Real-time Recurrent Learning
Back Propagation Through

Luật học tập thường xuyên theo thời
gian thực
Lan truyền ngược theo thời gian

Time

TDR

Three-Dimensional Recursive

Hồi quy ba chiều

GA

Genetic Algorithm

Thuật giải di truyền

PSO

Particle Swarm Optimization

Thuật toán tối ưu hóa bầy đàn

MPSO

Meta Particle Swarm

Thuật toán Meta-PSO

Optimization

7


DANH MỤC BẢNG
Bảng 1.1. Quan hệ của H(s), h(t) và quan hệ vào - ra ................................... 18
Bảng 2.1. Các hàm chi phí cơ bản ................................................................ 52
Bảng 3.1. Các tham số và một số quy luật lựa chọn...................................... 67

8


DANH MỤC HÌNH VẼ
Hình 1.1 Mô hình nơron sinh học ................................................................. 14
Hình 1.2 Mô hình nơron nhân tạo ................................................................. 16
Hình 1.3 Đồ thị các loại hàm chuyển đổi ...................................................... 20
Hình 1.4 Mạng nơron 3 lớp .......................................................................... 22

Hình 1.5 Sơ đồ cấu trúc các loại mạng nơron............................................... 23
Hình 1.6. Mô hình học có giám sát và học củng cố ....................................... 27
Hình 1.7. Mô hình học không có giám sát .................................................... 27
Hình 1.8 Sơ đồ cấu trúc chung của quá trình học .......................................... 29
Hình 1.9 Mạng nơron truyền thẳng một lớp .................................................. 30
Hình 1.10 Mạng nơron truyền thẳng nhiều lớp ............................................. 31
Hình 1.11 Sơ đồ cấu trúc của mạng Jordan ................................................... 33
Hình 1.12 Sơ đồ cấu trúc mạng nơron hồi quy đơn ....................................... 34
Hình 2.1. Sơ đồ khối tổng quát của giải thuật di truyền ................................ 37
Hình 3.1. Các yếu tố ảnh hưởng đến việc tính toán bước di chuyển tiếp theo58
Hình 4.1. Cấu tạo của Anten mảng phản xạ .................................................. 69
Hình 4.2. Một vài phần tử Anten mảng phản xạ, (a) Xác định phương với
khoảng trễ pha thay đổi, (b) Lưỡng cực hoặc vòng thay đổi kích thước, (c)
Điểm thay đổi kích thước, (d) Thay đổi góc quay......................................... 70
Hình 4.3. Sự khác nhau về trễ pha không gian của mảng phản xạ ................ 72
Hình 4.4. Sơ đồ khối đề xuất quy trình thiết kế ............................................ 73
Hình 4.5. Mô hình đơn giản của mạng trí tuệ nhân tạo với 3 đầu vào, 1 đầu ra
và 2 lớp nơron ẩn.......................................................................................... 74
Hình 4.6. Trạng thái tác nhân tốt nhất trên 50 thử nghiệm độc lập cho PSO và
MPSO .......................................................................................................... 78
Hình 4.7. Phần tử đơn của anten mảng phản xạ băng tần kép ....................... 79
Hình 4.8. Pha của hệ số phản xạ cho hai vòng vuông đồng tâm được tính toán
trực tiếp bằng toàn sóng (trên) và cấu trúc lại với mạng trí tuệ nhân tạo ANN
(dưới) ........................................................................................................... 79
Hình 4.9. Phân bố tối ưu của các vòng vuông đồng tâm công hưởng............ 80
Hình 4.10. Mô hình bức xạ của dải tần trên (mặt phẳng H) .......................... 81
9


Hình 4.11. Mô hình bức xạ của dải tần trên (mặt phẳng E) ........................... 82

Hình 4.12. Mô hình phát xạ đầy đủ hệ tọa độ u,v cho tần số f=7,8GHz ........ 83
Hình 4.13.Mô hình phát xạ của anten mảng phản xạ ở tần số 7,8GHz: so sánh
giữa việc sử dụng kết quả thu được giá trị pha tính toán toàn sóng và mạng trí
tuệ nhân tạo .................................................................................................. 84
Hình 4.14. Sự biến thiên của từ trường cực đại đã chuẩn hóa trên băng tần 7,2
– 8,4GHz, so sánh giữa kết quả thu được sử dụng tính toán toàn sóng của hệ
số phản xạ pha và mô hình xấp xỉ mạng trí tuệ nhân tạo ANN ..................... 85

10


LỜI MỞ ĐẦU
Trong những năm gần đây, việc sử dụng mạng trí tuệ nhân tạo (Artificial
Neural Networks) trong việc tối ưu quá trình thiết kế anten nói riêng cũng như trong
các vấn đề tính toán toán nói chung đang có nhiều bước phát triển do có nhiều ưu
điểm nổi bật so với nhưng cách tính toán truyền thông. Mạng trí tuệ nhân tạo sử
dụng mô hình hành vi của não người có thể tự học và tính toán dựa trên những mô
hình mẫu đã biết từ đó có thể tính toán, mô hình hóa các mỗi quan hệ giữa dữ liệu
đầu vào và kết quả đầu ra từ đó có thể tăng tốc quá trình tính toán và tính chính xác
của kết quả.
Luận văn “Mạng trí tuệ nhân tạo (ANNs) trong việc tối ưu anten mảng”
được đưa ra nhằm mục đích tìm hiểu, nghiên cứu về mạng trí tuệ nhân tạo, các thuật
toán di truyền GA, PSO và ứng dụng trong bài toán tối ưu anten mảng phản xạ. Với
việc triển khai đề tài “Mạng trí tuệ nhân tạo (ANNs) trong việc tối ưu anten
mảng”, đã chứng tỏ việc ứng dụng những ưu điểm của mạng trí tuệ nhân tạo để áp
dụng trong các vấn đề kỹ thuật thực tiễn để giải quyết những bài toán khó của đời
sống, đó cũng là mong muốn lớn nhất của người thực hiện đề tài này.
Tôi xin bày tỏ lòng biết ơn tới TS. Phạm Thành Công, Bộ môn Điện tử Hàng
không - Vũ trụ, Viện Điện tử - Viễn thông, trường Đại học Bách Khoa Hà Nội,
người đã giúp đỡ tôi trong việc định hướng luận văn và các cơ sơ vật chất để tôi có

thể hoàn thành luận văn.

11


CHƯƠNG 1. MẠNG TRÍ TUỆ NHÂN TẠO ANN
1.1. Mạng trí tuệ nhân tạo ANN
Nghiên cứu và mô phỏng não người, cụ thể là mô phỏng nơron thần kinh là
một ước muốn từ lâu của nhân loại. Từ mơ ước đó, nhiều nhà khoa học đã không
ngừng nghiên cứu tìm hiểu về mạng nơron. Trong đó mạng nơron nhân tạo đã được
nói đến ở cuốn sách “Điều khiển học, hay điều chỉnh và sự truyền sinh trong cơ thể
sống, trong máy móc” của tác giả Nobert Wieners xuất bản năm 1948. Điều khiển
học đã đặt ra mục đích nghiên cứu áp dụng nguyên lý làm việc của hệ thống thần
kinh động vật vào điều khiển. Công cụ giúp điều khiển học thực hiện được mục
đích này là trí tuệ nhân tạo và mạng nơron. Trí tuệ nhân tạo được xây dựng dựa trên
mạng nơron. Mạng nơron nhân tạo (Artificial Neural Networks) là hệ thống được
xây dựng dựa trên nguyên tắc cấu tạo của bộ não con người. Mạng nơron nhân tạo
có một số lượng lớn mối liên kết của các phần tử biến đổi (Processing Elements) có
liên kết song song. Nó có hành vi tương tự như bộ não con người với các khả năng
học (Learning), gọi lại (Recall) và tổng hợp thông tin từ sự luyện tập của các mẫu
và dữ liệu. Các phần tử biến đổi của mạng nơron nhân tạo được gọi là các nơron
nhân tạo (Artificial Neural) hoặc gọi tắt là nơron (Neural). Trong thiết kế hệ thống
tự động hóa sử dụng mạng nơron là một khuynh hướng hoàn toàn mới, phương
hướng thiết kế hệ thống điều khiển thông minh, một hệ thống mà bộ điều khiển có
khả năng tư duy như bộ não con người.

1.2. Lịch sử phát triển của mạng nơron nhân tạo
Mạng nơron nhân tạo đã có một lịch sử lâu dài. Năm 1943, McCulloch và
Pitts đã đưa ra khả năng liên kết và một số liên kết cơ bản, của mạng nơron. Năm
1949, Hebb đã đưa ra các luật thích nghi trong mạng nơron. Năm 1958, Rosenblatt

đưa ra cấu trúc Perception. Năm 1969, Minsky và Papert phân tích sự đúng đắn của
Perception, họ đã chứng minh các tính chất và chỉ rõ các giới hạn của một số mô
hình. Năm 1976, Grossberg dựa vào tích chất sinh học đã đưa ra một số cấu trúc của
hệ động học phi tuyến với các tính chất mới. Năm 1982, Hoppfield đã đưa ra mạng

12


học phi tuyến với các tính chất mới. Năm 1982, Rumelhart đưa ra quy trình phân
bố song song (Parallel Distributer Processing-PDS) và một số kết quả và thuật
toán. Thuật toán học lan truyền ngược (Back Propagation learning rule) được
Rumelhart, Hinton, Williams (1986) đề xuất luyện mạng nơron nhiều lớp. Những
năm gần đây, nhiều tác giả đã đề xuất nhiều loại cấu trúc mạng nơron mới. Mang
nơron được ứng dụng trong nhiều lĩnh vực kinh tế, kỹ thuật, khoa học vũ trụ
(Hecht - Nielsen, 1988).

1.3. Các tính chất của mạng nơron nhân tạo
- Là hệ phi tuyến: Mạng nơron có khả năng to lớn trong lĩnh vực nhận dạng
và điều khiển các đối tượng phi tuyến.
- Là hệ xử lý song song: Mạng nơron có cấu trúc song song, do đó có tốc độ
tính toán rất cao, rất phù hợp với lĩnh vực nhận dạng và điều khiển.
- Là hệ học và thích nghi: Mạng được luyện từ các số liệu quá khứ, có khả
năng tự chỉnh khi số liệu đầu vào bị mất, có thể điều khiển on-line.
- Là hệ nhiều biến, là hệ nhiều đầu vào, nhiều đầu ra (Multiple Input
Multiple Output - MIMO) rất tiện dụng khi điều khiển đối tượng có nhiều biến số.

1.4. Mô hình mạng nơron
1.4.1. Mô hình nơron sinh học
Mô hình của một dạng nơron sinh học được thể hiện ở hình 1.1.

13


Hình 1.1 Mô hình nơron sinh học
Gồm có ba phần chính: Thân (Cell body), bên trong có nhân (Nucleus), cây
(Dendrites) và trục (Axon). Cây gồm các dây thần kinh có liên kết với thân. Trục có
cấu trúc đơn, dài liên kết với thân có nhiệm vụ truyền tải thông tin từ nơron. Phần
cuối của trục có dạng phân nhánh. Trong mỗi nhánh có một cơ cấu nhỏ là khớp thần
kinh (Synapse), từ đây nơron liên kết bằng tín hiệu tới các nơron khác. Sự thu nhận
thông tin của nơron từ các nơron khác có thể từ cây hoặc cũng có thể từ thân của nó.
Tín hiệu thu, nhận ở dạng các xung điện - Màng (Membrane): Mỗi tế bào
thần kinh có một màng, có nhiệm vụ giữ các chất nuôi tế bào không tràn ra ngoài.
Do đó, các phần tử nội bào và ngoại bào không bằng nhau, giữa chúng có dung dịch
muối lỏng làm cho chúng bị phân ra thành các nguyên tử âm (ion) và dương
(cation). Các nguyên tử dương trong màng tạo ra điện thế màng (Membrane
potential), nó tồn tại trong trạng thái cân bằng lực: lực đẩy các nguyên tử dương ra
khỏi tế bào bằng với lực hút của chúng vào trong tế bào.
Điện thế màng là phần tử quan trọng trong quá trình truyền tin trong hệ thần
kinh. Khi thay đổi khả năng thẩm thấu ion của màng thì điện thế màng của tế bào bị
thay đổi và tiến tới một ngưỡng nào đó, đồng thời sinh ra dòng điện, dòng điện này
gây ra phản ứng kích thích làm thay đổi khả năng thẩm thấu ion của tế bào thần
kinh tiếp theo.

14


Bộ não con người gồm có gần 1011 nơron của nhiều loại khác nhau. Mạng
nơron là sự tái tạo bằng kỹ thuật những chức năng của hệ thần kinh con
người. Trong quá trình tái tạo không phải tất cả các chức năng của bộ não con người
có đều được tái tạo, mà chỉ có những chức năng cần thiết. Bên cạnh đó còn có

những chức năng mới được tạo ra nhằm giải quyết một bài toán điều khiển đã định
trước.
* Xử lý thông tin trong bộ não:
Thông tin được tiếp nhận từ các giác quan và chuyển vào các tế bào thần
kinh vận động và các tế bào cơ. Mỗi tế bào thần kinh tiếp nhận thông tin, điện thế sẽ
tăng trong thần kinh cảm giác, nếu điện thế này vượt ngưỡng nó tạo dòng điện trong
tế bào thần kinh cảm giác, ý nghĩa dòng điện đó được giải mã và lưu ở thần kinh
trung ương, kết quả sử lý thông tin được gửi đến các tế bào cơ.
Các khớp tế bào thần kinh đưa ra các tín hiệu giống nhau, do đó không thể
phân biệt được đó là của loại động vật nguyên thủy hay của một giáo sư. Các khớp
thần kinh chỉ cho các tín hiệu phù hợp qua chúng, còn lại các tín hiệu khác bị cản
lại. Lượng tín hiệu được biến đổi được gọi là cường độ khớp thần kinh đó chính là
trọng số của nơron trong mạng nơron nhân tạo.
Tại sao việc nghiên cứu về mạng thần kinh lại có tầm quan trọng lớn lao? Có
thể trả lời ngắn gọn là sự giống nhau của các tín hiệu của các tế bào thần kinh đơn
lẻ, do đó chức năng thực sự của bộ não không phụ thuộc vào vai trò của một tế bào
thần kinh đơn, mà phụ thuộc vào toàn bộ các tế bào thần kinh hay cách các tế bào
thần kinh liên kết với nhau thành một mạng thần kinh hay một mạng nơron (Neural
Networks).
* Các đặc tính cơ bản của não người:
- Tính phân lớp: Các vùng trong bộ não được phân thành các lớp, thông tin
được sử lý theo các tầng.

15


- Tính môđun: Các vùng của bộ nhớ được phân thành môđun được mã hóa
bằng các định nghĩa mối quan hệ tích hợp giữa các tín hiệu vào qua các giác quan
và các tín hiệu ra.
- Mối liên kết: Liên kết giữa các lớp dẫn đến các dữ liệu dùng chung xem

như các liên hệ phản hồi khi truyền tín hiệu.
- Sử lý phân tán các tín hiệu vào: Các tín hiệu vào được truyền qua nhiều
kênh thông tin khác nhau, được xử lý bởi các phương pháp đặc biệt.

1.4.2. Mô hình nơron nhân tạo
Sự thay thế những tính chất của mạng nơron sinh học bằng một mô hình toán
học tương đương được gọi là mạng nơron nhân tạo. Mạng nơron nhân tạo có thể
được chế tạo bằng nhiều cách khác nhau vì vậy trong thực tế tồn tại rất nhiều kiểu
mạng nơron nhân tạo. Dựa vào cấu trúc của nơron sinh học có nhiều mô hình được
đưa ra như perceptron (Roenblatt, 1958); adaline (Windrow và Hoff, 1960). Nhưng
thông thường một nơron có 3 phần như (Hình 1.2)
Mỗi nơron gồm có nhiều đầu vào và một đầu ra. Trên mỗi đầu vào có gắn
một trọng số để liên hệ giữa nơron thứ i với nơron thứ j. Các trọng số này tương tự
như các tế bào cảm giác của nơron sinh học.

Hình 1.2 Mô hình nơron nhân tạo

16


- Tổng trọng:
( )=

( )=

∗

( )+

( )+

(1.1)

Với vi  t  là tổng trọng của nơron thứ i; yi các đầu ra của các nơron thứ

j; ui  t  các đầu vào từ bên ngoài tương ứng với trọng số Wij và Wik* ; i là hằng số
gọi là ngưỡng của nơron thứ i.
Có thể viết (1.1) ở dạng:

neti  t   vi  t   w. y  t   w*.u  t   

(2.2)

Với các ma trận w và w* có cỡ tương ứng là: n x n và n x m.
- Hệ động học tuyến tính SISO: đầu vào là vi , đầu ra là xi . Ở dạng toán
tử Laplace:

xi  s   H  s  vi  s 

(2.3)

Dạng thời gian (1.3) trở thành:
t

xi  t    h  t    vi   d

(2.4)



Quan hệ của H(s), h(t) và quan hệ vào - ra tương ứng của nơron được cho
trong bảng 1.1.

17


Bảng 1.1. Quan hệ của H(s), h(t) và quan hệ vào - ra
( )

ℎ( )

1

1

 t 

xi  t   vi

t

1

0

(1 +

)

0


1

0

1 Tt
e
T

xi  t   vi

t

Txi  t   xi  t   vi

1

(

1
e
0
t

+

)

e  sT

 1 
 

 0 
T

 t  T 

0 xi t   1 xi t   vi

t

xi  t   vi  t  T

- Hàm động học phi tuyến.
Mô tả quan hệ của đầu ra yi với đầu vào xi: yi = a(xi)

(1.5)

a(.) là hàm chuyển đổi
+ Hàm chuyển đổi:
Để tìm được đầu ra của nơron ta phải tiến hành qua hai bước như sau:
- Tìm các giá trị tổng trọng lượng đầu vào neti(t)
- Căn cứu vào neti(t) để tìm đầu ra yi bằng các hàm chuyển đổi vào ra.
Xét các hàm chuyển đổi vào ra:
Nếu quan niệm đầu ra của một nơron nhân tạo như là một tổng của tích các
trọng số với các tín hiệu vào là không phù hợp, vì khi đó giá trị của chúng rất rộng,
thậm chí có thể làm âm, đây là các tín hiệu vào không thực. Vì vậy, cần thực hiện
một phép biến đổi phi tuyến giữa đầu vào và đầu ra, đây là nhiệm vụ của phần tử
chuyển đổi PE (Processing Elements) của nơron như sau:

out = y = a(Net)

(1.6)

out (hoặc y) là tín hiệu ra; a(.) là hàm chuyển đổi.

18


Hàm chuyển đổi a(.) thực hiện coi nơron như một hộp đen, chuyển đổi m tín
hiệu vào thành tín hiệu ra. Các biến đầu vào và đầu ra có thể là:
- Số thực: Tốt nhất là trong khoảng (0,1) hoặc (-1,1)
- Số nhị phân (0,1)
Có nhiều hàm số thỏa mãn các điều kiện trên, chúng ta thường dùng các
dạng sau đây (Hình 1.3):
+ Hàm Rump (Rump Function): (Hình 1.3a)

1 > 1
( ) = 0 ≤ ≤ 1 (1.7)
0 < 0
+ Hàm bước nhảy (Step Function): (Hình 1.3b): Không khả vi, dạng bước
nhảy, dương:

1
0

a  f   

f 0
f 0

(2.8)

+ Hàm giới hạn cứng (Threshold Function): (Hình 1.3c):
Không khả vi, dạng bước nhảy, giá trị trung bình bằng 0. Sgn(.) là hàm
Signum

1
1

a  f   sgn  f   

f 0
f 0

(2.9)

+ Hàm sigmoid một cực (Unipolar Sigmoid Function): (Hình 1.3d) Khả vi,
dạng bước nhảy, dương:

a f  

1
1  e  f

(2.10)

19

+ Hàm sigmoid hai cực (Bipolar Sigmoid Function): (Hình 1.3e): Khả vi,
dạng bước nhảy, giá trị trung bình bằng 0:

a f  

2
1
1  e f

(2.11)

Hình 1.3 Đồ thị các loại hàm chuyển đổi
Một phần tử PE với hàm tích phân tuyến tính ở đầu vào và hàm chuyển đổi
Threshold ở đầu ra được gọi là phần tử ngưỡng tuyến tính (Linear Threshold Unit LTU) và một phần tử PE với hàm tích phân tuyến tính ở đầu vào và hàm chuyển đổi
ở dạng hàm sigmoid 1 và 2 cực ở đầu ra được gọi là phần tử graded tuyến tính
(Linear Graded Unit - LGU).

1.5. Cấu tạo mạng nơron
Dựa trên những phương pháp xây dựng mạng nơron ta có thể coi nơron như
một hệ MISO truyền đạt và xử lý tín hiệu. Đặc tính truyền đạt của nơron phần lớn là
đặc tính truyền đạt tĩnh, chỉ khi có khâu đáp ứng chức năng kiểu BSB thì lúc đó

20


nơron có đặc tính động. Trong mọi trường hợp do đặc tính phi tuyến của khâu tạo
chức năng ra kết hợp và/hoặc với đặc tính phi tuyến của khâu tạo chức năng đáp
ứng mà nơron là một hệ có tính phi tuyến mạnh.
Liên kết đầu vào và đầu ra của nhiều nơron với nhau ta được một mạng
nơron. Việc ghép nối các nơron có thể theo một nguyên tắc bất kỳ nào đó, vì về

nguyên tắc một nơron là một hệ MISO. Từ đó có thể phân biệt các loại nơron khác
nhau như các loại nơron mà các đầu vào nhận thông tin từ môi trường bên ngoài với
các loại nơron mà đầu vào được nối với nơron khác trong mạng. Các nơron mà đầu
vào giữ chức năng nhận thông tin từ môi trường bên ngoài đóng chức năng “đầu
vào” của mạng. Cũng tương tự như vậy một nơron có một đầu ra, đầu ra của nơron
này có thể là đầu vào của nhiều nơron khác hoặc có thể đưa ra môi trường bên
ngoài. Những nơron có đầu ra đưa tín hiệu vào môi trường bên ngoài được gọi là
“đầu ra” của mạng. Như vậy một nơron cũng có chức năng của một hệ truyền đạt và
xử lý tín hiệu từ đầu vào đến đầu ra của mạng. Các nơron trong một mạng thường
được chọn cùng một loại, chúng được phân biệt với nhau qua các véc tơ hàm trọng
lượng ở đầu vào wij.
Nguyên lý cấu tạo của một mạng nơron bao gồm nhiều lớp, mỗi lớp bao gồm
nhiều nơron có cùng một chức năng trong mạng. Trên hình 1.4 là hình của một
mạng nơron ba lớp với 9 nơron. Mạng có 3 đầu vào x1, x2, x3 và 2 đầu ra y1, y2.
Các tín hiệu đầu vào được đưa đến 3 nơron đầu vào, 3 nơron này làm thành lớp đầu
vào của mạng (input layer). Các nơron trong lớp này gọi là nơron đầu vào. Đầu ra
của các nơron này được đưa đến đầu vào của bốn nơron tiếp theo, bốn nơron này
không trực tiếp tiếp xúc với môi trường xung quanh và làm thành lớp trung gian
trong mạng (hidden layer). Các nơron trong lớp này có tên là nơron nội hay nơron
bị tre. Đầu ra của các nơron này được đưa đến hai nơron đưa tín hiệu ra môi trường
bên ngoài. Các nơron trong lớp đầu ra này có tên là nơron đầu ra (output layer).

21


Hình 1.4 Mạng nơron 3 lớp

1.6. Cấu trúc mạng nơron
Nelson và Illingworth (1991) đã đưa ra một số loại cấu trúc của mạng nơron
như hình 1.5. Nơron được vẽ là các vòng tròn xem như môt tế bào thần kinh, chúng

có các mối liên hệ đến các nơron khác nhờ các trọng số, lập thành các ma trận trọng
số tương ứng.
Mỗi một nơron có thể phối hợp với các nơron khác tạo thành một lớp qua các
trọng sô. Mạng một lớp truyền thẳng (Single – Layer Feedforward network) như
hình 1.5a.
Có thể nối vài lớp nơron với nhau tạo thành mạng nhiều lớp truyền thẳng
(Multi layer – Layer Feedforward Network) như hình 1.5.d.
Lớp nơron thực hiện tiếp nhận các tín hiệu vào gọi là lớp vào (Input Layer).

22


Hình 1.5 Sơ đồ cấu trúc các loại mạng nơron
Lớp nơron thực hiện đưa tín hiệu ra gọi là lớp ra (Output Layer).
Giữa hai lớp nơron vào và ra có một hoặc nhiều lớp nơron không liên hệ trực
tiếp với môi trường bên ngoài được gọi là các lớp ẩn (Hidden Layer). Mạng nơron
truyền thẳng nhiều lớp có thể có 1 hoặc nhiều lớp nơron ẩn.
Mạng nơron được gọi là liên kết đầy đủ nếu từng đầu ra của mỗi lớp được
liên kết với đủ các nơron ở các lớp tiếp theo.
Hai loại mạng nơron một lớp và nhiều lớp được gọi là truyền thẳng
(Feedforward Network) nếu đầu ra của mỗi nơron được nối với các đầu vào của các
nơron cùng lớp đó hoặc đầu vào của các nơron của các lớp trước đó. Trong mạng
không tồn tại bất kỳ một mạch hồi tiếp nào kể cả hồi tiếp nội lẫn hồi tiếp từ đầu ra
trở về đầu vào.

23


Mạng nơron bao gồm một hay nhiều lớp trung gian gọi là mạng MLP
(Multilayer perceptrons Networks).

Mạng nơron phản hồi mà đầu ra của mỗi nơron được quay trở lại nối với đầu
vào của các nơron cùng lớp đó được gọi là mạng Lateral (hình 1.5f).
Mạng nơron phản hồi có thể thực hiện đóng vòng được gọi là mạng nơron
hồi quy (Recurrent Networks).
Hình 1.5b chỉ ra một mạng nơron hồi quy đơn giản nhất chỉ có một nơron
liên hệ phản hồi với chính nó.
Hình 1.5c mạng nơron một lớp hồi quy với chính nó và các nơron khác.
Hình 1.5e là mạng nơron nhiều lớp hồi quy.

1.7. Phương thức làm việc của mạng nơron
Phương thức làm việc của một mạng nơron nhân tạo có thể chia làm 2 giai
đoạn:
- Tự tái tạo (reproduction)
- Và giai đoạn học (learning phase)
Ở một mạng nơron có cấu trúc bền vững có nghĩa là véc tơ hàm trọng lượng
đầu vào, khâu tạo đáp ứng và khâu tạo tín hiệu đầu ra đều cố định không bị thay đổi
về mặt cấu trúc cũng như tham số thì mạng có một quá trình truyền đạt xác định
chắc chắn, tĩnh hoặc động phụ thuộc vào cấu tạo của các nơron trong mạng. Ở đầu
vào của mạng xuất hiện thông tin thì đầu ra cũng xuất hiện một đáp ứng tương ứng.
Đối với mạng nơron có quá trình truyền đạt tĩnh, đáp ứng đầu ra xuất hiện ngay sau
khi đầu vào nhận được thông tin, còn đối với mạng nơron có quá trình truyền đạt
động thì phải sau một thời gian quá độ ở đầu ra của mạng nơron mới xuất hiện đáp
ứng. Xuất phát từ quan điểm mọi đáp ứng của mạng nơron đều tiền định tự nhiên,
có nghĩa là khi xuất hiện các kích thích ở đầu ra ở thời điểm tương ứng cũng hoàn
toàn giống nhau. Quá trình làm việc như vậy của một mạng nơron được gọi là quá

24


trình tái diễn (reproduction phase). Khi đó thông tin ở đầu vào mạng lưu giữ thông

tin đó và dựa trên các tri thức của mình đưa ra các đáp ứng ở đầu ra phù hợp với
lượng thông tin thu được từ đầu vào.
Mạng nơron khi mới hình thành còn chưa có tri thức, tri thức của mạng hình
thành dần sau một quá trình học. Mạng nơron được dạy bằng cách dựa vào đầu vào
những kích thích và hình thành những đáp ứng tương ứng, những đáp ứng phù hợp
với từng loại kích thích sẽ được lưu giữ, giai đoạn này được gọi là giai đoạn học của
mạng. Khi đã hình thành tri thức mạng có thể giải quyết các vấn đề cụ thể một cách
đúng đắn. Đó có thể là những vấn đề ứng dụng rất khác nhau, được giải quyết chủ
yếu dựa trên sự tổ chức hợp nhất giữa các thông tin đầu vào của mạng và các đáp
ứng đầu ra:
- Nhiệm vụ của một mạng liên kết là hoàn chỉnh hoặc hiệu chỉnh các thông
tin thu thập được không đầy đủ hoặc bị tác động nhiễu. Mạng nơron kiểu này được
ứng dụng trong lĩnh vực hoàn thiện mẫu, mà một trong lĩnh vực cụ thể đó là nhận
dạng chữ viết.
- Nhiệm vụ tổng quát của mạng nơron là lưu giữ tác động thông tin. Dạng
thông tin lưu giữ đó chính là quan hệ giữa các thồng tin đầu vào của mạng và các
đáp ứng đầu ra tương ứng, để khi có một kích thích bất kỳ tác động vào mạng,
mạng có khả năng suy diễn và đưa ra một đáp ứng phù hợp. Đó chính là chức năng
nhận dạng theo mẫu của mạng nơron. Để thực hiện chức năng này mạng nơron
đóng vai trò như một bộ phận tổ chức các nhóm thông tin đầu vào và tương ứng với
mỗi nhóm là một đáp ứng đầu ra phù hợp. Như vậy một nhóm bao gồm một loại
thông tin đầu vào và một đáp ứng ra. Các nhóm có thể hình thành trong quá trình
học và cũng có thể hình thành không trong quá trình học.
Trong lĩnh vực ứng dụng, mạng nơron có khả năng tạo ra các đáp ứng đầu ra
dựa trên thông tin thu thập vào của mạng, điều đó có nghĩa là ứng với một thông tin
xác định ở đầu vào của mạng cung cấp một đáp ứng tương ứng xác định ở đầu ra.
Nhìn trên quan điểm lý thuyết hệ thống, mạng nơron được coi như một bộ xấp xỉ

25