Mạng nơron wavelet ứng dụng cho xấp xỉ phi tuyến (Luận văn thạc sĩ)

ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

--------------------------------------------------------------------

ĐỖ TUẤN MINH

ĐỀ TÀI
MẠNG NƠRON WAVELET ỨNG DỤNG
CHO XẤP XỈ PHI TUYẾN

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

THÁI NGUYÊN, 2017
1


ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

--------------------------------------------------------------------

ĐỖ TUẤN MINH

MẠNG NƠRON WAVELET ỨNG DỤNG
CHO XẤP XỈ PHI TUYẾN

Chuyên ngành: Khoa học máy tính
Mã số: 60480101

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Người hướng dẫn khoa học: PGS. TS. Lê Bá Dũng

THÁI NGUYÊN, 2017

2


MỤC LỤC
DANH MỤC HÌNH ẢNH ................................................................................... 5
LỜI CAM ĐOAN................................................................................................. 6
LỜI CẢM ƠN ...................................................................................................... 7
LỜI MỞ ĐẦU ...................................................................................................... 8
CHƯƠNG: NHỮNG KHÁI NIỆM CƠ BẢN VỀ MẠNG NƠRON .................. 9
1.1 Khái niệm mạng nơron................................................................................. 9
1.2 Các cấu trúc mạng nơron .......................................................................... 11
1.2.1 Cấu trúc và mô hình của một nơron nhân tạo ................................... 11
1.2.2 Mạng nơron một lớp ............................................................................ 16
1.2.3 Mạng nơron truyền thẳng nhiều lớp .................................................... 17
1.2.4 Mạng Hopfield .................................................................................... 18
CHƯƠNG II: MẠNG NƠRON WAVELET VÀ CÁC THUẬT TOÁN HỌC
............................................................................................................................ 20
2.1 Phép biến đổi wavelet liên tục ................................................................. 20
2.1.1 Giới thiệu ............................................................................................ 20
2.1.2 Phép biến đổi wavelet thuận ................................................................ 21
2.1.3 Các tính chất của hàm wavelet ............................................................ 23
2.1.3.1 Tính chất sóng................................................................................ 23
2.1.3.2 Đặc trưng về năng lượng ............................................................... 23
2.1.3.3 Biểu diễn các hệ số wavelet ......................................................... 23
2.1.4 Phép biến đổi wavelet nghịch .............................................................. 25
2.1.5 Phép biến đổi wavelet liên tục hai chiều và nhiều chiều ..................... 25

2.1.6 Tiêu chuẩn chọn hàm wavelet ............................................................. 26
1.2.6.1 Hàm wavelet trực giao hay hàm wavelet không trực giao ............ 26
1.2.6.2 Hàm wavelet phức hay hàm wavelet thực ..................................... 27
2.1.6.3 Độ rộng .......................................................................................... 27
2.1.6.4 Hàm wavelet chẵn và hàm wavelet lẻ ........................................... 28
2.2 Mạng nơron wavelet .................................................................................. 29
2.3 Quy tắc học của mạng nơron wavelet ........................................................ 32
2.3.1 Học có giám sát .................................................................................... 34
2.3.2 Học không giám sát ............................................................................ 35
3


2.3.3 Học tăng cường .................................................................................... 35
2.4 Mô hình cấu trúc đề xuất (WNN-LCW) .................................................... 36
2.5 Phương án nghiên cứu tham số Lai............................................................ 38
2.6 Khởi tạo các tham số của mạng ................................................................. 43
2.7 Nhận dạng hệ thống động lực học ............................................................. 43
2.8 Phát triển mô hình hóa phi tham số ........................................................... 46
CHƯƠNG III: XÂY DỰNG HỆ THỐNG XẤP XỈ PHI TUYẾN SỬ DỤNG
MẠNG WAVELET ........................................................................................... 48
3.1 Đặt bài toán ................................................................................................ 48
3.2 Áp dụng mạng nơron wavelet cho nhận dạng hệ động lực........................ 49
3.2.1. Hệ thống với chuỗi thời gian Mackey-Glass ..................................... 49
3.2.2. Thuật toán huấn luyện mạng nơron wavelet...................................... 50
3.2.3. Cho hệ phi tuyến một chiều ................................................................ 52
PHẦN KẾT LUẬN ............................................................................................ 56
TÀI LIỆU THAM KHẢO .................................................................................. 57

4

DANH MỤC HÌNH ẢNH
Hình 1.1 Mô hình nơron sinh học..................................................................................10
Hình 1.2 Mô hình một nơron nhân tạo ..........................................................................12
Hình 1.3 Đồ thị các dạng hàm truyền ............................................................................14
Hình 1.4 Mạng nơron 3 lớp ........................................................................................... 15
Hình 1.5 Mạng truyền thẳng một lớp ............................................................................17
Hình 1.6 Mạng hồi tiếp một lớp ....................................................................................17
Hình 1.7 Mạng truyền thẳng nhiều lớp..........................................................................17
Hình 1.8 Cấu trúc mạng hopfield ..................................................................................18
Hình 2.1 Tín hiệu f(t) .....................................................................................................20
Hình 2.2 Biến đổi Fourier của tín hiệu f(t) ....................................................................21
Hình 2.3 Ba dạng hàm wavelet......................................................................................22
Hình 2.4 Biểu diễn hệ số wavelet trong hệ tọa độ ba trục vuông góc ........................... 24
Hình 2.5 Biểu diễn hệ số wavelet trong tỉ lệ đồ ở dạng các đường đẳng trị .................24
Hình 2.6 Biểu diễn hệ số wavelet trong tỉ lệ đồ ở dạng ảnh..........................................24
Hình 2.7 Hàm wavelet mexican ở ba tỉ lệ s khác nhau .................................................27
Hình 2.8 Biến đổi wavelet của tín hiệu sử dụng hàm wavelet chẵn và lẻ .....................28
Hình 2.9 Cấu trúc của mạng nơron sóng nhỏ ................................................................ 30
Hình 2.10 Hàm wavelet morlet cơ bản ..........................................................................31
Hình 2.11 Học có giám sát ............................................................................................ 35
Hình 2.12 Học không giám sát ......................................................................................35
Hình 2.13 Cấu trúc mạng thần kinh sóng nhỏ trọng lượng tổ hợp tuyến tính...............38
Hình 2.14 Các mô hình ngoại động lực .........................................................................46
Hình 3.1 Sơ đồ hệ thống bất biến theo thời gian ........................................................... 48
Hình 3.2 Sử dụng mạng nơron wavelet cho xấp xỉ như bộ dự báo ............................... 50
Hình 3.3 Thuật toán huấn luyện mạng nơron wavelet ..................................................51
Hình 3.4 Biểu đồ tính toán xấp xỉ mạng nơron wavelet gồm giá trị thực và giá trị xấp
xỉ ....................................................................................................................................54
DANH MỤC BẢNG BIỂU

Bảng 3.1 Kết quả sau khi mạng nơron được huấn luyện ..............................................55

5


LỜI CAM ĐOAN
Em xin cam đoan luận văn thạc sĩ công nghệ thông tin “Mạng nơron
Wavelet ứng dụng cho xấp xỉ phi tuyến” là sản phẩm nghiên cứu của riêng cá
nhân em dưới sự giúp đỡ rất lớn của Giảng viên hướng dẫn là PGS. TS. Lê Bá
Dũng, không sao chép lại của người khác. Tất cả tài liệu tham khảo đều có nguồn
gốc rõ ràng và trích dẫn hợp pháp. Các thông số, bảng biểu và kết quả sử dụng
trong luận văn là hoàn toàn có thật và chưa từng được công bố ở bất kỳ luận văn
nào khác.
Thái Nguyên, ngày 17 tháng 10 năm 2017
TÁC GIẢ LUẬN VĂN

Đỗ Tuấn Minh

6


LỜI CẢM ƠN
Luận văn này được hoàn thành dưới sự hướng dẫn tận tình của thầy giáo
PGS. TS Lê Bá Dũng, em xin đặc biệt bày tỏ lòng biết ơn chân thành của mình
đối với thầy. Em cũng chân thành cảm ơn các thầy, cô giáo Viện Công nghệ
thông tin, Trường Đại học Công nghệ Thông tin và Truyền thông - Đại học
Thái Nguyên đã tham gia giảng dạy, giúp đỡ em trong suốt quá trình học tập
nâng cao trình độ kiến thức.
Tuy nhiên vì điều kiện thời gian và khả năng có hạn nên luận văn không
thể tránh khỏi những thiếu sót. Em kính mong các thầy cô giáo và các bạn đóng

góp ý kiến để đề tài được hoàn thiện hơn.
Em xin trân trọng cảm ơn!

7


LỜI MỞ ĐẦU
- Mạng nơron nhân tạo (Artificial Nơron Network - ANNs) nói chung. Hệ
mạng nơron wavelet nói riêng đã và đang được nghiên cứu, ứng dụng mạnh mẽ
và thành công ở nhiều lĩnh cực trong những năm gần đây [5,6]. Với các quá trình
như: xấp xỉ phi tuyến, dự báo thị trường chứng khoán, dự báo mô phỏng các hệ
thống điều khiển…được đưa ra, giải quyết mang lại nhiều kết quả tích cực
[1,2,3,4];
- Trong hệ thống điều khiển hiện đại, có rất nhiều phương pháp điều khiển
đảm bảo được tốt chất lượng điều khiển. Để điều khiển chính xác đối tượng khi
chưa biết rõ được thông số, trước tiên ta phải hiểu rõ đối tượng đó. Đối với đối
tượng là phi tuyến như rô bốt, hay hệ thống điều khiển phi tuyến ta cần thực hiện
nhận dạng đặc tính vào ra của nó để đảm bảo tạo ra tín hiệu điều khiển thích nghi
được lựa chọn chính xác hơn. Hiện nay thường sử dụng logic mờ (Fuzzy Logic),
mạng nơron nhân tạo (Artificial Neural Networks) và mạng nơron mờ (Fuzzy
Neural Networks) để nhận dạng và điều khiển thích nghi hệ thống phi tuyến;
- Sử dụng mạng nơron wavelet là một phương pháp tốt, có nhiều khả năng
vượt trội trong việc tuyến tính hóa, dự báo, phân tích, đánh giá dữ liệu trong lĩnh
vực mô hình hóa động lực học. Được sự gợi ý của thầy hướng dẫn và nhận thấy
tính thiết thực của vấn đề em chọn đề tài: “Mạng nơron wavelet ứng dụng cho
xấp xỉ phi tuyến” làm khoá luận tốt nghiệp cho luận văn tốt nghiệp của mình.

8

CHƯƠNG I
NHỮNG KHÁI NIỆM CƠ BẢN VỀ MẠNG NƠRON
1.1 Khái niệm mạng nơron
- Bộ não người có chức năng hết sức quan trọng trong đời sống của
con người. Nó gần như kiểm soát hầu hết mọi hành vi của con người từ
các hoạt động cơ bắp đơn giản đến những hoạt động phức tạp như học
tập, nhớ, suy luận, tư duy, sáng tạo, ...
- Bộ não người được hình thành từ sự liên kết của khoảng 10 11 phần
tử (tế bào), trong đó có khoảng 10 10 phần tử là nơron, số còn lại khoảng
9.1010 phần tử là các tế bào thần kinh đệm và chúng có nhiệm vụ phục vụ
cũng như hỗ trợ cho các nơron. Thông thường một bộ não trung bình cân
nặng khoảng 1,5 kg và có thể tích là 235 cm 3 . Cho đến nay người ta vẫn
chưa thực sự biết rõ cấu tạo chi tiết của bộ não. Tuy vậy về đại thể thì cấu
tạo não bộ được phân chia ra thành nhiều vùng khác nhau. Mỗi vùng có
thể kiểm soát một hay nhiều hoạt động của con người.
- Các đặc tính của não người:
+ Tính phân lớp: Các vùng trong bộ não được phân thành các lớp,
thông tin được xử lý theo các tầng.
+ Tính môđun: Các vùng của bộ nhớ được phân thành các môđun
được mã hoá bằng các định nghĩa mối quan hệ tích hợp giữa các tín hiệu
vào qua các giác quan và các tín hiệu ra.
+ Mối liên kết: Liên kết giữa các lớp dẫn đến các dữ liệu dùng chung
xem như các liên hệ phản hồi khi truyền tín hiệu
+ Sử lý phân tán các tín hiệu vào: Các tín hiệu vào được truyền qua
nhiều kênh thông tin khác nhau, được xử lý bằng các phương pháp đặc biệt.
- Bộ não có cấu trúc nhiều lớp. Lớp bên ngoài thường thấy như là các nếp
nhăn, là lớp có cấu tạo phức tạp nhất. Đây là nơi kiểm soát và phát sinh các hành
động phức tạp như nghe, nhìn, tư duy, ...
9

- Cấu trúc của một nơron thần kinh gồm các phần:
+ Myelin là lớp cách nhiệt được bao quanh những Axons của dây thần
kinh. Nhiệm vụ của lớp vỏ Myelin này là giúp việc dẫn truyền các tín hiệu của
các dây thần kinh được nhanh chóng và hiệu quả;
+ Axon của một nơron là một sợi dây đơn giản mang tín hiệu từ Soma
của một Nơron này tới Dendrite hay Soma của một nơron khác;
+ Dendrite của một nơron là những nhánh ngắn chạy từ thân nơron ra,
nhiệm vụ của chúng là tiếp nhận những tín hiệu từ những nơron khác đưa đến
qua những Axons;
+ Khoảng giữa những sợi Myelin được gọi là nút Ranvier;
+ Soma hay thân tế bào nơron gồm một nhân và những cấu trúc khác của
một tế bào;
+ Synapselà nơi hai nơron tiếp xúc nhau. Những thông tin hoá điện giữa
các Nơron xảy ra tại đây.

Hình 1.1 Mô hình nơron sinh học

* Hoạt động của nơron sinh học
- Các tín hiệu đưa ra bởi một khớp nối và được nhận bởi các dây thần
kinh vào là kích thích điện tử. Việc truyền tín hiệu như trên liên quan đến một
quá trình hóa học phức tạp mà trong đó các chất truyền đặc trưng được giải
phóng từ phía gửi của nơi tiếp nối. Điều này làm tăng hay giảm điện thế bên
trong thân của nơron nhận nơron nhận tín hiệu sẽ kích hoạt nếu điện thế vượt
ngưỡng nào đó. Và một điện thế hoạt động với cường độ cùng thời gian tồn tại
10


Luận văn đầy đủ ở file: Luận văn full