Dự báo tốc độ tăng trưởng kinh tế Việt Nam Sự vượt trội của mô hình Mạng thần kinh nhân tạo (ANN) so với mô hình Hồi quy tuyến tính truyền thống.pdf

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC KINH TẾ TP. HỒ CHÍ MINH

CÔNG TRÌNH DỰ THI
GIẢI THƢỞNG NGHIÊN CỨU KHOA HỌC SINH VIÊN
“NHÀ KINH TẾ TRẺ – NĂM 2011”
Thuộc nhóm ngành : KHOA HỌC KINH TẾ
Tp. Hồ Chí Minh, tháng 06/2011


TÓM TẮT ĐỀ TÀI
1. Lý do chọn đề tài
Tốc độ tăng trưởng Tổng sản phẩm quốc nội (Gross Domestic Product - GDP) là một
chỉ số kinh tế có ý nghĩa rất quan trọng đối với các nhà điều hành kinh tế và các doanh
nghiệp trong việc xem xét mức tăng trưởng của nền kinh tế, là tiền đề hỗ trợ cho các
quyết định về chính sách, chiến lược cho một giai đoạn trong tương lai. Vì các thông
tin về tốc độ tăng trưởng GDP được công bố ra công chúng có một độ trễ nhất định
nên vấn đề cấp thiết hiện nay là cần có một mô hình dự báo tốc độ tăng trưởng GDP
có hiệu quả. Do vậy, các công trình hướng đến việc xây dựng mô hình dự báo các biến
số vĩ mô, đặc biệt là tốc độ tăng trưởng GDP luôn nhận được sự quan tâm của nhiều
nhà nghiên cứu trong và ngoài nước.
Những năm gần đây, mô hình Mạng thần kinh nhân tạo (Artificial Neural Network –
ANN) được mô phỏng theo cách thức tổ chức và vận hành của bộ não con người, với
các ưu điểm vượt trội trong việc xác định và dự báo một cách chính xác các biến số
kinh tế có quan hệ phi tuyến đã được các nhà kinh tế học tập trung nghiên cứu và ứng
dụng rộng rãi. Tuy nhiên, ở thời điểm hiện tại việc ứng dụng mô hình Mạng thần kinh
nhân tạo cho việc dự báo các biến số kinh tế ở Việt Nam vẫn chưa phổ biến. Từ các lý
do trên, nhóm nghiên cứu đã thực hiện đề tài: “Dự báo tốc độ tăng trưởng kinh tế Việt
Nam: Sự vượt trội của mô hình Mạng thần kinh nhân tạo (ANN) so với mô hình Hồi

quy tuyến tính truyền thống”.
2. Mục tiêu nghiên cứu
Để tiến hành nghiên cứu việc xây dựng và kiểm chứng khả năng dự báo của mô hình
Mạng thần kinh nhân tạo, bài nghiên cứu đã đặt ra các vấn đề cần giải quyết trong suốt
quá trình nghiên cứu:
Thứ nhất, mô hình Mạng thần kinh nhân tạo là gì ?, cơ chế hoạt động như thế nào ?
Thứ hai, những ưu điểm, khuyết điểm và các vấn đề vẫn chưa được giải quyết từ
các công trình nghiên cứu trên thế giới ?
Thứ ba, mô hình Hồi quy tuyến tính truyền thống là một mô hình đã rất phổ biến
hiện nay ở Việt Nam, và rằng nó khác biệt như thế nào so với mô hình Mạng thần
kinh nhân tạo ?
Thứ tư, có nhiều quan điểm liên quan đến việc cần phải điều chỉnh dữ liệu trước khi
đưa vào mô hình Mạng thần kinh nhân tạo, liệu rằng nó có cần thiết cho bài nghiên
cứu này khi tiến hành xây dựng mô hình Mạng thần kinh nhân tạo hay không ?


Thứ năm, mô hình Mạng thần kinh nhân tạo nào sẽ được lựa chọn để xây dựng mô
hình dự báo tốc độ tăng trưởng GDP Việt Nam?
Thứ sáu, khả năng ứng dụng mô hình Mạng thần kinh nhân tạo trong việc dự báo
tốc độ tăng trưởng GDP Việt Nam nói riêng và các biến kinh tế nói chung ?, mô
hình Mạng thần kinh nhân tạo có thể kết hợp với mô hình Hồi quy tuyến tính để
cho ra một mô hình dự báo tốt ở Việt Nam như một số công trình trên thế giới đã
thực hiện hay không ?
Cuối cùng, hướng nghiên cứu mở rộng nào trong tương lai mà bài nghiên cứu đặt
ra cho những vấn đề còn hạn chế?
3. Phƣơng pháp nghiên cứu
Trong bài nghiên cứu này, nhóm sử dụng phương pháp định lượng sẽ là phương pháp
chủ yếu để xây dựng mô hình Mạng thần kinh nhân tạo và mô hình Hồi quy tuyến tính
truyền thống cho dự báo. Tuy nhiên, phương pháp định tính cũng sẽ được nhóm sử
dụng làm cơ sở lựa chọn các nhân tố kinh tế tác động đến tốc độ tăng trưởng GDP.

Bên cạnh đó, phương pháp so sánh sẽ được áp dụng để tìm kiếm mô hình dự báo hiệu
quả từ các mô hình trên.
Mô hình Mạng thần kinh nhân tạo được xây dựng trên phần mềm NeuroSolutions
phiên bản 6.01 (bản dùng thử), và mô hình Hồi quy tuyến tính truyền thống được xây
dựng bằng phần mềm EViews 5.0.
Về bộ dữ liệu dùng cho xây dựng mô hình được thu thập từ Ngân hàng nhà nước Việt
Nam và Tổng cục thống kê Việt Nam.
4. Nội dung nghiên cứu
Thứ nhất, bài nghiên cứu sẽ tiến hành lược khảo các bài nghiên cứu trước đây trong và
ngoài nước để có tổng quan về vấn đề cần nghiên cứu. Thứ hai, nhóm sẽ trình bày lý
thuyết về Mạng thần kinh nhân tạo để đặt nền tảng cho việc xây dựng mô hình. Thứ
ba, xây dựng các mô hình dự báo tốc độ tăng trưởng GDP. Cuối cùng, bài nghiên cứu
thực hiện so sánh và rút ra kết luận cho một mô hình dự báo tốc độ tăng trưởng GDP
hiệu quả.
5. Đóng góp của đề tài
Trong giới hạn và mục tiêu của nghiên cứu, bài nghiên cứu này cung cấp một cái nhìn
tổng quan trong việc ứng dụng mô hình Mạng thần kinh nhân tạo để dự báo các biến
số kinh tế. Bên cạnh đó, thông qua quá trình thực nghiệm xây dựng các mô hình dự
báo tốc độ tăng trưởng Tổng sản phẩm quốc nội (GDP) Việt Nam, nhóm nghiên cứu


đã tiến hành so sánh hiệu quả dự báo giữa mô hình Mạng thần kinh nhân tạo và mô
hình Hồi quy tuyến tính truyền thống để tìm ra mô hình dự báo tốt nhất. Vì vậy, bài
nghiên cứu này sẽ là một đóng góp tích cực cho hướng nghiên cứu mới trong lĩnh vực
dự báo các biến số kinh tế.
6. Hƣớng phát triển sắp tới của đề tài
Bên cạnh những gì bài nghiên cứu đã thực hiện được thì thật sự cần thiết để nói rằng
vấn đề ứng dụng mô hình Mạng thần kinh nhân tạo trong việc xử lý thông tin và dự
báo các biến số kinh tế sẽ không ngừng lại, mà nó cần phải liên tục được nghiên cứu,
hoàn thiện, khắc phục những điểm yếu, cũng như vận dụng, khai thác các ưu điểm của

mô hình. Từ đó, góp phần đưa mô hình Mạng thần kinh nhân tạo như là một sự lựa
chọn tốt cho công tác dự báo biến số kinh tế bên cạnh các mô hình kinh tế lượng
truyền thống ở Việt Nam.


















MỤC LỤC
PHẦN MỞ ĐẦU ........................................................................................................... 1
Chƣơng 1: GIỚI THIỆU .............................................................................................. 2
1.1. Mô hình Mạng thần kinh nhân tạo và công tác dự báo ........................................ 2
1.2. Lược khảo các nghiên cứu trước đây .................................................................... 3
1.3. Mục tiêu của bài nghiên cứu ................................................................................. 7
Chƣơng 2: MÔ HÌNH MẠNG THẦN KINH NHÂN TẠO ...................................... 9
2.1. Đặc điểm của Mạng thần kinh nhân tạo ............................................................... 9
2.1.1. Nơ-ron sinh học .......................................................................................... 9

2.1.2. Nơ-ron nhân tạo ........................................................................................ 11
2.1.3. Mạng thần kinh nhân tạo .......................................................................... 13
2.2. Các dạng mô hình Mạng thần kinh nhân tạo ...................................................... 14
2.2.1. Mạng thần kinh truyền thẳng ....................................................................... 14
2.2.1.1. Mạng thần kinh truyền thẳng đơn giản nhất ......................................... 14
2.2.1.2. Mạng thần kinh truyền thẳng đa lớp ..................................................... 15
2.2.1.3. Mạng thần kinh bổ sung ........................................................................ 17
2.2.2. Mạng thần kinh nhân tạo hồi tiếp ................................................................ 18
2.2.2.1. Mạng thần kinh hồi tiếp Jordan ............................................................ 19
2.2.2.2. Mạng thần kinh hồi tiếp Elman ............................................................. 19
2.3. Huấn luyện Mạng thần kinh nhân tạo ................................................................. 20
2.3.1. Quá trình học của Mạng thần kinh .............................................................. 20
2.3.2. Các phương pháp học .................................................................................. 20
2.3.2.1. Học theo tham số .................................................................................. 20
2.3.2.2. Học cấu trúc ........................................................................................... 22
2.3.3. Hàm truyền .................................................................................................. 22
2.3.4. Thuật toán truyền ngược .............................................................................. 26
2.3.4.1. Điều chỉnh trọng số của Mạng thần kinh .............................................. 28
2.3.4.2. Nguyên tắc giảm độ dốc ........................................................................ 29
2.3.4.3. Truyền ngược sai số .............................................................................. 30
2.4. Các vấn đề của mô hình Mạng thần kinh nhân tạo ............................................. 34


2.4.1. Tổng quát hóa và học quá mức .................................................................... 34
2.4.2. Thủ tục ngừng đúng lúc ............................................................................... 35
2.5. Ưu điểm và khuyết điểm của mô hình Mạng thần kinh nhân tạo ....................... 37
2.5.1.Ưu điểm ........................................................................................................ 37
2.5.2. Khuyết điểm ................................................................................................ 38
2.6. So sánh mô hình Mạng thần kinh nhân tạo và mô hình hồi quy tuyến tính ....... 39
Chƣơng 3: XÂY DỰNG MÔ HÌNH DỰ BÁO TỔNG SẢN PHẨM QUỐC NỘI

(GDP) CỦA VIỆT NAM ............................................................................................ 41
3.1. Dữ liệu ................................................................................................................ 41
3.1.1. Giải thích biến ............................................................................................. 43
3.1.2. Kỳ vọng về dấu ............................................................................................ 46
3.2. Xây dựng mô hình Hồi quy tuyến tính truyền thống cho dự báo tốc độ tăng
trưởng GDP Việt Nam ............................................................................................... 47
3.3. Xây dựng mô hình Mạng thần kinh nhân tạo để dự báo tốc độ tăng trưởng Tổng
sản phẩm quốc nội (GDP) của Việt Nam .................................................................. 50
3.3.1. Quy trình xây dựng mô hình Mạng thần kinh nhân tạo ................................ 50
3.3.1.1. Lựa chọn các biến số và thu thập dữ liệu ................................................. 50
3.3.1.2. Tiền xử lý dữ liệu ..................................................................................... 51
3.3.1.3. Lựa chọn các thông số cho mô hình ......................................................... 54
3.3.1.4. Tiến hành thực hiện xây dựng mô hình .................................................... 57
3.3.1.5. Dự báo và phân tích kết quả ..................................................................... 58
3.3.2. Xây dựng mô hình Mạng thần kinh nhân tạo một cách độc lập để dự báo tốc
độ tăng trưởng GDP ................................................................................................ 59
3.3.3. Xây dựng mô hình Mạng thần kinh nhân tạo với sự hỗ trợ từ mô hình hồi
quy tuyến tính truyền thống .......................................................................................... 62
Chƣơng 4: KẾT QUẢ DỰ BÁO VÀ KẾT LUẬN ................................................... 67
4.1 So sánh kết quả dự báo tốc độ tăng trưởng GDP Việt Nam của các mô hình ..... 67
4.2 Kết luận ................................................................................................................ 72
PHẦN KẾT LUẬN ..................................................................................................... 73
PHỤ LỤC .................................................................................................................... 74
TÀI LIỆU THAM KHẢO .......................................................................................... 94



DANH MỤC THUẬT NGỮ
Tiếng Anh Tiếng Việt
Activity Function Hàm kích hoạt

Adaptive Linear Neuron – ADALINE Mạng nơ-ron tuyến tính thích ứng
Amplitude Biên độ
Artificial Neural Network – ANN Mạng thần kinh nhân tạo
Augmented Neural Networks Mạng thần kinh bổ sung
Backpropagation Thuật toán truyền ngược
Backpropagation Algorithm Thuật toán truyền ngược
Batch Training Huấn luyện hàng loạt
Black Box Hộp đen
Cost Function Hàm chi phí
Desired Output Các giá trị đầu ra mục tiêu
Early Stopping Procedure Thủ tục ngừng đúng lúc
Elman Recurrent Neural Networks – ERNN Mạng thần kinh hồi tiếp Elman
Epoch Số vòng lặp
Error Backpropagation Thuật toán sai số truyền ngược
Error Tolerance Sai số cho phép
Feed-Forward Neural Networks – FFNN Mạng thần kinh truyền thẳng
Forward Procedure Thủ tục đưa dần vào
Global Minimum Tối thiểu hóa toàn cục
Gradient Descent Nguyên tắc giảm độ dốc
Gross Domestic Product – GDP Tổng sản phẩm quốc nội
Hidden Layer Lớp nơ-ron ẩn
Input Các giá trị (tín hiệu) đầu vào
Input Layer Lớp nơ-ron đầu vào
Jordan Recurrent Neural Networks – JRNN Mạng thần kinh hồi tiếp Jordan
Layer Lớp mạng
Learning Curve Đường cong học hỏi
Learning Rate Tỷ lệ học
Linearly Inseparable Functions Hàm không phân tách tuyến tính
Local Minimum Tối thiểu hóa cục bộ

Lower Bound Biên dưới
Mean Absolute Error – MAE Sai số tuyệt đối trung bình
Mean Absolute Percentage Error – MAPE Sai số phần trăm tuyệt đối trung bình
Mean Error – ME Sai số trung bình
Mean Percentage Error – MPE Sai số phần trăm trung bình
Mean Square Error – MSE Sai số bình phương trung bình
Momentum Động lượng
Multilayer Feed- Forward Perceptron Mạng thần kinh đa lớp truyền thẳng
Multilayer Perceptrons – MLPs Mạng thần kinh truyền thẳng đa lớp
Multiple Adaptive Linear Neuron –
MADALINE
Mạng nơ-ron tuyến tính thích ứng đa
lớp
Offset Độ lệch
On-Line Training Huấn luyện từng dòng
Output Các giá trị đầu ra
Output Layer Lớp nơ-ron đầu ra
Over – learned Học quá mức
Parameter Learning Học theo tham số
Perceptron
Mạng thần kinh truyền thẳng đơn giản
nhất
Recurrent Neural Networks Mạng thần kinh hồi tiếp
Recurrent Neural Networks –RNN Mạng thần kinh nhân tạo hồi tiếp
Root Mean Squared Error – RMSE
Căn bậc hai của sai số bình phương
trung bình
Self Organizing Networks Mạng thần kinh tự tổ chức
Step Size Kích thước bước

Straight Gradient Descent Giảm độ dốc thẳng
Structure Learning Học cấu trúc
Supervised Learning Học có giám sát
Test Set Dữ liệu kiểm tra
Theil’U Hệ số không ngang bằng
Training Set Dữ liệu huấn luyện
Transfer Functions Hàm truyền
Unsupervised Learning Học không giám sát







Upper Bound Biên trên
Validation Set Dữ liệu phê duyệt
Weights Trọng số


DANH MỤC BẢNG
Bảng 3.1: Các biến được cân nhắc đưa vào mô hình dự báo GDP theo quý ............... 42
Bảng 3.2: Tên biến và kỳ vọng về dấu .......................................................................... 46
Bảng 3.3: Thống kê mô tả các biến .............................................................................. 47
Bảng 3.4: Các thông số huấn luyện .............................................................................. 63
Bảng 4.1: So sánh dự báo trong mẫu và dự báo ngoài mẫu ......................................... 68

DANH MỤC HÌNH
Hình 2.1: Minh họa cấu tạo của một nơ-ron sinh học ................................................. 11
Hình 2.2: Nơ-ron nhân tạo. .......................................................................................... 11

Hình 2.3: Mô hình Mạng thần kinh nhân tạo ............................................................... 14
Hình 2.4: Mô hình thần kinh nhân tạo đơn giản nhất .................................................. 15
Hình 2.5: Mô hình Mạng thần kinh truyền thẳng đa lớp ............................................ 16
Hình 2.6: Mô hình Mạng thần kinh nhân tạo bổ sung ................................................. 17
Hình 2.7: Mô hình Mạng thần kinh nhân tạo hồi tiếp ................................................. 18
Hình 2.8: Mô hình Mạng thần kinh hồi tiếp Jordan .................................................... 19
Hình 2.9: Mô hình Mạng thần kinh hồi tiếp Elman .................................................... 20
Hình 2.10: Đồ thị biểu diễn hàm truyền Heaviside ..................................................... 23
Hình 2.11: Đồ thị biểu diễn hàm truyền Xích ma ....................................................... 23
Hình 2.12: Đồ thị biểu diễn hàm Hyperbol ................................................................. 24
Hình 2.13: Đồ thị biểu diễn hàm LinearTanhAxon ...................................................... 25
Hình 2.14: Đồ thị biểu diễn hàm LinearSigmoidAxon ................................................ 25
Hình 2.15: Mô hình Mạng thần kinh nhân tạo có sử dụng thuật toán truyền ngược ... 27
Hình 2.16: Biểu diễn việc điều chỉnh các trọng số theo nguyên tắc giảm độ dốc ....... 29
Hình 2.17: Việc giảm độ dốc trên mặt phẳng sai số .................................................... 34
Hình 2.18: Biểu diễn thủ tục ngừng đúng lúc .............................................................. 36
Hình 3.1: Mô hình Mạng thần kinh nhân tạo được xây dựng một cách độc lập tốt nhất
cho dự báo tốc độ tăng trưởng GDP Việt Nam ............................................................ 60
Hình 3.2: Đồ thị thể hiện giá trị MSE của quá trình huấn luyện mô hình Mạng thần
kinh nhân tạo được xây dựng một cách độc lập tốt nhất .............................................. 60
Hình 3.3: Các trọng số ước lượng của mô hình Mạng thần kinh độc lập.................... 61
Hình 3.4: Mô hình Mạng thần kinh nhân tạo tốt nhất với sự hỗ trợ từ mô hình Hồi quy
tuyến tính truyền thống cho dự báo tốc độ tăng trưởng GDP Việt Nam ...................... 64
Hình 3.5: Đồ thị thể hiện giá trị MSE của quá trình huấn luyện mô hình Mạng thần
kinh nhân tạo với sự hỗ trợ từ mô hình Hồi quy tuyến tính truyền thống .................... 64


Hình 3.6: Các trọng số ước lượng của mô hình Mạng thần kinh dựa trên kết quả của
Mô hình truyền thống ................................................................................................... 65
Hình 4.1: Đồ thị dự báo trong mẫu .............................................................................. 69

Hình 4.2: Đồ thị dự báo ngoài mẫu ............................................................................. 69
Hình 4.3: Đồ thị dự báo trong mẫu của mô hình ANN ............................................... 70
Hình 4.4: Đồ thị dự báo trong mẫu của mô hình ANN & HQTT ............................... 70
Hình 4.5: Đồ thị dự báo ngoài mẫu của mô hình ANN ............................................... 71
Hình 4.6: Đồ thị dự báo ngoài mẫu của mô hình ANN & HQTT ............................... 71

DANH MỤC PHỤ LỤC
PHỤ LỤC 1: KẾT QUẢ ƢỚC LƢỢNG VÀ KIỂM ĐỊNH TRONG MÔ HÌNH
HỒI QUY TUYẾN TÍNH .......................................................................................... 74
Hình A.1: Kết quả kiểm định phân phối chuẩn của phần dư....................................... 74
Bảng A.1: Kết quả hồi quy tăng trưởng GDP theo các nhân tố tác động ................... 74
Bảng A.2: Các chỉ số thống kê .................................................................................... 75
Bảng A.3: Kết quả kiểm định phương sai thay đổi...................................................... 75
Bảng A.4: Kết quả kiểm định tự tương quan với độ trễ là 1 ........................................ 75
Bảng A.5: Kết quả kiểm định tự tương quan với độ trễ là 4 ....................................... 75
Bảng A.6: Kết quả kiểm đinh đa cộng tuyến ............................................................... 76
Bảng A.7: Kiểm định bỏ sót biến ................................................................................. 76
PHỤ LỤC 2: KẾT QUẢ DỰ BÁO CỦA CÁC MÔ HÌNH ..................................... 77
PHỤ LỤC 3: SƠ LƢỢC QUÁ TRÌNH PHÁT TRIỂN CỦA MẠNG THẦN KINH
NHÂN TẠO ................................................................................................................. 79
PHỤ LỤC 4: CÁC ỨNG DỤNG CỦA MẠNG THẦN KINH NHÂN TẠO ......... 82

1



PHẦN MỞ ĐẦU
Tốc độ tăng trưởng Tổng sản phẩm quốc nội (Gross Domestic Product - GDP) là một
chỉ số kinh tế có ý nghĩa rất quan trọng đối với các nhà điều hành kinh tế và các doanh
nghiệp trong việc xem xét mức tăng trưởng của nền kinh tế, là tiền đề hỗ trợ cho các

quyết định về chính sách, chiến lược cho một giai đoạn trong tương lai. Vì các thông
tin về tốc độ tăng trưởng GDP được công bố ra công chúng có một độ trễ nhất định
nên vấn đề cấp thiết hiện nay là cần có một mô hình dự báo tốc độ tăng trưởng GDP
có hiệu quả. Do vậy, các công trình hướng đến việc xây dựng mô hình dự báo các biến
số vĩ mô, đặc biệt là tốc độ tăng trưởng GDP luôn nhận được sự quan tâm của nhiều
nhà nghiên cứu trong và ngoài nước.
Những năm gần đây, mô hình Mạng thần kinh nhân tạo (Artificial Neural Network –
ANN) được mô phỏng theo cách thức tổ chức và vận hành của bộ não con người, với
các ưu điểm vượt trội trong việc xác định và dự báo một cách chính xác các biến số
kinh tế có quan hệ phi tuyến đã được các nhà kinh tế học tập trung nghiên cứu và áp
dụng rộng rãi. Tuy nhiên, ở thời điểm hiện tại việc ứng dụng mô hình Mạng thần kinh
nhân tạo cho việc dự báo các biến số kinh tế nói chung và tốc độ tăng trưởng GDP nói
riêng ở Việt Nam vẫn chưa phổ biến. Từ các lý do trên, nhóm nghiên cứu đã thực hiện
đề tài: “Dự báo tăng trưởng kinh tế Việt Nam: Sự vượt trội của mô hình Mạng thần
kinh nhân tạo (ANN) so với mô hình Hồi quy tuyến tính truyền thống”.












2

Chƣơng 1
GIỚI THIỆU

Khái quát mô hình Mạng thần kinh nhân tạo và khả
năng ứng dụng

Lƣợc khảo các nghiên cứu trƣớc đây

Mục tiêu của bài nghiên cứu
Bài nghiên cứu bắt đầu bằng sự giới thiệu khái quát về mô hình Mạng thần kinh nhân
tạo và khả năng ứng dụng của nó trong các lĩnh vực, đặc biệt là lĩnh vực kinh tế.
Thông qua việc lược khảo các công trình nghiên cứu trước đây, bài nghiên cứu sẽ
cung cấp tổng quan về xu hướng, phương pháp nghiên cứu, các kết quả, kinh nghiệm
có được trong những năm qua về dự báo tốc độ tăng trưởng GDP bằng các mô hình
nói chung và mô hình Mạng thần kinh nói riêng. Từ đó bài nghiên cứu sẽ đặt ra các
mục tiêu cần giải quyết.
1.1. Mô hình Mạng thần kinh nhân tạo và công tác dự báo
Mạng thần kinh nhân tạo (Artificial Neural Network – ANN) là một mô hình thuật
toán phổ biến, mô phỏng theo cấu trúc và quá trình hoạt động của bộ não con người
nhằm nhận dạng, xác định các mẫu hình của một nhóm các thông tin, biến số. Nó
được ứng dụng hiệu quả trong nhiều lĩnh vực ngành nghề như điện tử, y học, khai
khoáng,… bởi khả năng xử lý và dự báo các thông tin, tín hiệu với độ chính xác cao;
và do đó nó ngày càng nhận được nhiều sự quan tâm nghiên cứu của các nhà khoa học
trên thế giới. Tuy nhiên trong lĩnh vực kinh tế, mặc dù đã được thừa nhận và ứng dụng
từ nhiều năm trước nhưng nó vẫn còn khá mới do sự phức tạp của nó. Trong thời gian
qua, nhiều nhà kinh tế đã tiến hành hàng loạt các nghiên cứu tập trung vào việc ứng
dụng Mạng thần kinh nhân tạo trong việc xác định mối quan hệ và dự báo các nhân tố,
biến số kinh tế, chẳng hạn như tốc độ tăng trưởng Tổng sản phẩm quốc nội, lạm phát,
tỷ giá hối đoái, giá chứng khoán, và thậm chí là hiệu quả hoạt động của một công ty,

ngân hàng, … ở nhiều nước và đã đạt được nhiều kết quả khả quan.
Dự báo tốc độ tăng trưởng Tổng sản phẩm quốc nội Việt Nam luôn nhận được sự quan
tâm của nhiều nhà nghiên cứu, và mô hình Mạng thần kinh nhân tạo có thể sẽ trở
thành một công cụ dự báo hiệu quả cho các biến số kinh tế nói chung và tốc độ tăng
trưởng GDP ở Việt Nam nói riêng.
3



1.2. Lƣợc khảo các nghiên cứu trƣớc đây
Dự báo tăng trưởng GDP đóng một vai trò rất quan trọng trong việc điều hành cũng
như ra quyết định về các chính sách kinh tế vĩ mô của một quốc gia, tác động rất lớn
đối với các lĩnh vực kinh tế vi mô. Các nhà nghiên cứu đã và đang tiến hành dự báo
tốc độ tăng trưởng GDP bằng nhiều phương pháp dự báo cũng như nhiều mô hình dự
báo khác nhau. Tuy nhiên, xu hướng nghiên cứu hiện nay cho thấy các nhà nghiên cứu
đang tập trung vào việc dự báo GDP trong trung và ngắn hạn, thường là theo quý hoặc
theo tháng vì tính cần thiết, kịp thời, và chính xác hơn cho những điều chỉnh về mặt
chính sách, chiến lược khi mà những biến động của các nền kinh tế diễn ra thường
xuyên và phức tạp hơn.
Klein và Sojo (1989) sử dụng 2 phương pháp. Phương pháp đầu tiên là xây dựng các
hàm dự báo cho tất cả thành phần phụ của GDP (ví dụ như dự báo chi tiêu quần áo và
giày dép hàng quý với doanh thu bán lẻ hàng tháng ở các cửa hàng thời trang), sau đó
tập hợp những thành phần phụ này để dự báo tốc độ tăng trưởng GDP. Dữ liệu tháng
chưa biết trong quý được dự báo bằng các mô hình trung bình di động tự hồi quy
(ARMA). Phương pháp thứ hai là phân tích thành phần chính, bao gồm 25 chỉ báo
theo tháng được dùng để ước lượng GDP cho quý hiện hành bằng hàm liên kết
(Bridge). Miller và Chin (1996) sử dụng hai dự báo của hai mô hình khác nhau (mô
hình sử dụng dữ liệu hàng quý và mô hình sử dụng dữ liệu hàng tháng, cả hai mô hình
đều là mô hình VAR (mô hình Véc-tơ tự hồi quy - Vector Autoregression) để dự báo
tốc độ tăng trưởng GDP. Sau đó, hai dự báo độc lập này được kết hợp bằng trung bình

trọng số để tối đa hóa mức độ chính xác của dự báo. Kitchen và Monaco (2003) đã
thực hiện ước lượng 30 hàm (mỗi hàm hồi quy ứng với một chỉ báo cho GDP với
những tháng khác nhau trong giai đoạn 1975-1994) để thu được 30 dự báo về tốc độ
tăng trưởng GDP của Mỹ cho mỗi quý từ Quý 1/1995 đến Quý 1/2003. Những dự báo
này được kết hợp sử dụng trung bình trọng số dựa trên R
2
của chúng.
Và Rϋnstler và Sédillot (2003) đã nghiên cứu thực hiện các hàm liên kết theo dữ liệu
từ Quý 2/1990 đến Quý 4/2001 với các biến như: sản lượng công nghiệp (ngoại trừ giá
trị của ngành công nghiệp xây dựng), lượng đăng ký xe mới, doanh thu bán lẻ, giá trị
của ngành công nghiệp xây dựng nhằm dự báo tốc độ tăng trưởng GDP ngắn hạn của
khu vực Châu Âu từ các chỉ báo theo tháng và so sánh với mô hình ARIMA. Dữ liệu
từ Quý 1/1998 đến Quý 4/2001 đã được tác giả sử dụng làm dự báo ngoài mẫu, kết
quả dự báo cho thấy hàm liên kết cho kết quả dự báo tốt hơn mô hình ARIMA.
Trên cơ sở của việc áp dụng hàm liên kết, Diron (2005) nghiên cứu dữ liệu đã điều
chỉnh liên quan đến việc dự báo tốc độ tăng trưởng GDP dựa trên những chỉ báo hàng
4



tháng của khu vực Châu Âu. Sau khi kiểm tra hoạt động của 8 hàm liên kết liên quan
đến tốc độ tăng trưởng GDP với dữ liệu được thu thập trong lĩnh vực tài chính và vĩ
mô, bài nghiên cứu này đã cho thấy rằng việc dùng dữ liệu đã điều chỉnh không làm
thiên lệch đánh giá đáng tin cậy về những dự báo GDP ngắn hạn. Hàm liên kết tiếp tục
được Isabel Yi Zheng và James Rossiter (2006) cải thiện để dự báo tốc độ tăng trưởng
GDP theo quý của Canada với các biến như: chỉ số niềm tin tiêu dùng, tổng số giờ làm
việc, số lượng nhà ở đang xây dựng, doanh thu bán lẻ, sản lượng công nghiệp Mỹ
trong giai đoạn từ Quý 3/1986 đến Quý 2/2004, trong đó dữ liệu từ Quý 3/1999 đến
Quý 2/2004 được dùng làm dự báo ngoài mẫu.
Massimiliano Marcellino (2007) thực hiện phân tích chi tiết về hoạt động dự báo của

những mô hình chuỗi thời gian đơn biến cho tốc độ tăng trưởng GDP và lạm phát. Có
tất cả 55 mô hình được sử dụng để so sánh hoạt động dự báo với các phương án độ trễ
khác nhau, trong đó có 19 mô hình tuyến tính gồm các mô hình tự hồi quy (AR) và mô
hình dự báo đơn giản - bước đi ngẫu nhiên, trong bài nghiên cứu này mô hình bước đi
ngẫu nhiên phù hợp với dữ liệu lạm phát hơn so với GDP vì ổn định hơn; 21 mô hình
Time-varying gồm Time-varying Autoregression (ARTV) hay Logistic Smooth
Transition Autoregression (LSTAR); 15 mô hình phi tuyến với các mô hình Mạng
thần kinh nhân tạo (ANN). Đối với những khoảng thời gian dự báo dài hơn, 2 hay 4
quý, nhìn chung hoạt động của mô hình ANN không tốt bằng, trong khi đó ARTV và
LSTAR cải thiện đáng kể nhưng vẫn không hoạt động tốt hơn các mô hình tuyến tính.
Quá trình dự báo ngắn hạn thường gặp phải khó khăn về dữ liệu do các dữ liệu GDP và
các biến số có liên quan theo tháng hoặc theo quý trong quá khứ vẫn còn hạn chế trong
việc công bố ở một số quốc gia; cùng với đó là vấn đề dữ liệu đôi khi bị bóp méo theo
các mục đích khác nhau gây ảnh hưởng đến độ tin cậy của dự báo. Để khắc phục vấn
đề thiếu dữ liệu cho công tác dự báo, Tilak AbeySinghe và Gulasekeran Rajaguru
(2004) đã tiến hành nghiên cứu mở rộng về việc tách GDP theo năm của Trung Quốc
và các quốc gia ASEAN4 (Indonesia, Malaysia, Philippines và Thái Lan) thành các số
liệu theo quý để dùng cho các mô hình vĩ mô, dựa trên ý tưởng chính của Chow và Lin
(1971), Fernandez (1981) và Litterman (1983). Kết quả cho thấy rằng mặc dù chất
lượng của chuỗi dữ liệu theo năm dùng để tách còn hạn chế nhưng chuỗi dữ liệu sau
khi tách vẫn có chất lượng tốt. Thực tế thì việc tách các chuỗi GDP có thể không dễ
làm như lý thuyết đưa ra khi mà chất lượng của dữ liệu có sẵn để tách không cao.
Bên cạnh các dự báo dựa trên các mô hình kinh tế truyền thống với nhiều sự cải tiến,
một xu hướng nghiên cứu phát triển tồn tại song song và ngày càng thu hút sự quan
tâm của các nhà nghiên cứu, đó là sự mô tả và dự báo dựa trên mô hình Mạng thần
5



kinh nhân tạo (Artificial neural network - ANN). Trong đó, mối quan tâm chính đối

với mô hình ANN là khả năng mô phỏng các mối quan hệ phi tuyến giữa các biến kinh
tế. Theo Granger (1991), các mối quan hệ phi tuyến trong dữ liệu kinh tế và tài chính
thường phổ biến hơn các mối quan hệ tuyến tính. Vì thế, các nghiên cứu thực nghiệm
về ANN không ngừng gia tăng. Bằng phương pháp so sánh, các nhà nghiên cứu cố
gắng đo lường tính hiệu quả của các mô hình kinh tế truyền thống và mô hình Mạng
thần kinh nhân tạo, nhằm tìm ra mô hình dự báo chính xác.
Kuan và White (1994), về mặt lý thuyết đã cho thấy khả năng ứng dụng mô hình
Mạng thần kinh nhân tạo cũng như các mô hình truyền thống cho các biến kinh tế và
họ nhấn mạnh sự tương đồng của hai phương pháp này. Sau đó, nhiều nhà nghiên cứu
đã ứng dụng mô hình Mạng thần kinh cho các biến kinh tế khác nhau. Maasoumi,
Khontanzad và Abaye (1994) đã chứng minh chuỗi gồm 14 biến kinh tế vĩ mô như
GDP thực, GDP danh nghĩa, thu nhập bình quân đầu người, sản lượng công nghiệp,
việc làm, tỷ lệ thất nghiệp, hệ số giảm phát, chỉ số giá tiêu dùng, tiền lương, tiền lương
thực, cung tiền, tốc độ lưu thông tiền, lãi suất trái phiếu, giá chứng khoán) của các
nước OECD (Tổ chức hợp tác phát triển kinh tế) trong báo cáo chuyên đề của Nelson
và Plosser (1982) được dự báo tốt hơn với ANN.
Li et.al. (1995) dùng Mạng thần kinh nhân tạo để dự báo GDP của Anh và thực hiện
so sánh việc sử dụng hai thuật toán huấn luyện khác nhau của mạng truyền thẳng, đó
là thuật toán truyền ngược và thuật toán di truyền (Genetic algorithm) dựa vào mô
hình Mạng thần kinh. Các biến đầu vào được sử dụng là chi tiêu tiêu dùng, chi tiêu
chính phủ, đầu tư, xuất khẩu, nhập khẩu hàng hóa và dịch vụ từ Quý 1/1965 đến Quý
3/1994, trong đó 4 quý 1993 và 3 quý của năm 1994 được dùng để so sánh hoạt động
dự báo. Kết quả cho thấy việc sử dụng Mạng thần kinh truyền thẳng một lớp ẩn với
thuật toán truyền ngược cho kết quả dự báo tốt hơn.
Swanson và White (1997) cũng sử dụng Mạng thần kinh nhân tạo cho việc dự báo 9
biến kinh tế vĩ mô trong đó có GDP thực. Họ so sánh sự khác nhau giữa mô hình
tuyến tính và mô hình phi tuyến (ANN) bằng cách sử dụng các chỉ báo với cỡ mẫu lớn
để thực hiện dự báo ngoài mẫu. Kết quả là những mô hình tuyến tính đa biến thì tốt
hơn. Tkacz và Hu (1999) sử dụng ANN để dự báo tốc độ tăng trưởng GDP của
Canada theo quý từ Quý 1/1968 đến Quý 1/1998 và so sánh hiệu quả dự báo của mô

hình ANN với các mô hình tuyến tính truyền thống. Các biến giải thích được sử dụng
là: biên độ lãi suất trong dài hạn và ngắn hạn; lãi suất trái phiếu dài hạn và tỷ lệ chiết
khấu thương phiếu 90 ngày; tốc độ gia tăng cung tiền M1 và M2; tốc độ gia tăng chỉ
số TSE 300 (chỉ số thị trường chứng khoán Canada). Tác giả xây dựng mô hình ANN
6



với Mạng thần kinh truyền thẳng đa lớp có một lớp ẩn với 2 nơ-ron ẩn. Kết quả là hiệu
quả dự báo từ ANN tốt hơn các mô hình Hồi quy tuyến tính.
Steven Gonzalez (2000) thực hiện so sánh mô hình Mạng thần kinh nhân tạo và mô
hình hồi quy tuyến tính khi dự báo tốc độ tăng trưởng GDP thực theo quý của Canada.
Năm biến được sử dụng đó là: tốc độ gia tăng trong chỉ số về nhóm chỉ báo hoạt động
nền kinh tế, tỷ lệ gia tăng việc làm, chỉ số niềm tin tiêu dùng, sai phân bậc 1 của lãi
suất thực dài hạn, sai phân bậc 1 của ngân sách chính phủ liên bang. Kết quả cho thấy
mô hình Mạng thần kinh nhân tạo với cấu trúc mạng truyền thẳng có 2 đơn vị ẩn dự
báo ít chính xác hơn mô hình Hồi quy tuyến tính.
Tkacz (2001) tiếp tục thực hiện dự báo GDP của Canada thông qua việc sử dụng các
biến tài chính và tiền tệ (gồm các biến: biên độ lãi suất của Mỹ và Canada; lãi suất trái
phiếu doanh nghiệp; tốc độ tăng cung tiền M1 và M2; tốc độ gia tăng chỉ số TSE 300)
từ Quý 1/1968 đến Quý 2/1999. Trong bài nghiên cứu này, tác giả đã so sánh các mô
hình chuỗi thời gian (ARIMA, san bằng mũ), mô hình tuyến tính và mô hình ANN
(Mạng thần kinh truyền thẳng với 1 lớp ẩn có 3 đơn vị ẩn trong lớp ẩn và hàm truyền
xích ma được sử dụng). Kết quả cho thấy giá trị sai số của mô hình ANN thấp hơn giá
trị sai số của các mô hình khác, đặc biệt là trong việc dự báo tốc độ tăng trưởng GDP
với chuỗi dữ liệu dài hạn. Nói cách khác, hiệu quả dự báo của ANN cao hơn.
Zhang (2003) sử dụng phương pháp hỗn hợp - sự kết hợp mô hình ARIMA và mô
hình ANN, tác giả thu được kết quả dự báo tốt hơn với phương pháp hỗn hợp này so
với từng mô hình riêng lẻ. Junoh (2004) dự báo GDP với dữ liệu từ năm 1995-2000
của Malaysia bằng cách dùng các chỉ báo của nền kinh tế tri thức như: số người sử

dụng điện thoại di động trên 1000 dân; số người sử dụng Internet trên 1000 dân; số
lượng máy tính trên 1000 dân; lượng lắp đặt máy tính các nhân trên 1000 dân. Trong
nghiên cứu này, tác giả tiến hành so sánh ANN với mô hình hồi quy tuyến tính. Tác
giả sử dụng Mạng thần kinh truyền thẳng với một lớp ẩn, một đơn vị ẩn, hàm truyền là
hàm Xích ma và tỷ lệ học là 0,1 để xây dựng mô hình ANN, đồng thời dữ liệu được
chuẩn hóa trong khoảng (0;1) và đã chỉ ra rằng ANN cho kết quả tốt hơn trong việc dự
báo tốc độ tăng trưởng GDP.
Yrd. Doc. Dr. Recep DÜZGÜN (2008) cũng đề cập đến việc so sánh hiệu quả của mô
hình ARIMA và mô hình ANN trong việc dự báo GDP (theo giá so sánh 1987) của
Thổ Nhĩ Kỳ từ Quý 1/1987 đến Quý 3/2007. Trong đó, đối với mô hình ANN, tác giả
sử dụng Mạng thần kinh truyền thẳng 1 lớp ẩn với 2 đơn vị ẩn và hàm truyền xích ma;
các biến đầu vào được sử dụng cho mô hình này bao gồm: chi tiêu tiêu dùng, chi tiêu
chính phủ, vốn đầu tư nội địa, xuất khẩu hàng hóa và dịch vụ, nhập khẩu hàng hóa và
7



dịch vụ; tất cả được chuẩn hóa trong khoảng (0,2; 0,8). Tuy nhiên, kết quả dự báo lại
cho thấy mô hình ARIMA tốt hơn mô hình ANN.
Nhóm Curak Marijana (2009) sử dụng các biến tài chính như cung tiền M2 và vốn hóa
thị trường chứng khoán để dự báo tốc độ tăng trưởng kinh tế của 27 nước thành viên
Liên minh châu Âu trong giai đoạn 1991-2007, đồng thời so sánh hoạt động dự báo
của 2 mô hình: mô hình hồi quy tuyến tính và mô hình ANN, trong đó mô hình ANN
sử dụng mạng truyền thẳng, một lớp ẩn và hàm Tanh làm hàm truyền. Sử dụng các chỉ
tiêu như: RMSE, MAE, TIC, MAPE để so sánh hoạt động dự báo của 2 mô hình; kết
quả cho thấy, mô hình ANN cho kết quả dự báo tốt hơn mô hình hồi quy tuyến tính
theo chỉ tiêu RMSE, MAE, TIC nhưng điều này là ngược lại với chỉ tiêu MAPE.
Gần đây năm 2010, Amin Gharipour, Morteza Sameti, và Ali Yousefian đã đưa ra một
công trình nghiên cứu “Phân tích việc mô phỏng tương đối hành vi kinh tế giữa các mô
hình SVMs (Support Vector Machines) và các mô hình Mạng thần kinh nhân tạo” với

mục tiêu lựa chọn mô hình dự báo tốt nhất tốc độ tăng trưởng GDP các quốc gia Trung
Đông (Iran, U.A.E, và Thổ Nhĩ Kỳ). Mạng thần kinh được sử dụng trong bài nghiên
cứu này là Mạng thần kinh truyền thẳng đa lớp với 3 lớp, 21 nơ-ron ở lớp đầu vào, 28
nơ-ron ở lớp ẩn, các hàm truyền được sử dụng là hàm Tanh và hàm Xích ma để dự báo
GDP Trung Đông. Kết quả bài nghiên cứu chỉ ra rằng ANN thực hiện tốt hơn hẳn
SVMs cho cả sự tổng quát hóa từ bộ dữ liệu huấn luyện và độ chính xác gần đúng.
1.3. Mục tiêu của bài nghiên cứu
Để tiến hành nghiên cứu việc xây dựng và kiểm chứng khả năng dự báo của mô hình
Mạng thần kinh nhân tạo, bài nghiên cứu đã đặt ra các vấn đề cần giải quyết trong suốt
quá trình nghiên cứu:
Thứ nhất, mô hình Mạng thần kinh nhân tạo là gì ?, cơ chế hoạt động như thế nào ?
Thứ hai, những ưu điểm, khuyết điểm và các vấn đề vẫn chưa được giải quyết từ
các công trình nghiên cứu trên thế giới ?
Thứ ba, mô hình Hồi quy tuyến tính truyền thống là một mô hình đã rất phổ biến
hiện nay ở Việt Nam, và rằng nó khác biệt như thế nào so với mô hình Mạng thần
kinh nhân tạo ?
Thứ tư, có nhiều quan điểm liên quan đến việc cần phải điều chỉnh dữ liệu trước
khi đưa vào mô hình Mạng thần kinh nhân tạo, liệu rằng nó có cần thiết cho bài
nghiên cứu này khi tiến hành xây dựng mô hình Mạng thần kinh nhân tạo hay
không ?
8



Thứ năm, mô hình Mạng thần kinh nhân tạo nào sẽ được lựa chọn để xây dựng mô
hình dự báo tốc độ tăng trưởng GDP Việt Nam?
Thứ sáu, khả năng ứng dụng mô hình Mạng thần kinh nhân tạo trong việc dự báo
tốc độ tăng trưởng GDP Việt Nam nói riêng và các biến kinh tế nói chung ?, mô
hình Mạng thần kinh nhân tạo có thể kết hợp với mô hình Hồi quy tuyến tính để
cho ra một mô hình dự báo tốt ở Việt Nam như một số công trình trên thế giới đã

thực hiện hay không ?
Cuối cùng, hướng nghiên cứu mở rộng nào trong tương lai mà bài nghiên cứu đặt
ra cho những vấn đề còn hạn chế ?



















9



Chƣơng 2
MÔ HÌNH MẠNG THẦN KINH NHÂN TẠO

Đặc điểm của mô hình Mạng thần kinh nhân tạo

Các dạng mô hình Mạng thần kinh nhân tạo

Huấn luyện Mạng thần kinh nhân tạo

Các vấn đề của mô hình Mạng thần kinh nhân tạo

Ƣu điểm và khuyết điểm của mô hình Mạng thần kinh
nhân tạo

So sánh mô hình Mạng thần kinh nhân tạo và mô hình
Hồi quy tuyến tính
Bài nghiên cứu sẽ dành toàn bộ chương 2 để trình bày cô đọng một số kiến thức nền
tảng về Mạng thần kinh nhân tạo bao gồm: đặc điểm, cơ chế hoạt động, các thuật
toán, và các cải tiến giúp quá trình hoạt động của mạng trở nên hiệu quả. Tuy nhiên
như các mô hình kinh tế lượng khác, mô hình Mạng thần kinh nhân tạo vẫn còn tồn tại
các khuyết điểm cần khắc phục bên cạnh các ưu điểm vượt trội của nó. Đồng thời,
việc so sánh mô hình Mạng thần kinh nhân tạo với mô hình Hồi quy tuyến tính trên
phương diện lý thuyết sẽ hỗ trợ cho quá trình xây dựng và kiểm định hiệu quả dự báo
của mô hình Mạng thần kinh và mô hình Hồi quy tuyến tính trong các chương sau.
2.1. Đặc điểm của Mạng thần kinh nhân tạo
2.1.1. Nơ-ron sinh học
Theo quy luật của tự nhiên cùng với quá trình lao động, con người đã có những bước
phát triển rất nhanh và đã trở thành loài sinh vật có bộ não tiến hóa rất cao cho phép
thực hiện những suy luận phức tạp. Bộ não là tổ chức vật chất cao cấp, có cấu tạo vô
cùng phức tạp, dày đặc các mối liên kết giữa các nơ-ron nhưng xử lý thông tin rất linh
hoạt. Vì thế trong nhiều năm qua, các nhà khoa học đã nổ lực không ngừng trong việc
tìm hiểu, nghiên cứu về bộ não con người, khả năng học hỏi, và cách thức mà bộ não
con người làm việc. Họ đã tìm ra những đặc trưng của bộ não mà những năm gần đây
đã được sử dụng làm nền tảng để xây dựng mô hình Mạng thần kinh nhân tạo. Để hiểu

rõ về mô hình này, trước hết chúng ta sẽ tìm hiểu các đặc điểm cơ bản của bộ não.
Bộ não người bao gồm một lượng rất lớn các nơ-ron (khoảng 10 tỷ nơ-ron). Mỗi nơ-
ron có thể kết nối với hàng chục ngàn nơ-ron khác thông qua các khớp thần kinh
10



(synapse) tạo thành một mạng lưới rộng lớn. Mỗi nơ-ron là một tế bào gồm các sợi
nhánh có dạng như cành cây (dendrite), một thân tế bào hoặc phần sinh dưỡng, và một
sợi trục ra (axon). Các sợi nhánh có nhiệm vụ dẫn truyền các tín hiệu dưới dạng các
xung điện thần kinh từ môi trường hoặc từ các nơ-ron khác vào thân tế bào (cell –
body). Thân bào chứa nhân có nhiệm vụ tổng hợp các xung điện thần kinh, làm tăng
thêm cường độ các xung điện thần kinh nhận được và xử lý cho tín hiệu đi ra. Sợi trục
với cấu tạo từ một bó các dây thần kinh sẽ tiếp tục dẫn truyền xung điện thần kinh từ
thân tế bào đến các nơ-ron khác. Điểm kết nối giữa sợi trục của nơ-ron này với sợi
nhánh của nơ-ron khác gọi là khớp thần kinh. Như vậy, mỗi nơ-ron thực hiện nhiệm
vụ đơn giản là truyền xung điện thần kinh nhận được dọc theo sợi trục qua các khớp
thần kinh đến các nơ-ron khác.
Tuy nhiên, không phải tất cả các xung điện thần kinh đều được truyền đi, mà đối với
một số nơ-ron chỉ truyền đi một số xung điện thần kinh nhất định. Phản ứng của một
nơ-ron khi nhận được xung điện thần kinh từ các nơ-ron bên cạnh phụ thuộc vào
cường độ của xung điện thần kinh nhận được và độ nhạy riêng của nó đối với mỗi nơ-
ron truyền xung điện thần kinh đến nó. Nơ-ron chỉ hoạt động khi tất cả các tín hiệu mà
nó nhận được ở thân bào thông qua các sợi nhánh vượt quá một giá trị ngưỡng hoạt
động (threshold) – một giới hạn mà nếu nhỏ hơn giới hạn này thì nơ-ron sẽ không
phản ứng với tín hiệu đó, tức là nó sẽ không truyền tín hiệu đó đi mà rơi vào trạng thái
nghỉ. Cường độ tín hiệu thu được của nơ-ron phụ thuộc vào độ nhạy của các khớp thần
kinh. Khi được học tập thì hoạt động kết nối của các khớp thần kinh được tăng cường,
tạo ra các liên kết mạnh giữa các nơ-ron làm cho tín hiệu được truyền đi dễ dàng hơn.
Như vậy, một nơ-ron sinh học hoạt động dưới hình thức nhận các tín hiệu đầu vào, tập

hợp xử lý các tín hiệu này để đưa ra một tín hiệu đầu ra. Tín hiệu này tiếp tục được
truyền đi và trở thành tín hiệu đầu vào của các nơ-ron khác. Cứ như vậy, các nơ-ron
tiếp tục được kích hoạt và dường như tất cả các nơ-ron được kích hoạt cùng lúc. Chính
điều này tạo ra suy nghĩ, cảm xúc hay hành động, khả năng phản xạ của chúng ta.







11














Hình 2.1: Minh họa cấu tạo của một nơ-ron sinh học
2.1.2. Nơ-ron nhân tạo
Từ những nghiên cứu về bộ não của con người, các nhà khoa học đã khám phá ra
những ưu điểm của nó và cố gắng bắt chước những ưu điểm đó để xây dựng một mô

hình thần kinh nhân tạo có khả năng học hỏi, nhận dạng, phân loại và điều khiển.
Một nơ-ron nhân tạo cơ bản có cấu trúc được mô tả theo hình 2.2:










Hình 2.2: Nơ-ron nhân tạo
12



Một nơ-ron nhân tạo gồm có:
Đầu vào (X
i
) là các tín hiệu vào từ dữ liệu gốc hay từ các nơ-ron khác.
Các trọng số (Weights) liên kết giữa tín hiệu đầu vào thứ i với nơ-ron j, được ký
hiệu là w
ji
. Các trọng số này được chọn một cách ngẫu nhiên tại thời điểm xây
dựng mạng và được điều chỉnh liên tục trong quá trình huấn luyện mạng. Lưu ý,
trọng số có thể âm nghĩa là nó đóng vai trò kiềm chế hơn là kích hoạt nơ-ron.
Cũng giống như một nơ-ron sinh học, một nơ-ron nhân tạo cũng có phần nhân
tương ứng với bộ cộng và hàm truyền giúp xử lý các tín hiệu, thông tin đầu vào.
 Hàm tổng (sum) được dùng để tính tổng của các tích đầu vào với trọng số tương

ứng của nó.
 Ngưỡng (Threshold – ) là một giới hạn mà tại đó cường độ xung điện của các
tín hiệu đầu vào phải đạt đến giá trị này để kích hoạt nơ-ron hoạt động, truyền
xung điện qua hàm truyền để xử lý và cho ra tín hiệu đầu ra của nơ-ron.
 Hàm truyền f (Transfer function) hay còn gọi là hàm kích hoạt (Activity
function), dùng để giới hạn phạm vi đầu ra của nơ-ron. Nó nhận kết quả của hàm
tổng và ngưỡng. Thông thường, phạm vi của nơ-ron đầu ra được giới hạn trong
đoạn [0; 1] hoặc [-1; 1]. Có rất nhiều loại hàm truyền, có thể là hàm truyền tuyến
tính hoặc hàm truyền phi tuyến.
Đầu ra là tín hiệu đầu ra của một nơ-ron sau khi được hàm truyền xử lý.
Độ lệch (Bias – b
j
) được đưa vào nhằm tăng khả năng thích nghi của mạng trong
quá trình học. Mỗi nơ-ron có thể có một trọng số tương ứng với độ lệch.
Giá trị đầu ra của mỗi nơ-ron còn được thể hiện dưới dạng biểu thức sau:













Trong đó:
X

i
là giá trị đầu vào thứ i
W
ji
là trọng số kết nối giữa nơ-ron thứ j và tín hiệu vào thứ i
b
j
là độ lệch của nơ-ron thứ j
f( )là hàm truyền
Y
j
là giá trị đầu ra của nơ-ron thứ j.
Hoạt động của nơ-ron nhân tạo là nhận các tín hiệu đầu vào, sau đó nhân các tín hiệu
này với trọng số tương ứng nhằm khuếch đại tín hiệu đầu vào. Tất cả các tín hiệu đầu
13



vào sau khi được khuếch đại sẽ đi vào thân nơ-ron tổng hợp lại và tiếp tục biến đổi
nhờ một hàm kích hoạt (thường là hàm phi tuyến). Cuối cùng tín hiệu sẽ được đưa ra ở
đầu ra của nơ-ron và lại trở thành đầu vào của các nơ-ron khác hoặc trở thành tín hiệu
ra của toàn mạng.
Như vậy, cũng giống với nơ-ron sinh học, nơ-ron nhân tạo cũng nhận các tín hiệu đầu
vào, xử lý và cho một tín hiệu đầu ra.
2.1.3. Mạng thần kinh nhân tạo
Mạng thần kinh nhân tạo là một hệ thống xử lý thông tin được phỏng theo cách thức
xử lý thông tin của nơ-ron sinh học, bao gồm rất nhiều các nơ-ron nhân tạo hoạt động
song song. Một nhóm các nơ-ron được sắp xếp sao cho tất cả chúng đều nhận được
các tín hiệu đầu vào tại cùng một thời điểm, sau đó xử lý và cho ra các tín hiệu đầu ra
cùng một lúc, được gọi là một lớp mạng (Layer). Mạng thần kinh nhân tạo đơn giản

nhất có hai lớp: một lớp đầu vào (Input layer) nhận các tín hiệu đầu vào và một lớp
đầu ra (Output layer) cho các tín hiệu đầu ra của mạng. Lớp đầu vào thực chất không
phải là các nơ-ron thực, các nơ-ron hoạt động đơn giản chỉ nhằm giới thiệu các tín
hiệu, thông tin vào (giá trị của biến đầu vào). Chúng ta cũng có thể kết hợp nhiều lớp
mạng tạo thành mạng đa lớp, các lớp nằm giữa lớp đầu vào và lớp đầu ra gọi là các lớp
ẩn (Hidden layers). Các lớp ẩn chứa các nơ-ron ẩn, các nơ-ron ẩn này không thể hiện
bất kỳ một khái niệm thực nào mà chỉ là kết quả trung gian trong quá trình tính toán
giá trị đầu ra của Mạng thần kinh. Một Mạng thần kinh có thể có nhiều lớp ẩn. Thông
thường, một mô hình Mạng thần kinh nhân tạo gồm 1 hoặc 2 lớp ẩn. Nếu có quá nhiều
lớp ẩn thì mô hình sẽ trở nên quá vừa khít với dữ liệu. Điều này hàm ý rằng mô hình
có thể đạt được mức độ dự báo chính xác hơn trong quá trình ước lượng các trọng số
nhưng sẽ trở nên ít chính xác hơn khi thực hiện dự báo ngoài mẫu. Ngoài ra, số lượng
các nơ-ron ẩn càng nhiều thì số lượng các trọng số trong mô hình càng lớn làm kéo dài
thời gian ước lượng của mô hình.








14

Hình 2.3: Mô hình Mạng thần kinh nhân tạo
2.2. Các dạng mô hình Mạng thần kinh nhân tạo
Một mô hình thần kinh nhân tạo đòi hỏi phải có các thành phần cơ bản sau:
Tập các trọng số kết nối nơ-ron này với các nơ-ron khác.
Hàm tổng thực hiện nhiệm vụ tính tổng các tích giữa các tín hiệu đầu vào và các
trọng số tương ứng.
Hàm truyền thực hiện nhiệm vụ xử lý và cho các tín hiệu đầu ra tương ứng.
Mạng thần kinh nhân tạo có thể bao gồm hai hoặc nhiều lớp, mỗi lớp có một hoặc
nhiều nơ-ron, các nơ-ron giữa các lớp có sự kết nối với nhau tạo thành một mạng lưới.
Với những thành phần cơ bản trên, mỗi mô hình Mạng thần kinh nhân tạo được đặc
trưng bởi số lượng các lớp nơ-ron, các nơ-ron trong một lớp và đặc biệt là sự liên kết
giữa các lớp và dạng hàm truyền. Tùy theo mối liên kết giữa các lớp mạng mà Mạng
thần kinh được chia thành hai loại chủ yếu: Mạng thần kinh truyền thẳng (Feedforward
Neural Networks) và Mạng thần kinh hồi tiếp (Recurrent Neural Networks).
2.2.1. Mạng thần kinh truyền thẳng
Trong Mạng thần kinh truyền thẳng, các tín hiệu được truyền thẳng theo một hướng,
từ các nơ-ron lớp đầu vào đến các nơ-ron lớp đầu ra và không cho phép bất kỳ một sự
phản hồi thông tin nội bộ nào.
2.2.1.1. Mạng thần kinh truyền thẳng đơn giản nhất
Một mạng thần kinh truyền thẳng đơn giản nhất, với hai lớp: một lớp đầu vào và một
lớp đầu ra. Mạng này còn được gọi là Perceptron.