Ứng dụng khai phá dữ liệu vào dự báo giá mặt hàng trên sang giao dịch

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

LÊ KHẢ CHUNG

ỨNG DỤNG KHAI PHÁ DỮ LIỆU VÀO DỰ BÁO GIÁ
MẶT HÀNG TRÊN SÀN GIAO DỊCH

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN
\

HÀ NỘI - 2015


ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

LÊ KHẢ CHUNG

ỨNG DỤNG KHAI PHÁ DỮ LIỆU VÀO DỰ BÁO GIÁ
MẶT HÀNG TRÊN SÀN GIAO DỊCH

Ngành: Công Nghệ Thông tin
Chuyên ngành: Hệ thống Thông tin
Mã số: 60.48.05

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS NGUYỄN TRÍ THÀNH

HÀ NỘI - 2015

Lời cảm ơn
Em xin bày tỏ lòng biết ơn sâu sắc tới PGS.TS. Nguyễn Trí Thành, thầy đã
hƣớng dẫn, chỉ dạy tận tình để em hoàn thành luận văn này. Em xin chân thành cảm ơn
các thầy, cô giáo khoa Công nghệ thông tin - Trƣờng Đại học Công nghệ - Đại học
Quốc gia Hà nội đã truyền thụ kiến thức cho em trong suốt quá trình học tập vừa qua.
Tác giả cũng xin cảm ơn cơ quan, bạn bè đồng nghiệp, gia đình và những ngƣời
thân đã cùng chia sẻ, giúp đỡ, động viên, tạo mọi điều kiện thuận lợi để tác giả hoàn
thành nhiệm vụ học tập và luận văn này.
Hà Nội, ngày 06 tháng 12 năm 2015
Học viên

Lê Khả Chung

1


Mục lục
Mục lục ............................................................................................................................ 2
Danh mục các bảng.......................................................................................................... 5
Danh mục các hình ảnh. .................................................................................................. 6
MỞ ĐẦU ......................................................................................................................... 8
Chƣơng 1. TỔNG QUAN VỀ GIAO DỊCH HÀNG HÓA TƢƠNG LAI ............ Error!
Bookmark not defined.
1.1. Hàng hóa tƣơng lai ............................................. Error! Bookmark not defined.
1.2. Sàn giao dịch hàng hóa tƣơng lai. ...................... Error! Bookmark not defined.
1.3. Các chủ thể trong thị trƣờng tƣơng lai ............... Error! Bookmark not defined.
1.4. Phân tích kỹ thuật .............................................. Error! Bookmark not defined.
1.4.1. Phân tích điểm kháng cự, hỗ trợ. ................ Error! Bookmark not defined.

1.4.2. Phân tích xu hƣớng giá. .............................. Error! Bookmark not defined.
1.4.3. Phân tích đƣờng trung bình giá .................. Error! Bookmark not defined.
1.5. Đặt vấn đề dự báo giá hàng hóa trên sàn giao dịchError!
defined.
Chƣơng 2. CƠ SỞ LÝ THUYẾT VỀ MẠNG NƠ RONError!
defined.

Bookmark
Bookmark

not
not

2.1. Lịch sử phát triển của mạng nơ ron ................... Error! Bookmark not defined.
2.2. Cơ sở sinh học ................................................... Error! Bookmark not defined.
2.3. Cấu tạo nơ ron nhân tạo ..................................... Error! Bookmark not defined.
2.3.1. Cấu tạo một nơ ron nhân tạo. ...................... Error! Bookmark not defined.
2.3.2. Hàm truyền ................................................. Error! Bookmark not defined.
2.4. Mô hình của mạng nơ ron.................................. Error! Bookmark not defined.
2.4.1. Mạng truyền thẳng ...................................... Error! Bookmark not defined.
2.4.2. Mạng hồi quy............................................... Error! Bookmark not defined.
2.5. Huấn luyện mạng ............................................... Error! Bookmark not defined.
2.5.1. Học có giám sát .......................................... Error! Bookmark not defined.
2.5.2. Học không giám sát .................................... Error! Bookmark not defined.
2


2.6. Hàm mục tiêu..................................................... Error! Bookmark not defined.
2.7. Thuật toán lan truyền ngƣợc .............................. Error! Bookmark not defined.
2.8. Lĩnh vực áp dụng ............................................... Error! Bookmark not defined.

Chƣơng 3. MÔ HÌNH XỬ LÝ ...................................... Error! Bookmark not defined.
3.1. Mạng nơ ron trong bài toán dự báo ................... Error! Bookmark not defined.
3.2. Mô hình xử lý ..................................................... Error! Bookmark not defined.
3.3. Lựa chọn các biến số ......................................... Error! Bookmark not defined.
3.4. Thu thập dữ liệu ................................................. Error! Bookmark not defined.
3.5. Tiền xử lý và phân tích dữ liệu .......................... Error! Bookmark not defined.
3.5.1. Tiền xử lý dữ liệu ....................................... Error! Bookmark not defined.
3.5.2. Phân tích dữ liệu ......................................... Error! Bookmark not defined.
3.6. Phân chia tập dữ liệu ......................................... Error! Bookmark not defined.
3.7. Cấu trúc mạng.................................................... Error! Bookmark not defined.
3.7.1. Số lớp ẩn ..................................................... Error! Bookmark not defined.
3.7.2. Số nơ ron trong mỗi lớp ẩn ......................... Error! Bookmark not defined.
3.7.3. Số nơ ron đầu ra.......................................... Error! Bookmark not defined.
3.7.4. Hàm truyền .................................................. Error! Bookmark not defined.
3.8. Xác định tiêu trí đánh giá .................................. Error! Bookmark not defined.
3.9. Huấn luyện mạng ............................................... Error! Bookmark not defined.
3.10. Triển khai .......................................................... Error! Bookmark not defined.
Chƣơng 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ............. Error! Bookmark not defined.
4.1. Giới thiệu về thƣ viện cài đặt nơ ron ................. Error! Bookmark not defined.
4.2. Mô hình mạng.................................................... Error! Bookmark not defined.
4.2.1. Các biến số sử dụng cho bài toán ............... Error! Bookmark not defined.
4.2.3. Thu thập dữ liệu.......................................... Error! Bookmark not defined.
4.2.4. Mô hình mạng............................................. Error! Bookmark not defined.
4.3. Huấn luyện mạng ............................................... Error! Bookmark not defined.
4.4. Đánh giá mô hình mạng .................................... Error! Bookmark not defined.

3


4.4.1 So sánh kết quả của mạng với mô hình tƣơng đƣơngError! Bookmark not

defined.
4.4.2. Đánh giá kết quả dự đoán. ........................... Error! Bookmark not defined.
4.5. Giới thiệu ứng dụng dự đoán giá ........................ Error! Bookmark not defined.
4.5.1. Huấn luyện mạng ......................................... Error! Bookmark not defined.
4.5.2. Dự đoán giá ................................................. Error! Bookmark not defined.
KẾT LUẬN ................................................................... Error! Bookmark not defined.
TÀI LIỆU THAM KHẢO ............................................................................................... 9
PHỤ LỤC ...................................................................... Error! Bookmark not defined.

4


Danh mục các bảng
Bảng 1.1: Sự khác nhau giữa hợp đồng kỳ hạn và hợp đồng tƣơng lai ................ Error!
Bookmark not defined.
Bảng 1.2: Sàn giao dịch hàng hóa tƣơng lai .................. Error! Bookmark not defined.
Bảng 2.1: Sơ đồ thuật toán lan truyền ngƣợc ................ Error! Bookmark not defined.
Bảng 4.1: Bảng các biến số sử dụng trong mạng .......... Error! Bookmark not defined.
Bảng 4.2: Bảng dữ liệu mẫu tổng hợp từ nguồn trong tháng 5-KCN13 ............... Error!
Bookmark not defined.
Bảng 4.3: Bảng dữ liệu mẫu giá đóng cửa của các biến số đƣợc sử dụng trong tháng
05/2013 .......................................................................... Error! Bookmark not defined.
Bảng 4.4: Kết quả chạy mạng 1 lớp ẩn.......................... Error! Bookmark not defined.
Bảng 4.5: Kết quả chạy mạng 2 lớp ẩn.......................... Error! Bookmark not defined.
Bảng 4.6: Kết quả chạy mạng 3 lớp ẩn.......................... Error! Bookmark not defined.
Bảng 4.7: So sánh mạng 1 point và 5 point ................... Error! Bookmark not defined.
Bảng 4.8: Bảng so sánh mạng 1 point và 5 point trên các mã giao dịch ............... Error!
Bookmark not defined.
Bảng 4.9: Kết quả dự đoán mã giao dịch KCZ13 ......... Error! Bookmark not defined.

5


Danh mục các hình ảnh.
Hình 1.1: Biểu đồ OHLC – xác định điểm hỗ trợ, điểm kháng cựError!
not defined.

Bookmark

Hình 1 2: Biểu đồ đƣờng trung bình giá CCZ15 [finance.yahoo.com] ................. Error!
Bookmark not defined.
Hình 2.1: Cấu tạo 1 nơ ron sinh học .............................. Error! Bookmark not defined.
Hình 2.2: Cấu tạo một nơ ron trong mạng..................... Error! Bookmark not defined.
Hình 2.3: Đồ thị hàm ngƣỡng ........................................ Error! Bookmark not defined.
Hình 2.4: Đồ thị hàm vùng tuyến tính ........................... Error! Bookmark not defined.
Hình 2.5: Đồ thị hàm Sigmoid với hệ số 𝑎 tăng dần ..... Error! Bookmark not defined.
Hình 2.6: Mô hình mạng nơ ron một lớp truyền thẳng . Error! Bookmark not defined.
Hình 2.7: Mô hình mạng nơ ron truyền thẳng nhiều lớpError!
defined.

Bookmark

not

Hình 2.8: Ví dụ về mô hình mạng hồi quy truyền thắngError!
defined.

Bookmark

not

Hình 2.9. Mô hình học có thầy ...................................... Error! Bookmark not defined.
Hình 3.1: Các bƣớc để xây dựng mạng nơ ron trong bài toán dự báoError! Bookmark
not defined.
Hình 3.2: Các bƣớc xử lý mạng nơ ron trong bài toán dự báoError! Bookmark not
defined.
Hình 3.3: Biểu đồ giá đóng cửa của mã giao dịch KCZ13Error!
defined.

Bookmark

not

Hình 3.4: Sử dụng 5 điểm lịch sử liên tiếp để dự đoán. Error! Bookmark not defined.
Hình 3.5: Mô hình tổ chức dữ liệu ................................ Error! Bookmark not defined.
Hình 3.6: Múc độ tƣơng quan ....................................... Error! Bookmark not defined.
Hình 4.1: Dữ liệu của mã giao dịch KCN13 từ nguồn .. Error! Bookmark not defined.
Hình 4.2: Mô hình mạng nơ ron dự báo giá mặt hàng trên sàn giao dịch ............. Error!
Bookmark not defined.
Hình 4.3: Đồ thị của hàm truyền ................................... Error! Bookmark not defined.
Hình 4.4: Đồ thị lỗi trong qua trình huấn luyện ............ Error! Bookmark not defined.
6


Hình 4.5: Kết quả dự báo và giá trị thực mạng 1 point . Error! Bookmark not defined.
Hình 4.6: Kết quả dự báo và giá trị thực mạng 5 point . Error! Bookmark not defined.
Hình 4.7: Biểu đồ tƣơng quan KCZ 13- 1 point............ Error! Bookmark not defined.
Hình 4.8: Biểu đồ tƣơng quan KCZ13- 5 point ............. Error! Bookmark not defined.
Hình 4.9: Dự đoán giá close của giao dịch KCN13 ...... Error! Bookmark not defined.
Hình 4.10: Biểu đồ tƣơng quan dự đoán mã giao dịch KCN13Error! Bookmark not

defined.
Hình 4.11: Giao diện ứng dụng dụ đoán. ...................... Error! Bookmark not defined.
Hình 4.12: Giao diện hiển thị biểu đồ lỗi trong quá trình huấn luyệnError! Bookmark
not defined.
Hình 4.13: Giao diện ứng dụng kiểm tra dự đoán ......... Error! Bookmark not defined.
Hình 4.14: Giao diện tab Graph .................................... Error! Bookmark not defined.

7


MỞ ĐẦU
Thị trƣờng giao dịch hàng hóa tƣơng lai là một thị trƣờng non trẻ ở Việt Nam
hiện nay. Các mặt hàng thuộc lĩnh vực nông sản, kim loại đang đóng vai trò chủ đạo
trong các giao dịch ở Việt Nam hiện nay nhƣ: cafe, cacao, đƣờng, sắt thép.... Giao dịch
hàng hóa tƣơng lai đƣợc thực hiện trên các sàn giao dịch trên thế giới bằng hợp đồng
giao dịch. Các hợp đồng giao dịch này đƣợc chuẩn hóa về loại tài sản, số lƣợng đơn vị
tài sản, thể thức thanh toán, kỳ hạn giao dịch, chỉ có giá đƣợc thỏa thuận. Mỗi hợp
đồng giao dịch là một lệnh mua hoặc bán đƣợc đặt trên sàn. Hai lệnh mua và bán khớp
với nhau làm cho giá thị trƣờng của mặt hàng đó thay đổi.
Dự đoán, dự báo giá đang là một nhu cần cần thiết cho các nhà đầu tƣ trên thị
trƣờng hiện nay. Để đƣa ra quyết định mua hoặc bán một mặt hàng các nhà đầu tƣ
thƣờng tiến hành phân tích theo các cách riêng. Một trong những phƣơng pháp đƣợc
áp dụng phổ biến là sử dụng phân tích kỹ thuật. Với giả định nền tảng là giá phản ánh
tất cả các hành động của thị trƣờng, khi có bất kỳ một thông tin gì mới đƣợc đƣa ra thì
nó đƣợc phản ánh ngay trong giá. Bởi vậy các nhà đâu tƣ này họ thƣờng xuyên quan
sát đồ thị giá và khối lƣợng trong quá khứ để dự đoán xu hƣớng biến động sắp tới của
thị trƣờng. Việc phân tích trên gặp nhiều hạn chế nhƣ mang tính chủ quan của ngƣời
phân tích, tốn nhiều thời gian, hoặc khi phát hiện ra xu hƣớng thì giá đã biến động
mạnh. Yêu cầu đặt ra là cần có một gợi ý chính xác trên cơ sở khoa học thực tiễn cho
các nhà đầu tƣ.

Mạng nơ ron đƣợc ứng dụng nhiều vào các bài toán dự báo hiện nay. Hoạt động
theo mô phỏng của bộ não con ngƣời. Bằng việc tính toán sự tƣơng quan giữa dữ liệu
đầu vào với kết quả mong muốn đầu ra, mạng nơ ron đã và đang mang lại hiệu quả cao
trong các bài toán yêu cầu sự phúc tạp và tính toán cao. Lĩnh vực dự đoán, dự báo là
một mảng mạnh của mạng rơ ron. Việc sử dụng mạng nơ ron trong bài toán khai phá
dữ liệu lịch sử để dự đoán giá trong tƣơng lai mang lại nhiều lợi ích và giá trị dự báo.
Trong nội dung luận văn này tác giả sẽ trình bày khái quát về giao dịch hàng
hóa tƣơng lai trên sàn giao dịch, tổng quan về mạng nơ ron, ứng dụng mạng nơ ron
vào bài toán dự báo giá một mặt hàng trên sàn giao dịch. Luận văn gồm các chƣơng
sau:
Chƣơng 1. Tổng quan về giao dịch hàng hóa tƣơng lai: Trong chƣơng này tác
giả sẽ trình bày khái quát về giao dịch hàng hoá tƣơng lai, sàn giao dịch hàng hoá
tƣơng lai. Một số kỹ thuật thông dụng đƣợc dùng trong phân tích kỹ thuật, thông qua
đó đặt vấn đề cấp thiết cho bài toán dự báo giá trên sàn giao dịch hành hóa tƣơng lai.

8


TÀI LIỆU THAM KHẢO
Tiếng Việt
1. Các Dealer, Công ty Môi Giới Hàng Hóa Tƣơng Lai Finex.
Tiếng Anh
2. T. Masters(1993), Practical Nearal Network Recipes in C++, Academic Press,
New York,.
3. J.O Katz (1992), Developing neural network forecasters for trading, Technical
Analysis of Stock and Commodities pp.58-70.
4. D. Baily and D.M. Thompson (1990), Developing neural network application,
AI Expect, pp. 33-41.
5.Simon Haykin, A Comprehensive Foundation. McMaster Universtry, Hamilton,
Ontario, Canada.

6. Rojas, R. (1996). Neural Networks: A Systematic Introduction, Springer, Berlin
7. John E.Hanke & Deam W.Wichem, (2005), Busuness Forecasting, 8th Edition,
Chapter 9.
8. Hagan M. T., Demuth H. B., Beale M.(1996), Neural networks design, PWS
Publishing Company, Boston, Ma.
9. Haykin, S. (1994), Neural networks, a comprehensive foundation, Macmillan
New York,
10. Rune Aamodt (2010), Using Artificial Neural Networks To Forecast Financial
Time Series, Master of Science in Computer Science, Norwegian University of
Science and Technology. Charpter 2,3,4.
11. Hagan, Demuth. Beale, De jesus, Neural Network Design (2nd edition),
Charpter 2,3.
12. Assia Lasfer (2013), Performance analysis of artificial nearal network in
forecasting financial time series. A Thesis Presented to the Faculty of the
American University.
13. Iebeling Kaastra and Milton Boyd (1996), Designing a neural network for
forecasting financial and economic time series, Neurocomputing, vol. 10, no. 3, pp.
215-236.
14. Jakulin, A. (2003), Attribute interactions in machine learning. Master’s thesis,
University of Ljubljana, Faculty of Computer and Information Science.

9


15. Xianjun Ni (2008), Research of Data Mining Based on Neural Networks,
World Academy of Science, Engineering and Technology, Charpter III.
16. Nelson, M.C. and Illingworth, W.T. (1991), A Practical Guide to Neural
Nets, Reading, MA: Addison-Wesley.
17. Adhikari R., and R. K. Agrawal. (2013). A Combination of Artificial Neural
Network and Random Walk Models for Financial Time Series Forecasting. Neural

Computing and Applications
18. Aghababaeyan R., and N. TamannaSiddiqui (2011). Forecasting the Tehran
Stock Market by Artificial Neural Network. International Journal of Advanced
Computer Science and Applications, Special Issue on Artificial Intelligence
19. Butler M., and A. Daniyal. (2009). Multi-objective Optimization with an
Evolutionary Artificial Neural Network for Financial Forecasting, Proceedings of
the 11th Annual conference on Genetic and evolutionary computation pp. 14511457
20. Cerna L., and M. Chytry. (2005). Supervised Classification of Plant
Communities with Artificial Neural Networks, Journal of Vegetation Science 16 pp.
407-414
21. Li Deng and Dong Yu (2013), DeepLearning Methods and Applications,
Foundations and Trends® in Signal Processing Vol. 7.

10