Tiểu luận môn Máy học và ứng dụng TÌM HIỂU MÔ HÌNH HỆ THỐNG MẠNG NEURAL LAN TRUYỀN NGƯỢC –BACKPROPAGATION NEURAL NETWORK VÀ THUẬT TOÁN RESILIENT PROPAGATION ỨNG DỤNG TRONG DỰ BÁO CÁC CHỈ SỐ CHỨNG KHOÁN

Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
Đại Học Quốc Gia TP.HCM
Trường Đại Học Công Nghệ Thông Tin
BÀI THU HOẠCH MÔN
MÁY HỌC VÀ ỨNG DỤNG
ĐỀ TÀI:
TÌM HIỂU MÔ HÌNH HỆ THỐNG MẠNG NEURAL LAN TRUYỀN
NGƯỢC – BACKPROPAGATION NEURAL NETWORK VÀ THUẬT
TOÁN RESILIENT PROPAGATION ỨNG DỤNG TRONG DỰ BÁO
CÁC CHỈ SỐ CHỨNG KHOÁN S&P500, DOW, NASDAQ
COMPOSITE VÀ LÃI SUẤT PRIME LENDING RATE
GVHD: PGS.TS. Vũ Thanh Nguyên
Người thực hiện: Phạm Xuân Dũng
Mã số: CH1301007
Lớp: Cao học khóa 8
TP.HCM – 03-2014
Mục lục
Giới thiệu đề tài
Trong quá trình học môn máy học và ứng dụng, thông qua các bài giảng trên
lớp, em thấy rằng mô hình mạng Neural là một mô hình rất hay và có nhiều ứng
1
Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
dụng thực tiễn trong nhiều lĩnh vực kinh tế và khoa học kỹ thuật. Bản thân em có
đam mê về lĩnh vực ứng dụng mô hình mạng Neuraltrong lĩnh vực kinh tế, tài
chính. Vì vậy em chọn đề tài sử dụng mạng Neuralđể dự báo một số chỉ số
chứng khoán trong thị trường Mỹ, chương trình minh họa sẽ dựa vào dữ liệu lịch
sử của các chỉ số chứng khoán hàng đầu thế giới như S&P500, DOW, NASDAQ
Composite vàlãi suấtPrime Lending Rate để huấn luyện mạng, sau đó sẽ dùng
mạng đã huấn luyện để dự đoán các giá trị tương lai và dùng biểu đồ để so sánh
dữ liệu dự đoán từ mạng với dữ liệu thực sự.
Phần nội dung cơ sơ lý thuyết về mạng neural, em có tham khảo để kế thừa và

phát triển từ [1]
Phần cài đặt chương trình minh họa ứng dụng mạng Neural, em sử dụng thư
viện mã nguôn mở encog-dotnet-core-3.1.0để xây dựng ứng dụng dự báo các
chỉ số chứng khoán hàng đầu thế giới như S&P500, DOW, NASDAQ
Composite và lãi suất Prime Lending Rate.
Phần 1: Cơ sở lý thuyết mạng neural
1.1 Mạng Neural sinh học
Đếnnayngườita biết rằngcácquátrìnhtínhtoántrongbộnãosinh họckhácvới
cácmáytínhsố. Côngtrìnhnghiêncứuvềnãođầutiênthuộcvề Ramond-Cajál
(1911),ôngchorằnghệthầnkinhcấutạotừcácNeural.Bộnãoxửlýchậmhơn(10
-
3
s)sovới cácthiếtbịvậtlý(10
-9
)tuynhiêntốnítnănglượnghơnvàthựchiệnđược
nhiềuchứcnănghơn.Conngườicókhoảng10
11
Neural,10
15
khớpkếtnối.Cáckhớp
khimớisinhítkếtnốivớinhau,chúngđượckếtnốinhờquátrìnhhọc.
Đặcđiểmcủa não:
Xửlýsongsong
Phântán
Phituyến
2
Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
Cấutạo của Neural sinh học
CácthànhphầnchínhcủaNeural:
Khớpkếtnối(Synapse):kếtnốicácNeuralnhờcáctínhchấthoálý

Điện → Hoá →
Điện
Xúctu(dendrites):Thunhậnthôngtinvề nhânquakhớp.
Thântếbào: tổnghợp tínhiệu vàkhi đủmạnhthìcó tínhiệuraởtruccảmứng
vànổnlúcđógọilàcháy.
Trụccảmứng(Axon)đưatínhiệuravàtruyềntớicácNeuralkhácquacác khớpkếtnối.
1.2 Đặc điểm của mạng Neuralnhân tạo
Mặc dù hiểu biết của con người về kiến trúc và hoạt động của não còn chưa đầy
đủ, người ta tạo ra được các máy có một số tính năng tương tự não nhờ mô
phỏng các đặc điểm:
Tri thức thu nhận được nhờ quá trình học
Tính năng có được nhờ kiến trúc mạng và tính chât kết nối
Các máy loại mô phỏng này có tên chung là mạng Neural nhân tạo hay gọn hơn
mạng Neural (còn có tên gọi là máy thần kinh) và viết tắt là ANN hoặc gọn hơn là
NN. Trong ứng dụng chúng thường được tích hợp với các hệ khác
Đặc điểm chính của ANN
Phi tuyến. Cho phép xử lý phi tuyến:
Cơ chế ánh xạ vào → ra (x → d(x)) cho phép học có giám sát
Cơ chế thích nghi. Thay đổi tham số phù hợp với môi trường.
Đáp ứng theo mẫu đào tạo. Được thiết kế không nhữngcung cấp thông tin về
mẫu đào tạo mà còn cho biết mức tin cậy của nó.
3
Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
Thông tin theo ngữ cảnh.Tri thức được biểu diễn tuỳ theo trạng thái và kiến trúc
của ANN
Cho phép có lỗi (fault tolerance).
VLSI (very large scale Integrated).
Phỏng sinh học.
1.3 Mô hình và kiến trúc mạng
Một số các quy ước

Đạilượngvôhướng(dùngchữthường.a,b, c, )
ĐạilượngVector(dùngchữthườngin đậma,b,c, )
MATRẬN(chữin hoaW,A,B,C )
4
Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
Mô hình Neural
Mô hình toán học của mạng Neural sinh học được đề xuất bởi McCulloch và
Pitts, thường được gọi là Neural M-P, ngoài ra nó còn được gọi là phần tử xử lý
và được ký hiệu là PE (Processing Element).
Mô hình Neural có m đầu vào x
1
, x
2
, , x
m
, và một đầu ra y
i
như sau:
Mô hình mạng Neuron nhân tạo
Trong đó:
Tập các đầu vào: Là các tín hiệu vào của Neural, các tín hiệu này thường được
đưa vào dưới dạng một vector m chiều.
Tập các liên kết (các trọng số): Mỗi liên kết được thể hiện bởi một trọng số
(thường được gọi là trọng số liên kết). Trọng số liên kết giữa tín hiệu vào thứ j
cho Neural i thường được ký hiệu là w
ij
. Thông thường các trọng số này được
khởi tạo ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong
quá trình học mạng.
Bộ tổng (Hàm tổng): Thường dùng để tính tổng của tích các đầu vào với trọng số

liên kết của nó.
Ngưỡng: Ngưỡng này thường được đưa vào như một thành phần của hàm
truyền.
Hàm truyền: Hàm này dùng để giới hạn phạm vi đầu ra của mỗi Neural. Nó nhận
đầu vào là kết quả của hàm tổng và ngưỡng đã cho. Thông thường, phạm vi
đầu ra của mỗi Neural được giới hạn trong đoạn [0,1] hoặc [-1,1]. Các hàm
truyền rất đa dạng, có thể là các hàm tuyến tính hoặc phi tuyến. Việc lựa chọn
hàm truyền tùy thuộc vào từng bài toán và kinh nghiệm của người thiết kế mạng.
Đầu ra: Là tín hiệu đầu ra của một Neural, với mỗi Neural sẽ có tối đa một đầu ra
Neural có đầu vào đơn
Hình bên dưới môtảNeural cóđầuvàođơn,cóhoạtđộng nhưsau. Mộttínhiệuvàop
đượcnhânvớitrọngsốwthànhwpvàmộttínhiệukhácbằng1nhânvớigiátrị khuynh
hướngbđưatớibộtổng.Tínhiệurancủabộtổngquahàmchuyển fchotín hiệuraa.Trong
đótrọngsốwtươngứngvớiđộliênkếtcủakhớpkếtnối(Synapse), hàm
tổngvàhàmchuyển môphỏng thântếbàocòntínhiệuramôphỏngtínhiệuở Axon.
5
Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
Neuralcó đầuvàođơn
Tínhiệuraa=f(wp+b)
Vídụ:
w=3p=2b=-1,5suyra a=f(3.2-1,5)=f(4,5)
Tínhiệuraaphụthuộcvàohàmchuyểncònkhuynhhướngcóthểxemnhưlà
mộttrọngsốcủatínhiệuvàobằng1.
Hàmchuyển:Hàmchuyểnfcóthểlàhàmtuyếntínhhoặcphituyếnvàphụ
thuộctheotừngbàitoán.Cónhiềuloạihàmchuyển, việcchọnhàmchuyểncầnphù
hợpvớibàitoáncụthểphảigiảiquyết.
Hàm truyền có thể có các dạng sau:
Hàm bước




<
≥
=
00
01
xkhi
xkhi
y
(1.6)
Hàm giới hạn chặt (hay còn gọi là hàm bước)



<−
≥
==
01
01
)sgn(
xkhi
xkhi
xy
(1.7)
Hàm bậc thang






<
≤≤
>
==
00
10
11
)sgn(
xkhi
xkhix
xkhi
xy
(1.8)
Hàm ngưỡng đơn cực
x
λ
−
+
=
e
y
1
1
với λ>0 (1.9)
Hàm ngưỡng hai cực
1
1
2
−
+

=
−
x
λ
e
y
với λ>0 (1.10)
Đồ thị các dạng hàm truyền được biểu diễn như sau
6
Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
Đồ thị các dạng hàm truyền
Neuralnhiềutínhiệuvào.
Thường thì một Neural có nhiều tín hiệu vào. Mô hình Neural có R tín hiệu vào n
được cho trong hình sau.
Neuralđơnnhiềutínhiệuvào
a=f(Wp+b).Tasẽ môtả mộtcáchđơngiảnNeuraltrên.
W: là trọng số kết nối
b: Khuynh hướng
f: Hàm chuyển
7
Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
1.4 Cấu tạo và phương thức làm việc của mạng Neural
Dựa trên những phương pháp xây dựng Neural đã trình bày ở mục trên, ta có
thể hình dung mạng Neural như là một hệ truyền đạt và xử lý tín hiệu. Đặc tính
truyền đạt của Neural phần lớn là đặc tính truyền đạt tĩnh.
Khi liên kết các đầu vào/ra của nhiều Neural với nhau, ta thu được một mạng
Neural, việc ghép nối các Neural trong mạng với nhau có thể là theo một nguyên
tắc bất kỳ. Vì mạng Neural là một hệ truyền đạt và xử lý tín hiệu, nên có thể phân
biệt các loại Neural khác nhau, các Neural có đầu vào nhận thông tin từ môi
trường bên ngoài khác với các Neural có đầu vào được nối với các Neural khác

trong mạng, chúng được phân biệt với nhau qua vector hàm trọng số ở đầu vào
w. Nguyên lý cấu tạo của mạng Neural bao gồm nhiều lớp, mỗi lớp bao gồm
nhiều Neural có cùng chức năng trong mạng.
Mạng Neural được xây dựng như trên là mạng gồm 3 lớp mắc nối tiếp nhau đi từ
đầu vào đến đầu ra. Trong mạng không tồn tại bất kỳ một mạch hồi tiếp nào. Một
mạng Neural có cấu trúc như vậy gọi là mạng một hướng hay mạng truyền thẳng
một hướng (Feed forward network), và có cấu trúc mạng ghép nối hoàn toàn (vì
bất cứ một Neural nào trong mạng cũng được nối với một hoặc vài Neural khác).
Mạng Neural bao gồm một hay nhiều lớp trung gian được gọi là mạng Multilayer
Perceptrons) (MLP-Network).
Mạng Neural khi mới được hình thành thì chưa có tri thức, tri thức của mạng sẽ
được hình thành dần dần sau một quá trình học. Mạng Neural được học bằng
cách đưa vào những kích thích, và mạng hình thành những đáp ứng tương ứng,
những đáp ứng tương ứng phù hợp với từng loại kích thích sẽ được lưu trữ. Giai
đoạn này được gọi là giai đoạn học của mạng. Khi đã hình thành tri thức mạng,
mạng có thể giải quyết các vấn đề một cách đúng đắn. Đó có thể là vấn đề ứng
dụng rất khác nhau, được giải quyết chủ yếu dựa trên sự tổ chức hợp nhất giữa
các thông tin đầu vào của mạng và các đáp ứng đầu ra.
Nếu nhiệm vụ của một mạng là hoàn chỉnh hoặc hiệu chỉnh các thông tin thu
được không đầy đủ hoặc bị tác động của nhiễu. Mạng Neural kiểu này được ứng
dụng trong lĩnh vực hoàn thiện mẫu, trong đó có một ứng dụng cụ thể là nhận
dạng chữ viết.
8
Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
Nhiệm vụ tổng quát của một mạng Neural là lưu giữ động các thông tin. Dạng
thông tin lưu giữ này chính là quan hệ giữa các thông tin đầu vào và các đáp
ứng đầu ra tương ứng, để khi có một kích thích bất kỳ tác động vào mạng, mạng
có khả năng suy diễn và đưa ra một đáp ứng phù hợp. Đây chính là chức năng
nhận dạng theo mẫu của mạng Neural. Để thực hiện chức năng này, mạng
Neural đóng vai trò như một bộ phận tổ chức các nhóm thông tin đầu vào, và

tương ứng với mỗi nhóm là một đáp ứng đầu ra phù hợp. Như vậy, một nhóm
bao gồm một loại thông tin đầu vào và một đáp ứng đầu ra. Các nhóm có thể
được hình thành trong quá trình học, và cũng có thể không hình thành trong quá
trình học.
9
Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
Mạng 1 tầng Neural
Mạng một tầng của S ký hiệu W là ma trận trọng số, p là vectơ tín hiệu vạo và b
là vectơ khuynh hướng.
Matrậntrọngsốcódạng
Ta quy ước chỉ số thứ nhất chỉ Neural mà tín hiệu đến còn chỉ số thứ hai là
nguồn tín hiệu.
n = Wp + b ;
a = f(n) = f(Wp + b)
Mạng nhiều tầng Neural
MạngcóthểcónhiềutầngNeural,mộtmạngtruyền tới3tầng(hai tầngNeural) như
minh họa bên dưới.Trongđóchỉsốtrênlà tầngNeuraltươngứng.Tanóimạngn-tầng
thìnlàsố tầngNeural.
Môhìnhmạngbatầngtruyềntới
Tacó: a
i
làđầuracủatầngi
n
1
=W
1
p+b
1
a
i

=f
i
(n
i
),
trongđón
i
=W
i
a
i-1
+b
i
vớimọii≥2.
Mạngtrênđượcmôtả đơngiảnhơn:
10
Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
Môtảrútgọn mạnghaitầngNeuraltruyềntới.
TầngNeural cuối gọilàtầng ra,cáctầng Neural còn lạigọilàtầngẩn.Tầngđầu
gọilàtầngvàovàplàtínhiệuvào.
Mạng nhiềutầngmạnhhơnmạngtầngđơn.Chẳng hạnmộtmạnghaitầngvới
hàmchuyểntầngẩnlàhàmSigmoid vàhàmchuyểntầnghaituyếntínhcóthểxấpxỉ
mộthàmliêntụcvớiđộchínhxáctuỳýkhicóđủnhiều.
Mạng hồi quy
Khốitrễ: Tlàbiếnthời gianlàgiátrịnguyêndương.
Khốitrễ
Bộtíchphân.Bộnàycóđầurachobởicôngthức:
a(t)=

u(t)dt

0
+a(0)
Điềukiệubanđầua(0)đượcđưavàtừđáy.Bộnayđượckýhiệu:
11
Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
Bộtíchphân
Bâygiờta làmquenvớimạnghồiquy.Mạnghồiquylàmạngcó mộtsố tínhiệu
rađượcnốivớitínhiệuvàocủanó(cómốiliênhệngược). Mạng hồiquy thườngcó
nhiềukhảnănghơn mạngtruyềntới.
Vídụtronghìnhlàmột mạnghồiquy.
Một mạnghồiquy
Mạng Hopfield
Mạng Hopfield là mạng phản hồi một lớp. Cấu trúc chi tiết của nó được thể hiện
trong hình dưới. Khi hoạt động với tín hiệu rời rạc, nó được gọi là mạng Hopfield
rời rạc, và cấu trúc của nó cũng được gọi là mạng hồi quy.
Cấu trúc mạng Hopfield
12
Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
Như mạng Hopfield đã vẽ ở trên, ta thấy nút có một đầu vào bên ngoài x
j
và một
giá trị ngưỡng
j
θ
(j = 1,2, n). Một điều quan trọng cần nói ở đây là mỗi nút
không có đường phản hồi về chính nó. Nút đầu ra thứ j được nối tới mỗi đầu vào
của nút khác qua trọng số w
ij
, với i
≠

j, (i = 1,2, ,n), hay nói cách khác w
ii
= 0,
(với i = 1,2, ,n).
Một điều quan trọng nữa là trọng số của mạng Hopfield là đối xứng, tức là w
ij
=
w
ji
, (với i,j = 1,2, ,n). Khi đó, luật cập nhật cho mỗi nút mạng là như sau:
,sgn
1
)()1(










−+=
∑
≠
=
+
n
ij

j
i
k
jij
k
i
xywy
θ
i = 1,2, ,n
Luật cập nhật trên được tính toán trong cách thức không đồng bộ. Điều này có
nghĩa là, với một thời gian cho trước, chỉ có một nút mạng cập nhật được đầu ra
của nó. Sự cập nhật tiếp theo trên một nút sẽ sử dụng chính những đầu ra đã
được cập nhật. Nói cách khác, dưới hình thức hoạt động không đồng bộ của
mạng, mỗi đầu ra được cập nhật độc lập.
Có sự khác biệt giữa luật cập nhật đồng bộ và luật cập nhật không đồng bộ. Với
luật cập nhật không đồng bộ thì sẽ chỉ có một trạng thái cân bằng của hệ (với giá
trị đầu đã được xác định trước). Trong khi đó, với luật cập nhật đồng bộ thì có
thể làm mạng hội tụ ở mỗi điểm cố định hoặc một vòng giới hạn.
Mạng BAM
Mạng BAM bao gồm hai lớp và được xem như là trường hợp mở rộng của mạng
Hopfield. Ở đây ta chỉ xét mạng rời rạc, vì nó đơn giản và dễ hiểu.
Cấu trúc của BAM
Khi mạng Neural được tích cực với giá trị đầu vào của vector tại đầu vào của
một lớp, mạng sẽ có hai mẫu trạng thái ổn định, với mỗi mẫu tại đầu ra của nó là
một lớp. Tính động học của mạng thể hiện dưới dạng tác động qua lại giữa hai
13
Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
lớp. Cụ thể hơn, giả sử một vector đầu vào x được cung cấp cho đầu vào của
lớp Neural y. Đầu vào được xử lý và truyền tới đầu ra của lớp y như sau:
y’ = a(wx) ;









=
∑
jiji
xway
'
; với i = 1,2, ,n (1.12)
Ở đó a(.) là hàm truyền, vector y’ bây giờ lại nuôi trở lại lớp Neural X và tạo nên
đầu ra như sau:
x’ = a(w
T
y’);






=
∑
=
n
i

ii jj
ywax
1
; với j = 1,2, ,m (1.13)
Sau đó x’ nuôi trở lại đầu vào của lớp y và tạo ra hàm y’’ theo phương trình
(1.12). Quá trình này cứ tiếp tục, bao gồm các bước như sau:
y
(1)
= a(wx
(0)
) (truyền thẳng lần thứ nhất)
x
(2)
= a(w
(T)
y
(1)
) (truyền ngược lần thứ nhất)
y
(3)
= a(wx
(2)
) (truyền thẳng lần thứ hai)
x
(4)
= a(w
(T)
y
(3)
) (truyền ngược lần thứ hai) (1.14)


y
(k-1)
= a(wx
(k-2)
) (truyền thẳng lần thứ k/2)
x
(k)
= a(w
(T)
y
(k-1)
) (truyền ngược lần thứ k/2)
1.5 Các luật học (Learning rules)
Thông thường, mạng Neural được điều chỉnh hoặc được huấn luyện để hướng
các đầu vào riêng biệt đến đích ở đầu ra. Cấu trúc huấn luyện mạng được chỉ ra
ở hình dưới. Ở đây, hàm trọng số của mạng được điều chỉnh trên cơ sở so sánh
đầu ra với đích mong muốn (taget), cho tới khi đầu ra của mạng phù hợp với
đích. Những cặp vào/đích (input/taget) được dùng để giám sát cho sự huấn
luyện mạng.
ANN
Trọng số w
i
So sánh
Đích
Dữ liệu vào
Điều chỉnh
Cấu trúc huấn luyện mạng Neural
Để có được một số cặp vào/ra, ở đó mỗi giá trị vào được gửi đến mạng và giá trị
ra tương ứng được thực hiện bằng mạng là sự xem xét và so sánh với giá trị

mong muốn. Bình thường, nó sẽ tồn tại một sai số vì giá trị mong muốn không
hoàn toàn phù hợp với giá trị thực. Sau mỗi lần chạy, ta có tổng bình phương
của tất cả các sai số. Sai số này được sử dụng để xác định các hàm trọng số
mới.
14
Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
Sau mỗi lần chạy, hàm trọng số của mạng được sửa đổi với đặc tính tốt hơn
tương ứng với đặc tính mong muốn. Từng cặp giá trị vào/ra phải được kiểm tra
và trọng số được điều chỉnh một vài lần. Sự thay đổi các hàm trọng số của mạng
sẽ được dừng lại, nếu tổng các bình phương sai số nhỏ hơn một giá trị đặt
trước, hoặc đã chạy đủ một số lần chạy xác định (trong trường hợp này, mạng
có thể không thoả mãn yêu cầu đặt ra do sai lệch còn cao). Có hai kiểu học:
Học tham số: là các tham số về trọng số cập nhật kết nối giữa các Neural.
Học cấu trúc: trọng tâm là sự biến đổi cấu trúc của các mạng Neural gồm số
lượng nút và các loại liên kết.
Giả sử ma trận trọng số bao gồm tất cả các phần tử thích ứng của mạng Neural.
Nhiệm vụ của việc học tham số là tìm ra được ma trận chính xác mong muốn từ
ma trận giả thiết ban đầu (với cấu trúc của mạng Neural có sẵn). Để làm được
điều này thì mạng Neural phải sử dụng các trọng số điều chỉnh, với nhiều
phương pháp học khác nhau để có thể tính toán gần đúng ma trận W cần tìm
đặc trưng cho mạng. Sau đây là 3 phương pháp học:
Học có giám sát (Supervised Learning)
Học có giám sát: là quá trình học có tín hiệu chỉ đạo bên ngoài d. Trong học có
giám sát, thì tại mỗi thời điểm khi đầu vào được cung cấp tới mạng Neural, phản
ứng đầu ra mong muốn d tương ứng của hệ thống được đưa ra. Khi mỗi đầu
vào x
(k)
được đặt vào mạng, đầu ra mong muốn tương ứng d
(k)
cũng được cung

cấp tới mạng. Hiệu giữa đầu ra thực y
(k)
và đầu ra mong muốn d
(k)
được đo trong
máy phát tín hiệu lỗi. Máy này sẽ tạo ra tín hiệu lỗi cho mạng để hiệu chỉnh các
trọng số của mạng, và với các hiệu chỉnh này thì đầu ra thực sẽ tiến sát với đầu
ra mong muốn.
Học có giám sát (supervised learning)
Học củng cố
Tín hiệu chủ đạo d có thể lấy từ môi trường bên ngoài, nhưng tín hiệu này không
được đầy đủ, mà chỉ có một vài bit đại diện có tính chất kiểm tra quá trình tốt hay
xấu. Học củng cố cũng là một dạng của học có giám sát, bởi vì mạng vẫn nhận
một số tín hiệu từ bên ngoài. Nhưng tín hiệu phản hồi chỉ mang tính chất đánh
giá hơn là mạng tính chất chỉ dẫn. Nó cho biết mức độ tốt hay xấu của một đầu
ra đặc biệt. Tín hiệu củng cố bên ngoài thường được xử lý bằng máy phát tín
15
Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
hiệu đánh giá để tạo ra nhiều hơn nữa các thông tin tín hiệu đánh giá, sau đó
dùng để điều chỉnh các trọng số với mục đích đạt được tín hiệu đánh giá tốt hơn.
Học không có giám sát (Unsupervised learning)
Học không có giám sát (Unsupervised learning)
Trong phần học không có giám sát, sẽ không có thầy hướng dẫn, tức là không
có tín hiệu d cung cấp tới mạch phản hồi. Điều này cho thấy, ta sẽ không biết
đầu ra đạt giá trị gì. Với loại này, thì các Neural tự xoay xở với các dữ liệu mẫu
mà nó có được, chứ không có “thầy” gợi ý cần luyện theo hướng nào. Mạng phải
tự khám phá mẫu, đặc tính, sự tương quan hay loại đầu vào. Trong khi khám
phá những đặc tính này, tham số của mạng sẽ bị thay đổi. Quá trình này được
gọi là tự tổ chức. Một ví dụ điển hình là quá trình phân loại đối tượng không có
thầy, những lớp thích hợp được hình thành bằng cách khám phá sự tương tự và

không tương tự trong số các đối tượng.
Dạng tổng quát của luật học trọng số của mạng Neural cho biết số gia của vector
w
i
là
i
w∆
tỉ lệ với tín hiệu học r và tín hiệu đầu vào x(t).
i
w
∆
(t) =
)( txr
η
(1.15)
η
là một số dương và được gọi là hằng số học dùng để xác định tốc độ học, r là
tín hiệu học và phụ thuộc:
).,,(
iir
dxwfr
=
(1.16)
Sơ đồ cấu trúc chung của quá trình học
16
Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
Ta thấy, vector trọng số w
i
= [w
i1

, w
i2
, , w
im
]
T
có số gia tỷ lệ với tín hiệu vào x và
tín hiệu học r. Vector trọng số ở thời điểm (t+1) được tính như sau:
w
i
(t+1) = w
i
(t) +
η
f
r
(w
i
(t),x(t),d(t)).x(t). (1.17)
Phương trình liên quan đến sự biến đổi trọng số trong mạng Neural rời rạc, và
tương ứng với sự thay đổi trọng số trong mạng Neural liên tục theo biểu thức
sau:
)( txr
dt
dw
i
η
=
(1.18)
Vấn đề quan trọng trong việc phân biệt luật học cập nhật trọng số có giám

sát hay không có giám sát, hoặc học củng cố là tín hiệu học r. Như vậy, đối với
tín hiệu học r thì nó làm thế nào để thay đổi hoặc cập nhật trọng số trong mạng
Neural.
Mạng Neural nhân tạo có các tính chất sau:
Là hệ phi tuyến
Là hệ xử lý song song
Là hệ học và thích nghi: Mạng được luyện từ số liệu quá khứ, có khả năng tự
chỉnh đầu vào khi số liệu đầu vào bị mất.
Là hệ nhiều biến, nhiều đầu vào, nhiều đầu ra (MISO), rất tiện dùng khi điều
khiển đối tượng có nhiều biến số.
Phần 2: Phần ứng dụng minh họa sử dụng mạng Neural
2.1 Dẫn nhập:
Trong phần này em trình bầy hai thuật toán dùng để huấn luyện mạng neural phổ
biến là thuật toán lan truyền ngược Backpropagation và thuật toán Rprop. Và em
cũng giới thiệu một số kiến thức cơ bản về các chỉ số chứng khoán để làm tiền
đề cho việc xây dựng ứng dụng, sau đó em trình bầy phần cài đặt chương trình
và một số kết quả thử nghiệm dưới dạng biểu đồ.
2.2 Thuật toán lan truyền ngược – Backpropagation
Như ta đã biết, có hai dạng thuật toán để luyện mạng: học có thầy và học không
có thầy. Các mạng Neural truyền thẳng nhiều lớp được luyện bằng phương pháp
học có thầy. Phương pháp này căn bản dựa trên việc yêu cầu mạng thực hiện
chức năng của nó và sau đó trảlại kết quả, kết hợp kết quả này với các đầu ra
mong muốn để điều chỉnh các tham số của mạng, nghĩa là mạng sẽ học thông
qua những sai sót của nó.
Thuật toán lan truyền ngược được ứng dụng để giải các bài toán điều khiển các
hệ phi tuyến phức tạp và bất ổn định. Lan truyền ngược là một phương pháp cho
phép xác định tập trọng số tốt nhất của mạng để giải một bài toán đã cho. Việc
áp dụng phương pháp lan truyền ngược là một quá trình lặp đi lặp lại nhiều lần
hai tiến trình chính: lan truyền tiến để thực hiện ánh xạ và lan truyền ngược sai
17

Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
số để cập nhật các trọng số. Các trọng số của mạng là các hệ số của mô hình.
Phương pháp giảm gradient được dùng để cập nhật những hệ số này sao cho
giảm thiểu được sai số của mô hình.
Về cơ bản, thuật toán lan truyền ngược là dạng tổng quát của thuật toán trung
bình bình phương tối thiểu (Least Means Square-LMS). Thuật toán này thuộc
dạng thuật toán xấp xỉ để tìm các điểm mà tại đó hiệu năng của mạng là tối ưu.
Chỉ số tối ưu (performance index) thường được xác định bởi một hàm số của ma
trận trọng số và các đầu vào nào đó mà trong quá trình tìm hiểu bài toán đặt ra.
Mô tả thuật toán
Xem xét một mạng với Q lớp lan truyền ngược, q=1,2, ,Q; với
q
net
i
và
q
y
i
lần
lượt là đầu vào và đầu ra của khối trong lớp thứ q. Mạng có m Neural đầu vào, l
Neural ở lớp ẩn, và n Neural đầu ra. Với
q
w
ij
là trọng số nối từ
q-1
w
j
đến
q

y
i
.
Đầu vào: các cặp huấn luyện {x
(k)
, d
(k)
| k=1,2, ,p}, ở đó giá trị đầu vào của phần
tử cuối cùng bằng -1, tức là
1
)(
1
−=
+
k
m
x
.
Bước 0 (Đặt giá trị ban đầu)
Lựa chọn bước tính (Hằng số học) 0<η<1 và E
max
(sai số lớn nhất cho phép).
Chọn các trọng số ban đầu nối từ phần tử thứ j của lớp (q – 1) đến phần tử thứ i
của lớp q là
q
w
ij
có giá trị nhỏ và ngẫu nhiên.
Cho sai số E = 0 và k = 1.
Bước 1 (Vòng lặp huấn luyện)

Áp dụng mẫu vào thứ k, cho lớp đầu vào q=1. Khi đó ta có:
q
y
i
=
1
y
i
= x
i
(k)
cho tất cả các i = 1,2,3,…,m. (1.34)
Bước 2 (Lan truyền thẳng)
Lan truyền tín hiệu thẳng xuyên suốt mạng sử dụng công thức (1.35) cho mỗi i
và q cho tới khi các đầu ra của lớp đầu ra
Q
y
i
được thực hiện.
).()(
1
∑
−
==
j
j
q
i j
q
i

q
i
q
ywanetay
(1.35)
Bước 3 (Đo lường sai số đầu ra)
Tính toán giá trị sai lệch và tín hiệu sai lệch
i
Q
δ
cho lớp đầu ra như sau:
EydE
i
Q
n
i
k
i
+−=
∑
=
2
1
)(
)(
2
1
; (1.36)
)'().(
)(

i
Q
i
Qk
ii
Q
netayd
−=
δ
(1.37)
Trong đó:
i
Q
δ
là tín hiệu sai lệch của Neural thứ i cho lớp ra Q; là đạo
hàm của hàm truyền a(.) theo tổng trọng số của phần tử i của lớp đầu ra là .
18
Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
)(
)'(
i
Q
i
Q
netd
da
neta
=
Bước 4 (lan truyền ngược sai số)
Các sai số lan truyền ngược với mục đích để cập nhật các trọng số và tính

toán các tín hiệu sai lệch
i
q
δ
1
−
cho các lớp xử lý:
j
q
i
q
ij
q
yw
1

−
=∆
δη
;
i j
qold
i j
qnew
ij
q
www
∆+=
(1.38)
j

j
q
ji
q
i
q
i
q
wneta
δδ
∑
−−
=
)(
1'1
; với q=Q,Q-1, ,2 (1.39)
Trong đó:
là sai lệch tại thời điểm tính của giá trị trọng số liên kết cập nhật mới và cũ,
liên kết từ phần tử thứ j của lớp q-1 đến phần tử i của lớp q.
là giá trị trọng số liên kết cập nhật mới từ phần tử thứ j của lớp (q-1)
đến phần tử i của lớp q.
là giá trị trọng số liên kết cũ từ phần tử thứ j của lớp (q-1) đến phần tử i của
lớp q.
là tín hiệu ra của phần tử j của lớp (q-1).
Bước 5 (Sau mỗi vòng lặp)
Kiểm tra xem đã lặp hết các giá trị mẫu huấn luyện chưa, nếu chưa quay vòng
hết (tức là k<p) tăng k=k+1, và nhảy tới bước 1, ngược lại (tức k=p) thì chuyển
sang bước 6.
Bước 6 (Kiểm tra tổng sai số)
Kiểm tra sự khác nhau giữa tổng sai số và sai số cho phép:

Nếu tổng sai số nhỏ hơn sai số cho phép (tức là E<E
max
) thì kết thúc quá trình
huấn luyện, và ghi lại các giá trị trọng số cuối cùng.
Trái lại, thì lại gán E=0, k=1 và bắt đầu một quá trình huấn luyện mới bằng cách
nhảy tới bước 1.
2.3 Thuật toán The Resilient Propagation (Rprop)
Thuật toán Rprop là một phương pháp học có giám sát sử dụng để huấn luyện
mạng neural nhiều lớp. Thuật toán này được giới thiệu lần đầu tiên năn 1994 bởi
Martin Riedmiller.
Mã giả của thuật toán như sau:
19
Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
Trong bài báo cáo này, em sử dụng thư viện mã nguồn mở encog-core-cs.dll đã
cài đặt sãn thuật toán này.
2.4 Giới thiệu các chỉ số chứng khoán trên thị trường Mỹ
2.4.1 Chỉ số S&P 500:
S&P 500 (Standard & Poor’s 500) là chỉ số chứng khoán dựa trên vốn hóa thị
trường của 500 công ty giao dịch công khai trên thị trường chứng khoán Mỹ,
nhằm cung cấp cho các nhà đầu tư thông tin về sự chuyển động tổng thể của thị
trường.
Chỉ số này được quản lý bởi Standard & Poor’s thuộc McGraw-Hill - công ty
thành lập các chỉ số khác như S&P MidCap 400, S&P SmallCap 600 và S&P
Composite 1500.
20
Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
Biểu đồ minh họa sự biến đổi của S&P500
Standard & Poor’s là công ty dịch vụ tài chính được thành lập vào năm 1923
theo dõi giá trị thị trường của 233 công ty. Sự xuất hiện của S&P 500 bắt đầu từ
năm 1957 khi số lượng công ty tăng lên con số 500. Kể từ đó, S&P 500 trở thành

một trong những chỉ số hàng đầu cho thị trường chứng khoán Mỹ.
Mục đích ban đầu của những người sáng lập S&P 500 là muốn tạo ra một chỉ số
cho các công ty có mức vốn hóa lớn, phản ánh tốt hơn thị trường chứng khoán
Mỹ. Ở thời điểm đó, chỉ số bình quân công nghiệp Dow Jones là chỉ báo hàng
đầu, nhưng vấn đề ở chỗ nó là một chỉ số giá và chỉ có 30 công ty thành phần.
Bằng cách định danh 500 cổ phiếu được giao dịch rộng rãivào chỉ số và tính
toán những thay đổi dưới dạng một chỉ số giá trị thị trường gia quyền, S&P 500
đã dần đại diện cho khoảng 70% tổng giá trị của thị trường chứng khoán Mỹ.
Các nhà quản lý quỹ tương hỗ sử dụng S&P 500 như một chỉ dẫn để xác định
tình trạng giao dịch đang diễn biến như thế nào. Ngoài ra, các quỹ như Vanguard
500 Index và ETF cũng dựa trên S&P 500.
Một ủy ban các nhà phân tích, nhà kinh tế của Standard & Poor’s sẽ xét theo quy
mô thị trường, thanh khoản và nhóm ngành của một công ty để quyết định chọn
làm công ty thành phần của chỉ số.
Để được định danh trong chỉ số, một công ty phải có giá trị vốn hóa thị trường ít
nhất từ 4,0 tỷ USD. Khi đánh giá tính thanh khoản, ủy ban sẽ xem xét tỷ lệ giá trị
đồng đô la thường niên của công ty giao dịch trên vốn hóa thị trường điều chỉnh
thả nổi với yêu cầu tỷ lệ này phải lớn hơn 1.0. Các công ty thành phần của S&P
500 thuộc những ngành như năng lượng, công nghiệp, công nghệ thông tin, y tế,
tài chính và sản phẩm tiêu dùng.
Giá trị của chỉ số S&P 500 liên tục thay đổi dựa trên sự chuyển động của 500 cổ
phiếu thành phần. S&P 500 sử dụng vốn hóa thị trường trung bình gia quyền khi
tính toán ảnh hưởng của từng công ty thành phần lên chỉ số.
Vốn hóa thị trường được tính bằng cách sử dụng công thức: số lượng cổ phiếu x
giá mỗi cổ phiếu. Nếu một công ty có 800 triệu cổ phiếu được bán với giá 50
USD/ cổ phiếu, thì giá trị vốn hóa thị trường tương đương là 40 tỷ USD.
21
Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
Sau khi giá trị vốn hóa thị trường của 500 công ty được tính toán, chúng được
cộng lại với nhau để có được một tổng số cho S&P 500. Từ đó, mỗi công ty

được chỉ định một tỷ lệ phần trăm của tổng số, đại diện cho ảnh hưởng của công
ty đó đối với chỉ số. Tỷ lệ phần trăm càng lớn thì tác động của công ty đó đối với
chỉ số S&P 500 càng nhiều.
Ưu điểm chính của S&P 500 là nó bao gồm các công ty hàng đầu ở các ngành
công nghiệp hàng đầu, chiếm khoảng 70% giá trị của thị trường chứng khoán
Mỹ. Chỉ số gồm một sự phân hạng đa dạng các công ty lớn phản ánh tất cả các
lĩnh vực có liên quan của nền kinh tế Mỹ. Điều này làm cho S&P 500 trở thành
một trong những chuẩn đánh giá tốt nhất thế giới cho các cổ phiếu có mức vốn
hóa lớn.
Về nhược điểm, mặc dù Standard & Poor’s cố gắng bao trùm tất cả các lĩnh vực,
thể hiện ở số lượng công ty thành phần là 500 công ty, nhưng trong thực tế 45
công ty thành phần chiếm hơn 50% giá trị của chỉ số. Do đó, S&P 500 có xu
hướng phản ánh sự biến động giá của một nhóm khá nhỏ các công ty.
2.4.2 Chỉ số Dow Jones Industrial Average, viết tắt DJIA:
Chỉ số trung bình công nghiệp Dow Jones hayChỉ số bình quân công nghiệp
Dow Jones (tiếng Anh: Dow Jones Industrial Average, viết tắt DJIA) là chỉ số lâu
đời nhất ở Mỹ do ông Charles H.Dow, cùng với công ty mang tên ông, thu thập
giá đóng cửa của chứng khoán để tính ra và công bố trên Wall Street Journal từ
năm 1896. Ban đầu, công ty chỉ tính giá bình quân của 12 cổ phiếu. Ngày tính
đầu tiên là 26/5/1896 với mức giá bình quân ngày này là 40,94 đôla. Năm 1916,
ông mở rộng ra 20 cổ phiếu và năm 1928 tăng lên 30 cổ phiếu. Số lượng này
được giữ vững cho đến ngày nay. Nhóm Top 30 này thường xuyên có sự thay
đổi. Khi công ty nào sa sút đến độ không đủ tiêu chuẩn để có thể được xếp vào
Top 30 của các cổ phiếu blue-chip, công ty đó lập tức sẽ bị thay thế bằng một
công ty khác đang trên đà tăng trưởng. Công ty duy nhất luôn có mặt trong Top
30 kể từ buổi sơ khai của thị trường chứng khoán là General Electric.
22
Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
Biểu đồ tuyến của chỉ số Dow Jones từ 1896 đến tháng 3 năm 2008
2.4.3 Chỉ số tổng hợp Nasdaq:

Chỉ số Nadasq được gọi là chỉ số tổng hợp Nasdaq (the Nasdaq composite),
được xây dựng trên giá cổ phiếu của toàn bộ các công ty niêm yết trên sàn giao
dịch chứng khoán Nasdaq.
Nasdaq được thành lập năm 1971 bởi Hiệp hội những người buôn bán chứng
khoán Quốc gia (NASD) và hiện đang được điểu hành bởi Nasdaq Stock Market,
Inc. Nasdaq là sàn giao dịch chứng khoán điện tử lớn nhất nước Mỹ, với khoảng
3.200 công ty niêm yết và số lượng cổ phiếu giao dịch bình quân nhiều hơn bất
kỳ sàn giao dịch khác ở Mỹ, kể cả NYSE. Có giá trị vốn hoá thị trường đứng thứ
3 thế giới (sau NYSE và Tokyo stock Exchange). Điểm khác biệt quan trọng giữa
Nasdaq với các sàn giao dịch chứng khoán lớn khác là ở chỗ nó là một sàn giao
dịch chứng khoán phi tập trung (OTC). Chỉ số Nasdaq được theo dõi nhiều nhất
đối với các công ty hoạt động trong lĩnh vực công nghệ.
Bên cạnh chỉ số tổng hợp Nasdaq còn có chỉ số Nasdasq 100 và Nasdasq
Financial 100 cũng là những chỉ số chứng khoán rất quan trọng. Một số mốc
chính với chỉ số tổng hợp Nasdaq:
- 17/7/1995: Lần đầu tiên chỉ số tổng hợp Nasdaq đóng cửa ở mức giá trên
1.000 điểm.
-10/3/2005: Chỉ số này đạt mức giao dịch cao kỉ lục 5.132,52 điểm.
-10/10/2002: Chỉ số tổng hợp Nasdaq tụt xuống mức thấp nhất 1.108,49 điểm.
Bên cạnh Nasdaq Composite thì Nasdaq 100 và Nasdaq Financial 100 cũng là
những chỉ số chứng khoán rất quan trọng. Nasdaq 100 là chỉ số chứng khoán
của 100 công ty phi tài chính lớn nhất được niêm yết trên Nasdaq, cả công ty
trong nước và quốc tế, còn Nasdaq Financial 100 là của các công ty tài chính.
23
Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
Để được lọt vào top 100 công ty trong chỉ số Nasdaq 100, một công ty phải đạt
được các số tiêu chí sau, bao gồm:
- Được niêm yết độc quyền trên Nasdaq.
- Đã niêm yết được ít nhất 2 năm( hoặc 1 năm nếu thoả mãn một số tiêu chuẩn
về vốn hoá thị trường).

- Khối lượng giao dịch bình quân ngày tối thiểu là 200,000 cổ phiếu.
- Lưu hành báo cáo hàng quí và hàng năm.
- Không đứng trước nguy cơ phá sản.
Ngoài ra, nếu công ty có nhiều loại cổ phiếu thì nó chỉ được phép có 1 cổ phiếu
với giá trị vốn hoá thị trường lớn nhất được tham gia vào chỉ số Nasdaq 100.
Danh mục công ty nằm trong Nasdaq 100 được tái cơ cấu lại theo chu kì 1 năm
hoặc sau khi xảy ra các vụ chia tách, sáp nhập các công ty trong top 100.
Trong danh sách của Nasdaq 100 được công bố 1/2/2007 có nhiều cái tên khá
quen thuộc trong lĩnh vực công nghệ như: Adobe Systems Incorporated (ADBE),
Amazon.com, Inc. (AMZN), Apple Inc. (AAPL), Cisco Systems, Inc. (CSCO), Dell
Inc. (DELL), eBay Inc. (EBAY)…
2.5 Thiết kế ứng dụng:
2.5.1 Mô hình thiết kế:
Mạng neural trong ứng dụng mạc định sẽ có 4 lớp.
 Lớp 1: Là lớp nhập gồm 40 dữ liệu nhập (input).
 Lớp 2: Lớp ẩn 1, bao gồm 41 nút(đây là giá trị mạc định, người dùng
có thể điểu chỉnh tùy ý)
 Lớp 3: Lớp ẩn 2, bao gồm 41 nút(đây là giá trị mạc định, người dùng
có thể điểu chỉnh tùy ý)
 Lớp 4: Lớp xuất gồm 4 nút.
Chương trình sử dụng Thuật toán The Resilient Propagation (Rprop) được cài
đặt trong thư viện mã nguồn mở encog-core-cs.dll để huấn luyện mạng.
Dữ liệu đầu vào sẽ bao gồm giá trị 10 ngày liên tiếp của từng chỉ số
NASDAQ,DOW, S&P500, PIR.
Mạng sẽ dự đoán giá trị của ngày thức 11 như mô tả dưới đây.
1
2 10 11
NASDAQ 2288.55 2301.66 2231.65 ?
DOW 12376.72 12319.73 12350.61 ?
S&P500 1110.88 1112.92 1099.5 ?

PIR 3.25 3.25 3.25 ?
Chương trình sẽ dùng cột dữ liệu Adj Close để huấn luyện mạng và minh họa
24
Phạm Xuân Dũng-CH1301007. Báo cáo môn Máy Học và Ứng Dụng
Dữ liệu dùng để huấn luyện và test mạng neural trong chương trình có cấu trúc
như sau:
Dữ liệu lịch sử của chỉ số DJIA(nguồn />(Nguồn dữ liệu từ là giai đoạn từ 1/10/1928 đến 1/4/2011)
Date Open High Low Close
Volum
e
Adj
Close
4/1/201
1
12321.
02
12454.
52
12301.
11
12376.
72
422374
0000
12376.
72
3/31/20
11
12350.
84

12422.
96
12277.
05
12319.
73
356627
0000
12319.
73
3/30/20
11
12280.
07
12413.
43
12271.
52
12350.
61
380957
0000
12350.
61
3/29/20
11
12193.
87
12310.
35

12141.
65
12279.
01
348258
0000
12279.
01
3/28/20
11
12221.
19
12272.
92
12197.
88
12197.
88
321517
0000
12197.
88
3/25/20
11
12170.
71
12290.
29
12143.
62

12220.
59
422374
0000
12220.
59
3/24/20
11
12087.
54
12221.
08
12064.
6
12170.
56
422374
0000
12170.
56
3/23/20
11
12018.
4
12131.
89
11936.
7
12086.
02

384235
0000
12086.
02
3/22/20
11
12036.
37
12096.
01
11965.
38
12018.
63
357655
0000
12018.
63
3/21/20
11
11860.1
1
12117.
88
11860.1
1
12036.
53
422373
0000

12036.
53
3/18/20
11
11777.
23
11971.
14
11777.
23
11858.
52
468550
0000
11858.
52
3/17/20
11
11614.
82
11842.
55
11614.
82
11774.
59
413495
0000
11774.
59

3/16/20
11
11854.
13
11862.
08
11548.
14
11613.
3
583300
0000
11613.
3
3/15/20
11
11988.
69
11988.
69
11648.
5
11855.
42
520140
0000
11855.
42
3/14/20
11

12042.
13
12058.
44
11873.
43
11993.
16
405037
0000
11993.
16
3/11/20
11
11976.
96
12087.
01
11936.
32
12044.
4
374040
0000
12044.
4
3/10/20
11
12211.
43

12211.
43
11924.
48
11984.
61
472302
0000
11984.
61
3/9/201 12211. 12293. 12106. 12213. 370952 12213.
25