luận văn thạc sĩ ứng dụng công nghệ mới vào việc xử lý và lưu trữ dữ liệu​

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN VĂN THỨC

ỨNG DỤNG CÔNG NGHỆ MỚI VÀO VIỆC XỬ LÝ VÀ LƯU TRỮ
DỮ LIỆU

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

Hà Nội - 2019


ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN VĂN THỨC

ỨNG DỤNG CÔNG NGHỆ MỚI VÀO VIỆC XỬ LÝ VÀ LƯU TRỮ
DỮ LIỆU
Chuyên ngành: Hệ thống thông tin
Mã số: 8480104.01

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

Người hướng dẫn khoa học: PGS. TS Nguyễn Hải Châu

Hà Nội - 2019


Mửc lửc

1 t vĐn ã vã b i toĂn tnh cữợc ang dũng ti Viettel
1.1
Mổ hnh, hiằn trng
1.1.1
1.1.2
1.2
Nhng tỗn ti cıa h»
2 Ph¥n t‰ch, lüa chån v thi‚t k‚ gi£i ph¡p
2.1
2.2
2.3
2.4

Mæ h…nh gi£i ph¡p c
2.1.1
2.1.2
Mæ h…nh gi£i ph¡p h
ph‰. . . . . . . . . . . . .
Mæ h…nh gi£i ph¡p m
So s¡nh gi£i ph¡p mi„
câ ph‰. . . . . . . . . .

3 ¡nh gi¡ thüc nghi»m so s¡nh gi£i ph¡p cô v gi£i phĂp
mợi
3.1
Mổ hnh logic hằ th
3.2
Phữỡng phĂp lĐy s liằ
3.3

PhƠn tch, so s¡nh sŁ

i


Danh s¡ch h…nh v‡

1.1 Mæ h…nh h» thŁng Viettel Billing. . . . . . . . . .
2.1
2.2
2.3
2.4

Mæ h…nh vt lỵ hằ thng Billing. . . . . . . . . . .
Mæ h…nh logic h» thŁng Billing. . . . . . . . . . .
Mæ h…nh gi£i ph¡p ho n to n mi„n ph‰. . . .
Mæ h…nh gi£i ph¡p k‚p hæp câ ph‰ v mi„n p

3.1
3.2
3.3
3.4
3.5
3.6
3.7

Mỉ h…nh thüc nghi»m vỵi cỉng ngh» cơ. . .
Mỉ h…nh thüc nghi»m vỵi cỉng ngh» mỵi. . .
Cỉng thức v kt quÊ tnh cù mÔu thỹc nghiằ
Import s li»u v o h» thŁng. . . . . . . . . . . . . . .

MŁi li¶n h» giœa thíi gian thüc nghi»m v dung l÷
So s¡nh thíi gian import giœa hai h» thŁng. . .
Bi”u di„n ph¥n bŁ dœ li»u thüc nghi»m cıa hai

ii


Thu“t ngœ v
Tł vi‚t t›t
KPI
CNTT
CSKH
CSDL
CDR
SQL
Switch
Load Balacing
Firewall

iii


Lới cam

oan

Tổi xin cam oan Ơy l cổng trnh nghiản cứu do tổi thỹc hiằn dữợi
sỹ hữợng dÔn ca PGS. TS. Nguy„n h£i Ch¥u t⁄i bº mỉn H» thŁng
Thỉng tin, Khoa Cỉng ngh» Thỉng tin, Tr÷íng ⁄i håc Cỉng ngh», ⁄i
håc QuŁc gia H Nºi. C¡c sŁ li»u v k‚t qu£ tr…nh b y trong lu“n ¡n l trung

thüc, ch÷a ÷ỉc cỉng bŁ bði b§t ký t¡c gi£ n o hay ð b§t ký cỉng tr…
nh n o kh¡c.
T¡c gi£

Nguy„n V«n Thøc

iv


Lới cÊm ỡn
Trữợc tiản tổi xin gòi lới cÊm ỡn ch¥n th nh v s¥u s›c ‚n thƒy gi¡o,
PGS. TS. Nguyn HÊi ChƠu ngữới  hữợng dÔn, khuyn khch, truyãn
cÊm høng, ch¿ b£o v t⁄o cho tỉi nhœng i•u ki»n tt nhĐt t khi bt u
nghiản cứu n khi ho n th nh lun vôn n y.
Tổi xin chƠn th nh c£m ìn c¡c thƒy cỉ gi¡o khoa Cỉng ngh» thỉng
tin, tr÷íng ⁄i håc Cỉng ngh», ⁄i håc QuŁc Gia H Nºi, °c bi»t l c¡c Thƒy
Cæ trong Bº mæn H» thŁng Thỉng tin ¢ t“n t…nh o t⁄o, cung cĐp cho
tổi nhng kin thức vổ cũng quỵ giĂ, Â to iãu kiằn tt nhĐt cho tổi ho
n th nh lun vôn n y.
ỗng thới tổi xin chƠn th nh cÊm ỡn cĂc bn trong lợp HHT24 Â to måi
i•u ki»n, gióp ï v bŁ tr‰ thíi gian tŁt nh§t d nh cho tỉi trong suŁt
qu¡ tr…nh l m lun vôn.
Cui cũng, tổi xin chƠn th nh cÊm ỡn nhng ngữới thƠn trong gia
nh cũng to n th bn b  luổn giúp ù, ng viản tổi nhng lóc g°p ph£i
khâ kh«n trong suŁt qu¡ tr…nh håc t“p v nghi¶n cøu.

v


Giợi thiằu

t vĐn
ã
Cổng nghằ thổng tin ng y c ng õng vai trặ quan trồng trong phĂt trin
kinh t, x hºi. Cæng ngh» thæng tin v vi„n thæng l mºt trong nhœng ºng
lüc ch‰nh t⁄o n¶n bº m°t th‚ k 21. Ngo i ra, cæng ngh» thæng tin
v vi„n thæng cặn l mt trong nhng iãu kiằn chnh quyt nh sỹ phĂt
trin ca nãn kinh t th giợi. Nõ tĂc ºng s¥u s›c ‚n c¡ch chóng ta ang sŁng,
håc t“p v l m viằc; n cĂch thức nh nữợc giao tip vợi dƠn. Nõ cụng to ra
nhng thĂch thức kinh t, x hi trữợc cĂc cĂ nhƠn, doanh nghiằp, cng
ỗng mồi nỡi trản trĂi Đt nhm t hiằu quÊ v t‰nh s¡ng t⁄o cao hìn. T§t c£
chóng ta ang ứng trữợc v cn nm bt cỡ hi n y.
Theo nghiản cứu ca IDC Group - mt trong nôm cổng ty h ng u vã lắnh
vỹc cổng nghằ thổng tin t⁄i Vi»t Nam, ng nh cæng ngh» thæng tin s‡

âng gâp kho£ng 1,16 ngh…n t USD v o GDP cıa chƠu - ThĂi Bnh
Dữỡng vợi t lằ tông trững hng nôm 0,8%. Nôm 2017, chim khoÊng 6%
GDP ca chƠu - Th¡i B…nh D÷ìng ‚n tł c¡c s£n ph'm v dàch vư cỉng ngh»
thỉng tin, thỉng qua vi»c sß dưng c¡c cæng ngh» sŁ. IDC dü b¡o con
sŁ n y s‡ tông lản 60% GDP khu vỹc chƠu - ThĂi Bnh Dữỡng v o nôm
2021. Cụng theo s liằu IDC, khoÊng 84% c¡c tŒ chøc, doanh nghi»p trong
khu vüc ¢ v ang trong h nh tr…nh chuy”n Œi sŁ. Tuy nhi¶n, ch cõ 7%

cĂc doanh nghiằp tiản phong v Ơy l nhœng ìn và câ chi‚n l÷ỉc ph¡t
tri”n cỉng ngh» thỉng tin.
Trong cuºc ua ph¡t tri”n v Œi mỵi cỉng ngh», ai nhanh hìn ng÷íi â s‡
chi‚m th‚ th÷ỉng phong v t ữổc nhiãu th nh tỹu. Chnh v vy, mt
iãu rĐt quan trồng õ l cĂc doanh nghiằp phÊi thữớng xuyản i mợi cổng
nghằ, cp nht cĂc cổng nghằ mợi ” ¡p dưng v o qu¡ tr…nh s£n xu§t
kinh doanh. °c bi»t l Łi vỵi c¡c cỉng ty cỉng ngh», ngo i viằc cp nht
cổng nghằ mợi nhĐt cặn phÊi u tữ nghiản cứu chuyản sƠu vã cổng

nghằ. Mt cỉng ty ph¡t tri”n b•n vœng cƒn ph£i câ c¡c nghiản cứu cỡ
bÊn hoc cõ cĂc sÊn ph'm ct lêi l m nãn tÊng cho cổng ty mnh.
o lữớng cụng l mºt trong nhœng th nh phƒn r§t quan trång trong
vi»c ph¡t tri”n v Œi mỵi cỉng ngh». C¡c cỉng ty v doanh nghi»p cƒn
ph£i sß dưng c¡c ch¿ sŁ o l÷íng (Key Performance Indicator-KPI) ” o
l

1


c¡c ch¿ sŁ nh÷ hi»u qu£ cıa quy tr…nh, vŁn dœ li»u, sü ıng hº cıa kh¡ch
h ng, sü h i lặng ca khĂch h ng, t i nguyản hằ thŁng... B§t ký sü ph¡t
tri”n ho°c thay Œi n o ãu phÊi o c ữổc trữợc v sau khi Ăp dưng cỉng
ngh» mỵi, tł â mỵi câ ¡nh gi¡ ch‰nh x¡c ÷ỉc sü thay Œi n y câ thüc sü
hi»u qu£ hay khỉng.
Tuy nhi¶n vi»c thüc hi»n ¡p dưng v nghi¶n cøu ¡p dưng cỉng ngh»
thỉng tin v o qu¡ trnh sÊn xuĐt ti cĂc doanh nghiằp cặn chm. Nhiãu
cổng ty vÔn cặn sò dửng cĂc cổng nghằ trữợc thới i”m hi»n t⁄i c£ chưc
n«m, m°c dị cỉng ngh» thay Œi h ng ng y v °c bi»t l Łi vỵi ng nh cỉng
ngh» thỉng tin. Łi vỵi c¡c cỉng ty chuyản sƠu vã cổng nghằ vÔn chữa
cõ nhng nghiản cøu cì b£n ho°c câ c¡c s£n ph'm cŁt lªi cõ ting vang
trản th trữớng. Ơy l mt im yu l m cho ng nh cổng nghằ thổng tin ca
nữợc ta chữa phĂt trin t ữổc nhữ ký vồng.
XuĐt phĂt tł thüc tr⁄ng n y, t¡c gi£ ÷a ra mºt vĐn ã khổng mợi những
vÔn chữa ữổc khc phửc ti mt s cĂc doanh nghiằp lợn vã vin thổng.
Vin thổng v cổng nghằ thổng tin phÊi i liãn vợi nhau v vin thổng cn
Ăp dửng rĐt nhiãu cĂc cổng nghằ mợi ca ng nh cổng nghằ thổng
xò lỵ d liằu" s
tin. ã t i " p dửng cổng nghằ mợi v o vi»c l÷u trœ v
÷a ra ph÷ìng ¡n

ch¿ ra nhœng h⁄n ch‚ cıa h» thŁng Billing hi»n t⁄i v
kh›c phửc.

Mửc tiảu nghiản cứu
p dửng nhng cổng nghằ mợi v o viằc lữu tr v xò lỵ d liằu lợn.
Trong ng nh vi„n thæng th… dœ li»u l cüc ký lợn, nhĐt l i vợi d liằu
liản quan n cuc gåi, tin nh›n v h nh vi sß dưng dœ li»u. Łi vỵi nh m⁄ng
Viettel th… nhœng dœ li»u n y ph¡t sinh kho£ng 2,5TB ‚n 3T trong mºt
th¡ng, Łi vỵi nh m⁄ng VinaPhone th… dœ li»u n y kho£ng 1,5T ‚n 2TB
mºt th¡ng. º lỵn cıa dœ li»u phư thuc v o s lữổng thuả bao ca mỉi nh
mng v c¡c thỉng tin li¶n quan m tŒng i s‡ ghi nh“n l⁄i.
• t i n y s‡ ch¿ ra n‚u nh m⁄ng ¡p dưng c¡c cỉng ngh» mỵi th… tc
import d liằu cõ th tông lản n 1,5 ‚n 2 lƒn so vỵi cỉng ngh» cơ. C¡c
sŁ li»u trong ã t i l ữổc chy trản hằ thng LAB cõ cĐu hnh cao, dung
lữổng mỉi mÔu t 1 ng y ‚n 3 ng y so vỵi dœ li»u th“t. K‚t qu£ so s¡nh l
thüc nghi»m cıa vi»c sß dửng bi ngổn ng R gia hai mÔu d liằu
sò dưng cỉng ngh» mỵi v cỉng ngh» cơ.
Trong ph⁄m vi • t i n y, t¡c gi£ ch¿ t“p trung v o phƒn tŁi ÷u import dœ
li»u CDR v o Database, chữa ti ữu phn xò lỵ v hin th dœ li»u cho
kh¡ch h ng.

2


B cửc ca lun vôn
Lun vôn ữổc tnh b y chia l m 3 chữỡng:
Chữỡng 1: t vĐn ã vã b i toĂn tnh cữợc ang dũng ti Viettel.
Chữỡng 2: PhƠn tch, lỹa chồn v thit k giÊi phĂp.
Chữỡng 3: ¡nh gi¡ thüc nghi»m so s¡nh gi£i ph¡p cô v gi£i ph¡p mỵi.

3


Chữỡng 1

t vĐn ã vã b i toĂn tnh cữợc ang
dịng t⁄i Viettel
1.1
1.1.1

Mỉ h…nh, hi»n tr⁄ng v nghi»p vư cıa h» thŁng Viettel Billing.
Giỵi thi»u mỉ h…nh h» thŁng Viettel Billing.

H…nh 1.1: Mæ h…nh h» thŁng Viettel Billing.

Mæ h…nh h» thng Viettel Billing ữổc xƠy dỹng t nhng nôm 2006
v ÷ỉc ph¡t tri”n cho tỵi ng y nay. Nh÷ng cì bÊn khổng cõ sỹ khĂc biằt
lợn vã mt cổng nghằ, ch yu l ữổc b sung thảm t i nguyản hằ
thng cõ th xò lỵ ữổc khi lữổng d liằu lợn hỡn.
Tuy vy, viằc b sung thảm t i nguyản khổng th bũ p ữổc cho sỹ
phĂt trin nhanh châng v• m°t dœ li»u. Ngo i ra, vi»c bŒ sung thảm nhiãu
t i nguyản s l m cỗng kãnh bº m¡y v“n h nh khai th¡c do sŁ l÷ỉng
node mng tông lản nhanh, kt ni gia cĂc hằ thng cơng phøc t⁄p hìn.
H» thŁng ÷ỉc chia l m ba nhâm ch‰nh:
- Nhâm h» thŁng tŒng i thuºc nhâm c¡c thi‚t bà vi„n thæng, c¡c h»
thŁng tŒng i sau khi k‚t nŁi ” thüc hi»n cuºc gåi cho kh¡ch h ng s‡
4


'y ra CDR

tnh cữợc cho khĂch h ng. Nôm 2006 cõ khoÊng 5 tng
i, những n nôm 2019 th s lữổng tng i  lản tợi con s 30;
- Nhâm h» thŁng Billing Gateway, dòng ” chung chuy”n dœ li»u
CDR v• h» thŁng Billing. To n bº dœ li»u tng i s ữổc 'y vã hằ thng
Billing Gateway. Hiằn t⁄i câ kho£ng 15 m¡y chı ” phöc vö cho hằ thng
Billing gateway, tng d liằu chung chuyn lản tợi 100G/ng y;
- Nhâm h» thŁng Billing dòng ” import dœ liằu v o trong Database, t
nh cữợc cuc gồi v hi”n thà dœ li»u cho kh¡ch h ng tra cøu.
Cö th mổ tÊ chức nông ca tng nhõm nhữ sau:
a. H» thŁng tŒng i.
+ H» thŁng câ kho£ng 30 tŒng i thuºc nhi•u Łi t¡c kh¡c nhau.
+ To n bº c¡c thỉng tin v• cuºc goi, tin nh›n v làch sò truy nhp d
liằu ãu ữổc cĂc tng i ghi nh“n l⁄i.
+ Dœ li»u n y ành ký s‡ ÷ỉc 'y vã hằ thng Billing Gateway.
b. Hằ thng Billing Gateway.
+
Ơy l nìi l÷u trœ trung gian to n bº dœ li»u chuy”n tł tŒng i v• h»
thŁng Billing.
+ Dœ li»u ÷ỉc l÷u d÷ỵi d⁄ng text ho°c d⁄ng binary.
+ Dœ li»u trản hằ thng n y s ữổc lữu ngn hn v s ữổc backup
trữợc khi xõa.
+ Mửc nh ca hằ thŁng n y ”: l÷u dœ li»u t“p trung cho h» thŁng
Billing, câ ı dung l÷ỉng ” l÷u khi h» thng Billing cn tnh li cữợc
(Tng i khổng dung l÷ỉng ” l÷u), backup dœ li»u t“p chung.
c.

H» thŁng Billing.
+ ¥y l h» thŁng l÷u trœ to n bº dœ liằu tng i dữợi dng bÊng.
+ Hằ thng chy trản n•n t£ng m¡y chı Linux v cì sð dœ li»u Oracle.
+ Dœ li»u import 1 th¡ng kho£ng gƒn 2 TB.

+ Sau khi dœ li»u ÷ỉc import v o th… c¡c nghiằp vử tnh cữợc ãu
chy trản d liằu n y.

1.1.2

CĂc nghiằp vử tnh cữợc

CĂc nghiằm vử tnh cữợc ãu rĐt phức tp, mỉi ln chy ãu chim mt
lữổng lợn t i nguyản mĂy ch, xò lỵ vợi mt khi lữổng lợn d liằu. Kt
quÊ cui cũng l tnh ra ữổc tiãn sò dửng ca tng thuả bao  phĂt sinh
cữợc.
câ th” hi”u ÷ỉc º phøc t⁄p cıa qu¡ tr…nh xò lỵ, dữợi Ơy l cĂc mổ tÊ
ca quĂ trnh xò lỵ hằ thng tnh cữợc[11]:

5


a. Nghi»p vư L§y dœ li»u tł h» thŁng Billing Gateway.
+ Bữợc 1: Qut thữ mửc chứa d liằu tng i.
+ Bữợc 2: Kim tra mÔu nh dng ca file CDR.
- Nu khổng úng mÔu nh dng th khổng xò lỵ file õ.
- Nu úng mÔu nh dng file:
Nu tin trnh ữổc chia th nh nhiãu tin trnh nhọ: thỹc hiằn
lồc file theo MOD(sequence, 10), chuyn sang Bữợc 3.
Nu ch 1 ti‚n tr…nh khæng thüc hi»n låc file theo
MOD(sequence, 10), chuyn sang Bữợc 3.
+ Bữợc 3: Kim tra dung lữổng cứng trản mĂy Local.
- Nu dung lữổng cứng th chuyn sang Bữợc 4.
- Nu dung lữổng cøng khæng ı th… nh›n tin c£nh b¡o v
quay l⁄i Bữợc 1.

+ Bữợc 4: Download vã thữ mửc trản mĂy Local v chuyn sang
Bữợc 5.
+ Bữợc 5: Xò lỵ vợi nhng file  ữổc download vợi 1 trong 4 tũy
chồn:
- Xâa file.
- Thay Œi t¶n file.
- Chuy”n file sang mºt thữ mửc khĂc trản FTP Server.
b. Nghiằp vử Import d liằu v o Database.
+ Bữợc 1: Qut thữ mửc chứa file  download vã.
Format: Tản dch vử + ng y + thĂng +nôm
Bữợc 2: Kim tra mÔu nh dng file.
- Nu khổng úng mÔu nh dng th khổng xò lỵ.
- Nu úng mÔu nh dng file th chuyn sang Bữợc 3.
+ Bữợc 3: ồc ni dung trong file.
+ Bữợc 4: Ki”m tra c§u tróc nºi dung file.
- N‚u khỉng óng cĐu trúc th lữu file n thữ mửc Unrate v ghi
log.
- Nu úng cĐu trúc th chuyn sang Bữợc 5.
+ Bữợc 5: Insert theo batch v o Database.
- Nu insert khæng th nh cæng th… ghi thæng tin ra log v lữu
file n thữ mửc Unrate v chuyn sang Bữợc 6.
- N‚u insert th nh cỉng th… l÷u file ‚n thữ mửc Rate v chuyn
sang Bữợc 6.
+ Bữợc 6: Backup file.
- TĐt cÊ cĂc file chứa trong thữ mửc tm trản mĂy Local ữổc lữu
li v o thữ mửc Backup.
+

6

c. Nghiằp vử Tng hổp cữợc
nh ký.
+ Bữợc 1: Khi ÷æc k‰ch ho⁄t h» thŁng s‡ tü load c¡c bill item.
+ Bữợc 2: Hằ thng Billing ồc d liằu chi tit cữợc trong chu ký
cht s.
+ Bữợc 3: Hằ thng tng hổp theo cĂc tiảu ch.
+ Bữợc 4: Cp nht dœ li»u tŒng hỉp v o b£ng tŒng hỉp.
d.

Nghi»p vư Tng hổp cữợc nõng.
+ Bữợc 1: Tm kim thổng tin vã thuả bao, hổp ỗng cn cht cữợc
nõng.
- Khi cõ y¶u cƒu tł kh¡ch h ng muŁn thüc hi»n chŁt cữợc nõng
cho cĂc thuả bao, hổp ỗng, ngữới dũng s thüc hi»n t…m ki‚m
thæng tin cƒn chŁt v o h» thng.
+ Bữợc 2: Thỹc hiằn cht cữợc nõng.
- Sau khi t…m ki‚m thỉng tin cƒn chŁt, ng÷íi dịng k‰ch ho⁄t
sü kiằn cht cữợc nõng cho thuả bao, hổp ỗng. + Bữợc 3: Tnh
toĂn s liằu phĂt sinh trong ký cho thuả bao, hổp ỗng.
- Hằ thng s tnh toĂn s li»u ph¡t sinh tł ƒu chu ký cho ‚n thíi
i”m cht cữợc nõng ca thuả bao, hổp ỗng cn cht.
+ Bữợc 4: Tnh toĂn s liằu iãu chnh trong ký cho thuả bao, hổp
ỗng.
i vợi cĂc iãu chnh cho thuả bao, hổp ỗng cn cht cữợc
nõng t u ký, hằ thŁng cơng tŒng hỉp sŁ li»u c¡c i•u ch¿nh n y.
+ Bữợc 5: Tnh toĂn cổng nổ cho cĂc thuả bao, hổp ỗng ca
khĂch h ng.
- Cổng nổ ca cĂc thuả bao, hổp ỗng cn cht cữợc nõng ữổc
tnh theo cổng thức nhữ sau:

Cữợc nõng = Tng s u ký - tng s tiãn  thanh
toĂn + tng s phĂt sinh trong ký + tng s iãu chnh
trong ký.
+ Bữợc 6: NhƠn viản tnh cữợc chu'n b cƠu lằnh SQL ” ki”m tra
vi»c thüc hi»n khâa sŒ.

e.

Nghi»p vư Ph¥n t‰ch giao dàch treo.
Giao dàch treo l c¡c giao dàch ph¡t sinh trong thíi i”m ang khâa
sŒ, ho°c sau thíi i”m khõa s, những giao dch trữợc Đy ca hổp
ỗng ang l giao dch treo.
+ Bữợc 1: LĐy danh sĂch tĐt cÊ cĂc giao dch treo, thổng tin cn
lĐy bao gỗm(bao gỗm cÊ 2 trữớng hổp khĂch h ng ch ra thu¶ bao
v khỉng ch¿ ra thu¶ bao cƒn thanh to¡n).
+ Bữợc 2: PhƠn tch giao dch treo theo nguyản tc g⁄ch næ, phƒn
7


y tham kh£o nguy¶n t›c g⁄ch nỉ b¶n payment (c“p nh“t thỉng
tin thanh to¡n chi ti‚t tłng th¡ng theo thu¶ bao v theo hổp ỗng), sau
õ Ănh dĐu l giao dch  ữổc phƠn tch.
i vợi s tiãn  fill v o thuả bao th s phƠn tch xung theo
thuả bao theo nguy¶n t›c tł th¡ng xa ‚n th¡ng gƒn.
Łi vợi s tiãn chữa fill v o thuả bao n o th phƠn tch theo
nguyản tc nhữ mt thanh toĂn mợi t u, tức l s phÊi chồn thuả bao
theo nguyản tc trản hằ thng, sau mợi fill s tiãn theo nguyản tc
phƠn tch nổ.
+ Bữợc 3: Kim tra li xem cặn giao dch n o ữổc 'y v o thảm
khổng.

+ Bữợc 4: Nu khổng cặn giao dch th kt thúc. Nu cặn giao
dch th quay li Bữợc 1.
n

f.

Nghiằp vử Khõa s.
+ Bữợc 1: Tm kim danh sĂch cn iãu chnh.
i vợi quy trnh iãu chnh th phÊi xĂc nh ữổc danh sĂch
cĂc thuả bao (hoc hổp ỗng) iãu ch¿nh. C¡c thỉng tin cì b£n ” t…
m ki‚m bao gỗm:
S CMT/H chiu, m s thu.
S hổp ỗng cõ thuả bao cn iãu
chnh. S thuả bao cn iãu chnh.
+ Bữợc 2: Nh“p sŁ li»u i•u ch¿nh.
- Sau khi x¡c ành ữổc danh sĂch thuả bao (hoc hổp ỗng) cn
iãu chnh, ph£i thüc hi»n nh“p sŁ ti•n cƒn i•u ch¿nh cho cĂc thuả
bao (hổp ỗng) õ.
+ Bữợc 3: Kim tra xem cõ phÊi iãu chnh cho hổp ỗng hay
khổng? Nu l iãu chnh cho hổp ỗng th thỹc hiằn Bữợc 3, nu l
iãu chnh cho thuả bao th thỹc hiằn Bữợc 4.
+ Bữợc 4: Tnh toĂn s liằu iãu chnh cho thuả bao trong hổp ỗng
theo quy tc cĐu hnh.
- Hằ thŁng câ c¡c tham sŁ c§u h…nh ” ¡p dưng cĂc quy tc phƠn
b iãu chnh cho cĂc thuả bao trong hổp ỗng, cĂc quy tc phƠn
b n y cõ th l :
PhƠn b ãu cho cĂc thuả bao trong hổp ỗng.
PhƠn b theo t lằ phn trôm ca cữợc phĂt sinh.
PhƠn b theo t lằ phn trôm ca s ti•n ph£i thanh to¡n.
- Sau khi ¡p dưng quy t›c phƠn b cho tng hổp ỗng s tnh

toĂn ữổc s liằu iãu chnh cho tng thuả bao trong hổp ỗng õ.
+ Bữợc 5: Thỹc hiằn iãu chnh cho thuả bao.
- i vợi iãu chnh thuả bao th bt u thỹc hi»n i•u ch¿nh, Łi
8


vợi iãu chnh hổp ỗng th sau khi tnh toĂn ra s liằu iãu chnh
cho tng thuả bao trong hổp ỗng, s bt u thỹc hiằn iãu chnh.
+ Bữợc 6: X¡c ành xem lo⁄i i•u ch¿nh cỉng nỉ câ ph£i l iãu chnh
Ơm khổng? Nu l giao dch iãu chnh Ơm th thỹc hiằn Bữợc 8,
nu l giao dch iãu chnh dữỡng th thỹc hiằn Bữợc 7.
+ Bữợc 7: Nu giao dch iãu chnh l giao dch iãu chnh dữỡng th
lữu li giĂ tr iãu chnh thỹc hiằn cht s cui ký.
+ Bữợc 8: PhƠn tch li cổng nổ ca thuả bao.
- Nu loi iãu chnh l giao dch iãu chnh Ơm th lp danh sĂch
cổng nổ chi tit ca thuả bao vợi thứ tỹ t ký nổ cữợc xa n ký nổ
cữợc gn, sau õ i vợi mỉi b£n ghi cæng næ chi ti‚t thüc hi»n.
- X¡c ành s tiãn iãu chnh i vợi thuả bao õ ( C0).
- Nu s tiãn iãu chnh lợn hỡn s tiãn cặn nổ ca ký nổ xa (N0)
nhĐt th:
Ghi s tiãn iãu chnh cho ký nổ xa nhĐt bng s tiãn nỉ
(N0). SŁ ti•n i•u ch¿nh cho ký nỉ gƒn hìn (N1) = C0 N0.
Thüc hi»n li¶n lưc cho ‚n khi s tiãn iãu chnh mợi ( Cn) nhọ
hỡn s tiãn nỉ (Nn).
- N‚u sŁ ti•n i•u ch¿nh nhä hìn sŁ tiãn cặn nổ ca ký nổ xa nhĐt
th:
Tr bợt nổ cui ký trữợc ca thuả bao õ s tiãn bng vợi s
tiãn iãu chnh.
+ Bữợc 9: Cp nht cổng nổ ca thuả bao, hổp ỗng.
g. Nghiằp vử Khuyn mi.

+ Bữợc 1: Liằt kả cĂc chữỡng trnh khuyn mi cặn hiằu lüc.
- Khi thüc hi»n t‰nh to¡n sŁ li»u khuy‚n m⁄i cn lản danh sĂch
cĂc chữỡng trnh khuyn mi ang cõ hi»u lüc. C¡c ch÷ìng tr…nh
khuy‚n m⁄i ang câ hi»u lüc lĐy trong danh mửc khuyn mi.
+ Bữợc 2: Tm kim danh sĂch thuả bao, hổp ỗng thêa mÂn
chữỡng trnh khuyn m⁄i.
- MØi ch÷ìng tr…nh khuy‚n m⁄i s‡ tham chi‚u ‚n mt danh sĂch
cĂc thuả bao thêa mÂn cĂc iãu kiằn ca chữỡng trnh khuyn mi õ,
bữợc n y thit lp tm ra ữổc danh sĂch thuả bao, hổp ỗng.
+ Bữợc 3: Sp xp cĂc chữỡng trnh khuyn mi theo thứ tỹ ữu tiản.
- CĂc chữỡng trnh khuyn mi s ÷ỉc s›p x‚p theo thø tü ÷u
ti¶n phưc vư cho viằc chy chữỡng trnh khuyn mi n o trữợc trong
hằ thng.
- CĂc thổng tin cỡ bÊn:
MÂ chữỡng trnh khuyn mi.
Thứ tỹ ữu tiản ca cĂc chữỡng trnh khuyn mi.
9


Bữợc 4: Khuyn mi l d nh cho cĂc hổp çng hay l cho thu¶ bao?
N‚u l khuy‚n m⁄i d nh cho hổp ỗng th chuyn sang Bữợc 5, nu
khổng th chuyn sang Bữợc 6.
+ Bữợc 5: Tm kim danh sĂch ca cĂc thuả bao trong hổp ỗng.
i vợi khuyn mi cho hổp ỗng, phÊi tm ữổc danh sĂch cĂc
thuả bao trong hổp ỗng phƠn b cĂc khuyn mi cho c¡c thu¶ bao
â, sau â s‡ tŒng hỉp khuy‚n mi lản mức hổp ỗng.
+ Bữợc 6: p dửng v tnh s khuyn mi cho thuả bao.
- Khi  tm ÷ỉc danh s¡ch c¡c thu¶ bao ÷ỉc khuy‚n m⁄i, h»
thŁng s‡ thüc hi»n t‰nh to¡n c¡c ch÷ìng tr…nh khuy‚n m⁄i cho tng
thuả bao. CĂch tnh khuyn mi ữổc lữu tr trong cĂc script ca

tng chữỡng trnh khuyn mi.
+ Bữợc 7: Cp nht s liằu khuyn mi cho hổp ỗng.
- S liằu khuyn mi sau khi ữổc tnh toĂn cho thuả bao s
ữổc cp nht lản mức hổp ỗng.
+

h.

Nghiằp vử Kim tra.
+ Bữợc 1: NhƠn viản tnh cữợc chu'n b cƠu lằnh SQL kim tra
viằc thỹc hiằn khõa s.
+ Bữợc 2: Thỹc hiằn cƠu lằnh kim tra d liằu  tŒng hỉp vỵi dœ
li»u vła thüc hi»n tŒng hỉp, N‚u dœ li»u óng th… k‚t thóc. N‚u dœ
li»u bà sai lằch th s thỹc hiằn tip Bữợc 3.
+ Bữợc 3: Thỹc hiằn kim tra d liằu theo cĂc hữợng (Bill Item), nu
cõ hữợng sai th s kim tra ti Bữợc 4. bữợc n y ta s cõ danh
sĂch cĂc hữợng b lằch, ta thỹc hiằn tip kim tra tng hữợng b lằch.
+ Bữợc 4: Thỹc hiằn kim tra d liằu theo ng y ca hữợng b lằch.
bữợc n y ta s‡ câ danh s¡ch c¡c ng y bà lằch ca hữợng Đy, v thỹc
hiằn kim tra tip n mức nhọ hỡn.
+ Bữợc 5: Kim tra d liằu tng hổp ca thuả bao, v ữa ra danh
sĂch cĂc thuả bao b lằch cữợc.

ii.

Nghiằp vử In thò.
+ Bữợc 1: LĐy danh s¡ch t§t c£ kh¡ch h ng câ thỉng b¡o cữợc trản
hằ thng.
+ Bữợc 2: Sp xp li theo thứ tỹ ữu tiản vợi cĂc tiảu ch NSD chồn.
+ Bữợc 3: GĂn cho KH mt s thứ tỹ nhữ Â sp xp Bữợc 2 v lữu v o

CSDL. Km theo viằc gĂn l to ra mt m barcode (nhữ mæ t£ ð t i
li»u THNV). V t⁄o ra mºt m¢ jobin cho kh¡ch h ng, mØi kh¡ch h ng
s‡ thuºc mºt nhâm câ chung mºt m¢ jobin, trong mºt jobin s cõ
khoÊng 3000-4000 item no liản tip nhau, tuƠn theo nguyản tc mt
jobin khổng ữổc thuc 2 nhõm in, mºt jobin khæng
10


÷æc thuºc 2 tŒ thu (Nhâm in l mºt b£ng danh möc, danh möc n y s‡
ch¿ ra mºt h…nh thức quÊn lỵ s thuc mt nhõm in n o Đy, v dử
nhõm 1 gỗm KNT v N1K, nhõm 2 gỗm nổ ồng, nhõm 3 KX . . . ).

j. Nghiằp vử PhĂt h nh thổng bĂo cữợc.
+ Bữợc 1: Thỹc hiằn Import cĂc d liằu  tnh cữợc v o CSDL.
+ Bữợc 2: Kim tra li s lữổng cĂc bÊn ghi trong CSDL ữổc Import
ca Cổng ty cữợc v dœ li»u tr¶n cì sð dœ li»u Billing câ ch‰nh xĂc
khổng. Nu khổng chnh xĂc phÊi Import li.
+ Bữợc 3: Tm khĂch h ng cõ y cĂc hữợng gồi( v‰ dư: i•u ki»n l
ƒy ı dàch vư, ƒy ı c¡c gâi s£n ph'm, ƒy ı c¡c khuy‚n m⁄i hi»u lỹc, y
cĂc dch vử VAS...).
+ Bữợc 4: Tin h nh in thò khĂch h ng va tm ữổc thọa mÂn cĂc iãu
kiằn trản.
+ Bữợc 5: Kim tra thổng tin trản thổng bĂo cữợc, chi tit cữợc in thò,
nu chnh cĂc th nhƠn viản phặng Billing kỵ xĂc nhn.

1.2

Nhng tỗn t⁄i cıa h» thŁng

Vỵi º phøc t⁄p cıa qu¡ tr…nh xò lỵ nhữ trản, d liằu ca hằ thng ng y

c ng lỵn, v… v“y vi»c thay Œi cỉng ngh» hằ thng cõ th Ăp ứng ữổc
yảu cu ca thüc t‚ l vi»c b›t buºc ph£i l m.
a.

C¡c nh÷ỉc i”m cıa h» thŁng:
- Theo quy ành KPI v• h» thŁng, dœ li»u v• cuºc gåi cıa kh¡ch h ng
ch“m nhĐt l 45 phút phÊi hin th lản CSKH thüc hi»n tra cøu v
gi£i ¡p cho kh¡ch h ng n‚u câ khi‚u n⁄i [9].
Khi h» thŁng g°p sü cŁ, d liằu khổng import ữổc v o Database
(lỉi trản hằ thŁng Billing Gateway, lØi h» thŁng m⁄ng ho°c lØi do
ti‚n trnh import cữợc, lỉi Database lữu d liằu cữợc) th dœ li»u
hi»n thà l¶n cho CSKH tra cøu s‡ bà ch“m. Thüc t‚, n‚u sü cŁ x£y
ra kho£ng 1 gií mỵi câ th” kh›c phưc th… h» thŁng cƒn ‚n 2 giớ
import ht s lữổng d liằu tỗn trong kho£ng thíi gian sü cŁ.
-

Dœ li»u trung b…nh th¡ng trong nôm 2018 l khoÊng 1.5TB,
những sang n nôm 2019 th d liằu trung bnh thĂng khoÊng
2TB tữỡng ứng vợi khoÊng 50 triằu thuả bao. D liằu chi tit n y
tông cao do s lữổng thuả bao tông h ng nôm, ngo i ra nhu cƒu sß
dưng cıa kh¡ch h ng cụng tông.
-

- Qua cĂc thổng s trản ta thĐy hằ thŁng câ nguy cì qu¡ t£i r§t cao,
nhu cƒu c§p thit l phÊi nƠng cĐp hằ thng. Viằc nƠng cĐp h» thŁng
11


cõ 2 giÊi phĂp l : nƠng cĐp t i nguyản phn cứng v nƠng cĂp giÊi
phĂp phn mãm.

b. Nhng y¶u cƒu c£i ti‚n:
- N‚u x£y ra sü cŁ th… hằ thng phÊi ho n th nh import cữợc chm
nhĐt khổng b tỗn l 45 phút. Ơy l KPI cıa T“p o n cơng nh÷ l KPI
cıa Bº Thỉng tin v truyãn thổng.
- NƠng khÊ nông import ca hằ thng lản khoÊng 1.5 n 2 ln so vợi
hiằn ti phửc vử ữổc nhu cu thỹc t. Vợi chnh s¡ch chuy”n m⁄ng
dœ sŁ th… vi»c c¡c thu¶ bao cıa m⁄ng kh¡c câ th” chuy”n sang dòng
m⁄ng cıa Viettel l ho n to n câ kh£ n«ng x£y ra, v… vy cn nƠng cĐp
hằ thng sfin s ng cõ th” ¡p øng ÷ỉc nhu cƒu kinh doanh.

12


Chữỡng 2

PhƠn tch, lỹa chồn v thit k giÊi phĂp

2.1
2.1.1

Mổ hnh giÊi phĂp cụ.
Mổ hnh vt lỵ hằ thng Billing hiằn ti.

Ơy l mổ hnh vt lỵ truyãn thng ca mt hằ thng cổng nghằ
thổng tin, bao gỗm cĂc thit bà m⁄ng, thi‚t và m¡y chı v thi‚t bà l÷u tr.
CĂc th nh phn vt lỵ ãu cõ dỹ phặng Êm bÊo rng mt node mng vt lỵ
b down s khổng Ênh hững n hằ thng.
Vợi mổ hnh n y, viằc m rng cĂc th nh phn vt lỵ rĐt ìn gi£n, trong
kho£ng tł n«m 2006 ‚n n«m 2018 [10] th s lữổng node mng  tông
lản khoÊng 10 ln, tữỡng ứng vợi khoÊng 3.000 node mng (bao gỗm cĂc

thit bà nh÷: firewall, switch, load blancer, server, storage, tape). SŁ
l÷ỉng node m⁄ng lỵn s‡ l m cho cỉng t¡c v“n h nh khai thĂc khõ hỡn,
tn nhiãu nhƠn sỹ thüc hi»n cæng t¡c v“n h nh khai th¡c.

13


Hnh 2.1: Mổ hnh vt lỵ hằ thng Billing.

a. Nhõm c¡c thi‚t bà m⁄ng
- C°p Switch core: l c°p switch £m nhi»m vai trỈ giao di»n giœa
h» thŁng Billing v c¡c h» thŁng kh¡c.
- C°p Load Balancing: l m nhi»m vử phƠn tÊi cĂc connection t bản
ngo i v chia •u v o c¡c ÷íng link cıa øng dưng.
- C°p Switch nºi bº: l m nhi»m vö k‚t nŁi giœa c¡c m¡y chı v c°p
Switch core. Switch nºi bº ÷ỉc chia l m hai nhâm ch‰nh l nhâm d
nh cho m¡y chı app v nhâm d nh cho m¡y chı Database.
b.

Nhâm c¡c thi‚t bà m¡y chı
- Thi‚t bà m¡y chı ÷ỉc chia l m hai nhâm ch‰nh, nhâm øng dưng
v o nhâm Database. Nhâm øng dưng câ c§u h…nh th§p hỡn so vợi
mĂy ch nhõm Database những cõ s lữổng nhiãu hỡn.

c.

Nhõm cĂc thit b lữu tr
- Cp Sanswitch: l thi‚t bà trung gian ” §u nŁi giœa m¡y chı v thi‚t
bà l÷u trœ thỉng qua k‚t nŁi quang.
- Thi‚t b lữu tr: bao gỗm hai t ắa dũng l÷u to n bº dœ li»u cıa

h» thŁng. Dœ li»u trản hai t ắa ging nhau nhm mửc ch dỹ
phặng cho nhau.
14


2.1.2

Mỉ h…nh logic h» thŁng Billing hi»n t⁄i.

Mỉ h…nh ÷ỉc phƠn theo cĂc khi chức nông khĂc nhau, ữổc chia l
m bn khi:
- Khi import chi tit cữợc;
- Khi tnh cữợc;
- Khi giao diằn vợi còa h ng;
- Khi lữu trœ dœ li»u.

H…nh 2.2: Mæ h…nh logic h» thŁng Billing.

a. Khi import chi tit cữợc
Ơy l khi cung cĐp d li»u ƒu v o cho h» thŁng. To n bº thỉng tin
chi ti‚t v• cuºc gåi, tin nh›n, dœ li»u •u ÷ỉc import v o Database
phưc vư cho vi»c t‰nh cữợc v tra cứu cữợc.
b. Khi tnh cữợc
Khi tnh cữợc cõ chức nông tng hổp cữợc
nh ký, tnh
khuyn mi
v khõa s cui thĂng v in thổng bĂo cữợc cho khĂch h ng. To n b
nghiằp vử tnh cữợc ãu nm trản khi n y, Ơy cụng l khi chức nông
chim t i nguyản nhiãu nhĐt
c.

Khi giao diằn vợi khĂch h ng

d.

Khi n y l giao diằn cho nhƠn viản ti còa h ng. CĂc chức nông ch
nh nhữ: ông kỵ thuả bao mợi, cp nht thuả bao, thu cữợc, in chi
tit cữợc...
Khi lữu tr d liằu

15


To n b d liằu ãu ữổc lữu tr trản hai Database Oracle.
Database thứ nhĐt lữu to n b d li»u v• cuºc gåi cıa kh¡ch h ng.
Database thø hai lữu d liằu vã khĂch h ng v thổng tin vã tiãn cữợc
ca khĂch h ng.

2.2

Mổ hnh giÊi phĂp hằ thŁng Billing mỵi v ho n to n mi„n ph‰.

Hi»n nay cõ nhiãu giÊi phĂp sò dửng cổng nghằ Open Source, trong
•
t i n y t¡c gi£ chån mỉ h…nh gi£i ph¡p cıa Hortonworks. Gi£i ph¡p n y
do Apache ph¡t trin v ang ữổc sò dửng rng rÂi, phũ hổp vợi viằc xò lỵ
d liằu lợn v cõ cĐu trúc ho°c phi c§u tróc.

H…nh 2.3: Mỉ h…nh gi£i ph¡p ho n to n mi„n ph‰.

a. KhŁi chøc n«ng import (ETL)
Red Hat Fuse: l mt nãn tÊng tch hổp m nguỗn m dỹa trản
Apache Camel. Nõ l mt nãn tÊng tch hổp phƠn tĂn cung cĐp mt
phữỡng phĂp, cỡ s h tƒng v cỉng cư ÷ỉc chu'n hâa ” t‰ch hỉp
c¡c dàch vö, c¡c dàch vö nhä v c¡c th nh phƒn øng dưng. JBoss
Fuse sß dưng cỉng ngh» (Java Business Integration-JBI) l m n•n
t£ng t‰ch hỉp øng dưng. Nhí v“y, JBoss Fuse tha k cĂc tnh
nông trản JBI nhữ: cĂc bº ành tuy‚n v chu'n ho¡ thỉng i»p, c¡c t¡c
vư quÊn lỵ v c i t cĂc th nh phn trong trửc tch hổp...
b. Khi chức nông lữu tm thới (cache)
Kafka: l hằ thng truyãn thổng iằp phƠn tĂn, º tin c“y cao, d„
d ng mð rºng v câ thổng lữổng cao. Kafka cung cĐp cỡ ch offset
(cõ th hi”u nh÷ t÷ìng tü nh÷ ch¿ sŁ cıa mºt m£ng) ” l§y thỉng i»p
mºt c¡ch linh ho⁄t, cho ph†p c¡c ứng dửng xò lỵ cõ th xò lỵ li d
16


liằu nu viằc xò lỵ trữợc õ b lỉi. Ngo i ra, cỡ ch ông kỵ theo dêi cho
php viằc lĐy thổng iằp ra gn nhữ tức thới ngay khi dœ li»u i
v o h ng ỉi. Kafka ÷ỉc thi‚t k‚ hØ trỉ tŁt cho vi»c thu th“p dœ li»u
thíi gian thüc.
TŁc º nhanh: Vỵi mºt m¡y ìn c i t Kafka cõ th xò lỵ s lữổng
d liằu t viằc ồc v ghi lản tợi h ng trôm megabyte trong mt giƠy t
h ng ng n mĂy khĂch.
KhÊ nông mð rºng: Kafka ÷ỉc thi‚t k‚ cho ph†p d„ d ng ữổc
m rng v trong sut vợi ngữới dũng (nghắa l khỉng câ thíi gian
ch‚t ngłng ho⁄t ºng trong khi thảm mt nút mĂy ch mợi v o cửm). Khi
Kafka chy trản mt cửm, luỗng d liằu s ữổc phƠn chia v ữổc
vn chuyn tợi cĂc nút trong cửm, do â cho ph†p trung chuy”n c¡c
dœ li»u m câ khŁi lữổng lợn hỡn nhiãu so vợi sức chứa ca mt m¡y

ìn.
º tin c“y: Dœ li»u v o h ng ỉi s ữổc lữu tr trản ắa v
ữổc sao chp tợi cĂc nút khĂc trong cửm ngôn nga viằc mĐt d
liằu, nhữ vy Kafka Êm bÊo tnh chu lỉi cao.
c.

Khi quÊn lỵ, lữu tr d liằu(storage)
HDFS: l 1 hằ thng lữu tr chnh ữổc dũng bi Hadoop. Nõ cung
cĐp truy cp hiằu suĐt cao n d liằu trản cĂc cửm Hadoop. Nõ thữớng
ữổc trin khai trản cĂc phn cứng chi ph‰ th§p. C¡c m¡y chı chi ph‰
th§p n y rĐt d xÊy ra lỉi phn cứng. V lỵ do n y m HDFS ữổc xƠy
dỹng cõ khÊ nông chàu lØi cao. TŁc º truy•n dœ li»u giœa c¡c
nodes trong HDFS l rĐt cao, dÔn n giÊm thiu nguy cì lØi.
YARN: l mºt framework hØ trỉ ph¡t tri”n øng dửng phƠn tĂn. YARN
cung cĐp daemons v APIs cn thit cho viằc phĂt trin ứng dửng
phƠn tĂn, ỗng thới xò lỵ v lp lch sò dửng t i nguyản tnh to¡n
(CPU hay memory) cơng nh÷ gi¡m s¡t qu¡ tr…nh thüc thi cĂc ứng
dửng õ.
MapReduce: Ơy l hằ thng dỹa trản YARN dũng xò lỵ song song
cĂc tp d liằu lợn. MapReduce framework gỗm mt single master
(mĂy ch) JobTracker v c¡c slave (m¡y tr⁄m) TaskTracker tr¶n mØi
cluster-node. Master câ nhi»m vử quÊn lỵ t i nguyản, theo dêi
quĂ trnh tiảu thử t i nguyản v lp lch quÊn lỵ cĂc tĂc vử trản cĂc
mĂy trm, theo dêi chúng v thỹc thi l⁄i c¡c t¡c vö bà lØi. Nhœng m¡y
slave TaskTracker thüc thi c¡c t¡c vư ÷ỉc master ch¿ ành v cung
c§p thỉng tin tr⁄ng th¡i t¡c vư (task-status) ” master theo dªi.
Zookeeper: l mºt dàch vư t“p trung ” duy tr thổng tin cĐu hnh,
t tản, cung cĐp sỹ ỗng b phƠn tĂn v cung cĐp cĂc dch vử nhõm.
Nõi ìn gi£n trong Hadoop Cluster câ nhi•u nodes kh¡c nhau v câ
17

mºt node l master. Gi£ sß master node bà lØi vợi bĐt ký lỵ do g th
vai trặ ca master node ữổc chuyn cho mt node khĂc. Vai trặ chnh
ca master node l quÊn lỵ viằc ghi theo thứ tỹ giœa c¡c nodes.
Zookeeper s‡ g¡n master node mỵi v £m bÊo rng Hadoop cluster thỹc
hiằn tip viằc xò lỵ v khổng gp vĐn ã g. Zookeeper l phữỡng

phĂp phi hổp tĐt cÊ cĂc yu t ca hằ thng phƠn tĂn Hadoop.
HBase: l mt hằ cỡ s d liằu m nguỗn m ữổc xƠy dỹng dỹa
trản BigTable ữổc mổ tÊ trong nghi¶n cøu BigTable: A Distributed
Storage Systemystem for Structure Data . HBase cung cĐp khÊ
nông lữu tr d liằu lợn lản tỵi h ng t b£n ghi, h ng tri»u cºt kh¡c
nhau cơng nh÷ h ng petabytes dung l÷ỉng. HBase l mºt NoSQL
i”n h…nh bði v“y c¡c tables cıa HBase khæng câ mºt schemas cŁ
ành v khæng câ c¡c quan h» giœa c¡c b£ng, khỉng cung c§p
ph†p join giœa c¡c b£ng. Hadoop cõ khÊ nông m rng tt v ữổc
thit k ” mð rºng theo chi•u ngang (Scale horizontally).
d. KhŁi truy cp d liằu (access)
Apache Oozie: cõ khÊ nông nh nghắa mt luỗng tin trnh trong
õ cĂc tin trnh con cõ th” ÷ỉc thüc hi»n song song hay k‚t hỉp
mºt c¡ch rĐt linh hot. Oozie cặn hỉ trổ mt th nh phn õng vai
trặ nhữ mt mĂy ch s kim soĂt v thng kả s liằu vã nhng tin
trnh  ang v s ữổc thỹc thi. i vợi mt tin trnh ỡn là hay i vợi
luỗng d liằu kiu micro, viằc tin trnh s ch ữổc nh nghắa
chứ khổng th ữổc thüc thi mºt c¡ch tü ºng, vi»c khði ch⁄y mºt ti‚n
tr…nh n o â s‡ ph£i thüc hi»n mºt c¡ch th cổng. Cặn i vợi Oozie,
cĂc luỗng tin trnh cõ th” ÷ỉc thüc thi tü ºng t⁄i mºt thíi i”m cử th
vợi mt tn suĐt cử th ữổc nh nghắa ra bi cĂc coordinators ca
nõ.

Pig: l mt nãn tÊng cĐp cao to cĂc chữỡng trnh MapReduce ữổc
dũng vợi Hadoop v ngỉn ngœ chóng ta dịng cho n•n t£ng n y ÷ỉc
gåi l PIG Latin. Pig ÷ỉc thi‚t k‚ ” giúp Hadoop thƠn thiằn vợi ngữới
dũng hỡn v thch hổp hìn. PIG l mºt mỉi tr÷íng thüc thi t÷ìng t¡c
hØ træ ngæn ngœ Pig Latin. Ngæn ngœ Pig Latin hØ trổ np
v xò lỵ d liằu u v o vợi mºt chuØi c¡c bi‚n Œi ” t⁄o ra k‚t qu£
mong muŁn. PIG câ hai mỉi tr÷íng thüc thi kh¡c nhau 1) Local
Mode tĐt cÊ scripts chy trản 1 mĂy ỡn. 2) Hadoop tĐt cÊ scripts chy
trản Hadoop Cluster.
Hive: l h tƒng kho dœ li»u cho Hadoop. Nhi»m vö ch‰nh l cung cĐp sỹ
tng hổp d liằu, truy vĐn v phƠn tch. Nõ hỉ trổ phƠn tch cĂc tp
d liằu lợn ÷ỉc l÷u trong HDFS cıa Hadoop cơng nh÷ tr¶n Amazon S3.
i”m hay cıa HIVE l hØ trỉ truy xu§t giŁng SQL ‚n dœ li»u
18