tóm tắt luận văn thạc sỹ kĩ thuật viễn thông nghiên cứu phương pháp đánh giá qoe dựa trên các tham số q0s

H C VI N CƠNG NGH BƯU CHÍNH VI N THÔNG
---------------------------

VŨ MINH KHÁNH

NGHIÊN C U PHƯƠNG PHÁP ÁNH GIÁ QoE
D A TRÊN CÁC THAM S QoS

CHUYÊN NGÀNH : K THU T VI N THÔNG
MÃ S : 60.52.02.08

LU N VĂN TH C S K THU T

NGƯ I HƯ NG D N KHOA H C : TS

HÀ N I – 2013

NG TH NG C


Lu n văn ư c hoàn thành t i:
H c vi n Cơng ngh Bưu chính Vi n thơng
T p ồn Bưu chính Vi n thơng Vi t Nam

Ngư i hư ng d n khoa h c: TS.

ng Th Ng c

……………………………………………………

Ph n bi n 1: ……………………………………………………

……………………………………………………

Ph n bi n 2: ……………………………………………………
……………………………………………………

Lu n văn s

ư c b o v trư c h i

ng ch m lu n văn t i H c vi n Cơng ngh

Bưu chính Vi n thơng
Vào lúc:

....... gi ....... ngày ....... tháng ....... .. năm 2013

Có th tìm hi u lu n văn t i:
- Thư vi n H c vi n Cơng ngh Bưu chính Vi n thông


M CL C
M C L C .................................................................................................................... 1
M
U ...................................................................................................................... 2
CHƯƠNG 1. TRUY N THÔNG A PHƯƠNG TI N TRÊN N N M NG IP ..... 3
1.1 Mơ hình ki n trúc M ng TCP/IP .......................................................................... 3
1.2 Các d ch v a phương ti n trên n n m ng ............................................................... 3
1.2.1 D ch v VoIP .................................................................................................. 3
1.2.2 D ch v IPTV .................................................................................................. 3
1.2.4 D ch v truy n hình tương tác: ........................................................................ 4

1.3 Các cơng ngh nén tín hi u a phương ti n .............................................................. 4
1.3.1 MPEG-2 .......................................................................................................... 4
1.3.2 H.263 .............................................................................................................. 4
1.3.3 MPEG-4 .......................................................................................................... 4
1.3.4 H.264 .............................................................................................................. 4
1.4 Ch t lư ng d ch v trong m ng IP ........................................................................... 5
1.4.1 Khái ni m ch t lư ng d ch v .......................................................................... 5
1.4.2 T m quan tr ng c a vi c ki m tra ch t lư ng d ch v trong IPTV ................... 6
1.4.3 Các tham s QoS ............................................................................................. 6
1.4.4 M t s mơ hình ánh giá QoS cho d ch v IPTV ............................................ 8
CHƯƠNG 2: CÁC PHƯƠNG PHÁP ÁNH GIÁ QOE .......................................... 9
2.1 Ch t lư ng tr i nghi m c a khách hàng (QoE) ......................................................... 9
2.1.1 Khái ni m QoE ............................................................................................... 9
2.1.2 M i quan h gi a QoS và QoE ........................................................................ 9
2.1.3 Mơ hình ch t lư ng trong IPTV ...................................................................... 9
2.2 Mơ hình MDI (Media Delivery Index) ................................................................... 10
2.2.1 Gi i thi u v MDI ......................................................................................... 10
2.2.3 Ki m tra QoE qua vi c phân tích MDI .......................................................... 11
2.2.4 o ki m MDI ................................................................................................ 12
2.3 MPQM (Moving Pictures Quality Metric).............................................................. 12
2.3.1 Gi i thi u v MPQM..................................................................................... 12
2.3.2 H th ng th giác ngư i ................................................................................. 12
2.3 So sánh MDI và MPQM ........................................................................................ 13
CHƯƠNG 3: PHƯƠNG PHÁP ÁNH GIÁ QoE D A TRÊN QoS ...................... 13
3.1 nh hư ng c a các tham s QoS lên QoE .............................................................. 13
3.1.1 nh hư ng c a dung lư ng b
m: ............................................................. 13
3.1.3 nh hư ng c a t l m t gói ........................................................................ 14
3.1.4 nh hư ng c a t l x p l i gói tin ................................................................ 14
3.1.5 nh hư ng c a băng thông: .......................................................................... 14

3.1.6 nh hư ng c a tr ư ng truy n ................................................................... 14
3.2 Phương pháp ánh giá QoE d a trên QoS .............................................................. 15
3.2.1 Phân tích các tham s QoS liên quan n QoE. ............................................. 15
3.2.2 Mơ hình tương quan QoS/QoE cho vi c ánh giá QoE c a IPTV ............... 15
K T LU N ................................................................................................................ 16
1


M

U

Hi n nay v i s phát tri n vư t b c v cơng nghê thơng tin trên tồn th gi i cùng
v i s bùng n và các d ch v ti n ích trên m ng làm a d ng hố các mơ hình kinh
doanh d a trên Internet. M t trong các lĩnh v c ang l n m nh theo xu hư ng này
chính là d ch v IPTV (truy n hình giao th c Internet) ây là bư c ngo t trong s phát
tri n c a cơng ngh truy n hình.
V i nh ng ưu i m vư t tr i khi s d ng các d ch v trên n n m ng IP: Tính năng
tương tác gi a h th ng v i ngư i s d ng d ch v , cũng như các nhà cung c p d ch v
khi tri n khai h th ng r t thu n ti n và d dàng nâng c p, nên các d ch v trên n n
m ng IP th c s

ã thay

d ng cơng ngh analog.

i hồn tồn so v i các d ch v truy n th ng trư c kia s
ây là m t bư c phát tri n, ti n lên h i t m ng vi n thông –

xu hư ng chung c a truy n thơng tồn c u ngày nay và tương lai.

Trên cơ s nhìn nh n t m quan tr ng c a vi c

m b o ch t lư ng d ch v (QoS) và

ch t lư ng ánh giá b i chính c m nh n c a con ngư i (QoE) cho d ch v IPTV, lu n
văn này ã ư c xây d ng v i nh ng n i dung chính như sau:
Chương I: Truy n thông a phương ti n trên n n m ng IP.

Nghiên c u v truy n thông a phương ti n và v n

ch t lư ng d ch v trong

m ng IP
Chương II: Các phương pháp ánh giá QoE

Nghiên c u các phương pháp ánh giá ch t lư ng tr i nghi m c a khách hàng
Chương III: Phương pháp ánh giá QoE d a trên QoS

Nghiên c u nh hư ng c a các tham s QoS lên QoE và ưa ra phương pháp
ánh giá QoE d a trên QoS.

2


CHƯƠNG 1. TRUY N THÔNG A PHƯƠNG TI N TRÊN N N M NG IP
1.1 Mơ hình ki n trúc M ng TCP/IP
Giao th c TCP/IP ư c phát tri n t

m ng ARPANET và Internet và ư c dùng

như giao th c m ng và giao v n trên m ng Internet. TCP (Transmission Control
Protocol) là giao th c thu c t ng giao v n và IP (Internet Protocol) là giao th c thu c
t ng m ng c a mơ hình OSI. H giao th c TCP/IP hi n nay là giao th c ư c s d ng
r ng rãi nh t

liên k t các máy tính và các m ng v i nhau.

Hi n nay các máy tính c a h u h t các m ng có th s d ng giao th c TCP/IP
liên k t v i nhau thông qua nhi u h th ng m ng v i k thu t khác nhau. Giao th c
TCP/IP th c ch t là m t h giao th c cho phép các h th ng m ng cùng làm vi c v i
nhau thông qua vi c cung c p phương ti n truy n thông liên m ng.
Các t ng c a mơ hình tham chi u TCP/IP
B qu c phịng M g i t t là DoD (Department of Defense) ã t o ra mơ hình
tham chi u TCP/IP vì mu n m t m ng có th t n t i trong b t c

i u ki n nào, ngay c

khi có chi n tranh h t nhân. DoD mu n các gói d li u xuyên su t m ng vào m i lúc,
dư i b t c

i u ki n nào, t b t c m t i m

thi t k c c kỳ khó khăn mà t
chu n Internet

n m t i m khác.

ây là m t bài tốn

ó làm n y sinh ra mơ hình TCP/IP, vì v y ã tr thành

phát tri n hi n nay.

B giao th c IP dùng s

óng gói d li u hịng tr u tư ng hóa (thu nh l i quan

ni m cho d hi u) các giao th c và các d ch v . Nói m t cách chung chung, giao th c
t ng cao hơn dùng giao th c
1.2 Các d ch v

t ư c m c ích c a mình. Ch ng.

t ng th p hơn

a phương ti n trên n n m ng

1.2.1 D ch v VoIP
D ch v VoiIP là d ch v
th c IP.

i n tho i ư ng dài trong nư c và qu c t s d ng giao

ây là d ch v vi n thông (bao g m i n tho i và fax) trên băng t n tho i cơ

b n s d ng công ngh nén ch t các d ch v

a phương ti n trên n n m ng

Các l i ích khi s d ng d ch v VoIP

− Thu n ti n, ơn gi n trong s d ng, yêu c u h tr d ch v .
− Ti t ki m chi phí khi th c hi n cu c g i
− Ch

ng qu n lý ư c ngân sách.

− Không ph i ăng ký s d ng d ch v .
− Ch t lư ng d ch v cao, n

nh

− H tr d ch v 24/24 gi
1.2.2 D ch v IPTV
D ch v IPTV là d ch v truy n hình trên Internet qua giao th c IP ư c cung c p
t i khách hàng d a trên công ngh IPTV (Internet Protocol Television). Tín hi u truy n
3


hình ư c chuy n hóa thành tín hi u IP, truy n qua m t h t ng m ng băng thông r ng
n thi t b

u cu i là b gi i mã Set top box, phát hình t i TV c a khách hàng

1.2.4 D ch v truy n hình tương tác:
Trên m t ư ng k t n i Internet ngư i dùng IPTV có th

ư c s d ng cùng m t

lúc r t nhi u d ch v khác nhau như truy c p Internet, truy n hình, i n tho i c
di

nh và

ng, VoIP (Voice over Internet Protocol)...mang l i cho ngư i dùng s ti n l i trong

quá trình s d ng.
1.3 Các cơng ngh nén tín hi u a phương ti n
1.3.1 MPEG-2
MPEG-2 ư c s d ng trên các DVD và trong h u h t ho t

ng qu ng bá video

s và các h th ng phân ph i cáp. MPEG-2 codec d a trên khái ni m r ng d li u video
bao g m nhi u ph n dư th a. B ng cách lo i b t dư th a không gian và th i gian, t ng
băng thơng u c u s ít i. Dư th a th i gian ư c s d ng

mơ t

c i mc ad

li u video là có n n tương t cho m i nh. N n này gi nguyên d c theo m t s
tu n t , ho c n u có thay

i thì r t ít. Dư th a không gian là

nh

c i m c a d li u

video trong ó m t s vùng c a nh ư c sao chép trong cùng m t khung c a video.

1.3.2 H.263
Codec này ã ư c công b b i ơn v vi n thông qu c t ITU-T dư i chu i H các
khuy n ngh cho các h th ng nghe nhìn và a phương ti n. Khuy n ngh này bao trùm
ng t i t c

s nén nh

bit th p và ư c h tr b i các khuy n ngh ITU khác trong

u ra t c

bit th p cho phép nó ư c s d ng cho h i ngh truy n hình

ó có H.261.

và video trên Internet. Codec này cung c p m t s c i ti n trong kh năng nén

iv i

video và ư c s d ng r ng rãi trên các trang Internet cho các video phát ra.
1.3.3 MPEG-4
Sau thành cơng c a MPEG-2, nhóm chun gia nh
chu n m i, linh
video và

ng, có xu hư ng mang

n các kh năng b sung cho vi c qu ng bá

h tr s phát tri n c a video s .

năm 1999, nó ã ư c ch nh s a

ng ti p t c phát tri n m t

ư c ch p nh n như m t tiêu chu n ISO

bao g m m t s m r ng. MPEG-4 có th

ư cs

d ng cho video trên Internet, qu ng bá IPTV và trên phương ti n lưu tr , cùng v i nhi u
ch c năng khác. Nó bao g m các tính năng mã hố hư ng

i tư ng, s gia tăng kh

năng nén và các cơ ch an ninh. Qua m t th i gian, các h p STB m i và các ng d ng
ph n m m IPTV ã ư c chu n b

h tr chu n nén này, có th làm cho nén hi u qu

hơn
1.3.4 H.264
Chu n nén H.264 (còn g i là MPEG-4 part 10/AVC cho mã hoá video tiên ti n) là
m t chu n m , có ăng kí, h tr các kĩ thu t nén video hi u qu nh t hi n nay. B mã
4


hố H.264 có th làm gi m kích c c a t p tin video s

n 50% so v i chu n MPEG-4

part 2. i u bày có nghĩa là băng thơng m ng u c u s ít i, khơng gian lưu tr cũng ít
i

t ư c

i v i t p tin video. Nói cách khác, ch t lư ng video cao hơn có th

v it c

i

bit cho trư c.

1.4 Ch t lư ng d ch v trong m ng IP
1.4.1 Khái ni m ch t lư ng d ch v
Thu t ng “Ch t lư ng d ch v ” (QoS) hi n nay ư c s d ng r ng rãi, không ch
trong lĩnh v c vi n thơng mà cịn c trong các lĩnh v c có liên quan, ch y u là các d ch
v trên n n IP băng r ng, không dây và a phương ti n. Các m ng và h th ng d n d n
ư c thi t k có xem xét

u cu i, hi u năng này ư c yêu c u b i các

n hi u năng

ng d ng ngư i dùng. Tuy nhiên, thu t ng QoS thư ng ít khi ư c

nh nghĩa m t

cách kĩ lư ng. Theo ISO 8402, “ch t lư ng” là thu t ng ch toàn b các
m t th c th có kh năng th a mãn các nhu c u cho trư c. ISO 9000
lư ng” là m c

mà

ó các

c tính c a

nh nghĩa “ch t

c tính v n có tho mãn các yêu c u.

nh nghĩa c a

ISO 8402 dư ng như t t hơn t nhìn nh n c a khách hàng. ITU-T Rec. E.800
nghĩa QoS là tác
nh m c

nh

ng t ng th c a các hi u năng d ch v , ch t lư ng d ch v s xác

hài lòng c a khách hàng

i v i d ch v

y.

1.4.1.1 M i quan h gi a QoS và hi u năng m ng
Hi u năng m ng góp ph n hư ng

n QoS khi

ư c tr i nghi m b i ngư i

dùng/khách hàng. Hi u năng m ng có th ho c khơng d a trên cơ s

u cu i. Ví d ,

hi u năng truy c p thư ng ư c chia ra t hi u năng m ng lõi trong các toán t c a m t
m ng IP ơn, trong khi hi u năng Internet thư ng ph n nh hi u năng ph i h p c a m t
vài m ng t tr .
1.4.1.2 B n quan i m v QoS
Ma tr n

nh nghĩa QoS trong b ng 1.1 ưa ra tiêu chu n

ánh giá ch t lư ng

các ch c năng truy n thông c a m t d ch v nào ó. Tuy nhiên, ma tr n

nh nghĩa có

ư c nhìn nh n t nhi u quan i m khác nhau.

th
-

Các yêu c u QoS c a khách hàng

-

S cung c p QoS c a nhà cung c p d ch v (hay QoS ã ư c ho ch

-

QoS nh n ư c ho c ư c phân ph i

-

X p h ng QoS qua i u tra t khách hàng

nh)

n

1.4.1.3 M i quan h gi a b n quan i m QoS
Các yêu c u QoS c a khách hàng có th
h p các yêu c u QoS c a khách hàng s
liên quan. Yêu c u này là

ư c coi là i m b t

ư c x lý riêng cho

u vào cho nhà cung c p d ch v

u logic. M t t p

n khi có ư c các m i
xác

nh QoS d

nh

cung c p. Nhà cung c p d ch v có th khơng luôn luôn cung c p cho khách hàng m c
5


QoS h yêu c u. Nh ng i u c n xem xét như giá c ch t lư ng, các khía c nh chi n
lư c c a kinh doanh, ánh d u chu n (benchmarking) hay còn g i là “best in class”m c hi u năng l n nh t trong kinh doanh và các y u t khác s
v

ưa ra. Các yêu c u c a khách hàng cũng có th

th ng giám sát ư c d

nh cài

t nh m xác

nh hư ng

nh hư ng

n m c d ch

n nh ng gì mà h

nh QoS nh n ư c trong các báo cáo

nh kỳ.
1.4.1.4 Thách th c cho QoS liên quan
Có m t s v n

n IP

ư c trình bày b i s s d ng các m ng và d ch v IP, như là

thi u các cơ ch tiêu chu n có kh năng m r ng, có
minh

v ng m nh và ã ư c ch ng

y

1.4.2 T m quan tr ng c a vi c ki m tra ch t lư ng d ch v trong IPTV
S phát tri n c a các kĩ thu t truy nh p Internet thông qua truy c p có dây và
khơng dây làm cho s lư ng khách hàng s d ng Internet ngày càng tăng lên. S gia
tăng này t o ra các ho t

ng truy n thông th c hi n qua vi c trao

i b n tin, video,

audio, do v y còn g i là a phương ti n qua các m ng IP. V i s gia tăng c a truy n
thông a phương ti n qua các m ng IP, nhi u ng d ng m ng và d ch v

thúc

y các ho t

ang phát tri n

ng này. D ch v IPTV có thu n l i trong vi c ưa ra d ch v

qu ng bá giá r thông qua ư ng dây truy c p Internet t c
n l c t i a, m ng t c

cao. Ngoài phân ph i ki u

cao này có kh năng h tr các d ch v th i gian th c như

tho i và video. Do các khách hàng c a IPTV ã quen v i các chương trình truy n hình
và s d ng i n tho i mà không c n ph i chú ý
hay tr , cho nên vi c b o

nb tc

m ch t lư ng d ch v cũng như

i u gì liên quan

n jitter

m b o s hài lòng c a

khách hàng v d ch v (hay còn g i là ch t lư ng tr i nghi m) là m t y u t then ch t

trong s tri n khai d ch v IPTV qua các m ng IP. i u này tr nên c c kì quan tr ng là
vì, khi băng thơng kh d ng trên t ng khách hàng tăng lên, thì các i m d ch v

ang

n i lên s u c u th m chí nhi u băng thơng hơn n a, t o nên ngh n c chai, mà hi n
1.4.3 Các tham s QoS
Sáu thông s cơ b n v ch t lư ng d ch v là băng thơng,

tr , jitter, m t gói,

tính kh d ng và b o m t.
B ng 1.2 Các tham s QoS cơ b n
Tham s QoS

Các giá tr ví d

Băng thông (nh nh t)

64 kb/s, 1.5 Mb/s, 45 Mb/s

Tr (l n nh t)

50 ms, 150 ms

Jitter (bi n

10% c a tr l n nh t, 5 ms bi n

ng tr )

ng

M t thông tin ( nh hư ng c a l i)

1 trong 1000 gói chưa chuy n giao

Tính s n sàng (tin c y)

99.99%

B om t

Mã hoá và nh n th c trên t t c các lu ng lưu lư ng

6


1.4.3.1 Băng thông
Băng thông luôn là thách th c

i v i các nhà cung c p d ch v IPTV. N u băng

thơng có th s d ng tho i mái, khơng gi i h n, thì các nhà v n hành s không ph i lo
n các y u t ngh n, tr …; tuy nhiên ây là i u không th x y ra.
1.4.3.2 Tr
Tr liên quan ch t ch v i băng thơng khi nó là m t thông s QoS. V i các ng
d ng gi i h n băng thơng thì băng thơng càng l n tr s càng nh .
ư c

Tr

nh nghĩa là kho ng th i gian chênh l ch gi a hai th i i m c a cùng

m t bít khi i vào m ng (th i i m bít

u tiên vào v i bít

u tiên ra) .

V i băng thơng có nhi u cách tính, giá tr băng thơng có th thư ng xuyên thay
i. Nhưng thông thư ng giá tr băng thông ư c
chia cho th i gian trôi qua k t khi bit

nh nghĩa là s bit c a m t khung

u tiên r i kh i m ng cho

n khi bit cu i cùng

r i m ng.
1.4.3.3 Jitter (Bi n
Bi n

ng tr )

ng tr là s khác bi t v

lưu lư ng. Bi n

tr c a các gói khác nhau trong cùng m t dịng

ng tr có t n s cao ư c g i là jitter v i t n s th p g i là Wander.

Nguyên nhân ch y u gây ra hi n tư ng jitter do s sai khác trong th i gian x p hàng
c a các gói liên ti p nhau trong m t hàng gây ra.Trong m ng IP jitter nh hư ng r t l n
t i ch t lư ng d ch v c a t t c các d ch v . Thông s QoS jitter thi t l p gi i h n lên
giá tr bi n

i c a tr mà m t ng d ng có th g p trên m ng. Jitter khơng

h n nào cho giá tr tuy t

i c a tr , nó có th tương

t m t gi i

i th p ho c cao ph thu c vào

giá tr c a thơng s tr .
1.4.3.4 M t gói hay m t thông tin
Internet ư c coi là m ng c a các m ng và khơng có cơ ch giám sát

y

nào

m b o ch t lư ng thông tin truy n. Hi n tư ng m t gói tin là k t qu c a r t nhi u
nguyên nhân :
Quá t i lư ng ngư i truy nh p cùng lúc mà tài nguyên m ng còn h n ch .

Hi n tư ng xung

t trên m ng LAN.

L i do các thi t b v t lý và các liên k t truy nh p m ng.
1.4.3.5 Tính s n sàng (

tin c y)

Là t l th i gian m ng ho t

ng

cung c p d ch v . Y u t này b t kỳ nhà cung

c p d ch v nào t i thi u cũng ph i có. T n th t khi m ng b ngưng tr là r t l n. Tuy
nhiên,
d như:

m b o ư c tính s n sàng chúng ta c n ph i có m t chi n lư c úng
nh kỳ t m th i tách các thi t b ra kh i m ng

n, ví

th c hi n các công vi c b o

dư ng, trong trư ng h p m ng l i ph i ch n oán trong m t kho ng th i gian ng n nh t
7

có th

gi m th i gian ng ng ho t

ng c a m ng. T t nhiên, th m chí v i m t bi n

pháp b o dư ng hồn h o nh t cũng khơng th tránh ư c các l i khơng th tiên ốn
trư c.
1.4.3.6 B o m t
B o m t là m t tham s m i trong danh sách QoS, nhưng l i là m t tham s quan
tr ng. Th c t , trong m t s trư ng h p
thông. G n ây, do s

e do r ng rãi c a các hacker và s lan tràn c a virus trên m ng

Internet toàn c u ã làm cho b o m t tr thành v n
B o m t liên quan t i các v n
và ch . Các v n

ư c xét ngay sau băng

b o m t có th

liên quan

hàng

u.

như tính riêng tư, s tin c n và xác nh n khách

n b o m t thư ng ư c g n v i m t vài hình th c c a

phương pháp m t mã, như mã hoá và gi i mã. Các phương pháp m t mã cũng ư c s
d ng trên m ng cho vi c xác th c.
1.4.4 M t s mơ hình ánh giá QoS cho d ch v IPTV
Ch t lư ng video d ch v IPTV b

nh hư ng b i r t nhi u y u t như b mã hố/gi i mã,

tr , băng thơng, t c ngh n… Hi n nay các mơ hình ánh giá QoS ư c chia

1.4.4.1 Mơ hình tham chi u

y

Nh ng thu t tốn trong mơ hình tham chi u
hình nh

u vào và

y

th c hi n so sánh chi ti t gi a

u ra c a h th ng. Vi c so sánh này là m t q trình tính tốn

ph c t p khơng ch bao g m q trình x lý theo i m nh mà còn theo th i gian và
khơng gian gi a dịng d li u video
chi u

y

tham chi u

u vào và

khá phù h p v i các k t qu
y

ư c ánh giá là có

i s m nh t c a mơ hình tham chi u

u ra. K t qu c a các thu t toán tham

ánh giá ch quan (MOS). Do v y, mơ hình
chính xác cao. M t trong nh ng gi i thu t ra
y

là PSNR (Peak Signal to Noise Ratio),

ánh giá t s gi a giá tr l n nh t c a tín hi u trên t p âm, giá tr này tính theo dB.
1.4.4.2 Mơ hình khơng tham chi u
Các thu t tốn cho mơ hình khơng tham chi u có th
video

u ra mà khơng u c u truy c p lu ng

ư c áp d ng cho lu ng

u vào; do ó phù h p v i vi c giám

sát, phân tích ch t lư ng video m c d ch v theo t ng ngày. Ki u thu t tốn này khơng
c n q m nh v tính tốn, và có th

ư c tích h p vào m t thi t b ki m tra m ng.Các

h th ng thăm dị thư ng s d ng mơ hình này.
1.4.4.3 Mơ hình tham chi u rút g n
Gi ng như các thu t toán tham chi u
th c hi n so sánh lu ng video

y

, các thu t toán tham chi u rút g n

u ra r i tính ư c m c nhi u, méo x y ra.

u vào và

Các thu t tốn trong mơ hình tham chi u rút g n khơng s d ng tồn b tín hi u video
tham chi u, ch m t ph n thông tin tham chi u ư c truy n
m t kênh d li u riêng.
c u

i u này giúp gi m

có ư c k t qu .
8

n b so sánh thơng qua

ph c t p tính tốn và th i gian x lý yêu


CHƯƠNG 2: CÁC PHƯƠNG PHÁP ÁNH GIÁ QOE
2.1 Ch t lư ng tr i nghi m c a khách hàng (QoE)
2.1.1 Khái ni m QoE
Tiêu chu n ITU P.10/G100 cung c p

nh nghĩa QoE như sau : “QoE là toàn b tính

ch t ch p nh n ư c c a m t ng d ng ho c m t d ch v , khi ư c c m nh n ch quan
b i m t ngư i s d ng cu i.” Nó bao g m tồn b các tác
(khách hàng, thi t b
b i ngư i dùng cu i và

ng h th ng

u cu i, m ng, cơ s h t ng d ch v ,…) và có th b

u-cu i
nh hư ng

i v i nh ng ngư i s d ng khác nhau thì QoE cũng khác - i.

Tuy nhiên, QoE cũng có th

ánh giá s d ng các phép o khách quan.

Góp ph n vào QoE là các phép o hi u năng d ch v khách quan như là m t thông tin
và tr . Các phép o khách quan này cùng v i các thành ph n thu c con ngư i như c m
xúc, thái

, n n t ng ngôn ng ,

ng cơ thúc

y… xác

th c a m t d ch v . Hình 2.1 cho th y các y u t
ư c t ch c thành hai ph n, m t ph n liên quan

nh m c

ch p nh n t ng

óng góp vào QoE. Các y u t này
n QoS và m t ph n liên quan

n

các y u t con ngư i.
2.1.2 M i quan h gi a QoS và QoE
Ch t lư ng tr i nghi m (QoE) và ch t lư ng d ch v (QoS) thư ng ư c coi là như
nhau nhưng th c ra là hai khái ni m khác nhau. QoE là toàn b hi u năng h th ng t
quan i m ngư i s d ng. QoE là phép o hi u năng t

u

n cu i t i m c d ch v t

nhìn nh n c a khách hàng và là ch th cho bi t h th ng áp ng nhu c u c a ngư i s
d ng t t t i m c nào. M t tham s QoE i n hình là i m ý ki n trung bình MOS. MOS
thư ng ư c s d ng là phép o ch quan

ánh giá tác

ng v c m nh n c a nhi u

d ng suy gi m d ch v khác nhau. QoS thì l i o hi u năng

m c gói, t quan i m

m ng. QoS cũng ư c coi là m t t p các kĩ thu t (cơ ch QoS) cho phép nhà qu n tr
m ng qu n lý các tác

ng c a t c ngh n lên hi u năng ng d ng cũng như cung c p

d ch v phân bi t cho các lu ng lưu lư ng m ng ư c ch n l a ho c t i các khách hàng
ã ư c ch n l a. Các tham s QoS có th g m các phép o như

m t gói, tr hay

jitter.
2.1.3 Mơ hình ch t lư ng trong IPTV
Ngư i s d ng cu i ho c ch thuê bao s xác

nh ch t lư ng video d ch v . Ch t

lư ng tr i nghi m QoE là môi trư ng tr c quan mà các thành ph n c a nó r t khó, n u
khơng mu n nói là g n như không th , o

c tr c ti p theo các toán t th c ti n. Hơn

n a, các nhà cung c p d ch v có th t o các phép o khách quan v i m t t p các tham
ư c dùng

s , hay chính là các tham s QoS – có th

ánh giá hi u năng c a m ng

và s phân ph i c a nó v i m c QoE ch p nh n ư c. M t mơ hình ánh x các tham s
ch ch t này t i các ch s QoE quan tr ng cung c p cho ta m t chương trình b o
ch t lư ng video

u cu i t t xét v t ng th .
9

m


2.1.4.2 T s tín hi u

nh trên nhi u (PSNR)

PSNR (Peak Signal to Noise Ratio) ư c l y t vi c thi t l p l i trung bình bình
phương MSE tương quan v i giá tr l n nh t có th c a

chói (luminance) (

i v i giá

tr 8 bit i n hình thì s là 28 -1 = 255) nhi u màu và k t h p chúng v i m t tham s
ơn.
2.1.4.4 Thông s ch t lư ng nh
PSNR không chú tâm
pixel ơn

ng (Moving Pictures Quality Metric – MPQM)

n hi n tư ng che khu t th giác. Nói cách khác, m i l i

u góp ph n làm suy gi m PSNR, ngay c n u l i không c m nh n ư c.

này ư c ti p c n b ng cách k t h p m t s mơ hình h th ng th giác ngư i. C

V n

th hơn, hai hi n tư ng c m nh n thu c con ngư i ư c nghiên c u t m :

nh y

tương ph n và che ph . Hi n tư ng th nh t là nguyên nhân cho th c t r ng m t tín
hi u ư c phát hi n b i m t ch khi
nh y m t thay

tương ph n c a nó l n hơn m t ngư ng nào ó.

i như m t hàm theo t n s không gian, hư ng, và t n s th i gian.

Hi n tư ng th hai liên quan

n s h i áp th giác con ngư i

iv is k th pm t

vài tín hi u. M t kích thích g m hai lo i tín hi u (c n c nh (foreground) và n n
(background)). Ngư ng phát hi n c a foreground s

ư c i u ch nh như m t hàm

tương ph n c a background.
2.1.4.5 Ch s phân ph i phương ti n (Media Delivery Index)
RFC 4445 (MDI) là m t phép o có th

ư c th c hi n trên lưu lư ng video IP

tr c ti p. Phép o MDI ã ư c tri n khai ư c coi là lý tư ng cho vi c o ki m các
m u lu ng video IP trong các m ng v n hành và lab. MDI s d ng ho t
video

so sánh s

n c a gói IP v i t c

ng c a t i

bit c a t i tin. Phép o MDI ư c bi u

di n như sau :
2.2 Mơ hình MDI (Media Delivery Index)
Phép o MDI ưa ra m t ch s v ch t lư ng video mong

i, và cu i cùng là

QoE c a ngư i s d ng - d a trên các phép o m c m ng. Nó khơng ph thu c vào mơ
hình mã hố video và là bi n pháp thay th có kh năng m r ng.
2.2.1 Gi i thi u v MDI
Các lu ng truy n t i video MPEG ph i ch u nh ng s t p nhi u v th i gian g i là
jitter khi ư c truy n b i các m ng chuy n m ch gói như là Ethernet. Vi c nh n d ng
và o ki m jitter và m t gói trong các m ng này là chìa khố

b o trì

phân ph i

video ch t lư ng cao. Ch s phân ph i phương ti n (MDI) là m t t p h p các phép o
s d ng
MDI có th

giám sát và s a ch a các m ng mang b t kỳ lo i phương ti n x p lu ng nào.
ư c s d ng

c nh báo các l i h ng, suy y u gây ra s phân ph i ch t

lư ng không ch p nh n ư c và c nh báo các i u ki n gây ra vi c m ng kém, khó ch p
nh n, trư c khi ch t lư ng video b

nh hư ng. MDI g m hai thành ph n: H s tr

(DF) và t l m t phương ti n (MLR); cùng v i nhau, chúng cung c p phép o ch t
10


lư ng d ch v c a m t lu ng phương ti n phân ph i, có th liên quan tr c ti p

n ch t

lư ng tr i nghi m cu i cùng c a ngư i s d ng.
2.2.2.2 MLR
MLR là lư ng gói tin lu ng b m t ho c l ch th t (out-of-order) trên m t kho ng
th i gian ư c ch n, trong ó các gói lu ng là các gói mang các thơng tin ng d ng
lu ng. Có th có khơng ho c nhi u hơn các gói lu ng trong m t gói IP ơn. Ví d ,
thư ng thì mang 7 gói lu ng v n chuy n MPEG 188 byte trong m t gói IP ơn. Trong
trư ng h p như v y, s t n th t gói IP ơn s gây ra 7 gói b m t
b m t khơng g m các gói null). Vi c tính

m ư c (n u 7 gói

n các các gói tin h ng cũng là r t quan

tr ng, b i vì nhi u thi t b ki u khách hàng không c g ng yêu c u l i các gói tin ã
ư c nh n mà h ng.
2.2.3 Ki m tra QoE qua vi c phân tích MDI
2.2.3.1 Quan h Jitter và

m

hi u thêm v thành ph n DF, ta s xem l i m i quan h gi a jitter và buffering.
Jitter là s thay

i trong tr

u cu i v m t th i gian. Các gói

nh s có jitter là 0. Các gói có t c

n khơng n

n ích v i t c

c

nh có jitter khác 0. Hình 2.12

minh ho s khác bi t này.
2.2.3.2 Thành ph n MLR và ch t lư ng video
T l hao h t phương ti n truy n thông ư c

nh nghĩa ơn gi n là s gói b m t

i ho c b l ch th t trên m t giây. Các gói b l ch th t (out-of-order) là v n
quan tr ng vì nhi u thi t b khơng c g ng l nh

có l i các gói này trư c khi ưa t i

b gi i mã. B t kỳ s m t gói nào - ư c bi u di n là MLR khác 0 - s

u nh hư ng

x u t i ch t lư ng video và có th t o ra nhi u ph n nhìn ho c video ch y không
MLR là m t

nh d ng ti n l i cho vi c xác

r t

u.

nh các tho hi p m c ng d ng (SLA)

dư i d ng t l m t gói. Vì th , cùng v i h s DF, m t thi t b v i MDI 4:0.001 s cho
th y r ng thi t b
2.2.3.3

ó có h s tr là 4 ms và t l m t phương ti n là 0.001 gói/s.

ng d ng c a MDI

MDI là h u ích cho vi c

nh v và mô t các v n

m ng mà có th

nh hư ng x u

n ch t lư ng phương ti n và QoE ngư i s d ng. N u MDI ư c theo dõi t i các

i m trung gian trong m ng phân ph i, thì

l ch trong các thành ph n DF và MLR

gi a các ph n t m ng k ti p có th giúp cô l p ngu n c a các s c l i h ng có th
x y ra ho c ang x y ra m t cách nhanh chóng. N u t i m t b

nh tuy n có MLR l n

trong khi MLR b ng 0 t i hop trư c trong ư ng truy n, thì có nghĩa là có m t cái gì ó
khơng mong mu n ã x y ra trong o n m ng y, ch ng h n như tràn b

m ho c

h ng gói tin. Tương t như v y, n u h s tr DF bi n thiên nhanh gi a hai h p ch ng
liên ti p, thì có th là do t c ngh n gây tr hàng

11

i dài. Nó cũng là m t c nh báo v


vi c m t các gói ang

n. V i các b

m l n hơn, thì có th bù cho jitter l n, nhưng

ph i tr giá v tr .
2.2.4 o ki m MDI

Thi t b chính là NetSim và có th thay

i các tham s ch t lư ng d ch v trong

m ng, ví d như tr , m t gói, các gói l ch th t ,…Thi t b BX100A ư c thi t l p
th c hi n mơ ph ng set-top-box và tính tốn MDI. PC ( a ch IP 192.168.21.205) là
tr m i u khi n c a NetSim. PC bao g m t p tin video v i ch t lư ng SDTV ư c g i
qua chương trình VLC trên m ng. Lu ng video có th

ư c g i b ng cách s d ng hai

phương th c unicast hay multicast.
2.3 MPQM (Moving Pictures Quality Metric)
2.3.1 Gi i thi u v MPQM
ng (MPQM) ã ư c gi i thi u cho vi c ánh giá

Thông s ch t lư ng nh

video phân ph i qua m ng. Mơ hình MPQM d a trên m t phương th c ánh giá khách
quan, có kh năng l c các s suy gi m ch t lư ng gây ra do m ng b ng các thu c tính
c a h th ng th giác ngư i. Nó cũng xem xét các kĩ thu t che khu t th giác

có th

th c hi n hi u qu các kĩ thu t che gi u l i trong k t qu QoS, sao cho hình nh ư c
n
t t)

nh

iv is

ánh giá c a con ngư i, ư c phân lo i theo thang i m t 5 (R t

n 1 (R t t i). MPQM là h th ng o khách quan mô ph ng tr i nghi m ch quan

c a ngư i quan sát. Nó d a trên mơ hình

nh nghĩa các ph n t th giác ngư i.

2.3.2 H th ng th giác ngư i
H th ng th giác ngư i ư c mơ hình hố như m t h th ng mơ t b i m t áp
i v i kích thích

u vào. Các mơ hình ang ư c th c thi

b i các thí nghi m tâm – v t lý trong ó các

i tư ng con ngư i ư c yêu c u ánh giá

ng liên quan

n

u ra

kh năng nhìn nh n kích thích. Các mơ hình như v y có th

ư c th c hi n hi u qu

b ng cách xem xét 3 khía c nh l n c a th giác: C u trúc a kênh,

nh y tương ph n

và s che ph .
2.3.2.1 C u trúc a kênh
Các thí nghi m i n – sinh lý th c hi n trên các t bào c a v não th giác chính
(vùng V1) ã cho th y r ng s

áp ng c a các nơ-ron ư c ch nh

n m t ph n gi i

h n băng t n c a mi n t n s . Các d li u ư c xác nh n b i thí nghi m sinh lý, ưa ra
b ng ch ng t ng não phân tích ph thành các thành ph n g i là các kênh c m nh n, là
các d i trong t n s không gian, s
ư c nhìn nh n là

nh hư ng và t n s th i gian. M i kênh có th

u ra m t băng l c, ư c mô t b i s

áp ng hư ng

nm tt n

s không gian, hư ng và t n s th i gian c th .
2.3.2.2
S

nh y tương ph n
áp ng c a m t ngư i thay

ư c coi là

i như m t hàm c a t n s .

nh y tương ph n. Nói chính xác hơn, m t tín hi u ch
12

i u này thư ng
ư c nh n bi t b i


m t khi

tương ph n c a nó l n hơn m t ngư ng nào ó g i là ngư ng nh n bi t

(detection threshold). Ngư ng nh n bi t thay
ư c

nh nghĩa là ngh ch

s . Thu t ng Hàm

i như m t hàm c a t n s .

nh y

o c a ngư ng nh n bi t, và do ó cũng là m t hàm c a t n

nh y tương ph n (CSF) thư ng ư c s d ng

kí hi u hàm này.

Nó ch ra s tương ph n mà m t kích thích t i m t t n s th i gian - khơng gian c th
nên có

có xác su t ư c nh n bi t là 0.5. Nói cách khác, CSF là ư ng cong ngh ch

o c a ngư ng nh n bi t như m t hàm t n s . M t CSF i n hình ư c minh h a trong
hình
2.3.2.3 Che ph
CSF có th gi i thích cho s c m nh n m t kích thích ơn. Tuy nhiên, các tương
tác xu t hi n khi m t s kích thích cùng xu t hi n. Trong s

ánh giá ban

coi r ng giao thoa gi a hai kích thích ch có th x y ra n u chúng
kênh. Các giao thoa như v y gây ra s

u, ta thư ng

trong cùng m t

i u ch nh ngư ng nh n bi t c a m t kích thích,

do s có m t c a kích thích khác. M t mơ hình chung c a hi n tư ng này, g i là che
ph (masking).
2.3.2.4 Xây d ng mơ hình

Hành vi c a h th ng th giác ngư i có th
m t băng l c 3 chi u và b chuy n

ư c mơ hình hố b ng cách ưa ra

i phi tuy n giúp mơ hình hố s che ph . Băng l c

s d ng trong mơ hình này là tách bi t theo các hư ng t n s khơng gian và th i gian.
Có 17 b

l c khơng gian và 2 b l c th i gian. B l c không gian th p-th p là

ng

hư ng. Các b l c khác ư c ch nh trong 4 hư ng (0, π / 4 , π / 2 và 3π / 4 )
2.3.2.5 Các thông s
C u trúc chung c a mơ hình ư c minh h a trong hình
ư ng mũi tên to ch ra m t t p các thành ph n c m nh n.

ư ng mũi tên bé bi u

di n các chu i tu n t .
2.3 So sánh MDI và MPQM
Thông s MPQM ư c gi i thi u như là m t phương pháp ánh giá video cho mã
hoá video và ư c phân tích r ng rãi có liên quan

n PSNR và ư c phân tích ch

quan trong mơi trư ng thí nghi m. Ngư c l i, MDI ang phát tri n v i vai trị m t cơng
c

ánh giá m ng, ánh giá hi u năng m ng liên quan

Thơng s MDI có th

ư c s d ng

n phân ph i th i gian th c.

phát hi n và phân bi t s phân ph i mong

i

v i video b suy gi m.
CHƯƠNG 3: PHƯƠNG PHÁP ÁNH GIÁ QoE D A TRÊN QoS
3.1 nh hư ng c a các tham s QoS lên QoE
3.1.1 nh hư ng c a dung lư ng b
B

m ng d ng là lư ng b nh

m:
ư c s d ng cho s p hàng

c a m t lu ng traffic a phương ti n trư c khi chúng ư c phân ph i
13

i cho các gói tin
n ng d ng. B

m ng d ng ư c s d ng trong ng d ng audio/video và vai trị chính là

i u

ch nh h tr trong trư ng h p jitter ho c d n c m lưu lư ng a phương ti n.
3.1.2 nh hư ng c a bi n
Bi n

i tr gói/ Jitter

ng tr gói/ Jitter là kho ng th i gian gi a

gói tin c a cùng m t lu ng. Giá tr bi n

tr nh nh t và l n nh t gi a hai

ng tr cao hơn trong m ng cho th y hi n

tư ng ngh n ho c lu ng lưu lư ng d n c m. M ng có giá tr bi n
thư ng mang l i ch t lư ng tr i nghi m th p

ng tr cao hơn

i v i lưu lư ng a phương ti n qua

m ng ó.
3.1.3

nh hư ng c a t l m t gói

T l m t gói là t l gói tin b m t trên t ng s gói tin nh n ư c.
Các thí nghi m ư c ti n hành v i d i giá tr khuy n ngh b i ITU-R (2002). MOS
ư c duy trì là 1 cho t t c các giá tr t l m t gói l n hơn 3%. Khi ta gi m giá tr t l
m t gói xu ng 2% MOS tăng thêm là 2. Khi ta gi m giá tr t l m t gói MOS tăng
thêm và xu hư ng này ti p di n cho

n khi tr i nghi m hài lòng nh t và t l m t gói

cịn kho ng 0.1 % và MOS là 5.
Trong các thí nghi m mô ph ng ta th y n u t l m t gói tăng, ch t lư ng tr i nghi m
gi m i. T l m t gói gây hi n tư ng gi t t i máy thu và ch t lư ng tr i nghi m gi m.
Ch t lư ng tr i nghi m nghèo nàn là do m ng có giá tr t l m t gói cao. Ngư i dùng
khơng nh n ư c lu ng audio mư t mà. Các trư ng h p khác cho t l m t gói nh hơn
0.1% và cho tr i nghi m ngư i dùng l n nh t 5, v i t l m t gói 0.5%, MOS là 4.
T l m t gói làm gi m ch t lư ng d ch v m ng.
3.1.4 nh hư ng c a t l x p l i gói tin
T l gi a s gói tin không ư c s p x p trên t ng s gói tin nh n ư c t i m t node
trong 1 kho ng th i gian ư c g i là Ph n trăm s p x p l i gói tin.
ITU-R (2002) khơng ch ra b t kỳ giá tr ngư ng nào cho vi c s p x p l i gói tin. Do
ó, các k t qu ch ra ư c l y t các thí nghi m l p l i cho trư ng h p mô ph ng. K t
qu

ư c t p h p t 20 l p l i cho 4 trư ng h p c th . Xu hư ng tuy n tính ư c ch rõ

như trong hình 3.4 dư i ây:
3.1.5 nh hư ng c a băng thông:
Các giá tr này l y t các kh o sát th c hi n cho các trư ng h p ư c ch n. Các giá
tr c th c a băng thông ư c gán cho m i ư ng d n trong môi trư ng xây d ng mô
ph ng. Các k t qu trên t p h p t 20 l p l i cho 4 trư ng h p. Xu hư ng tuy n tính

cũng ư c ch rõ.
3.1.6 nh hư ng c a tr
tr

ư ng truy n

ư ng truy n là kho ng th i gian

cu i cùng r i kh i ư ng truy n.

14

bit

u tiên vào m t ư ng truy n và bit


3.2 Phương pháp ánh giá QoE d a trên QoS
3.2.1 Phân tích các tham s QoS liên quan
Phân tích các tham s liên quan

n QoE.

n tr i nghi m ngư i s d ng.

Ta s tìm hi u các tham s QoS có liên quan

n vi c ánh giá QoE. Dung lư ng

truy n d n là m t tham s QoS cơ b n có nh hư ng nhi u

n hi u năng c m nh n b i

ngư i dùng cu i. R t nhi u ng d ng ngư i dùng có yêu c u dung lư ng nh , các yêu
c u này có th

ư c coi là th a thu n d ch v . Các bit b m t có th

t ng s bit g i i

t m th i xác

ư c lo i ra kh i

nh dung lư ng m ng.

3.2.2 Mơ hình tương quan QoS/QoE cho vi c ánh giá QoE c a IPTV
Giá tr QoS chu n hóa
Như chúng ta ã bi t, s hài lòng c a ngư i dùng v IPTV ch u nh hư ng b i các
tham s QoS. Do ó chúng ta gi i h n ph m vi QoE v s hài lòng v QoE c a video
IPTV.
M i quan h QoS/QoE cho th y r ng các danh m c QoE có liên quan

n các tham

s QoS. R t nhi u danh m c QoS cho th y m i tương quan tích c c v i các danh m c
QoE.

ph n nh các tham s ch t lư ng QoS trong ánh giá QoE,ta c n th t c tính

tốn QoS chu n hóa
3.1.3 Mơ hình tương quan QoS/QoE cho vi c ánh giá IPTV Video QoE
Cơng th c s hóa

ánh giá IPTV Video QoE b ng cách s d ng các tham s QoS

chu n hóa như sau:
QoE_V
5

Users Very
satisfied

4

Users
satisfied

3

Some users
disatisfied

2

Many users
dissatisfied

1

Nearly all users
dissatisfied
0.2

0.4

0.6

0.8
QoS (X)

Hình 3.6 Mơ hình tương quan QoS/QoE
Bi n s và h ng s dùng trong mơ hình này ư c xác

nh b i các thành phàn gây

nh hư ng lên QoE. Các thành ph n này có mơi trư ng d ch v , lo i hình d ch v , lo i
codec s d ng,… Hoành
ư c ph n ánh, và

ph n nh giá tr QoS chu n hóa trong ó mơi trư ng m ng

hài lịng d ch v c a thuê bao (QoE) ư c ph n ánh theo tr c tung.

hài lòng c a ngư i dùng ư c ph n ánh qua thang i m MOS cao nh t là 5.
15


K T LU N
Lu n văn ã khái quát chung

m ng IP như c i m v c u trúc,
s các c i m c a d ch v IPTV
các tham s QoS c a m ng t i ch

v t m nh hư ng c a ch t lư ng d ch v trên n n
công ngh , d ch v và ch t lư ng d ch v . Trên cơ
ã i sâu vào nghiên c u phân tích nh hư ng gi a
t lư ngc a âm thanh và hình nh. Các giá tr này

ư c làm b giá tr tham kh o
ph c v vi c Phương pháp ánh giá QoE d a trên
QoS
Lu n văn Lu n văn ã hoàn thành các n i dung nghiên c u và ã t ư c m t
s k t qu v lý thuy t và th c nghi m như sau:
Khái ni m IPTV, các d ch v chính cung c p b i IPTV, t m quan tr ng c a vi c
m b o QoS và QoE cho d ch v IPTV.
Khái ni m và các thông s liên quan n QoS và QoE. QoE là toàn b hi u năng
h th ng t quan i m ngư i s d ng, nó ch u nh hư ng c a QoS và nhi u y u
t ch quan khác n a và các Phương pháp ánh giá c a QoE nh m m b o
cung c p m t chương trình có ch t lư ng t ng th m c t t nh t.
M t phương pháp ánh giá trong ó có phương pháp ánh giá c a QoE d a trên
các tham s c a QoS ph n nào ã làm rõ ư c các v n
liên quan n ch t
lư ng d ch v c a nhà cung c p d ch v IPTV, t các phương pháp trên ã ưa
ra ư c các tiêu chu n sao cho
nhà cung c p d ch v IPTV s cho ra m t s n
ph m d ch v t t nh t

làm hài long cho t t c các khách hàng s d ng.

16