Tài liệu Kỹ thuật thông tin số_chương 4 docx

- Chỉång IV -

Chỉång

4

M họa ngưn
Hãû thäúng thäng tin âỉåüc sỉí dủng âãø truưn tin tỉïc tỉì ngưn tin âãún nháûn tin. Ngưn tin sinh
ra tin dỉåïi nhiãưu dảng khạc nhau, vê duû ám thanh trong hãû thäúng radio, tên hióỷu video trong
hóỷ thọỳng vọ tuyóỳn truyóửn hỗnh...
Tin naỡy coù thãø âỉåüc âỉa trỉûc tiãúp vo kãnh âãø truưn âi, nhỉng trong thỉûc tãú, tin ny thỉåìng
âỉåüc biãún âäøi räưi âỉa vo kãnh truưn. Vê dủ nhỉ tin l vàn bn tiãúng Anh, ngưn tin cọ
khong 40 k tỉû (symbol) khạc nhau, gäưm cạc máùu tỉû alphabet, con säú, dáúu cháúm cáu...Vãư
ngun tàõc ta cọ thãø dng 40 dảng sọng âiãûn ạp khạc nhau âãø biãøu thë 40 k tỉû naỡy. Tuy
nhión thổỷc tóỳ thỗ phổồng phaùp naỡy khọng phuỡ håüp, quạ khọ thỉûc hiãûn hay tháûm chê khäng thãø
âỉåüc, vỗ:
-

Kónh truyóửn khọng phuỡ hồỹp vóử mỷt vỏỷt lyù õóứ cọ thãø mang nhiãưu k tỉû khạc nhau nhỉ
váûy.

-

Di táưn âi hi s ráút räüng.

-

Viãûc lỉu trỉỵ hay xỉí l tên hiãûu trỉåïc khi truưn ráút khọ, trong khi nãúu chuyóứn sang nhở
phỏn thỗ moỹi vióỷc seợ dóự daỡng hồn nhiãưu.

Váûy ta tháúy cáưn phi thay âäøi dảng ca tin khạc âi so våïi dảng ban âáưu do ngưn cung cáúp.

Cäng viãûc thay âäøi dảng ny âỉåüc gi l m họa (encoding).
Cå såí l thuút ca m họa l l thuyãút tin (information theory). Lyï thuyãút tin liãn quan âãún
viãûc biãøu diãùn tin bàịng cạc k tỉû, âỉa ra giåïi hản l thuút cho viãûc thỉûc hiãûn hãû thäúng thäng
tin, cho phẹp âạnh giạ hiãûu sút ca hãû thäúng thỉûc tãú. Nãưn tng ca l thuút tin do Hartley
v Nyquist âỉa ra tỉì nhỉỵng nàm 1920 v âỉåüc Shannon hon chènh vaì täøng kãút vaìo nàm
1948. Âáy laì mäüt lyï thuút phỉïc tảp, pháưn âáưu ca chỉång ny dnh âãø trỗnh baỡy nhổợng vỏỳn
õóử cồ baớn nhỏỳt cuớa lyù thuyóỳt tin.
Vãư cạc mủc âêch ca m họa, ta cọ thãø tọm tàõt nhỉ sau:
- Âënh dảng, âãø chuøn tin tỉì dảng gäúc tỉû nhiãn sang dảng chøn vê dủ sang dảng säú
PCM.
- M họa âỉåìng, âãø âm bo dảng sọng ca k tỉû truưn âi ph håüp våïi cạc âàûc âiãøm ca
kãnh truưn.
- M họa ngưn (source encoding), nhàịm gim sọỳ kyù tổỷ trung bỗnh yóu cỏửu õóứ truyóửn baớn
tin.
- Máût m họa (encryption), âãø m họa bn tin bàịng mäüt khọa máût m nhàịm trạnh sỉû thám
nháûp trại phẹp, âm bo âäü an ton cho thäng tin.
- M họa kãnh truưn (channel encoding), cho phẹp bãn thu cọ thãø phạt hiãûn, kãø c sỉía
- 81 -


- Chỉång IV -

âỉåüc cạc läùi trong bn tin thu âãø tàng âäü tin cáûy ca thäng tin.
Pháưn âënh dảng v m họa âỉåìng â âỉåüc xẹt âãún trong chỉång III. Do nhỉỵng âàûc âiãøm
riãng, pháưn máût m họa khäng õổồỹc õóử cỏỷp trong giaùo trỗnh naỡy. Phỏửn maợ hoaù kónh truyóửn seợ
õổồỹc trỗnh baỡy trong chổồng sau. Chổồng naỡy trỗnh baỡy vóử maợ hoùa nguọửn, trong õoù tỏỷp trung
vaỡo loải m thäúng kã täúi ỉu. Loải m ny tảo ra tỉì m cọ âäü di thay âäøi, trong âọ phäø biãún l
m Huffman, bao gäưm m Huffman cå såí (basic Huffman) v m Huffman âäüng (dynamic
Huffman). Pháưn cúi chỉång s giåïi thiãûu så lỉåüc vãư m họa fax (facsimile)
4.1 L thuút tin

4.1.1

Âo tin tỉïc

Âãø âạnh giạ âënh lỉåüng cho tin tỉïc, ngỉåìi ta âỉa ra khại niãûm lỉåüng tin (information content).
Lỉåüng tin liãn quan âãún giạ trë ca tin, hay nọi cạch khạc l kh nàng dỉû âoạn âỉåüc
(predictability) ca tin: mäüt tin cọ kh nàng âoạn trỉåïc cng nhióửu thỗ caỡng chổùa ờt tin. Vờ duỷ,
baớn tin vóử t säú tráûn bọng Manchester United - Bradford Academicals l 7 - 0 chỉïa ráút êt tin
nhỉng kãút qu ngỉåüc laỷi thỗ gỏy chỏỳn õọỹng, vaỡ do õoù chổùa rỏỳt nhióửu tin. Vỏỷy xaùc suỏỳt caỡng
cao thỗ baớn tin caỡng chỉïa êt tin v ngỉåüc lải. Ta cọ thãø viãút:
p (baín tin) = 1 khäng mang tin
p (baín tin) = 0 mang mäüt lỉåüng tin vä hản.
Tỉì nháûn xẹt trãn, ta tháúy tin cng cọ nghéa khi nọ cng hiãúm gàûp, nãn âäü låïn ca nọ phi t
lãû nghëch våïi xạc sút xút hiãûn ca tin.
Xẹt ngưn tin X råìi rảc sinh ra cạc tin i våïi xạc sút l p(i), lỉåüng tin ca tin i phi l mäüt
hm cọ cạc âàûc âiãøm sau:
-

T lãû nghëch våïi xạc sút xút hiãûn p(i), hay âọ l hm f(1/p(i)).

-

Hm ny phi laì 0 khi p(i) = 1.

-

Nãúu hai tin âäüc láûp thäúng kã l i v j âäưng thåìi xút hiãûn, ta cọ tin l (i,j), lỉåüng tin
chung ca chụng phi bàịng täøng lỉåüng tin ca tỉìng tin, nghéa l:

f(1/p(i,j)) = f(1/p(i)) + f(1/p(j))

Theo lût nhán xạc sút ta cọ:
p(i,j) = p(i).p(j)
Do âọ:

f(1/(p(i).p(j))) = f(1/p(i)) + f(1/p(j))
Ta tháúy hm loga tho mn táút c cạc u cáưu ny. Váûy hm log(1/p(i)) âỉåüc chn âãø âạnh
giạ âënh lỉåüng cho tin. Lỉåüng tin ca mäüt tin i âỉåüc k hiãûu l I(i). Âënh nghéa lỉåüng tin ca
mäüt tin i l:

I(i) = log

1
= − log p(i)
p(i)
- 82 -


- Chỉång IV -

Âån vë âo ca lỉåüng tin tu thüc vo cå säú ca loga. Âån vë ca lỉåüng tin laì bit, laì nat hay
laì hartley khi cå säú ca loga láưn lỉåüt l 2, l e hay l 10. Trong âọ cå säú 2 thỉåìng âỉåüc chn
hån c. Khi choỹn cồ sọỳ 2 thỗ lổồỹng tin cuớa tin i laì:

I(i) = log 2

1
= − log 2 p(i) (bit)
p(i)

Váûy cọ thãø âënh nghéa bit nhỉ sau: bit l lỉåüng tin mang trong mäüt k tỉû cọ xạc sút xút hiãûn

l p = 0,5.
4.1.2 Entropy ca ngưn tin
Entropy H âỉåüc õởnh nghộa laỡ giaù trở trung bỗnh thọỳng kó cuớa lổồỹng tin. où laỡ lổồỹng tin trung
bỗnh chổùa trong mọỹt k tỉû báút k ca ngưn tin.
Xẹt mäüt ngưn tin sinh ra M k tỉû âäüc láûp thäúng kã. Ngưn tin ny âỉåüc gi l ngưn råìi rảc
khäng nhåï (discrete memoryless source). Entropy ca ngưn ny lì:
M

H = ∑ p(m) log 2
m =1

1
(bit/k tỉû)
p( m)

trong âọ p (m) l xạc sút chn k tỉû thỉï m.
L thuút tin â chỉïng minh giạ trë låïn nháút ca entropy l H

max

= log 2 M , âảt âỉåüc khi

cạc k tỉû âäüc láûp v âäưng xạc sút (equiprobable), nghéa l:

p(m) = 1 / M, ∀m = 1, M
Âäúi våïi ngưn tin ASCII cọ M = 128 thỗ entropy cổỷc õaỷi laỡ:

Hmax = - log2(1/128) = 7 (bit/kyù tổỷ).
Thổỷc tóỳ thỗ õióửu naỡy khoù xy ra nãn entropy ca ngưn ASCII l:
128

H = ∑ p(m) log 2
m =1

1
< 7 (bit/kyï tæû)
p( m )

Âäúi våïi ngưn tin nhë phán cọ M = 2, nãúu p (1) = 1 vaỡ p (0) = 1-p thỗ entropy laì:
2

H = ∑ p(m) log 2
m =1

1
1
1
= p log 2 + (1 − p) log 2
(bit/kyï tæû)
1− p
p
p( m )

4.1.3 Entropy cọ âiãưu kiãûn v âäü dỉ
Âäúi våïi cạc ngưn tin trong âọ viãûc sinh ra k tỉû sau khäng âäüc láûp thäúng kã våïi cạc k tỉû
trỉåïc âọ ( goỹi laỡ nguọửn coù nhồù - memory source) thỗ cọng thỉïc entropy trãn khäng â täøng
quạt âãø tênh âỉåüc entropy chênh xạc.
Trong trỉåìng håüp ny phi xẹt âãún xạc sút cọ âiãưu kiãûn (conditional probability). Vê dủ våïi
ngưn cọ nhåï mäüt k tỉû, nghéa l k tỉû sau âỉåüc chn phủ thüc vo mäüt k tỉû trỉåïc âọ,
entropy âỉåüc tênh nhæ sau:

- 83 -


- Chæång IV -

H=∑
i

1

∑ p( j, i) log 2 p( j i)
j

(bit/k tỉû)

åí âáy p( j, i) l xạc sút ngưn chn i v j, p( j i) l xạc sút ngưn chn j nãúu trỉåïc âọ â
chn i. Theo âënh lyï Bayes, ta coï:

p( j, i) = p(i)p( j i)
Váûy:

H = ∑ p(i)∑ p( j i) log 2
i

j

1
(bit/kyï tæû)
p( j i)

Sỉû khạc nhau giỉỵa entropy thỉûc sỉû ca ngưn v entropy cỉûc âải gi l âäü dỉ (redundancy)
ca ngưn, kyï hiãûu laì r:

r = H max − H = log 2 M − ∑ p(i)∑ p( j i) log 2
i

j

1
(bit/k tỉû)
p( j i)

Âäü dỉ tỉång âäúi ca ngưn âỉåüc âënh nghéa nhæ sau:

r=

H max − H
H max

=1−

H
H max

4.1.4 Sæû máút mạt tin do nhiãùu
Gi k tỉû ngưn thỉï i âỉåüc truưn âi l i

TX

, xạc sút xút hiãûn i

TX

l p(i

TX

) , lỉåüng tin ca

i TX l I TX (i TX ) :
I TX (i TX ) = log 2

1
(bit)
p(i TX )

Âäúi våïi kãnh khäng nhiãùu (noiseless channel), gi sỉí âiãûn ạp v

RX

tỉång ỉïng våïi k tỉû phạt l

i TX , khi bón nhỏỷn tin taùch õổồỹc v RX thỗ cọ thãø biãút chàõc chàõn k tỉû phạt åí ngưn l i TX .
Lỉåüng tin trong trỉåìng håüp ny âỉåüc bo ton khi truưn qua kãnh:

I RX ( v RX : i TX ) = I TX (i TX ) = log 2

1
(bit)
p(i TX )

Tuy nhiãn, âäúi våïi kãnh coï nhiãùu (noise channel), khi bãn nháûn tin tạch âỉåüc âiãûn aùp v

RX

thỗ

khọng thóứ kóỳt luỏỷn chừc chừn vóử kyù tổỷ thỉûc phạt åí ngưn. Sỉû khäng chàõc chàõn ny liãn quan
âãún xạc sút p(i

TX

v RX ) , âáy l xạc sút phạt k tỉû thỉï i v tạch âỉåüc âiãûn aïp v RX åí bãn

nháûn (Âäúi våïi kãnh khäng nhiãùu, xạc sút ny l 1). Âäúi våïi kãnh cọ nhiãùu, tin nháûn âỉåüc êt
hån tin truưn âi mäüt lỉåüng liãn quan âãún âäü khäng chàõc chàõn ca quút âënh. Thỉûc tãú, lỉåüng
tin nháûn âỉåüc l:
- 84 -


- Chæång IV -

p(i TX v RX )

I RX ( v RX : i TX ) = log 2

p(i TX )

Gi sỉí bãn nháûn tin thỉûc hiãûn quút âënh cỉïng, âiãûn ạp v
nháûn l i

RX

RX

(bit)

chuøn âäøi trỉûc tiãúp thnh k tỉû

. Trong trỉåìng håüp ny, lỉåüng tin nháûn âỉåüc l:

I RX (i RX ) = log 2

p(i TX i RX )
p(i TX )

(bit)

Sỉû suy gim lỉåüng tin trong mäùi k tỉû do nhiãùu cọ nghéa l entropy nháûn nh hån entropy
phạt. Entropy nháûn chênh l entropy hiãûu qu (effective entropy) ca cạc k tỉû nháûn. K hiãûu
entropy hiãûu qu l H v âỉåüc tênh nhỉ sau:
eff

H eff = ∑ p(i RX )I RX (i RX ) (bit/k tỉû)
i

åí âáy p(i

RX

) l xạc sút thu k tỉû thỉï i.

Sỉû khạc nhau giỉỵa H

eff

v entropy phạt gi l âäü nghi ngåì (equivocation) E:

H eff = H - E (bit/k tỉû)
Âäü nghi ngåì âỉåüc tênh tỉì viãûc ta khäng chàõc l k tỉû truưn âi cọ giäúng våïi k tỉû nháûn âỉåüc
hay khäng. Sỉû khäng chàõc chàõn ny l do kãnh truưn cọ nhiãùu nãn cọ thãø xem nhiãùu chênh
l tin ám cäüng vo dng k tỉû phạt.
Âäü nghi ngåì âỉåüc âënh nghéa l:

E=∑
i

åí âáy p( j

∑ p(i
j

RX

, jRX ) log 2
TX

1
p(i TX jRX )

= ∑ p( jRX )∑ p(i TX jRX ) log 2
j

i

1
p(i TX jRX )

) l xạc sút nháûn k tæû thæï j, p(i TX jRX ) liãn quan âãún xạc sút läùi k tỉû.

4.1.5 Täúc âäü láûp tin ca ngưn tin
Ngoi thäng säú cå bn ca ngưn l entropy tu thüc vo cáúu trục thäúng kã ca ngưn, cn
cọ mäüt thäng säú khạc tu thüc vo tênh cháút váût l ca ngưn. Âọ l täúc âäü thiãút láûp tin
(information rate) ca ngưn, k hiãûu l R. Thäng säú ny chố ra sổỷ hỗnh thaỡnh tin nhanh hay
chỏỷm õóứ õổa vo kãnh. Vê dủ con ngỉåìi, do kãút cáúu ca cå quan phạt ám nãn mäùi giáy chè
phạt ám âỉåüc tỉì 5 âãún 7 tiãúng, trong khi mäüt thiãút bë âáưu cúi säú liãûu cọ thãø âảt âãún hng
ngn k hiãûu trong mäüt giáy.
Täúc âäü thiãút láûp tin ca ngưn cọ âån vë l lỉåüng tin trãn âån vë thåìi gian (trổồỡng hồỹp duỡng
loga cồ sọỳ 2 thỗ õồn vở l bit/s) v âỉåüc tênh l têch ca entropy våïi säú k hiãûu láûp âỉåüc trong
mäüt âån vë thåìi gian:
- 85 -


- Chỉång IV -

R = n 0 H (bit/s)
trong âọ n0 l säú k hiãûu láûp âỉåüc trong mäüt âån vë thåìi gian, tu thüc vo tênh cháút váût l
ca nguäön.
Ta tháúy âãø náng cao täúc âäü thiãút láûp tin ca ngưn cáưn thiãút phi náng cao entropy. Täúc âäü
láûp tin ca ngưn s cỉûc âải khi entropy ca ngưn cỉûc âải.

4.1.6 Thäng lỉåüng kãnh
Âënh nghéa thäng lỉåüng ca kãnh (channel capacity) l lỉåüng tin täúi âa kãnh cho âi qua trong
mäüt âån vë thåìi gian maì khäng gáy läùi. K hiãûu thäng lỉåüng kãnh l C v âån vë âo giäúng
nhỉ âån vë ca täúc âäü láûp tin (bit/s).
Thäng thỉåìng täúc âäü láûp tin bẹ hån nhiãưu so våïi thäng lỉåüng kãnh:

R << C
a) Trỉåìng håüp truưn tin trong kãnh khäng nhiãùu:
Khi kãnh khäng nhiãùu, ton bäü tin tỉïc âãưu âỉåüc truưn qua kãnh m khäng bë läùi. Lỉåüng tin
täúi âa m kãnh cho qua cng bàịng våïi lỉåüng tin täúi âa m ngưn cọ thãø thiãút láûp. Váûy thäng
lỉåüng kãnh l:

C = R max = n 0 H max (bit/s)
Theo Shannon, nóỳu R < C thỗ coù thóứ m họa âãø lm cho täúc âäü láûp tin ca ngưn tiãúp cáûn våïi
thäng lỉåüng kãnh:

C − R < ε , ε l vä cng bẹ
Phỉång phạp m họa ny âỉåüc gi l m hoạ thäúng kã täúi ỉu.
b) Trỉåìng håüp truưn tin trong kãnh cọ nhiãùu:
Trong kãnh cọ nhiãùu, lỉåüng tin truưn âi bë hao hủt mäüt pháưn do nhiãùu nãn thäng lỉåüng kãnh
bë gim âi. Lỉåüng gim âi âọ chênh l lỉåüng tin bë nhiãùu phạ hy trong mäüt âån vë thåìi gian,
âỉåüc tênh bàịng n0 E. Váûy thäng lỉåüng kãnh cọ nhiãùu l:

R = n 0 H max − n 0 E = n 0 (H max E)
Theo Shannon, nóỳu R < C thỗ coù thóứ m họa âãø tin âỉåüc truưn âi trong kãnh våïi xạc sút läùi
bẹ tu v nãúu R > C thỗ khọng thóứ truyóửn tin õi maỡ khọng bở lọựi. Phỉång phạp m họa âãø
gim xạc sút läùi âỉåüc gi l m hoạ âiãưu khiãøn läùi.
Âãø so sạnh cạc loải hãû thäúng thäng tin khạc nhau, ta cọ thãø xẹt kãnh truưn cho thûn tiãûn.
Xẹt kãnh cọ nhiãùu gausse tràõng, tyớ sọỳ tờn hióỷu trón nhióựu trung bỗnh laỡ S/N, bàng thäng ca
kãnh l B. Theo âënh l Hartley - Shannon, thäng lỉåüng ca kãnh ny l:

C = B log 2 (1 + S / N) (bit/s)

- 86 -


- Chỉång IV -

Cọ thãø ạp dủng räüng ri kãút quaớ naỡy cho nhióửu hóỷ thọỳng khaùc nhau bồới vỗ coù thóứ mọ hỗnh hoùa
nhióửu kónh thaỡnh kónh gausse trừng (white gaussian channel). Kãút qu ny cng âỉåüc cháúp
nháûn cho c kãnh liãn tủc v råìi rảc.
4.2 Cå bn vãư m họa
4.2.1 Âënh nghéa m họa
Cho ngưn tin råìi rảc X sinh ra N tin hay kyï tæû âäüc láûp ( x , x ,..., x ,..., x ). Xeït mäüt táûp M
1

2

i

N

cọ M pháưn tỉí hỉỵu hản ( m , m ,..., m ).
1

2

q

M họa (encoding) ngưn tin X bàịng táûp M cọ nghéa l biãún âäøi mäùi tin x ca ngưn tin X

i

thnh mäüt táûp cạc pháưn tỉí thüc M nhàịm tha mn mäüt u cáưu no âọ cuía hãû thäúng thäng
tin:

x i → m i1m i 2 ...m il
Phẹp biãún âäøi ngỉåüc lải:

m i1m i 2 ...m il → x i
âỉåüc gi l gii m (decoding).
Thäng thỉåìng, säú tin ca ngưn tin ráút låïn nãn säú k hiãûu m khäng thãø bàịng hồûc nhiãưu hån
säú tin.
4.2.2 Cạc tham säú cå bn ca m họa
Táûp M âỉåüc gi l m hiãûu (code), cạc pháưn tỉí m gi l k hiãûu m (symbol), säú k hiãûu m
k

khạc nhau trong m gi l cå säú ca m. M nhë phán l m cå säú 2, trong âọ m chè cọ 2 k
hiãûu m l 0 v 1.
Dy liãn tủc cạc k hiãûu m dng âãø m họa mäüt tin ca ngưn âỉåüc gi l tỉì m
(codeword). ÅÍ âáy tỉì m tỉång ỉïng våïi tin x l m m ...m .
i

i1

i2

il

Säú k hiãûu m cọ trong mäüt tỉì m âỉåüc gi l âäü di ca tỉì m (codeword length), k hiãûu l
l. Vê dủ tỉì m 00100 cọ âäü di l 5.

Tham säú tiãúp theo l trng lỉåüng tỉì m (codeword weigh), âọ l täøng säú cạc k hiãûu khạc 0
cọ màût trong tỉì mỵ, k hiãûu l w. Vê dủ tỉì m 110001 cọ trng lỉåüng l 3.
Mäüt tham säú nỉỵa l khong cạch m (distance), k hiãûu l d. Âọ l säú k hiãûu cng vë trê
khạc nhau giỉỵa hai tỉì m di bàịng nhau. Vê dủ khong cạch giỉỵa hai tỉì m 110001 v
101000 l 3.
Gi C1 v C2 l hai tỉì m di bàịng nhau. Cọ thãø dãù dng nháûn tháúy khong cạch m giỉỵa hai
tỉì m naìy laì:

d (C1 , C 2 ) = w (C1 ⊕ C 2 )
- 87 -


- Chỉång IV -

4.2.3 Phán loải m
Ta cọ thãø phán loải m theo nhiãưu cạch khạc nhau. Dỉåïi âáy l mäüt säú cạch hay gàûp:
-

Dỉûa vo âäü di ca tỉì m, ta phán ra m cọ âäü di khäng âäøi gi l m âãưu v m cọ
âäü di thay âäøi gi l m khäng âãưu. Âäúi våïi m khäng âãưu, õọỹ daỡi trung bỗnh laỡ mọỹt
thọng sọỳ cồ baớn cuớa m v âỉåüc tênh theobiãøu thỉïc:
M

l = ∑ p ( m )l m
m =1

trong âọ lm l âäü di tỉì m tỉång ỉïng våïi k tỉû m.
-

Dỉûa vo trng lỉåüng ca tỉì m, ta phán ra m cọ trng lỉåüng khäng âäøi v m cọ

trng lỉåüng thay âäøi.

-

Dỉûa vo khong cạch m giỉỵa hai tỉì m kãư nhau, ta phán ra m cọ khong cạch
khäng âäøi v m cọ khong cạch thay âäøi.

-

Dỉûa vo cå säú ca m, ta phán ra m nhë phán (m cå säú 2), m bạt phán (m cå säú
8), m hexa (m cå säú 16)... Trong âọ m nhë phán l m thäng dủng nháút. Chỉång
ny ta chè xẹt m nhë phán.

-

Dỉûa vo âäü tin cáûy, ta phán ra m cọ kh nàng phạt hiãûn v sỉía läùi v m khäng cọ
kh nàng phạt hiãûn v sỉía läùi

-

Dỉûa vo hiãûu sút thäng tin, ta phán ra m täúi ỉu v m chỉa täúi ỉu.

4.2.4 Cạc phỉång phạp biãøu diãùn m
a) Phỉång phạp liãût kã
Âáy l phỉång phạp biãøu diãùn m âån gin nháút: chè cáưn liãût kã cạc tin ca ngưn v cạc tỉì
m tỉång ỉïng trong mäüt bng.
Vê dủ: ngưn tin cọ 8 tin (k tỉû), cạc tin âỉåüc m họa nhỉ bng 4.1
Phỉång phạp biãøu diãùn ny cọ ỉu âiãøm l củ thãø, roợ raỡng nhổng õọỳi vồùi caùc bọỹ maợ lồùn thỗ quạ
cäưng kãưnh.

Tin

A

B

C

D

E

F

G

H

Tỉì m

000

001

010

011

100

101

110

111

Bng 4.1 Vê dủ vãư bng m
b) Phỉång phạp ma tráûn
Tỉì vê dủ trãn, ta tháúy: cọ nhỉỵng tỉì m l täø håüp tuún tênh ca cạc tỉì m khạc. Chàóng hản
nhỉ: D = B ⊕ C, F = B ⊕ E, G = C ⊕ E, H = B ⊕ C ⊕ E . Váûy khäng cáön thiãút phi liãût
kã hãút táút c cạc tỉì m trong bng m m chè cáưn chn mäüt säú tỉì m lm cå såí. Cạc tỉì m cå
såí ny s láûp thnh bng dỉåïi dảng ma tráûn v gi l ma tráûn sinh (generated matrix).
- 88 -


- Chỉång IV -

Vê dủ ma tráûn sinh tỉång ỉïng våïi bng m trãn l:

⎡0 0 1⎤
⎢0 1 0 ⎥
⎥
⎢
⎢1 0 0⎥
⎦
⎣
Khi thnh láûp ma tráûn sinh, quy ỉåïc loải b cạc tỉì m gäưm ton k hiãûu 0.
c) Phỉång phạp cáy
Cáy m (code tree) gäưm cọ nụt gäúc (root node), nụt lạ (leaf node) v cạc nụt nhạnh (branch
node). Gäúc ca cáy gi l nụt gäúc. Tỉì nụt gäúc phán ra täúi âa q nhạnh (q l cå säú ca m). Mäùi

nhạnh mang mäüt k hiãûu m, âọ l giạ trë ca nhạnh. Nhạnh âỉåüc bàõt âáưu åí nụt mỉïc i v kãút
thục åí nụt mỉïc i+1. Nụt m tỉì âọ cn phán nhạnh tiãúp gi l nụt nhạnh. Tỉì mäùi nụt nhạnh
phán ra täúi âa q nhạnh. Nụt cúi cng ca cáy gi l nụt lạ. Mäùi nụt lạ biãøu diãùn mäüt cho mäüt
tỉì m. Tỉì m bao gäưm cạc k hiãûu m l giạ trë ca cạc nhạnh theo thỉï tỉû âi tỉì nụt gäúc qua
cạc nụt nhaùnh õóỳn nuùt laù.
Hỗnh 4.1 laỡ vờ duỷ vóử mọỹt cáy m cho bäü m nhë phán gäưm cạc tỉì m l 00, 01, 10, 1101,
11001.
Mỉïc
1

0

Mỉïc 1
0

0

1

1
Mỉïc 2

00

01

10

0
Mỉïc 3

0

1
Mỉïc 4
1

1101
Mỉïc 5
11001

Hỗnh 4.1 Vờ duỷ vóử cỏy maợ
Nhỗn vaỡo cỏy maợ ta cọ thãø biãút âỉåüc âáy l m âãưu hay khäng âãưu. M l âãưu khi táút c cạc
nụt lạ cọ cng mỉïc. M biãøu diãùn bàịng cáy m åí hỗnh 4.1 thuọỹc loaỷi maợ khọng õóửu.
d) Phổồng phaùp õa thổùc
Phổồng phaùp naỡy duỡng laỡm mọ hỗnh toaùn õóứ bióứu dióựn maợ voỡng. ặu õióứm cuớa phổồng phaùp
naỡy laỡ coù thãø thỉûc hiãûn m họa v gii m m vng dãù dng bàịng cạch sỉí dủng cạc phẹp toạn
âäúi våïi âa thỉïc nhỉ phẹp cäüng, nhán v chia.
Tỉì m k bit m

k −1

m k −2 ...m 2 m1m 0 ( theo thỉï tỉû tỉì trại qua phi l msb âãún lsb) cọ thãø âỉåüc

biãøu diãùn bàịng âa thỉïc sau:
- 89 -


- Chæång IV -

f ( x ) = m k −1 x

k −1

+ m k −2 x

k −2

2

+ ... + m 2 x + m1 x + m 0
6

5

3

Vê duû tỉì m nhë phán 1101001 cọ thãø biãøu diãùn bàịng âa thæïc: f ( x ) = x + x + x + 1 .
4.3 M họa ngưn
Hãû thäúng thäng tin âỉåüc sỉí dủng âãø truưn tin tỉïc tỉì ngưn tin âãún nháûn tin. Ngưn tin cọ ráút
nhiãưu dảng khạc nhau, nhỉng cọ thãø phán thnh hai loải chênh l ngưn liãn tủc (continuous
source) nhỉ ngưn ám thanh, ngưn video... v ngưn råìi rảc (discrete source) nhỉ ngưn dỉỵ
liãûu tỉì mạy tênh.
Trong hãû thäúng thäng tin säú, âáưu ra ca ngưn phi âỉåüc chuøn thnh dảng thêch håüp âãø cọ
thãø truưn âi bàịng k thût säú. Theo sỉû phán loải ngưn, ta cọ hai k thût m họa ngưn
chênh l m họa ngưn liãn tủc v m họa ngưn råìi rảc. Näüi dung m họa ngưn liãn tủc
cng trng våïi näüi dung säú hoạ tên hiãûu liãn tủc â xẹt trong chổồng trổồùc.
Trong phỏửn naỡy, ta xeùt quaù trỗnh maợ họa ngưn råìi rảc (discrete source encoding). Ngưn råìi
rảc l ngưn sinh ra cạc k tỉû våïi mäüt quy lût phán bäú xạc sút no âọ. Âãø cho âån gin, ta
xẹt trỉåìng håüp ngưn khäng nhåï, cạc k tỉû âỉåüc sinh ra âäüc láûp våïi nhau. Thäng thỉåìng, quy
lût phán bäú xạc sút sinh ra cạc k tỉû l khäng âãưu nãn âäü dỉ ca ngưn låïn, entropy ca

ngưn bẹ, täúc âäü láûp tin ca ngưn cn xa måïi âảt âãún thäng lỉåüng kãnh. Lục âọ nhiãûm vủ
ca m họa ngưn råìi rảc l lm cho cáúu trục thäúng kã ca ngưn tråí nãn håüp l bàịng cạch
tàng entropy ca cạc k tỉû dng âãø m họa ngưn.
Ngun tàõc ca m họa ngưn råìi rảc l m họa cạc k tỉû cọ xạc sút sinh ra låïn bàịng cạc tỉì
m ngàõn v m họa cạc k tỉû cọ xạc sút sinh ra bẹ bàịng cạc tỉì m di. Loải m ny gi l
m họa thäúng kã (statistical encoding). Mäüt vê dủ ca m họa thäúng kã l m Morse dng âãø
m họa bn tin tiãúng Anh. Trong m Morse, k tỉû xút hiãûn nhiãưu nháút l 'e' âỉåüc m hoạ
bàịng tỉì m ngàõn nháút '.' (1 bit). Dỉûa theo ngun tàõc ny ta tháúy m họa thäúng kã giụp trạnh
hiãûn tỉåüng kãnh truưn bë quạ ti khi bn tin chỉïa quạ nhiãưu k tỉû cọ xạc sút xút hiãûn låïn.
Viãûc truưn tin s tråí nãn kinh tãú hån nãúu m thọỳng kó coù õọỹ daỡi trung bỗnh cuớa tổỡ maợ l nh
nháút. Loải m nhỉ váûy gi l m thäúng kã täúi ỉu (optimum statistical code). Âáy chênh l m
họa nẹn (copression)
Pháưn sau âáy s xẹt củ thãø cạc tiãu chøn ca m thäúng kã täúi ỉu cå säú 2.
4.3.1 Giồùi haỷn cuớa õọỹ daỡi tổỡ maợ trung bỗnh
Giaớ sổớ ngưn tin X sinh ra cạc k tỉû xi âäüc láûp. M họa ngưn tin X bàịng bäü m nhë phán M,
cạc k hiãûu m 0 v 1 cọ xạc sút bàịng nhau p(0) = p(1) = 0.5.
Lỉåüng tin riãng ca mäüt k hiãûu 0 hay 1 bàịng våïi lỉåüng tin trung bỗnh vaỡ õaỷt giaù trở cổỷc õaỷi:

I(0) = I(1) = log 2 2 = 1 (bit/k hiãûu)
M họa k tỉû xi bàịng mäüt tỉì m nhë phán di li. Nhỉ váûy lỉåüng tin chỉïa trong tỉì m ny seợ laỡ
li (bit). Lổồỹng tin trung bỗnh chổùa trong mọỹt tổỡ maợ seợ laỡ õọỹ daỡi trung bỗnh cuớa tổỡ m, l L (bit)
- 90 -


- Chỉång IV -

Âãø cho phẹp m họa âảt hiãûu qu cao, ton bäü lỉåüng tin riãng trong mäùi k tỉû ngưn phi
âỉåüc chuøn hãút sang cho tỉì m tỉång ổùng, hay lổồỹng tin trung bỗnh cuớa tổỡ maợ phaới lồùn hồn
hoỷc bũng lổồỹng tin trung bỗnh cuớa mọỹt kyù tổỷ nguọửn. Lổồỹng tin trung bỗnh cuớa mọỹt kyù tổỷ
nguọửn chênh l entropy ca ngưn H. Váûy:

L≥H
Âáy l giåïi hản dổồùi cuớa õọỹ daỡi trung bỗnh cuớa tổỡ maợ. Dỏỳu bàịng chè xy ra khi âäü di ca mäüt
tỉì m báút k bàịng våïi lỉåüng tin riãng ca k tỉû m nọ m họa:

l i = − log p( x i )
Vỗ li laỡ sọỳ nguyón nón - logp(xi) phaới laỡ sọỳ nguyón. Khi õoù õọỹ daỡi trung bỗnh cuớa tỉì m s âảt
täúi thiãøu L = Lmin. Ta cọ bọỹ maợ thọỳng kó tọỳi ổu. Thổồỡng thỗ - logp(xi) khäng phi l säú
ngun nãn L ≥ H chè l mäüt âiãưu kiãûn giåïi hản.
Ta cọ thãø tháúy: âãø âäü daỡi tổỡ maợ trung bỗnh nhoớ nhỏỳt khi - logp(xi) khọng phaới laỡ sọỳ nguyón
thỗ L phaới thoaớ maợn bỏỳt âàóng thỉïc sau:

H ≤ L < H +1
Váûy giåïi hản trón cuớa õọỹ daỡi tổỡ maợ trung bỗnh laỡ H+1. Mọỹt bọỹ maợ coù õọỹ daỡi tổỡ maợ trung bỗnh
thoaớ âiãưu kiãûn ny âỉåüc gi l m thäúng kã täúi ỉu.
4.3.2 Hiãûu sút m
Âënh nghéa hiãûu sút m (code efficiency) l t säú giỉỵa entropy ca ngưn tin cọ cạc k tỉû
âäüc láûp v entropy cỉûc âải ca ngưn âọ:
M

η=

H
x100 % =
H max

∑ p(m) log
m =1

2

log 2 M

1
p(m)

x100 %

Nãúu caïc k tỉû ngưn âỉåüc m họa thnh mäüt táûp cạc kyù tổỷ mồùi nhổ hỗnh 4.2 thỗ H vaỡ H max l
entropy v entropy cỉûc âải ca táûp k tỉû måïi ny.
Bn tin
(Táûp k tỉû 1)

M họa

Bn tin
(Táûp k tỉû 2)

Hỗnh 4.2 Chuyóứn õọứi baớn tin giổợa hai tỏỷp kyù tỉû khạc nhau

Nãúu cạc k tỉû ngưn âỉåüc m họa thaỡnh tổỡ maợ nhở phỏn thỗ coù mọỹt caùch khaùc âãø tênh hiãûu
sút m:
- 91 -


- Chæång IV -

η=

H

x100 % =
L

H

x100 % (bit/säú nhë phán)

M

∑ p ( m )l
m =1

m

åí âáy lm l âäü di ca mäùi tỉì m nhë phán v L l âäü daỡi tổỡ maợ trung bỗnh.
So saùnh hai cọng thổùc tờnh hiãûu sút m åí trãn, ta rụt ra âỉåüc:

Hmax (bit/k tỉû) = L (bit/tỉì m)
4.3.3 Gii m trong trỉåìng håüp tỉì m cọ âäü di thay âäøi
Nọi chung l chụng ta õi tỗm mọỹt caùch maợ hoùa hổợu hióỷu coù thóứ bióứu dióựn caùc tin giọỳng nhau
maỡ trung bỗnh duỡng êt säú nhë phán hån. Kãút qu l âäü di ca cạc tỉì m biãøu diãùn cạc k tỉû
khạc nhau s khạc nhau. Váún âãư âàût ra l lm thãú no âãø bãn gii m nháûn ra âỉåüc âiãøm bàõt
âáưu v kãút thục ca cạc tỉì m di khạc nhau nhỉ váûy. Sau âáy l cạc âàûc âiãøm cáưn phi cọ âãø
gii m våïi cạc tỉì m di khạc nhau:
a) Gii m duy nháút (unique decoding)
Âiãưu ny l cáưn thiãút âãø cho cạc bn tin thu chè cọ mäüt nghéa duy nháút. Xẹt mäüt ngưn tin
gäưm 4 k tỉû alphabet, cạc k tỉû âỉåüc m họa bàịng cạc tỉì m nhë phán nhæ sau:
A = 0, B = 01, C = 11, D = 00
Nãúu bãn thu nháûn âỉåüc dy tổỡ maợ 0011thỗ khọng bióỳt laỡ bón phaùt truyóửn õi DC hay l AAC.
Váûy vê dủ trãn khäng tha tênh gii m duy nháút.

b) Gii m tỉïc thåìi (instaneous decoding)
Báy giåì xẹt mäüt ngưn tin khạc gäưm 4 k tỉû alphabet, cạc k tỉû âỉåüc m họa bàịng cạc tỉì m
nhë phán nhỉ sau:
A = 0, B = 10, C = 110, D = 111
M ny cọ thãø gii m tổùc thồỡi duỡng cỏy maợ nhổ trong hỗnh 4.3 a, vỗ khọng coù tổỡ maợ hoaỡn
thaỡnh naỡo laỡ phỏửn õỏửu (prefix) ca tỉì m khạc di hån nọ. M tha âiãưu kiãûn ny gi l m cọ
tênh prefix. Vê dủ ny ngỉåüc våïi vê dủ trỉåïc cọ A l pháưn âáưu ca c B v D.
Âäi khi m khäng cọ tênh prefix nhỉng váùn âm bo gii m duy nháút, tuy nhiãn lục ny
khäng thãø gii m tỉïc thåìi âỉåüc m phi máút thãm thåìi gian âãø xem xẹt cạc säú tiãúp theo trỉåïc
khi kãút lûn chênh xạc âỉåüc âiãøm kãút thục ca tỉì m. Vê dủ nhỉ ngưn tin sau:
A = 0, B = 01, C = 011, D = 111
Ta tháúy nãúu bãn thu nháûn âæåüc säú 0 thỗ phaới chồỡ nhỏỷn thóm sọỳ tióỳp theo. Nóỳu sọỳ tióỳp theo laỡ 0
thỗ quyóỳt õởnh sọỳ 0 trổồùc laỡ A, nóỳu sọỳ tióỳp theo laỡ 1 thỗ chồỡ nhỏỷn thãm mäüt säú nỉỵa, räưi cỉï tiãúp
tủc nhỉ váûy.
Thût toạn giaới maợ (hỗnh 4.3 c) giaớ sổớ bón thu õaợ cọ sàơn bng tỉì m v bng m ASCII tỉång
ỉïng. Dng bit thu âỉåüc xỉí l trong biãún DNG BIT.ì Bióỳn Tặè MAẻ õổồỹc duỡng õóứ lổu caùc bit
vaỡo mọựi tổỡ maợ trong khi caùc tổỡ maợ naỡy õổồỹc hỗnh thnh dáưn. Nhỉ ta tháúy tỉì lỉu âäư, mäùi khi tỉì
- 92 -


- Chỉång IV -

m âỉåüc nháûn dảng, tỉì m ASCII tỉång ỉïng âỉåüc viãút vo trong biãún BÄÜ ÂÃÛM THU. Th
tủc ny âỉåüc làûp lải cho âãún khi xỉí l hóỳt tỏỳt caớ caùc bit. Hỗnh 4.3 b laỡ mọỹt vê dủ vãư gii m.

(a)

1

0

A

0

1

B

1

0
C

D

(b)

Dng bit thu:

0

1 0

1000001

Tỉì m:

A

0

1 1 1

1 1 0

1000010 1000001

B

0 ---

thồỡi gian

1000100

A

D

Begin

(c)

Tặè MAẻ = 0

oỹc bit tiãúp theo tỉì DNG BIT &
gàõn thãm vo cạc bit õang coù trong Tặè MAẻ

Tặè MAẻ õaợ coù sụn
trong cỏy m ?

Y
Ti k tỉû ASCII vo BÄÜ ÂÃÛM THU

 xỉí lyù tỏỳt caớ bit
trong DOèNG BIT
N

Y
End

Hỗnh 4.3 Thuỏỷt toaùn giaới m v mäüt vê dủ gii m thỉûc tãú
(a) Vê dủ cáy m (b) Vê dủ gi i m (c) Thût toạn gii m
- 93 -

N


- Chỉång IV -

4.4 M họa Huffman
Nháûn tháúy xạc sút xút hiãûn ca cạc k tỉû trong ngưn tin l khäng bàịng nhau, cọ nhỉỵng k
tỉû xút hiãûn thỉåìng xun hån nhỉỵng k tỉû khạc, nàm 1952, Huffman â âỉa ra mäüt thût
toạn m họa dỉûa trãn xạc sút xút hiãûn ca cạc k tỉû. Thût toạn ca Huffman täúi ổu theo
nghộa õọỹ daỡi tổỡ maợ trung bỗnh laỡ nhoớ nháút. M Huffman khäng cọ âàûc tênh sỉía läùi, nhỉng cọ
tênh gii m duy nháút v tỉïc thåìi. Sau âáy ta s xẹt hai vê dủ, mäüt vê dủ vãư m họa Huffman
cå såí v mäüt vê dủ vãư m họa Huffman âäüng.
4.4.1 M họa Huffman cå såí (basic Huffman encoding)
Gi sỉí cọ mäüt säú bn tin âỉåüc truưn giỉỵa hai mạy tênh qua mảng PSTN. Cạc bn tin chè chỉïa
cạc k tỉû tỉì A âãún H. Theo kãút qu thäúng kã cho tháúy xạc sút xút hiãûn ca cạc k tỉû nhỉ
sau:

K tỉû

A

B

C

D

E

F

G

H

X.sút

0.1

0.18

0.4

0.05

0.06

0.1

0.07

0.04

Entropy ca ngưn l:
8

H = ∑ p(m) log 2
m =1

1
= 2.55 (bit/k tỉû)
p( m)

Entropy cỉûc âải ca ngưn l:

H = log 2 8 = 3 (bit/k tỉû)
Nhỉ váûy hiãûu sút ca ngưn l:

η=

2.55
x100 % = 85 %
3

Nãúu mäùi k tỉû trãn âỉåüc m họa thnh 3 bit thỗ hióỷu suỏỳt maợ hoùa seợ giổợ nguyón khọng thay
õọứi l 85 %.
M họa Huffman thỉûc hiãûn m họa sỉí dủng êt bit hån cho cạc k tỉû cọ xạc suỏỳt xuỏỳt hióỷn cao

vỗ chuùng õổồỹc truyóửn õi thổồỡng xuyón hån v ngỉåüc lải, nhiãưu bit hån cho cạc k tỉû cọ xạc
sút xút hiãûn tháúp nãn cọ thãø tàng âỉåüc hiãûu sút.
Thût toạn m họa Huffman gäưm cạc bỉåïc sau:
(1) Sàõp xãúp cạc k tỉû theo thỉï tỉû xạc sút gim dáưn.
(2) Gạn cho hai k tỉû cọ xạc sút xút hiãûn tháúp nháút våïi hai nhạnh (0) v (1) ca cáy m.
Tỉì hai k tỉû cọ xạc sút tháúp nháút gim cn mäüt k tỉû våïi xạc sút bàịng täøng ca hai
xạc sút.
(3) Làûp lải tỉì bỉåïc (1) cho âãún khi chè cn lải mäüt k tỉû duy nháút våïi xạc sút l 1.
(4) Duût cáy m âãø tỗm ra tổỡ maợ tổồng ổùng vồùi tổỡng kyù tổỷ ca ngưn.
- 94 -


- Chổồng IV -

Hỗnh 4.4 a trỗnh baỡy vờ duỷ vãư m họa Huffman cho ngưn tin trãn. Nãúu ta quy ỉåïc gạn cho
nhạnh âi ra tỉì k hiãûu cọ xạc sút cao hån l 1 v nhạnh kia l 0, nhạnh 0 v åí bãn trại, nhạnh
1 v åí bón phaới thỗ ta coù thóứ veợ laỷi cỏy maợ Huffman vổỡa lỏỷp õổồỹc nhổ hỗnh 4.4 b.
(a)
C 0.40

0.40

0.40

0.40

0.40

0.40

0.60(1)

B 0.18

0.18

0.18

0.19

0.23

0.37(1)

0.40(0) 1

A 0.10

0.10

0.13

0.18

0.19(1)

0.23(0)

F 0.10

0.10

0.10

0.13(1)

0.18(0)

G 0.07

0.09

0.10(1)

0.10(0)

E 0.06

0.07(1)

0.09(0)

D 0.05(1)

0.06(0)

H 0.04(0)
1.0

(b)

0

1

C 0.40

0.60
0

1

0.23

0.37

0

1

A 0.10

0
0.13

0
E 0.06

1

B 0.18

0.19

1

0

1

0.09

G 0.07
0
H 0.04

F 0.10
1
D 0.05

Thæï tæû troüng säú = 0.04 0.05 0.06 0.07 0.09 0.10 0.10 0.13 0.18 0.19 0.23 0.37 0.40 0.60

Hỗnh 4.4 Vờ duỷ maợ hoùa Huffman
(a) Taỷo cáy m (b) Cáy m

Gi trng säú ca cạc nụt trong cáy m l xạc sút ca nụt âọ, ta nháûn tháúy cáy m Huffman
vỉìa láûp l cáy m täúi ỉu theo nghéa thỉï tỉû trng säú ca cạc nụt tàng dáưn theo chiãưu tỉì dỉåïi lãn
trãn v trại sang phaới.
Nhỗn vaỡo cỏy maợ, ta thỏỳy kóỳt quaớ maợ hoùa Huffman ca ngưn tin trãn nhỉ sau:
- 95 -

- Chỉång IV -

K tỉû

C

B

A

F

G

E

D

H

Tỉì m

0

110

100

1111

1011

1010

11101

11100

Âäü di tỉì m trung bỗnh bỏy giồỡ laỡ:
L = 1(0.4) + 3(0.18 + 0.10) + 4(0.10 + 0.07 + 0.06) + 5(0.05 + 0.04) = 2.61(bit/k tỉû)
Váûy âäü låüi m họa l:

η=

H
2.55
x100 % =
x100 % = 97.7 %
L
2.61

Qua vê duû trãn ta tháúy hiãûu sút 85 % khi khäng m họa â tàng lãn âãún 97.7 % khi m họa
Huffman.
Ta tháúy ràịng phỉång phạp m họa Huffman khäng phi chè cho mäüt bäü m duy nhỏỳt, vỗ ta coù
thóứ kyù hióỷu bỏỳt cổù nhaùnh no l 0 hay 1 chỉï khäng bàõt büc. Táút nhiãn khi âọ hiãûu sút m
họa s khäng thay âäøi, nhỉng thỉï tỉû trng säú ca cạc nụt s thay âäøi.
Do tỉì m Huffman khạc nhau âäúi våïi cạc táûp k tỉû khạc nhau nãn âãø bãn thu cọ thãø giaới maợ
õổồỹc thỗ yóu cỏửu bón thu phaới bióỳt caùc tỉì m liãn quan âãún dỉỵ liãûu phạt. Cọ thãø thỉûc hiãûn âiãưu

ny bàịng hai cạch. Hồûc l bãn phạt gåíi bng m trỉåïc khi phạt dỉỵ liãûu, hồûc l bãn thu phi
cọ sàơn bng m.
Phỉång phạp âáưu cọ ỉu õióứm laỡ coù thóứ maợ hoùa neùn thờch nghi, vỗ tỉì m cọ thãø thay âäøi cho
ph håüp våïi kiãøu dỉỵ liãûu truưn, nhỉng cọ khuút âiãøm l phi máút thåìi gian truưn bng m
måïi mäùi khi gåíi kiãøu dỉỵ liãûu måïi.
4.4.2 M họa Huffman âäüng (dynamic Huffman encoding)
Khạc våïi m họa Huffman cå såí, phỉång phạp m họa Huffman âäüng khäng u cáưu bãn
phạt v bãn thu biãút bng m liãn quan âãún dỉỵ liãûu phạt, cng khäng u cáưu kãút qu thäúng
kã xạc sút xút hiãûn k tỉû ca ngưn tin. Phỉång phạp m họa Huffman âäüng cho phẹp c
bãn phạt (m họa) v bãn thu (gii m) láûp cáy m Huffman - v dáùn âãún bng m - mäüt cạch
âäüng khi k tỉû âỉåüc phạt/ thu.
Våïi phỉång phạp ny, nãúu k tỉû phạt âang cọ màût trong cỏy maợ thỗ tổỡ maợ tổồng ổùng seợ õổồỹc
xaùc õởnh giäúng m Huffman cå såí v gåïi âi theo cạch thäng thỉåìng. Nãúu k tỉû chỉa cọ màût
trong cáy m - nghộa laỡ xuỏỳt hióỷn lỏửn õỏửu, thỗ noù seợ âỉåüc gåíi âi theo dảng khäng nẹn. Bäü m
họa bãn phạt cáûp nháût vo cáy m Huffman bàịng cạch tàng säú láưn xút hiãûn (tàng trng säú)
ca k tỉû phạt hồûc l âỉa thãm k tỉû måïi vo cáy.
Ngoi ra, âãø cho bãn thu cọ thãø xạc âënh âỉåüc k tỉû m nọ nháûn, mäùi tỉì m phạt âỉåüc m họa
theo cng cạch ca bãn thu. Bãn thu tiãún hnh cạc thay âäøi giäúng nhỉ bãn phạt v cọ mäüt
bng sao riãng ca cáy. Nhåì âọ bãn thu s xạc âënh âụng tỉì m tiãúp theo âỉåüc nháûn tu vo
cáúu trục cáy måïi cáûp nháût.
C bãn phạt v bãn thu âãưu bàõt âáưu våïi mäüt cáy m chè cọ mäüt nhạnh trại - nhạnh 0 - v mäüt
- 96 -


- Chỉång IV -

nụt lạ räùng (empty leaf node) - nụt lạ cọ 0 láưn xút hiãûn.
Âãø mä t chi tiãút phỉång phạp ny, ta xẹt vê dủ bn tin truyóửn õi bừt õỏửu bũng daợy kyù tổỷ:
ABCDCDC ...
Hỗnh 4.5 minh ha cạc bỉåïc láûp cáy m Huffman.

Trỉåïc tiãn, c bãn phạt v bãn thu cng thnh láûp cáy ban âáưu ( mäüt nhạnh 0 v mäüt nụt lạ
räùng e0).
Tiãúp theo, bäü m họa bàõt âáưu âc k tỉû âáưu tiãn trong bn tin - A - v gạn 'A'ï vaỡo nhaùnh phaớinhaùnh 1 õỏửu tión. Vỗ õỏy laỡ lỏửn xút hiãûn âáưu tiãn ca 'A' nãn nọ âỉåüc truưn õi khọng neùn
(daỷng ASCII). Vỗ cỏy bón giaới maợ õang räùng nãn nọ nháûn ra dy bit nháûn âỉåüc l mäüt k tỉû
khäng nẹn v nọ sàõp xãúp k tỉû ny vo trong cáy theo cạch giäúng bãn m họa (hỗnh 4.5a).
Vồùi mọựi kyù tổỷ tióỳp theo, trổồùc hóỳt bọỹ m họa kiãøm tra xem k tỉû âọ â cọ mỷt trong cỏy maợ
chổa. Nóỳu coù rọửi thỗ bọỹ maợ họa s gåíi tỉì m theo cạch thäng thỉåìng giäúng nhỉ m Huffman
cå såí, tỉì m âỉåüc xạc âënh båíi vë trê ca k tỉû trong cáy. Nãúu chỉa cọ thỗ bọỹ maợ hoùa gồới tổỡ
maợ hióỷn haỡnh cho nuùt lạ räùng - âỉåüc xạc âënh båíi vë trê ca nụt lạ räùng trong cáy, theo sau l
tỉì m khäng neùn cuớa kyù tổỷ. Vỗ bọỹ giaới maợ cuợng coù cáy m y nhỉ váûy nãn nọ cọ thãø suy ra tỉì
dng bit nháûn âỉåüc âáu l tỉì m cọ nẹn, âáu l nụt lạ räùng våïi k tỉû khäng nẹn theo sau.
Bäü m họa v gii m cáûp nháût vo cáy m dỉûa trãn k tỉû cúi cng âỉåüc phaùt/ thu. Nóỳu õỏy
laỡ kyù tổỷ mồùi thỗ nuùt laù räùng âang täưn tải trong cáy âỉåüc thay bàịng mäüt nụt nhạnh måïi, nụt lạ
räùng âỉåüc gạn bãn nhạnh 0 vaỡ kyù tổỷ bón nhaùnh 1 (hỗnh 4.5 b).
Nóỳu kyù tổỷ õaợ coù mỷt trong cỏy thỗ sọỳ lỏửn xuỏỳt hiãûn ca nụt lạ tỉång ỉïng tàng lãn 1. Vê duỷ hỗnh
4.5 e, bọỹ maợ hoùa kióứm tra vaỡ thỏỳy k tỉû 'C' â cọ màût trong cáy m nãn nọ truưn âi tỉì m
tỉång ỉïng l '01', trng säú ca nụt C tỉì 1 tàng lãn thnh 2. Cạc vờ duỷ tổồng tổỷ khaùc ồớ trong
hỗnh 4.5 f vaỡ g.
Lục ny, vë trê ca nụt lạ cọ thãø khäng coỡn laỡ vở trờ tọỳi ổu nổợa. Vỗ vỏỷy, mọựi láưn cáûp nháût cáy tỉïc l thãm k tỉû måïi hồûc tàng säú láưn xút hiãûn ca k tỉû sàơn cọ - c bäü m họa v gii m
âãưu phi kióứm tra vaỡ nóỳu cỏửn thỗ phaới thay õọứi vở trê hiãûn tải ca táút c cạc nụt trong cáy.
Âãø âm bo c bäü m họa v gii m âãưu lm viãûc ny theo cng mäüt cạch, trỉåïc hãút c bäü
m họa v gii m phi liãût kã cạc trng säú ca cạc nụt theo chiãưu tỉì trại sang phi, tỉì dỉåïi
lãn trãn bàõt âáưu tỉì nụt lạ räùng. Nãúu thổù tổỷ sừp xóỳp tng dỏửn thỗ khọng thay õọứi cỏy, nóỳu khọng
õuùng thỗ phaới thay õọứi cỏỳu truùc cuớa cáy bàịng cạch thay âäøi vë trê ca cạc nụt trong cáy. Khi
âỉa nụt lạ âãún vë trê måïi phi km theo ton bäü cạc nhạnh v nụt con ca chuùng (hỗnh 4.5 c
õóỳn 4.5 g).
Qua vờ duỷ trón ta tháúy nãúu truưn dy k tỉû A B C D C D C... bũng maợ ASCII thỗ mỏỳt 49 bit,
trong khi duỡng maợ Huffman õọỹng thỗ mỏỳt 41 bit. Bng thäng truưn dáùn chè âỉåüc tiãút kiãûm
bàõt âáưu tỉì khi cọ k tỉû làûp lải. Thỉûc tãú, cạc file vàn bn ln cọ sỉû làûp lải k tỉû, v m
Huffman âäüng âỉåüc ỉïng dủng trong nhiãưu ỉïng dủng truưn thäng, nhỉ l nẹn dỉỵ liãûu trong

modem V.32.
- 97 -


- Chỉång IV -

0
K tỉû

(a)

A

Phạt

e0

'A'

0

1

e0

(b)

B

A1

0

0 'B'

1

1

A1

0

1

e0

(c)

C

B1

0

0 0 'C'

1

2

A1

0

1

1
0
e0

B1
1
C1

0

1

A1

2
0

1

1
0
e0

(d)

D

1 0 0 'D'

- 98 -

B1
1
C1


- Chæång IV -

(d)

D

1 0 0 'D'

0

1

A1

3
0

1

2
0

B1
1

1

C1

0

1

e0

D1

0

1

2
0

2
1

1

C1

0

C

A1

B1

D1

01

0

1

2
0

0

2
1

1

e0

1

1

e0

(e)

0

0
C2

1
D1

- 99 -

A1

1
B1


- Chæång IV 0

1
3

2
0

1

0
B1

1
0

A1

D1
0

D

C2

1

e0

(f)

1

1

001
3

3
0

1

0
B1

2
0

1

A1

C2

1

e0

D2

0

1

4

2
0

1
B1

1
0

C

D2

C2

A1

0

11

1
5

2
0

1

0

0
B1

1

e0

1

1

e0

(g)

0

1
A1

- 100 -

D2

1
C3

- Chổồng IV -

0

1

C3

4
0

1

D2

2
0

1

1
0
e0

B1
1
A1

Hỗnh 4.5 Vờ duỷ maợ hoùa Huffman âäüng

4.5 M họa facsimile (fax)
Fax l dëch vủ truưn cạc ti liãûu säú âen tràõng, gäưm cạc vàn bn âạnh mạy, viãút tay, tranh
nh, âäư thë, bng biãøu... Trong mạy fax cọ mạy quẹt, quẹt mäüt trang theo chiãưu dc våïi âäü
phán gii l 3.85 hồûc 7.7 dng/ mm v 1728 âiãøm nh (pixel) trãn mäùi dng. Nãúu mäùi pixel
âỉåüc lỉåüng tỉí họa nhë phán thnh bit 0 cho mu trừng vaỡ bit 1 cho maỡu õen thỗ mọỹt trang giáúy
A4 tảo ra khong 2 triãûu bit. Nãúu truưn trang A4 khọng neùn qua modem 4.8 kbps thỗ mỏỳt
gỏửn 7 phụt âãø truưn.
Thỉûc tãú, trong háưu hãút cạc ti liãûu, nhiãưu dng quẹt chè gäưm ton mu tràõng, nhiãưu dng khạc
chỉïa c dy di mu tràõng v dy di mu õen. Vỗ maùy fax thổồỡng duỡng vồùi maỷng cọng cọỹng
nón ITU-T â âỉa ra cạc chøn liãn quan. Âọ l fax nhọm 1, nhọm 2, nhọm 3 v nhọm 4.
Nhọm 1 v nhọm 2 ngy nay ráút êt dng, nhọm 3 dng trong mảng PSTN, nhọm 4 dng trong
mảng hon ton säú ISDN. C nhọm 3 v nhọm 4 âãưu âảt t lãû nẹn khong 10:1. Do váûy âãø
truưn trang A4 våïi fax nhọm 3 chè máút chỉa âáưy 1 phụt, våïi fax nhọm 4 do cọ âỉåìng truưn
täúc âäü cao hồn (64kbps) nón chố mỏỳt vaỡi giỏy.
Quaù trỗnh maợ họa trỉåïc tiãn l phán têch täøng quạt trang ti liãûu âỉåüc quẹt. Bng m fax âỉåüc
tảo ra dỉûa trãn cå såí vãư táưn sút xút hiãûn ca mäüt säú pixel tràõng v âen liãn tủc (gi l run
length) trong mọựi doỡng queùt. Tổỡ maợ ngừn hồn thỗ õổồỹc ỏỳn âënh cho cạc run length hay xút
hiãûn hån v ngỉåüc lải. Nọi cạch khạc, âáy chênh l m họa Huffman cå såí. Bng m fax cäú
âënh gäưm hai bng m riãng biãût: bng m cúi (termination-codes table) v bng m makeup (make-up codes table). Bng 4.2 l bng m nhọm 3 v nhọm 4 theo chøn ITU-T.
Bng m cúi dng cho cạc run length tỉì 0 âãún 63 pixel, bỉåïc nhy l 1 pixel. Bng m
make-up dng cho cạc run length tỉì 64 âãún 2560 pixel, bỉåïc nhy l 64 pixel. K thût quẹt
- 101 -


- Chỉång IV -

ngáưm âënh l táút c cạc dng âãưu bàõt âáưu våïi êt nháút l 1 pixel mu tràõng. Theo cạch ny, bãn
thu biãút âỉåüc tỉì m âáưu tiãn luän luän liãn quan âãún pixel maìu tràõng.
(a)

Run length tràõng

Tỉì m

Run length âen

Tỉì m

0

00110101

0

0000110111

1

000111

1

010

2

0111

2

11

3

1000

3

10

.................

................

...............

..................

62

00110011

62

000001100110

63

00110100

63

000001100111

Run length tràõng

Tỉì m

Run length âen

Tỉì m

64

11011

64

0000001111

128

10010

128

000011001000

192

010111

192

000011001001

..................

...................

..................

...................

2560

000000011111

2560

000000011111

EOL

00000000001

EOL

00000000001

(b)

Bng 4.2 Bng m Fax nhọm 3 v nhọm 4 (ITU-T)
(a) Bng m cúi (b) Bng m make-up

Vê dủ mäüt run length gọửm 12 pixel trừng thỗ õổồỹc maợ hoùa trỉûc tiãúp thnh 001000, mäüt run
length gäưm 140 pixel âen thỗ õổồỹc maợ hoùa thaỡnh 000011001000 + 0000111, vỗ 140 pixel =
128 pixel + 12 pixel. Nãúu run length gäöm nhióửu hồn 2560 pixel thỗ seợ õổồỹc maợ hoùa bũng
caùch dng nhiãưu m make - up cäüng våïi mäüt m cúi.
Mäüt vê dủ khạc, mäüt dng quẹt ca dy k tổỷ T I E õổồỹc maợ hoùa nhổ hỗnh 4.6.
Fax nhọm 3 khäng cọ th tủc xỉí l läùi. Nãúu trong quaù trỗnh truyóửn coù mọỹt hoỷc vaỡi bit lọựi thỗ
bón thu seợ mỏỳt õọửng bọỹ. óứ cho pheùp bón thu cọ thãø âäưng bäü lải, mäùi dng quẹt ln âæåüc kãút
- 102 -


- Chỉång IV -

thục bàịng k tỉû EOL (end-of-line), mäùi trang kãút thục bàịng dy 6 k tỉû EOL liãn tiãúp. Theo
cạch ny, nãúu bãn thu khäng gii m âỉåüc sau mäüt säú bit täúi âa ỉïng våïi mäüt tỉì maợ thỗ noù phaới
tỗm EOL. Nóỳu sau vaỡi doỡng queùt vỏựn chổa tỗm õổồỹc EOL thỗ bón thu ngổng giaới m v thäng
bạo cho bãn phạt.
Fax nhọm 4 cọ th tủc xỉí l läùi. Âọ l th tủc MMR (modified-modifed read) [ 6]

1111110011111111100111110000000011

bit

|

run length

6W

|2B|

1110

9W

|2B| 5W

10100
11

|

8B

1100
11

|2W
0111

000101

111011101001111000001010111

trừng

õen
õỏửu ra cuớa maợ hoùa
fax (Huffman)

Hỗnh 4.6 Vờ duỷ maợ hoùa fax

TOẽM TếT CHặNG
1. Lổồỹng tin l mäüt âải lỉåüng dng âãø âạnh giạ âënh lỉåüng cho tin tỉïc. Lỉåüng tin liãn quan
âãún kh nàng dỉû âoạn âỉåüc ca tin. Lỉåüng tin âỉåüc tênh l logarit ám ca xạc sút xút
hiãûn ca tin. Nãúu cå säú cuớa liogarit laỡ 2 thỗ õồn vở vuớa lổồỹng tin l bit.
2. Entropy H ca ngưn tin l lỉåüng tin trung bỗnh chổùa trong mọỹt kyù tổỷ bỏỳt kyỡ cuớa ngưn
tin. Giạ trë låïn nháút ca entropy âảt âỉåüc khi cạc k tỉû âäüc láûp v âäưng xạc sút. Entropy
ca mäüt ngưn tin nhë phán âäüc láûp thäúng kã, xạc sút xút hiãûn ca säú '1' v '0' bàịng
nhau l 1 bit/säú nhë phán.
3. Sỉû phủ thüc thäúng kã ca cạc k tỉû v xạc sút xút hiãûn cạc k tỉû khäng bàịng nhau lm
cho entropy ca ngưn nh hån entropy cỉûc âải. Sai khạc giỉỵa entropy cỉûc âải v entropy
thỉûc sỉû ca ngưn l âäü dỉ.
4. Nhiãùu trãn kãnh truưn lm cho quút âënh tải bãn thu vãư k tổỷ thu khọng chừc chừn
õuùng. Vỗ vỏỷy nhióựu laỡm giaớm lỉåüng tin trong dng k tỉû thu. Lỉåüng tin ca cạc k tỉû thu
âỉåüc gi l entropy hiãûu qu, bàịng entropy phạt trỉì âi âäü nghi ngåì do nhiãùu. Cọ thãø xem
nhiãùu nhỉ l tin ám cäüng thãm vo dng k tỉû phạt.

- 103 -


- Chỉång IV -

5. Täúc âäü thiãút láûp tin ca ngưn l mäüt thäng säú phủ thüc vo tênh cháút vỏỷt lyù cuớa nguọửn.
Thọng sọỳ naỡy chố ra sổỷ hỗnh thnh tin nhanh hay cháûm âãø âỉa vo kãnh, âỉåüc tênh l têch
ca entropy våïi säú k hiãûu ngưn láûp âỉåüc trong mäüt âån vë thåìi gian, âån vë âo l bit/s.

Täúc âäü láûp tin ca ngưn s cỉûc âải khi entropy ca ngưn cỉûc âải.
6. Thäng lỉåüng ca kãnh l lỉåüng tin täúi âa kãnh cho âi qua trong mäüt âån vë thåìi gian maì
khäng gáy läùi. Âån vë âo giäúng nhỉ âån vë ca täúc âäü láûp tin (bit/s). Thäng thỉåìng täúc âäü
láûp tin bẹ hån nhiãưu so våïi thäng lỉåüng kãnh. Theo Shannon, cọ thãø m họa âãø lm cho
täúc âäü láûp tin ca ngưn tiãúp cáûn våïi thäng lỉåüng kãnh.
7. M họa ngưn tin X bàịng táûp M cọ nghéa l biãún âäøi mäùi tin ca ngưn tin X thnh mäüt
táûp cạc pháưn tỉí thüc M nhàịm tha mn mäüt u cáưu no âọ ca hãû thäúng thäng tin. Phẹp
biãún âäøi ngỉåüc lải âỉåüc gi l gii m.
8. Cạc tham säú cå bn ca m gäưm âäü di ca tỉì, m trng lỉåüng tỉì m, khong cạch m ...
9. Cọ thãø phán loải m theo nhiãưu cạch khạc nhau, dỉûa vo âäü di ca tỉì m, trng lỉåüng
ca tỉì m, khong cạch m giỉỵa hai tỉì m kãư nhau, cå säú ca m, âäü tin cáûy, hiãûu sút
thäng tin...
10. Cọ nhiãưu phỉång phạp biãøu diãùn m khạc nhau: phỉång phạp liãût kã l phỉång phạp âån
gin nháút, cọ ỉu âiãøm l r rng, củ thãø nhỉng cäưng kãưnh, khäng thêch håüp våïi cạc bäü m
låïn; phỉång phạp ma tráûn rụt gn tỉì phỉång phạp liãût kã, thêch håüp våïi cạc m khäúi
tuún tênh; phỉång phạp cáy giuùp cho vióỷc giaới maợ dóự daỡng, nhỗn vaỡo cỏy cọ thãø biãút âỉåüc
mäüt säú âàûc âiãøm ca bäü m; phỉång phạp âa thỉïc thêch håüp våïi cạc m vng, giụp cho
viãûc m họa v gii m m vng dãù dng bàịng cạch sỉí dủng cạc phẹp toạn âäúi våïi âa
thỉïc.
11. M họa ngưn nhàịm loải b âäü dỉ trong cạc k tỉû dng âãø m họa, lm cho viãûc truưn
v lỉu trỉỵ thäng tin tråí nãn hiãûu qu hån. Noùi chung thỗ maợ hoùa nguọửn phaới thoớa tờnh giaới
maợ duy nháút.
12. Ngun tàõc ca m họa ngưn råìi rảc l m họa cạc k tỉû cọ xạc sút sinh ra låïn bàịng
cạc tỉì m ngàõn v m họa cạc k tỉû cọ xạc sút sinh ra bẹ bàịng cạc tỉì m di. Loải m
ny gi l m họa thäúng kã.
13. Viãûc truưn tin s tråí nãn kinh tãú hån nóỳu maợ thọỳng kó coù õọỹ daỡi trung bỗnh cuớa tỉì m l
nh nháút. Loải m nhỉ váûy gi l m thäúng kã täúi ỉu. Âáy cng chênh l m họa nẹn.
14. M Huffman l mäüt loải m thäúng kã täúi ỉu. M Huffman âảt âỉåüc u cáưìu vãư âäü daỡi tổỡ
maợ trung bỗnh nhoớ nhỏỳt vaỡ thoaớ tờnh giaới m duy nháút. Thãm vo âọ, m Huffman cn
tho tênh gii m tỉïc thåìi, nghéa l khäng cọ tỉì m no trng våïi pháưn âáưu ca tỉì m khạc

di hån nọ.
15. M họa fax - loải m họa dng trong dëch vủ facsimile - l mäüt ỉïng dủng ca m hoạ
Huffman cå såí. Âáy l loải m tho tênh gii m duy nháút, tỉïc thåìi v khäng cọ täøn hao.
Phỉång phạp m họa ngưn cho phẹp âảt nhỉỵng chè tiãu kinh tãú täút, tuy nhiãn cáưn phi âm
bo chè tiãu truưn tin chênh xạc. Âãø gii quút váún âãư ny cọ mäüt gii phạp l m họa kãnh.
- 104 -