TIỂU LUẬN MÔN HỌC XỬ LÝ TÍN HIỆU SỐ NÂNG CAO Mô hình Markov ẩn

XLTHSNC - Mơ hình Markov ẩn - Nhóm 4 – Lớp Kỹ thuật viễn thơng
dung

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THÔNG
KHOA QUỐC TẾ & SAU ĐẠI HỌC

TIỂU LUẬN MÔN HỌC
XỬ LÝ TÍN HIỆU SỐ NÂNG CAO
Nội dung: Mơ hình Markov ẩn
Nhóm học viên thực hiện: 1. Nguyễn Hữu Tài
2. Nguyễn Nhật Khải
3. Hồng Quang Khải
4. Hồng Quốc Chính
Lớp: Kỹ thuật Viễn thông

1

Nội


XLTHSNC - Mơ hình Markov ẩn - Nhóm 4 – Lớp Kỹ thuật viễn thông
dung

Nội

Hà Nội - 2013

MỤC LỤC

LỜI MỞ ĐẦU
Mơ hình Markov ẩn (tiếng Anh là Hidden Markov Model - HMM) là mơ hình

thống kê trong đó hệ thống được mơ hình hóa được cho là một q trình
Markov với các tham số không biết trước và nhiệm vụ là xác định các tham số ẩn
từ các tham số quan sát được, dựa trên sự thừa nhận này. Các tham số của mơ
hình được rút ra sau đó có thể sử dụng để thực hiện các phân tích kế tiếp, ví dụ
cho các ứng dụng nhận dạng mẫu.
Trong một mơ hình Markov điển hình, trạng thái được quan sát trực tiếp bởi
người quan sát, và vì vậy các xác suất chuyển tiếp trạng thái là các tham số duy
nhất. Mơ hình Markov ẩn thêm vào các đầu ra: mỗi trạng thái có xác suất phân bổ
trên các biểu hiện đầu ra có thể. Vì vậy, nhìn vào dãy của các biểu hiện được sinh
ra bởi HMM không trực tiếp chỉ ra dãy các trạng thái.
Đây là một mơ hình tốn thống kê có ứng dụng rộng rãi trong lĩnh vực nhận
dạng giọng nói, lĩnh vực sinh học như nhận dạng gene hoặc phân loại protein; xử
lý tín hiệu, xử lý hình ảnh và các ứng dụng khác liên quan đến chuỗi chuyển tiếp
hoặc kết hợp các thành phần, dữ kiện. Trong lĩnh vực điện, mơ hình Markov được
sử dụng như là 1 công cụ dự báo giá điện năng với các dữ liệu liên quan. Chính vì
được áp dụng trong nhiều lĩnh vực đặc biệt là trong xử lý tín hiệu số nên chúng em
chọn đề tài về “mơ hình Markov ẩn” làm hướng nghiên cứu.
2


XLTHSNC - Mơ hình Markov ẩn - Nhóm 4 – Lớp Kỹ thuật viễn thơng
dung

Nội

NỘI DUNG
1. Giới thiệu mơ hình markov ẩn

Mơ hình Markov ẩn là mơ hình thống kê trong đó hệ thống được mơ hình hóa
được cho là một q trình Markov với các tham số khơng biết trước và nhiệm vụ

là xác định các tham số ẩn từ các tham số quan sát được. Các tham số của mơ
hình được rút ra sau đó có thể được sử dụng để thực hiện các phân tích kế tiếp, ví
dụ ứng dụng cho nhận dạng mẫu.
Trong một mơ hình Markov điển hình, trạng thái được quan sát được từ người
quan sát, vì vậy các xác suất chuyển tiếp trạng thái là các tham số duy nhất. Mơ
hình Markov ẩn thêm vào các đầu ra: mỗi trạng thái có xác suất phân bổ trên các
biểu hiện có thể. Vì vậy, nhìn vào dãy các biểu hiện được sinh ra bởi HMM không
trực tiếp chỉ ra dãy các trạng thái.
Chú ý: Q trình Markov
Trong lí thuyết xác suất, q trình Markov là một q trình mang tính ngẫu
nhiên (stochastic process) với đặc tính như sau: trạng thái c k tại thời điểm k là một
giá trị trong tập hữu hạn {1,…,M}. Với giả thiết rằng quá trình chỉ diễn ra từ thời
điểm 0 đến thời điểm N và rằng trạng thái đầu tiên và trạng thái cuối cùng đã
biết, chuỗi trạng thái sẽ được biểu diễn bởi 1 vecto hữu hạn C={c 0,…,cN}. Nếu P(ck |
c0,c1,...,c(k − 1)) biểu diễn xác suất (khả năng xảy ra) của trạng thái c k tại thời điểm k
khi đã qua mọi trạng thái cho đến (k-1). Giả sử trong thời điểm đó c k chỉ phụ thuộc
vào trạng thái trước đó ck-1 và độc lập với các trạng thái trước khác. Q trình đó
gọi là q trình Markov bậc một(first order Markov process). Có nghĩa là xác suất
để xảy ra trạng thái ck tại thời điểm k, khi biết trước mọi trạng thái cho đến thời
điểm k-1 chỉ phụ thuộc vào trạng thái trước, ví dụ trạng thái ck-1 tại thời điểm k-1.
Khi đó ta có cơng thức:
P(ck | c0,c1,...,c(k − 1))= P(ck| c(k − 1))
3


XLTHSNC - Mơ hình Markov ẩn - Nhóm 4 – Lớp Kỹ thuật viễn thơng
dung

Nội

Nói tóm lại một hệ có thuộc tính Markov được gọi là q trình Markov (bậc1).
Như vậy, với quá trình Markov bậc n:
P(ck | c0,c1,...,c(k − 1))= P(ck| ck-n,ck-n-1,…,c(k − 1))
Nói chung với giả thuật Viterbi quá trình xảy ra bên dưới được xem là một quá
trình Markov:
 Trạng thái hữu hạn nghĩa là số m là hữu hạn.
 Thời gian rời rạc, nghĩa là việc chuyển từ trạng thái này sang trạng thái

khác cùng mất một đơn vị thời gian.
 Quan sát không tốn bộ nhớ, nghĩa là chuỗi các quan sát có xác suất chỉ
phụ thuộc vào trạng thái ngay trước đó (nên khơng cần lưu bộ nhớ
nhiều).
2. Trình bày vấn đề
• Phương pháp tiếp cận lí thuyết thơng tin về nhận dạng:

Hình 1
Nhận dạng là tìm cách xác định được khả năng xảy ra lớn nhất của chuỗi ngôn
ngữ,W, khi cho trước căn cứ âm A, Công thức:

4


XLTHSNC - Mơ hình Markov ẩn - Nhóm 4 – Lớp Kỹ thuật viễn thông
dung
∧

P(W / A) = max P(W / A)
W

P(W / A) =

•
•
•

P ( A / W ) P(W )
P( A)

Theo luật Bayes:
Mơ hình HMM quan tâm đến P(W|A)
Kí hiệu:
A



W



P(A/W)



O
λ
λ
P(O/ )

•

•

•
•
•
•
•

λ

Ví dụ1:

Hình 2
Xét 3 chén, mỗi chén trộn giữa các các “đá trạng thái” 1 và 2.
Phân nhỏ chén thứ i thành 2 phần tỉ lệ ai1, ai2, khi đó ai1+ ai2=1.
Xét 2 bình, mỗi bình chứa các quả bóng đen, bóng trắng.
Chia bình thứ i thành 2 phần tỉ lệ biB, biW, với
biB+ biW=1
Vecto tham số cho mơ hình này là:

= {a01,a02,a11,a12,a21,a22,b1(B),b1(W ),b2(B),b2(W )}

5

Nội


XLTHSNC - Mơ hình Markov ẩn - Nhóm 4 – Lớp Kỹ thuật viễn thơng
dung

Nội

Hình 3
Chuỗi quan sát : O={B,W,B,W,W,B}
Chuỗi trạng thái: Q={1,1,2,1,2,1}
Mục đích: cho mơ hình λ và chuỗi quan sát O, có thể làm thể nào để chuỗi
trạng thái Q được xác định.
Các yếu tố của mơ hình Markov ẩn rời rạc
•

N : số trạng thái trong mơ hình
Các trạng thái, s= {s1,s2,…,sN}
Trạng thái ở thời điểm t, qt

•

∈

s

M: số kí hiệu quan sát (quan sát rời rạc)
Tập các kí hiệu quan sát v={v1,v2,…,vM}
Kí hiệu quan sát ở thời điểm t, ot

•

∈

v

A= {aij}: tập phân phối xác suất chuyển trạng thái
aij = P(qt+1 = sj |qt = si ), 1 ≤ i,j ≤ N

•

B = {bj (k)}: phân bổ xác suất kí hiệu quan sát ở trạng thái j:
bj (k)= P(vk at t|qt = sj ), 1 ≤ j ≤ N, 1 ≤ k ≤ M
6


XLTHSNC - Mơ hình Markov ẩn - Nhóm 4 – Lớp Kỹ thuật viễn thơng
dung
•

π = {πi }: phân bổ xác suất trạng thái khởi đầu
πi = P(q1= si ), 1 ≤ i ≤ N
Một mơ hình HMM được viết dưới dạng đặc trưng λ = {A, B,π}

•

ví dụ 2:

π={a01,a02}

A=

 a11
a
 21

a12 
a 22 



và B=

 b1 ( B) b1 (W ) 
b ( B) b (W )
 2
2


 Một số mơ hình thơng dụng:

Hình 4a: Mơ hình 2 –state và 3-state

Hình 4b: Mơ hình Lef – Righ

7

Nội


XLTHSNC - Mơ hình Markov ẩn - Nhóm 4 – Lớp Kỹ thuật viễn thơng
dung

Nội

Hình 4c: Mơ hình Bakis

Hình 4d: Mơ hình Tuyến tính
•

Tạo chuỗi quan sát trong HMM
o Lựa chọn một trạng thái khởi đầu, q 1=si, dựa trên phân bổ
trạng thái khởi đầu, π.
o Cho t chạy từ 1  T:
 Chọn ot=vk theo sự phân bổ xác suất kí hiệu trong trạng

thái si, bi(k).
 Chuyển tiếp đến trạng thái mới q t+1=sj theo sự phân bổ
xác suất sự chuyển tiếp trạng thái cho trạng thái si, aij.
o Tăng t lên 1, quay lại bước 2 nếu t≤T; ngược lại thì kết thúc.

8


XLTHSNC - Mơ hình Markov ẩn - Nhóm 4 – Lớp Kỹ thuật viễn thơng
dung

Nội

Hình 5: Sự tiến hóa của mơ hình Markov
•

Biểu diễn sơ đồ trạng thái bằng sơ đồ mắt lưới(trellis)

Hình 6:( Những nét đứt thể hiện một sự chuyển tiếp trạng thái bằng 0, nơi mà
khơng có vecto quan sát nào được tạo ra.)
3

vấn đề cơ bản của HMM

Tính điểm (Scoring) : cho một chuỗi quan sát O = {o 1,o2,...,oT } và một mơ hình
λ = {A, B,π}, làm thế nào chúng ta có thể tính tốn xác suất có điều kiện P(O |
λ) (khả năng xảy ra của chuỗi quan sát)?
 Dùng thuật toán tiến lùi (the forward-backwark algorithm)
9


XLTHSNC - Mơ hình Markov ẩn - Nhóm 4 – Lớp Kỹ thuật viễn thông
dung

Nội

So khớp (Matching): cho một chuỗi quan sát O = {o 1,o2,...,oT }, làm thế nào
chúng ra có thể lựa chọn chuỗi trạng thái Q = {q 1,q2,...,qT } để nó tối ưu theo một
số hướng.
 thuật toán Viterbi
Huấn luyện (Training): làm thế nào chúng ta có thể điều chỉnh các tham số của
mơ hình λ = {A,B,π} để đạt được P(O | λ) lớn nhất?
Thủ tục Baum-Wetch
Tính tốn P(O|λ)

∑ P(O, Q | λ )
P(O|λ)=

allQ

P(O, Q |λ)= P(O|Q ,λ)P(Q |λ)
Xét chuỗi trạng thái cố định Q = q1q2 ...qT
P(O|Q ,λ)= bq1(o1)bq2(o2) ...bqT (oT )
P(Q |λ)= πq1 aq1q2 aq2q3 ...aqT −1 qT

Vì vậy:

∑Π

q1

b q1 (o 1 )a q1 q 2 b q 2 (o 2 ) ...a

qT -1 qT

b qT (o T )

q1,q2 ,..., qT

P(O|λ)=
Số phép tính cấn làm ≈ 2T.NT (có NT chuỗi như vậy)
Ví dụ: N=5, T=100  2.100.5100 ≈ 1072 phép tính.
3. Thuật tốn tiến – thuật toán lùi:
 Toán tử tiến αt(t) là xác suất chuỗi quan sát từng phần tiến đến thời điểm
t và trạng thái si ở thời điểm t với điều kiện mơ hình đã cho:
αt (i)= P(o1o2 ...ot,qt = si |λ)
 Dễ dàng thấy rằng:
 α1(i)= πibi (o1), 1 ≤ i ≤ N

10


XLTHSNC - Mơ hình Markov ẩn - Nhóm 4 – Lớp Kỹ thuật viễn thơng
dung

Nội

N

∑α
i =1

•

T

(i)

 P(O|λ)=
Theo phương pháp quy nạp
N

∑α
i =1

t

(i) a ij

αt+1 (j)=[
] bj (ot+1), 1≤ t≤ T-1, 1 ≤ j ≤ N
Số phép tính: N T.
Ví dụ: N=5,T=100,  52.100 phép tính,( thay vì 1072)
• Diễn tả thuật tốn tiến:
2

Hình 7

•

Thuật tốn lùi:
o Tương tự để xác định toán tử lùi, βt(i), khi khả năng xảy ra
của chuỗi quan sát cục bộ từ thời điểm t+1 đến kết thúc, biết
trước trạng thái si ở thời điểm t và với điều kiện mơ hình đã
cho
βt(i)= P(ot+1ot+2...oT |qt = si,λ)
o Có thể dễ dàng nhận ra rằng
βT(i)=1, 1 ≤ i ≤ N
N

∑ Π b (o )ß (i)
và

P(O|λ)=

i =1

i

i

1

1

o Theo phương pháp quy nạp

11


XLTHSNC - Mơ hình Markov ẩn - Nhóm 4 – Lớp Kỹ thuật viễn thơng
dung
N

∑a
j=1

ij

b j (o t +1 )ß t +1 (j)

βt(i)=
• Diễn tả thủ tục lùi:

•

Nội

(t=T−1,T−2,...,1; 1 ≤ i≤N)

Hình 8
Tìm chuỗi trạng thái tối ưu:
+ Một tiêu chuẩn để lựa chọn trạng thái tối ưu q t là cực đại hóa số

trạng thái đúng.

+ Tốn tử

γ t (i )

là xác suất của hệ thống ở trạng thái s i tại thời

điểm t, với điều kiện cho chuỗi quan sát O và mơ hình
N

γ (i ) = P (qt = si | O, λ )

∑γ
t =1

t

(i ) = 1

,
+ Chú ý rằng nó có thể biểu diễn dưới dạng sau
γ t (i ) =

λ

đã cho:

∀t

α t (i ) β t (i )
P (O | λ )

+ Tuy nhiên với tiêu chuẩn tối ưu riêng phần thì xảy ra vấn đề là
chuỗi trạng thái tối ưu có thể khơng tn theo những ràng buộc chuyển
tiếp trạng thái.

λ
+ Một tiêu chuẩn tối ưu khác là cực đại hóa P(Q,O| ). Điều này

có thể tìm thấy bằng thuật tốn Viterbi.

12


XLTHSNC - Mơ hình Markov ẩn - Nhóm 4 – Lớp Kỹ thuật viễn thông
dung

+ Với

δ t (i)

Nội

là xác suất xảy ra cao nhất trên một đường dẫn tính

với t lần quan sát đầu tiên:
δ t (i ) = max P(q1 , q 2 ,..., qt −1 , qt = s1 , o1o2 ... ot | λ )
q1 , q2 ,..., q t −1

+ Theo phương pháp quy nạp:
δ t +1 (i ) = [max δ t (i )aij ]bi (ot +1 )

i

+ Để thu được chuỗi trạng thái, ta cần theo dõi chuỗi trạng thái
mà cho đường dẫn tốt nhất ở thời điểm t đến trạng thái si. Chúng ta thực
ψ t (i )
hiện điều này trong một mảng
.
4. Thuật toán Viterbi
+ Khởi đầu:
δ 1 (i ) = π i bi (oi )

ψ 1 (i ) = 0
+ Đệ quy:
δ t ( j ) = max[δ t −1 (i)ai j ]b j (ot ),2 ≤ t ≤ T
1≤i ≤ N

ψ t ( j ) = arg max[δ t −1 (i )aij ],2 ≤ t ≤ T
1≤i ≤ N

+ Kết thúc:
P * = max[δ T (i)]
1≤i ≤ N

*

q

T

= arg max[δ T (i )]

1≤i ≤ N

+ Quay lui tìm đường dẫn( chuỗi trạng thái) tối ưu
*

q

T

*

= ψ t +1 (q ), t = T − 1, t − 2,...,1

+ Số phép tính

t +1

≈ N 2T

13


XLTHSNC - Mơ hình Markov ẩn - Nhóm 4 – Lớp Kỹ thuật viễn thơng
dung

Nội

+ Ví dụ thuật tốn Viterbi:

Hình 9

+ Ví dụ

thuật

tốn

Viterbi(tt)

Hình 10
+
dụ

so

khớp

Ví

sử

dụng thuật tốn tiến-lùi:

14


XLTHSNC - Mơ hình Markov ẩn - Nhóm 4 – Lớp Kỹ thuật viễn thơng
dung

Nội

Hình 11
•

Ước lượng lại với thuật toán Baum-Welch

Ước lượng lại với thuật toán Baum-Welch sử dụng EM để xác định tham số ML
Xét toán tử

ξ t (i )

là xác suất của hệ thống ở trạng thái i tại thời điểm t và

trạng thái j tại thời điểm t+1 với điều kiện có chuỗi quan sát O và mơ hình
Markov ẩn

λ

.

ξ t (i, j ) = P(qt = si , qt +1 = s j | O, λ )



Khi đó
ξ t (i, j ) =

α t (i )aijb j (ot +1 ) β t +1 (i )
P(O | λ )
N

γ t (i ) = ∑ ξ t (i, j )
j =1



Kết hợp

γ t (i )

15

và

ξ t (i, j )

chúng ta được:


XLTHSNC - Mơ hình Markov ẩn - Nhóm 4 – Lớp Kỹ thuật viễn thông
dung
T −1

∑γ
t =1



t

Nội

(i )

= số chuyển tiếp từ trạng thái si

T −1

∑ ξ (i, j )
t =1



t

= số chuyển tiếp từ trạng thái si tới sj

Thủ tục ước lượng lại Baum-Welch

Hình 12
Các biểu thức ước lượng lại với thuật toán Baum-Welch
π = γ 1 (i )
o
T −1

a ij =

∑ ξ (i, j )
t =1
T −1

t

∑ γ (i)
t

t =1

o
T

b ij =

∑ γ ( j)

t =1,ot =vk
T

t

∑ γ ( j)
t =1

t

o

16


XLTHSNC - Mơ hình Markov ẩn - Nhóm 4 – Lớp Kỹ thuật viễn thông

dung

Nếu

λ ( A, B, π )

là mơ hình gốc và

λ ( A, B, π )

Nội

là mơ hình ước lượng lại, khi đó ta

có thể chứng minh:
o Mơ hình gốc

λ

xác định điểm tới hạn của hàm có khả

năng xảy ra, trong trường hợp

o Mơ hình

λ

λ

λ

= . Hoặc:

thích hợp hơn

λ

trong điều kiện

P(O | λ ) > P (O | λ )

Chúng ta có thể tăng xác suất chuỗi quan sát O mà đã quan sát được từ mơ

hình nếu sử dụng lặp lại

λ

trong không gian

λ

và lặp lại việc ước lượng lại cho

đến khi một số điểm tới hạn đạt được. Mơ hình kết quả thu được gọi là mơ hình
Markov ẩn có khả năng xảy ra lớn nhất.

17


XLTHSNC - Mơ hình Markov ẩn - Nhóm 4 – Lớp Kỹ thuật viễn thơng

dung

Nội

KẾT LUẬN
Mơ hình Markov ẩn là mơ hình thống kê trong đó hệ thống được mơ hình hóa
được cho là một q trình Markov với các tham số không biết trước và nhiệm vụ
là xác định các tham số ẩn từ các tham số quan sát được. Các tham số của mơ
hình được rút ra sau đó có thể được sử dụng để thực hiện các phân tích kế tiếp, ví
dụ ứng dụng cho nhận dạng mẫu.
Mơ hình Markov ẩn thêm vào các đầu ra: mỗi trạng thái có xác suất phân bổ
trên các biểu hiện đầu ra có thể. Vì vậy, nhìn vào dãy của các biểu hiện được sinh
ra bởi HMM không trực tiếp chỉ ra dãy các trạng thái.
Do thời gian nghiên cứu có hạn cũng như kiến thức cịn hạn chế, đề tài khơng
tránh khỏi sai sót, vì vậy chúng em rất mong có sự cảm thơng và góp ý của thầy để
phát triển đề tài tốt hơn nữa.

18