Bài tập lớn đại số tuyến tính Mô hình Markov

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH
TRƯỜNG ĐẠI HỌC BÁCH KHOA
KHOA CƠ KHÍ

BÀI TẬP LỚN ĐẠI SỐ TUYẾN TÍNH
GVHD: Thầy Nguyễn Hữu Hiệp

ĐỀ TÀI 8: GIỚI THIỆU MƠ HÌNH MARKOV
Nhóm 8

Hồ Chí Minh, tháng 7 năm 2020

Vũ Hà My
Phạm Hiền Linh
Dương Gia Minh
Đào Minh Ký
Trần Thị Kiều Linh
Nguyễn Quốc Minh
Nguyễn Trần Thảo Ly
Võ Nguyễn Khánh Linh
Nguyễn Nhật Lệ
Phạm Huỳnh Bích Loan
Nguyễn Nhựt Hạ My

1914203
1913956
1914136
1913894
1913965
1914169
1914096

1913969
1913928
1913980
1914197


Mục lục
I.

Giới thiệu mơ hình Markov..............................................................................................................2

1.1.

Giới thiệu mơ hình Markov:.........................................................................................................2

1.2.

Mơ hình Markov:.........................................................................................................................3

1.3.

Mơ hình Markov ẩn:....................................................................................................................5

II.

Ứng dụng mơ hình Markov để giải một bài tốn cụ thể:............................................................9

III.

Một số ứng dụng mơ hình Markov:............................................................................................10

1.

Tìm cân bằng thị phần:..................................................................................................................10

2.

Chính sách thay thế vật tư thiết bị:................................................................................................11

3.

Phân tích Markov trong dự báo thất thu cho các hợp đồng thực hiện trước:................................12

4.

Tìm phân phối giới hạn cho một hệ thống kĩ thuật:.......................................................................13

5.

Một ứng dụng của quá trình sinh−tử cho hệ thống hàng chờ:.......................................................15

1


I. Giới thiệu mơ hình Markov
1.1. Giới thiệu mơ hình Markov:
Theo lý thuyết xác suất, mơ hình Markov là mơ hình ngẫu nhiên được sử dụng để mơ
hình các hệ thống thay đổi ngẫu nhiên. Giả định rằng các trạng thái trong tương lai chỉ
phụ thuộc vào các trạng thái hiện tại, không thuộc vào các sự kiện xảy ra trước đó (nghĩa
là, nó giả định thuộc tính Markov). Nói chung, giả định này cho phép suy luận và tính

tốn với mơ hình mà nếu khơng thì sẽ khó hiểu. Vì lí do này, trong các lĩnh vực mơ hình
dự báo và dự báo xác suất, mong muốn một mô hình nhất định sẽ trưng bày tài sản
Markov.
Có 4 mơ hình Markov phổ biến được sử dụng trong các tình huống khác nhau, tùy thuộc
vào việc mọi trạng thái tuần tự có thể quan sát được hay khơng và liệu hệ thống có được
điều chỉnh dựa trên các quan sát được thực hiện hay không:

Hệ thống tự chủ
Hệ thống
điều khiển

-

Trạng thái hệ thống hồn tồn Trạng thái hệ thống có thể
có thể quan sát được
quan sát được một phần
Chuỗi Markov
Mơ hình Markov ẩn

được Quy trình quyết định của Quá trình quyết định Markov
Markov
có thể quan sát được một phần

Chuỗi Markov:

Mơ hình Markov đơn giản nhất là chuỗi Markov . Nó mơ hình trạng thái của một hệ thống
với một biến ngẫu nhiên thay đổi theo thời gian. Trong bối cảnh này, thuộc tính Markov cho
thấy rằng phân phối cho biến này chỉ phụ thuộc vào phân phối của trạng thái trước đó. Một ví
dụ sử dụng chuỗi Markov là chuỗi Markov Monte Carlo , sử dụng thuộc tính Markov để
chứng minh rằng một phương pháp cụ thể để thực hiện bước đi ngẫu nhiên sẽ lấy mẫu từ

phân phối chung .

-

Mơ hình Markov ẩn:

Một mơ hình Markov ẩn là một chuỗi Markov mà trạng thái chỉ có thể quan sát được
một phần. Nói cách khác, các quan sát có liên quan đến trạng thái của hệ thống,

2


nhưng chúng thường khơng đủ để xác định chính xác trạng thái. Một số thuật tốn nổi
tiếng cho các mơ hình Markov ẩn tồn tại. Ví dụ, được đưa ra một chuỗi các quan sát,
thuật tốn Viterbi sẽ tính tốn chuỗi trạng thái tương ứng rất có thể, thuật tốn chuyển
tiếp sẽ tính xác suất của chuỗi các quan sát và thuật tốn Baum tựa Welch sẽ ước tính
xác suất bắt đầu, quá trình chuyển đổi chức năng và chức năng quan sát của mơ hình
Markov ẩn.
Một cách sử dụng phổ biến là nhận dạng giọng nói , trong đó dữ liệu được quan sát là
dạng sóng âm thanh giọng nói và trạng thái ẩn là văn bản nói. Trong ví dụ này, thuật
tốn Viterbi tìm ra chuỗi các từ được nói có khả năng nhất cho âm thanh lời nói.
-

Quy trình quyết định của Markov:

Q trình quyết định Markov là một chuỗi Markov trong đó các chuyển đổi trạng thái
phụ thuộc vào trạng thái hiện tại và một vectơ hành động được áp dụng cho hệ thống.
Thông thường, quy trình quyết định của Markov được sử dụng để tính tốn chính sách
hành động sẽ tối đa hóa một số tiện ích liên quan đến phần thưởng dự kiến. Nó liên
quan chặt chẽ đến việc học tăng cường , và có thể được giải quyết bằng phép lặp giá

trị và các phương pháp liên quan.
-

Quy trình quyết định Markov có thể quan sát được một phần:

Một quy trình quyết định Markov có thể quan sát được một phần (POMDP) là một
quy trình quyết định Markov trong đó trạng thái của hệ thống chỉ được quan sát một
phần. Các POMDP được biết là NP hoàn chỉnh , nhưng các kỹ thuật gần đúng gần đây
đã làm cho chúng hữu ích cho nhiều ứng dụng, chẳng hạn như điều khiển các tác nhân
đơn giản hoặc robot.
1.2. Mơ hình Markov:
- Một dãy trạng thái ngẫu nhiên gọi là có thuộc tính Markov nếu như xác
suấtchuyển sang trạng thái tiếp theo chỉ phụ thuộc vào trạng thái hiện tại và quá
khứ.Dãy chuyển trạng quan sát được được gọi là chuỗi Markov hay Xích Markov.
Dãy chuyển trạng khơng quan sát được gọi là mơ hình Markov ẩn.
Có N trạng thái s1 , s 2 , … , s n

3


Các bước thời gian rời rạc tương ứng: t=0 , t =1 , …
Tại bước thời gian thứ t, hệ thống ở một trong các trạng thái trên, gọi là q t
Với q t ∈{s 1 , s2 , … , s n}

Giữa mỗi bước thời gian, trạng thái tiếp theo được chọn một
cách ngẫu nhiên. Trạng thái hiện tại sẽ quyết định xác suất phân
bố của trạng thái tiếp theo (thường được kí hiệu bằng vịng cung
kết nối các trạng thái).
Trạng thái

q t +1

độc lập có điều kiện với

{qt −1 , qt −2 , ... , q1 ,1 0 }

được

đưa ra bởi q t .
P(A|B) là xác suất sau hay xác suất có điều kiện, là xác suất xuất hiện A đối với B(hay
xác xuất chuyển tiếp từ B đến A).
Một chuỗi q được gọi là chuỗi Markov, để thỏa
thuộc tính của Markov, trạng thái tiếp theo chỉ phụ
thuộc vào trạng thái hiện tại và không phụ thuộc
vào trạng thái nào trong q khứ.
Đây được gọi là mơ hình Markov bậc 1.

4


Mơ hình Markov bậc hai: là mơ hình được tạo ra trên cơ sở trạng thái hiện tại q t phụ
thuộc vào hai trạng thái liền kề trước đó.

1.3. Mơ hình Markov ẩn:
- Giới thiệu:
+ Học thuyết về chuỗi Markov được phát triển vào những năm 1900. Mơ hình
Markov ẩn phát triển vào cuối những năm 60 và được sử dụng rộng rãi trong
lĩnh vực nhận dạng giọng nói vào những năm 1960 – 1970 và được đưa vào

khoa học máy tính năm 1989.

+ Nhiều bài tốn thực tế được biểu diễn dưới mối quan hệ nhân quả, nhưng chỉ
quan sát được phần quả, cịn phần nhân thì ẩn. HMM là một thuật toán cho
phép gairi quyết các bài toán xác lập mối quan hệ nhân quả cục bộ nói trên.
+ Mơ hình Markov ẩn (tiếng Anh là Hidden Markov Model - HMM) là mơ hình
thống kê trong đó hệ thống được mơ hình hóa được cho là một q trình
Markov với các tham số khơng biết trước và nhiệm vụ là xác định các tham số
ẩn từ các tham số quan sát được, dựa trên sự thừa nhận này. Các tham số của
mơ hình được rút ra sau đó có thể sử dụng để thực hiện các phân tích kế tiếp, ví
dụ cho các ứng dụng nhận dạng mẫu. Trong một mơ hình Markov điển hình,
trạng thái được quan sát trực tiếp bởi người quan sát, và vì vậy các xác suất
chuyển tiếp trạng thái là các tham số duy nhất. Mơ hình Markov ẩn thêm vào
các đầu ra: mỗi trạng thái có xác suất phân bổ trên các biểu hiện đầu ra có thể.
Vì vậy, nhìn vào dãy của các biểu hiện được sinh ra bởi HMM không trực tiếp
chỉ ra dãy các trạng thái. Đây là một mơ hình tốn thống kê có ứng dụng rộng
rãi trong Tin sinh học.

5


-

Các thành phần của HMM:

6


-

Các chuyển tiếp trạng thái trong mơ hình Markov ẩn:

Sơ đồ trên trình bày về các thành phần trong một mơ hình Markov ẩn, đầu ra của mơ hình
là 2 chuỗi trạng thái được quan sát (Y), ta giả định rằng chúng là kết quả của một quá
trình Markov mang tính ngẫu nhiên (stochastic process) gồm các tham số trạng thái chưa
xác định (trạng thái ẩn, X) với xác suất ban đầu (initial probability). Có sự chuyển tiếp

7


giữa các tham số trạng thái ẩn, và xác suất đầu ra cho phép liên kết mỗi trạng thái ẩn với
kết quả quan sát được.
Ví dụ về bài tốn dự báo thời tiết: có 3 loại thời tiết, nắng, mưa và có mây. Ta gọi qn là
thời tiết ngày hơm nay thì các ngày trước đó sẽ là qn-1, qn-2,.. q1 để tìm xác suất của n
Cơng thức trên có nghĩa là một khi đã biết qn-1, qn-2,.. q1 ( thời tiết các ngày trước đó )
thì tính được xác suất ngày hôm nay là qn = {“ nắng”, “ mưa”, “ có mây”} là bao nhiêu
Giả sử cho n=3 và q3= “nắng” để tính xác suất P (q3|q2,q1) biết q1, q2 thuộc {“nắng”,
“mưa”, “có mây”} vậy chúng ta phải tính tất cả 33-1 =32 =9 trường hợp. Vậy phải biết
được 9 trường hợp trong q khứ thì mới tính được xác suất hiện tại. Nếu n=6 thì chúng
ta phải có 36−1 = 243 trường hợp mới tính dước xác suất hiện tại, giá trị trên là quá lớn vì
vậy cần phải được đơn giản, do đó lý thuyết makov mới ra đời cho chuỗi (qn, qn-1, qn2,...q1) ta có:
P ( qn-1, qn-2,...q1 ) = P(qn | qn-1 )

(2)

Theo công thức trên xác suất của trạng thái hiện tại chỉ phụ thuộc vào trạng thái trước
đó,với cơng thức (2) được gọi là lý thuyết markov.
Cơng thức tính một chuỗi các quan sát sau: {q1,q2,...qn}

8

n

P(q1,...,qn)= ∏ P (q1|qi-1)
i=1

Thời tiết
hơm nay
Nắng
Mưa
Có Mây

Nắng
0.8
0.2
0.2

Thời tiết ngày mai
Mưa
0.05
0.6
0.3

Có mây
0.15
0.2
0.5

*Giải thích hình vẽ : đầu tiên có 3 loại thời tiết nắng, mưa và có mây, nếu hơm nay trời
nắng thì xác suất ngày mai trời tiếp tục nắng sẽ là 0.8, xác suất ngày mai trời mưa sẽ là
0,05, xác suất ngày mai trời có mây là 0,15. Ta thấy xác suất khá hợp lí, bởi vì hơm nay

nắng thì khả năng mai tiếp tục nắng sẽ cao hơn là mưa và có mây. Và cứ như vậy cho xác
suất hơm nay thời tiết mưa hoặc có mây. Với các dữ kiện trên hình thành một ma trận
chuyển tiếp thường ký hiệu là A. Aji : i là thời tiết hôm nay, j là thời tiết ngày mai

9


II.

Ứng dụng mơ hình Markov để giải một bài tốn cụ thể:

Dân của thành phố A đọc ba tờ báo Tuổi trẻ, Thanh niên và Người lao động. Qua
khảo sát người ta nhận thấy: sau một tháng có 10% bạn đọc của Tuổi trẻ chuyển sang
đọc Thanh niên, và 10%chuyển sang đọc Người lao động; có 10% bạn đọc Thanh
niên chuyển sang đọc Tuổi Trẻ và 20% chuyển sang đọc Người Lao Động; có 10%
bạn đọc Người lao động chuyển sang đọc Tuổi trẻ và 30% chuyển sang đọc Thanh
niên. Giả sử năm 2020 số dân đọc báo Tuổi trẻ, Thanh niên và Người lao động tương
ứng là 800000, 300000 và 500000. Ước lượng số dân đọc báo Tuổitrẻ, Thanh niên và
Người lao động sau 1 năm.
function TinhSoDanDocBao
fprintf('Ta co \n');
fprintf('Ma tran dau vao \n M = \n');
M=[0.8 0.1 0.1; 0.1 0.7 0.3; 0.1 0.2 0.6];
disp(M);
fprintf('Ta co so dan ban dau \n D = \n');
D = [800000;300000;500000];
disp(D);
fprintf('Goi so dan doc 3 loai bao sau 1 nam la X\n');
X = M^12 * D;
fprintf('So dan doc 3 loai bao sau 1 nam la \n X = \n');

fprintf('%.0f\n', X);
fprintf('So dan doc bao Tuoi tre la %.0f\n', X(1));
fprintf('So dan doc bao Thanh nien la %.0f\n', X(2));
fprintf('So dan doc bao Nguoi lao dong la %.0f\n', X(3));
end

III.

Một số ứng dụng mơ hình Markov:

10


Các mơ hình Markov được ứng dụng nhiều trong các lĩnh vực Vận trù học, Kinh tế,
Kĩ thuật, Dân số học, Di truyền học,...Trong mục này, chúng ta sẽ xem xét các ứng
dụng như tìm cân bằng thị phần, xác định chính sách thay thế vật tư thiết bị, dự báo
thất thu cho các hợp đồng thực hiện trước, tìm phân phối giới hạn của một hệ thống kĩ
thuật và một ứng dụng của quá trình sinh − tử cho hệ thống hàng chờ.
1. Tìm cân bằng thị phần:
Bài tốn: Trong một khu phố 1000 dân (khách hàng) có 3 siêu thị là A, B, và C. Giả
sử, trong tháng đầu, số khách vào các siêu thị lần lượt là 200, 500 và 300. Những
tháng sau đó, ta giả sử xác suất để một khách hàng (đã vào siêu thị A lúc trước) vào
lại A luôn là 0,8; chuyển sang B luôn là 0,1 và chuyển sang C luôn là 0,1... Các xác
suất chuyển khác của khách hàng ("trụ lại" B, chuyển sang A, chuyển sang C...) được
cho thông qua ma trận chuyển P

Lúc đó, theo kết quả đã biết, tỉ lệ phần trăm cân bằng dừng (khi thời gian đủ dài) số
khách hàng vào các siêu thị A, B, C là 27,3%, 45,4% và 27,3% có thể tìm được từ hệ
Π ×(I – P) = 0
2. Chính sách thay thế vật tư thiết bị:

Trong một hệ thống điện kĩ thuật, các thiết bị cùng một loại được phân ra các tình
trạng sau đây: vừa mới thay, cịn tốt, vẫn dùng được và đã bị hỏng. Theo số liệu thống
kê được, ta có ma trận xác suất chuyển trạng thái như sau:

trong đó, sau mỗi tuần (xem hàng đầu của ma trận P) có 0%, 80%, 20% và 0% số
các thiết bị mới thay chuyển sang tình trạng mới thay, còn tốt, vẫn dùng được và
đã bị hỏng. Các hàng khác của ma trận P được giải thích một cách tương tự. Ta đi
tìm phân phối dừng Π bằng phương pháp đã biết.

11


Khi viết lại dưới dạng hệ phương trình (4 ẩn, 4 phương trình) ta phải loại bớt một
phương trình đi, và thêm vào hệ thức π1+ π2+ π3 + π4 = 1 và ràng buộc πk ≥ 0 (k =
1, 2, 3, 4). Kí hiệu x1 = π 1, x2 = π2, x3 = π3 và x4 = π4 ta sẽ có hệ:

Vậy phân phối dừng Π = [1/6 1/3 1/3 1/6]
Ta xét phương án thứ hai cho việc thay thế vật tư thiết bị với ma trận xác suất
chuyển trạng thái sau đây

Ma trận này tương ứng với chính sách mới về thay thế vật tư thiết bị là: thay thế
mỗi thiết bị một khi kiểm tra và phát hiện thiết bị ở tình trạng vẫn dùng được. Điều
này có thể dẫn tới việc giảm thiểu thất thu do thiết bị hỏng gây nên. Thật vậy, ứng
với ma trận P trên đây, phân phối dừng Π = [1/4 1/2 1/4]. Lúc này, mỗi tuần hệ
thống trên phải chi trung bình trên một thiết bị số tiền là: (1/4) × 25 + (0) ×18,5 =
6,25 nghìn/thiết bị/tuần. Như vậy hệ thống sẽ tiết kiệm được 1 nghìn / thiết bị /
một tuần. Nếu hệ thống có 2000 thiết bị, thì nhờ chính sách thay thế vật tư mới,
mỗi tuần hệ thống sẽ tiết kiệm được 2 triệu (đồng).
3. Phân tích Markov trong dự báo thất thu cho các hợp đồng thực hiện trước:

Một công ti kinh doanh trong ngành điện chuyên về sửa chữa và thay thế phụ tùng
đề ra chính sách tín dụng: đáp ứng yêu cầu của khách hàng trước, thanh toán sau.
Phần nhiều hợp đồng sẽ được thanh toán đúng thời hạn, một tỉ lệ nhất định sẽ
được cơng ti cho thanh tốn chậm, cịn một số ít khơng thanh tốn được. Theo
kinh nghiệm, sau hai hay ba hợp đồng thanh toán chậm của một khách hàng nào
đó là hợp đồng khơng thanh tốn được sau một thời gian dài, công ti coi đây là
hợp đồng “xấu” và sẽ cắt bỏ chính sách tín dụng với khách hàng đó. Như vậy tại
từng thời điểm các hợp đồng có thể rơi vào một trong các tình trạng (trạng thái)
sau:

12


Các phần tử trong ma trận trên có ý nghĩa đặc biệt. Trong số các hợp đồng hiện tại
ở trạng thái S2 (phải thanh tốn đúng kì hạn) cuối cùng sau một thời gian nhất định
có 89,83% sẽ rơi vào trạng thái S 0 (được thanh toán) và 10,17% sẽ rơi vào trạng
thái S1 (khơng được thanh tốn). Cịn trong số các hợp đồng hiện tại ở trạng thái S 3
(thanh toán chậm) cuối cùng sau một thời gian nhất định có 64,41% sẽ rơi vào
trạng thái S0 (được thanh tốn) và 35,59% sẽ rơi vào trạng thái S 1(khơng được
thanh tốn).
Thực hiện phép tính

Ta thấy trong 500 triệu phải thanh tốn đúng kì hạn và 100 triệu thanh tốn chậm
cuối cùng sẽ có 459,32 triệu được thanh tốn và 140,68 triệu là nợ “xấu” khơng
địi được. Để cải thiện tình trạng này, cơng ti cần nghiên cứu tìm ra một chính sách
tín dụng hợp lí hơn.
4. Tìm phân phối giới hạn cho một hệ thống kĩ thuật:

13

Một hệ thống kĩ thuật có hai chi tiết có thể bị hỏng ở bất kì thời điểm nào. Tại mỗi
thời điểm hệ thống có thể rơi vào một trong những trạng thái sau (xem hình IV.1):

Chú ý rằng lúc này ta có xích Markov (thời gian) liên tục với không gian trạng
thái S ={S0, S1, S2, S3}. Sau đây, chúng ta sẽ tìm cách xác định phân phối giới
hạn (long run distribution) của {X(t)}t≥0.
Trước hết ta nhắc lại về phân phối Pốt−xơng và phân phối mũ. Giả sử dịng
tín hiệu đến (hay xảy ra) tn theo phân phối Pốt−xơng P (λ) với λ là số tín
hiệu đến trung bình trong một khoảng thời gian nhất định (coi là một đơn vị
thời gian), λ còn được gọi là cường độ của dịng tín hiệu đến. Lúc đó, trong
khoảng thời gian như trên thì số tín hiệu xảy ra sẽ nhận giá trị k với xác suất .
Ta gọi phần tử xác suất P là xác suất xuất hiện (ít nhất) một tín hiệu trong
khoảng thời gian ∆ t . Thế thì, do “tính đơn nhất” của q trình Pốt−xơng, P
cũng là xác suất xuất hiện đúng một tín hiệu trong khoảng thời gian ∆ t. Theo
cơng thức đã biết thì P = λ∆t (chính xác tới vơ cùng bé o( ∆ t)).
Xét biến ngẫu nhiên T (chẳng hạn thời gian phục vụ một tín hiệu trong một hệ
dịch vụ), có phân phối mũ ε(µ) với hàm mật độ là f(τ) = µe µ . µ cũng được gọi
là cường độ phục vụ hay cường độ của “dòng phục vụ”. Hàm phân phối xác
suất của T sẽ là:
τ

τ

F (τ) = P (T ≤ τ) = ∫ f (t)dt = ∫ µ e
0

0

−µt

dt = 1 − e µτ

Cịn kì vọng tốn và độ lệch chuẩn của biến ngẫu nhiên T là

14


+∞

+∞

mT = ∫ tf (t )dt = ∫ µ te
0

− µt

0

dt =

1
1
; δT =
µ
µ

Ta nhận thấy ngay rằng:
P(0 ≤ T ≤ ∆t) = F(∆t) – F(0) = 1 − e-µΔt – [1 − e0] = 1 - e µΔt = µΔt
( chính xác tới vơ cùng bé o(Δt)).

Coi dịng tín hiệu chi tiết 1 và 2 hỏng là dịng Pốt−xơng với các tham số λ1 và λ2.
Gọi T1 và T2 là thời gian sửa chữa chi tiết 1 và 2, có phân phối mũ với các kì vọng
tsc1 và tsc2 là thời gian sửa chữa (trung bình) chi tiết 1 và chi tiết 2. Vậy T 1 và T2
có phân phối mũ ε(µ1) và ε(µ2), với µ1 = 1/tsc1 và µ2 = 1/tsc2.
Tại thời điểm t ta có biến ngẫu nhiên X(t) = Xt với phân phối xác suất sau đây:
Xt
S0
S1
S2
S3
π0(t)
π1(t)
π2(t)
π3(t)
P
Ta tính π0(t + ∆t ) tại thời điểm tiếp theo (t + ∆t ) trong hai trường hợp sau đây:
+ Trường hợp 1: Tại thời điểm t, hệ thống ở trạng thái S 0 và tại thời điểm t + ∆t
, hệ thống vẫn ở trạng thái S0 (không hỏng).
+ Trường hợp 2: Tại thời điểm t, hệ thống ở trạng thái S 1 hoặc S2, còn tại thời
điểm t + ∆t hệ thống ở trạng thái S0.
Do đó, π0(t + ∆t) = π0(t) [1 − (λ1 + λ2)∆t] + π1(t) µ1 ∆t + π2(t) µ2 ∆t (*). Thật
vậy, xác suất do trường hợp 2 gây nên là π1(t)µ1 ∆t + π2(t)µ2 ∆t, với µ1∆t = P(0
≤ T1 ≤ ∆t) là xác suất sửa chữa xong chi tiết 1 trong khoảng thời gian ∆t và µ2
∆t = P(0 ≤ T2 ≤ ∆t) là xác suất sửa chữa xong chi tiết 2 trong khoảng thời gian
∆t. Trong khi đó, xác suất do trường hợp 1 gây nên là π0(t)[1 − (λ1 + λ2)∆t], với
λ1∆t: xác suất hỏng chi tiết 1 trong khoảng ∆t, còn λ2∆t: xác suất hỏng chi tiết 2
trong khoảng ∆t.
Nói cách khác, chúng ta đã thực hiện công thức xác suất đầy đủ π0(t + ∆t) =
π0(t)p00 + π1(t)p10 + π2(t)p20, trong đó: pi0 là xác suất hệ ở trạng thái Si tại thời điểm t
và chuyển sang trạng thái S0 tại thời điểm (t+ ∆t).

Từ (*) ta có:

π 0 ( t + Δt )−π 0 (t)
= π1(t)µ1 + π2(t)µ2 – π0(t)λ1 – π0(t)λ2.
Δt

Cho ∆t → 0 (vế phải khơng liên quan với ∆t) thì
d π 0 (t )
= π1(t)µ1 + π2(t)µ2 – π0(t)λ1− π0(t)λ2
dt

15


Khi t rất lớn (hệ thống hoạt động trong một khoảng thời gian đủ dài) thì hệ
thống dần ổn định với phân phối giới hạn có thể tìm được, tức là: [π0(t), π1(t),
π2(t), π3(t)] → [π0, π1, π2, π 3].
Vậy ta có: π1µ1 + π1µ2 − π0λ1 − π0λ2 = 0 (vì

d π 0 (t )
= 0 khi t đủ lớn)
dt

5. Một ứng dụng của quá trình sinh−tử cho hệ thống hàng chờ:
Quá trình sinh − tử là trường hợp riêng của xích Markov thuần nhất thời gian
liên tục, với không gian trạng thái S không quá đếm được S = {S 0, S1, S 2,..., Sn,
…} và ma trận cường độ Q = [q ij] có tính chất qij = 0 với i − j ≥ 2. Điều này có
nghĩa là việc chuyển trạng thái trong q trình sinh−tử chỉ có thể tới “1 đơn vị
lên hoặc xuống” (xem hình IV.3).

Hình IV.3: sơ đồ chuyển trạng thái quá trình sinh tử
Từ trạng thái Sn tại thời điểm t hệ X(t) chỉ có thể chuyển tới một trong các
trạng thái Sn+1, Sn hoặc S n-1. Vì vậy chúng ta có các cường độ chuyển:
µ0 = λ-1 = 0 = q00, qn, n+1 = λn, qn, n-1 = µn và qn, n = − (λn +µn) ∀n.
Trong trường hợp λn, µn > 0, ∀n > 0, theo định lí đã được chứng minh, phân
phối giới hạn có thể tìm được bằng cách giải hệ: [π0 π1 π2 π3 …]Q = 0, với ma
trận cường độ Q đã biết.
Ma trận chuyển vị của Q có dạng:

[

q00 q 10
q01 q11
T
Q = … …
q0 n q1 n
… …

… qn 0 q n+1,0
… q n1 q n+1,1
… …
…
… q nm q n+1 , n
… …
…

…
…
…
…

…

Ta có [π0 π1 π2 π3 …]Q = 0 ⇔ QT[π0 π1 π2 π3 …]T = 0 ⇔

16

]


[

q00 q10 q20
q 01 q11 q21
q 02 q12 q22
… … …

][ ][ ]

…
π0
0
…
π1
×
= 0
…
π2
0
…
…

…

{

q00 π 0+ q10 π 1+ q20 π 2 +…=0
hay: q 01 π 0 +q 11 π 1 +q 21 π 2 +…=0
q 02 π 0 +q12 π 1 + q22 π 2 +…=0

Do tính chất đặc biệt, như đã phân tích ở trên, của ma trận cường độ Q của quá
trình sinh−tử, hệ trên được viết một cách tường minh hơn như sau:

17


…
Từ đây đễ dàng tìm được πn+1 = (λn/µn+1)πn, ∀n = 1, 2, 3, … để đi tới cơng
thức tính πi,∀i

∞

Với điều kiện ∑ π i =1 , cuối cùng ta có:
i=0

Đặc biệt khi µn = 0, ∀n, thì q trình sinh−tử trở thành quá trình sinh
thuần khiết (pure birth process). Quá trình sinh thuần khiết với λn = λ là
q trình Pốt−xơng với tham số λ.