CHUYEN DE XICH MARKOV

Mục lục
Chương 1: CÁC KIẾN THỨC CƠ SỞ VỀ XÍCH MARKOV.......................................1
Chương 2 MỘT SỐ ỨNG DỤNG CỦA MÔ HÌNH XÍCH MARKOV.........................2
2.1 Ứng dụng trong giáo dục.....................................................................................2
2.2 Ứng dụng trong xã hội..........................................................................................7
TÀI LIỆU THAM KHẢO...........................................................................................12

0


Chương 1: CÁC KIẾN THỨC CƠ SỞ VỀ XÍCH MARKOV
Cho một hệ nào đó được quan sát tại các thời điểm rời rạc 0,1,2,... giả sử các
quan sát đó là X 0 , X 1 , X 2 ,..., X n khi đó ta có một dãy các đại lượng ngẫu nhiên (ĐLNN)
( X n ) trong đó X n là trạng thái tại thời điểm n. Giả thuyết rằng mỗi X n , n  0,1... là một

ĐLNN rời rạc. Ký hiệu E tà tập giá trị của ( X n ) . Khi đó E là tập hữu hạn hay đếm
được, các phần tử của nó ký hiệu là i, j, k ... ta nói E là không gian trạng thái của dãy.
Định nghĩa: Ta nói dãy các ĐLNN ( X n ) là một xích Markov nếu với mọi
n1  n2  ...  nk  nk 1

và với mọi i1 , i2 ,...ik �E .







P X nk 1  ik 1 X n1  i1. X n2  i2 ... X nk  ik  P X nk 1  ik 1 X nk  ik



Ta coi thời điểm nk 1 là tương lai, nk là hiện tại, n1, n2 ..., nk 1 là quá khứ. Như vậy
xác suất có điều kiện của sự kiện B nào đó trong tương lai nếu biết hiện tại và quá khứ
của hệ cũng giống như xác suất có điều kiện của B nếu chỉ biết trạng thái hiện tại của
hệ. Đó chính là tính Markov của hệ.
Giả sử

P  X n  m  j X m  i

là xác suất tại thời điểm m ở trạng thí i sau n bước,

tại thời điểm n  m chuyển sang trạng thái j . Đây là con số nói chung phụ thuộc vào
i , j , m , n . Nếu đại lượng không phụ thuộc m ta nói Xích là thuần nhất. Ký hiệu
Pij  P  X n 1  j X n  i

;

Pij ( n )  P  X mn  j X m  i

Phân bố X 0 gọi là phân bố ban đầu. Ta ký hiệu ui  P ( X 0  i )
Định lý 1.1 Phân bố đồng thời của
phân

bố

ban

đầu

và

xác

 X 0 , X 1... X n  được hoàn toàn xác định từ
suất

P  X 0  i0 , X 1  i1 ,..., X n  in   ui0 Pi0i1 ...Pin 1in
1

chuyển.

Cụ

thể

ta

có:


Định lý 1.2 (Phương trình C- K)

Pij ( m  n )  �Pik ( n )Pkj (m )
k�E

Định lý 1.3 Ta có: U (m  n )  U (m ) P nói riêng U ( n)  UP
n

n

Chương 2:
MỘT SỐ ỨNG DỤNG CỦA MÔ HÌNH XÍCH MARKOV
2.1 Ứng dụng trong giáo dục
Mô hình: Như chúng đã biết, hàng năm các trường trung học phổ thông (THPT)
cả nước nói chung và ở Bạc Liêu nói riêng điều tổ chức tuyển sinh vào trường mình.
Mỗi năm học lực của học sinh luôn có sự thay đổi dù ít hay nhiều, ỏ đây sự quan tam
hàng đầu của các nhà giáo dục là chất lượng học sinh đặc biệt là học lực. Họ cần có
một dự đoán chính xác về tỷ lệ học lực của mỗi lớp học, để quyết định các phương
pháp, kế hoạch, kể cả việc phân công chuyên môn sao cho phù hợp và đạt hiệu quả
nhất từ đó đẩy mạnh chất lượng đào tạo của Nhà trường đáp ứng được mục tiêu đề ra
và tạo thành nơi đào tạo có uy tính và chất lượng đối với mọi người. Cụ thể là ta cần
biết khi học lực đang ở trạng thái giỏi, khá, trung bình, hoặc dưới trung bình thì trung
bình bao lâu nó chuyển sang trạng thái khác.
- Nếu xuất phát từ trạng thái ỉ nào đó thì trung bình bao lâu nó trở lại tráng thái ỉ
này hay chuyển thành trạng thái ỉ khác ( i có thể là giỏi, khá, trung bình, dưới trung
bình).
- Tỷ lệ giỏi, khá, trung bình và dưới trung bình trong tương lai ra sao.
Ta gọi G: giỏi; K: khá; TB: trung bình; DTB: dưới trung bình
Ta có ma trận xác suất chuyển:
PGG PGKPGTBPGDTB
PKG PKKPKTBPKDTB
P = PTG PTBKPTBTBPTBDTB
PDTBGPDTBKPDTBTBPDTBDTB

Nếu một trong bốn trạng thái trên là trạng thái hấp thụ tức là khi quá trình rơi vào
2


trạng thái hấp thụ thì nó sẽ ở đây mãi mãi không thoát ra được.
2.1.1 Tìm ma trận xác suất chuyển và kiểm tra tính Markov

- Phương pháp tìm ma trận xác suất chuyển
Gọi x1,x2 ...,x n là học lực của học sinh lần khảo sát thứ i,I = 1,…,n
Đặt vi = xi +1 – x1,i = 1,...,n
Nếu:
vi > 0, ta ký hiệu tb (tiến bộ)
vi = 0, ta ký hiệu ktb (không tiến bộ)
vi < 0, ta ký hiệu đx (đi xuống)
Như vậy, dãy các giá trị ở trên, ta xây dựng thành một dãy mới có dạng:
tb ktb tb đx.........đx đx
Đếm tổng số lần các trạng thái G, K, TB, DTB của dãy trên, ta có:
nG:tổng số giỏi;
nK:tổng số khá;
nTB:tổng số trung bình.
nDTB:tổng số dưới trung bình.
Tính xác suất chuyển theo công thức sau: Tính xác suất chuyển theo công thức sau:
PGG = , PGG = ,

PGG = ,

PGG =

PGG = , PGG = ,

PGG = ,

PGG =

PGG = , PGG = ,

PGG = ,

PGG =

PGG = , PGG = ,

PGG = ,

PGG =

Trong đó: nGG là tổng số lần trạng thái G chuyển sang G (các trường hợp còn lại
tương tự).
Từ đó ta có ma trận xác suất chuyển P
- Kiểm tra tính Markov
Ta cần kiểm tra sự thay đổi của học lực có phải là quá trình Markov hay không.
3


Ta đặt:
Pij = P{Xn +1 = j|Xn = i}, (i,j) là xác suất có điều kiện để học lực đang ở trạng
thái i giỏi (giỏi, khá, trung bình, dưới trung bình) tại thời điểm n chuyển sang trạng
thái j tại thời điểm n + 1.
Pij = P{Xn +1 = j|Xn = i, Xn-1 = k}, (i,j) (giỏi, khá, trung bình, dưới trung bình) là xác
suất có điều kiện để học lực đang ở trạng thái k tại thời điểm n – 1 (quá khứ) chuyển
sang trạng thái i giỏi tại thời điểm n (hiện tại) và chuyển sang trạng thái j tại thời điểm
n + 1 (tương lai).
Ta cần chứng tỏ rằng pkij = pij với mọi i,j,k (giỏi, khá, trung bình, dưới trung
bình). Lúc đó ta nói quá trình thay đổi học lực là quá trình Markov.
Tính các xác suất theo công thức:
pkij= , (k, i, j) (giỏi, khá, trung bình, dưới trung bình) (1)
Với kết quả tìm được của (1), nếu như các đẳng thức sau xảy ra:

pkij = pkij, (k, i, j) (giỏi, khá, trung bình, dưới trung bình) (2). Tức là sự thay đổi học
lực trong tương lai phụ thuộc vào hiện tại và độc lập với quá khứ. Vậy quá trình thay
đổi này là quá trình Markov.
Để kiểm tra giả thuyết (2) có thỏa mãn không, ta dùng tiêu
chuẩn kiểm định thống kê như sau:
Tính Tkij = trong đó =
Với mức ý nghĩa α ta tìm được
+ Nếu Tkij ≤ Tα (k, i, j) thì ta chấp nhận giả thiết (2)
+ Nếu có k, i, j mà Tkij > Tα ta bác bỏ giả thiết (2).
2.1.2 Ứng dụng mô hình với số liệu thực tế
- Ma trận xác suất chuyển và tính Markov
Thống kê học lực của 537 học sinh vào cuối năm học lớp 11 ta có số liệu ban
đầu sau: 28 giỏi, 315 khá, 189 trung bình, 5 dưới trung bình. Vậy tỷ lệ ban đầu là:
PG = = 0.052 ; PK = = 0.587 ; PTB = = 0.352 ; PDTB = = 0.009
Sau cuối học kì II của năm lớp 12 thì có những học sinh chuyển từ học lực này
4


sang học lực khác. Tức là:
G → G có nghĩa là trước đây giỏi nay vẫn duy trì thành tích đó.
G → K có nghĩa là trước đây giỏi nay chuyển thành khá.
G → TB có nghĩa là trước đây giỏi nay chuyển thành trung bình.
G → DTB có nghĩa là trước đây giỏi nay chuyển thành dưới trung bình.
K → G có nghĩa là trước đây khá học tốt hơn chuyển thành giỏi.
K → K có nghĩa là trước đây khá vẫn giữ thành tích đó.
… …. ….

….

Các trường hợp còn lại tương tự. Cụ thể sự chuyển đổi giữa các học lực:

P=

151500
7235712
34112520
0005

Ta có
PGG = = 0.5;

PGK = = 0.5;

PGTB = = 0.5;

PGDTB = = 0

PKG = = 0.023; PKK = = 0.746; PKTB = = 0.225; PKDTB = = 0.006;
PTBG = = 0.016; PTBK = = 0.217; PTBTB = = 0.661; PTBDTB = = 0.10;
PDTBG = = 0;

PDTBK = = 0

PDTBTB = = 0

PDTBBTB = = 1

Như vậy ta được mô hình xích Markov (Xn) sau:
Không gian trạng thái E ={G, K, TB, DTB}.
Phân phối ban đầu U = (PG, PK, PTB, PDTB) = ( 0.052 0.587 0.352 0.009)

* Ma trận xác suất chuyển:

P=

0.50.500
0.0230.7460.2250.006
0.0160.2170.6610.106
0001

Dự báo đến giữa học kì II năm lớp 12 của 537 học sinh này có tỷ lệ học lực là:

5

0.50.500
0.0230.7460.2250.006
0.0160.2170.6610.106
0001


U

(1)

= U P = (0.052 0.587 0.352 0.009)

= (0.045133 0.540286 0.364747 0.049834)
Vậy ta có thể dự báo tỷ lệ học lực của học sinh là: 5% giỏi; 54% khá; 36%
trung bình và 5% dưới trung bình.
Dự báo đến cuối học kì II năm lớp 12 của 537 học sinh này có tỷ lệ học lực là:

U

(2)

= U P2 = (0.052 0.587 0.352 0.009)

0.50.500
2
0.0230.7460.2250.006
0.0160.2170.6610.106
0001

= ( 0.040829030 0.504769955 0.362662117 0.091738898)
Và kết quả cuối học kì II là: 4% giỏi; 51% khá; 36% trung bình và 9% dưới
trung bình.
Với kết quả này như là một sự nhắc nhở là học sinh giỏi khá giảm và tỷ lệ học
sinh dưới trung bình tăng lên, cần những sự chỉ đạo cũng như những biện pháp thật
hữu hiệu để nâng cao tỷ lệ học sinh giỏi khá.
- Áp dụng mô hình xích Markov hấp thụ
Từ ma trận xác suất chuyển P ở trên ta thấy trạng thái DTB là chỗ trũng (hay là
trạng thái thu hút). Với số liệu này ta cần biết bao lâu trạng thái này chuyển sang trạng
thái khác.

P=

0.50.500
0.0230.7460.2250.006
0.0160.2170.6610.106
0001

Trong đó
Q=
Theo xích Markov hấp thụ thì W = (I – Q) -1 =
2.2 Ứng dụng trong xã hội
6

=


2.2.1. Dự báo sự chuyển đổi giàu nghèo trong một Huyện
Theo khảo sát 28227 hộ dân trên địa bàn của 1 huyện trong tỉnh Bạc Liêu cuối
năm 2011 ta có: 4021 số hộ cận nghèo; 5572 số hộ nghèo; 18634 không thuộc hai diện
trên.
Ta ký hiệu:
0 là trạng thái hộ gia đình trung bình hoặc giàu.
1 là trạng thái hộ gia đình có mức sống được xếp vào cận nghèo.
2 là trạng thái hộ gia đình có mức sống được xếp vào nghèo.
Ta có tỷ lệ ban đầu là:
P0 = = 0.66;

P0 = = 0.14;

P0 = = 0.2;

Sau 10 tháng, do đó những chính sách hỗ trợ của Đảng và Nhà nước, với những
sự vươn lên của người dân nên ta có những thay đổi về các số liệu trên. Cụ thể ta có sự
chuyển đổi như sau:
P=
Ta có:
P00 = = 0.99, P01 = = 0.01, P02 = = 0

P10 = = 0.30, P11 = = 0.66, P12 = = 0.04
P20 = = 0.16, P21 = = 0.28, P22 = = 0.56
Như vậy ta được mô hình xích Markov (Xn) như sau:
Không gian trạng thái E = {0,1,2}
Phân phối ban đầu:
U = (p0, p1, p2,) = (0.66, 0.14, 0.2)

Ma trận xác suất chuyển
P= =
Dự đoán sự phân hóa giàu nghèo trong địa bàn huyện sau 10 tháng:
U

(1)

= U P = (0.66 0.14 0.2) = (0.7274 0.155 0.1176)
7


Như vậy sau 10 tháng thì có 72,74% dân số của huyện ở trạng thái trung bình
hoặc giàu; 15,5% dân số cận nghèo; 11,76% dân số còn nghèo.
Theo kết quả này ta thấy được tỷ lệ nghèo và cận nghèo giảm xuống điều này
chứng tỏ với những chính sách hỗ trợ và sự vươn lên của người dân thì trong tương lai
hộ nghèo sẽ không còn nữa.
Để kiểm định nhận định này ta có thể dự báo 6 tháng tiếp theo:


(2)

=  P2 = (0.66 0.14

0.2)

2
= (0.785442 0.142502
0.072656)

Sau 10 tháng thì có 78,54% dân số của huyện ở trạng thái trung bình hoặc giàu;
14,3% dân số cận nghèo; 0,73% dân số còn nghèo.
2.2.2. Dự báo khả năng giàu nghèo theo truyền thống của hộ gia đình
Mỗi người dân trong một vùng nào đó có thể ở trong ba tầng lớp: giàu, trung lưu
và nghèo. Con cái của họ cũng có thể ở một trong ba tầng lớp nói trên với các xác suất
khác nhau tùy thuộc vào việc họ đang ở trong tầng lớp nào. Giả sử bằng thống kê
người ta xác định được:
Nếu một người giàu thì với xác suất 0.448 con họ giàu, với xác suất 0.484 con họ
trung lưu, với xác suất 0.068 con họ nghèo.
Với người trung lưu thì xác suất để con họ giàu, trung lưu hay nghèo là 0.054;
0.669; 0.247.
Với người người nghèo thì xác suất để con họ giàu, trung lưu hay nghèo tương
ứng là 0.011; 0.503; 0.486.
Như vậy sự thay đổi trạng thái của một gia đình trong xã hội từ thế hệ này qua
thế hệ khác có thể mô tả bởi một xích Markov ba trạng thái:l (giàu), 2 (trung lưu) và 3
(nghèo) với xác suất chuyển như sau:
P=
Xích Markov này là chính quy nên tồn tại phân bố giới hạn π = (π 1, π2, π3). Phân
bố này chính là phân bố dừng duy nhất.
Ta có:
(π1, π2, π3) = (π1, π2, π3)
8

Như vây qua nhiều thế hệ ở vùng dân cư nói trên sẽ có 6.7% người giàu, 62.4%
trung lưu và 36.9% người nghèo.
2.2.3. Dự báo số liệu chi cảu ngân sách Nhà nước
Theo số liệu cảu tổng cục thống kê trong việc chi 100 nghìn tỷ đồng ngân sách
cho sự phát triển xã hội cảu năm 2009.
Chi cho đầu tư phát triển: 30.78 nghìn tỷ.
Chi cho sự nghiệp Kinh tế - Xã hội: 54.82 nghìn tỷ.
Chi bổ sung quĩ dự trữ tài chính: 0.02 nghìn tỷ.
Chi cho các lĩnh vực khác: 14.38 nghìn tỷ.
Vậy tỷ lệ ban đầu là:
P1 = = 0.3078;

P2 = = 0.5482;

P3 = = 0.0002; P4 = = 0.1438;

Ta ký hiệu:
1 là biểu thị cho trạng thái chi cho đầu tư phát triển.
2 là chi cho sự nghiệp Kinh tế - Xã hội.
3 là chi bổ sung quĩ dự trữ tài chính.
4 là chi cho các lĩnh vực khác.
Và sự thay đổi có chi tiêu ngân sách nhà nước trong năm 2010:
26.11 3.4 01.27
054.82 0 0
0 00.02 0
0 0 014.38

Ta có
P11 = = 0.85 P12 = = 0.1

P13 = = 0

P14 = = 0.05

P21 = = 0

P22 = = 1

P23 = = 0

P24 = = 0

P31 = = 0

P32 = = 0

P33 = = 1

P34 = = 0
9


P41 = = 0

P42 = = 0

P43 = = 0

P44 = = 1

Như vậy ta được mô hình xích Markov (Xn) như sau:
Không gian trạng thái E = {1,2,3,4}.
Phân phối ban đầu
U = (p1, p2, p3) = (0.3078 0.5482 0.0002 0.1438)

* Ma trận xác suất chuyển

P=

p11p12p13p14
p21p22p23p24
p31p32p33p34
p41p42p43p44

=

0.850.1 00.05
0100
0010
0001

Dự toán chi ngân sách vào các lĩnh vực năm 2013:

U

(1)

= U P = (0.3078 0.5482 0.0002 0.1438)

0.850.1 00.05

0100
0010
=
0001

= (0.27702 0.57898 0.0002 0.1438)
Như vậy 27% chi cho đầu tư phát triển; 57,9% chi cho sự nghiệp Kinh tế - Xã
hội; 0.2% chi bổ sung quĩ dự trữ tài chính; 14.38% là chi cho các lĩnh vực khác.
Dự vào kết quả trên ta thấy được tỷ trọng nông nghiệp giảm các thành phần
kinh tế khác thì tăng lên. Cho ta một tính hiệu vui cho nên kinh tế của tỉnh với sự tăng
trưởng của công nghiệp – xây dựng và dịch vụ.
Ta tiếp tục dự báo năm tiếp theo 2014 xem sự chuyển đổi cơ cấu kinh tế theo
hướng nào:
U

(2)

= U P2 = (0.517 0.2452 0.2378)

=

(0.5108 0.2462 0.2430)
10

2


Năm 2014 cơ cấu kinh tế tỷ trọng nông nghiệp là 51,08%; công nghiệp – xây
dựng 24,62%; 24,3% dịch vụ.

TÀI LIỆU THAM KHẢO
[1] Đặng Hùng Thắng, (2007), Quá trình ngẫu nhiên và tính toán ngẫu nhiên, NXB
Đại học Quốc gia Hà Nội.
[2] Phạm Tiến Dũng (2008) Thiết kế thí nghiệm và xử lý kết quả bằng phần mềm
thống kê IRRISTAT.
[3] Nguyễn Hữu Lộc (2011) Quy hoạch và phân tích thực nghiệm, NXB ĐHQG TP.
Hồ Chí Minh.

11