Đề tài: Xích markov_Luận văn tốt nghiệp đại học

TRƯỜNG ĐẠI HỌC CẦN THƠ
KHOA SƯ PHẠM
BỘ MÔN TOÁN
*********






LUẬN VĂN TỐT NGHIỆP
Đề tài
XÍCH MARKOV







Giảng viên hướng dẫn: Sinh viên thực hiện:
ThS. HỒ HỮU HOÀ MÃ BÍNH MAI
MSSV: 1050234
Lớp: Toán-Tin K31




C
ần Th
ơ

-
2009

Xích Markov



LỜI CẢM ƠN

Trãi qua gần bốn năm học tập ở Khoa Sư Phạm trường
Đại Học Cần Thơ, đến nay tôi đã hoàn thành khóa học với đề
tài Luận văn Tốt nghiệp này. Những kiến thức cơ bản mà tôi
đã được trang bị trong thời gian học tập cùng với quá trình tự
nghiên cứu đã giúp tôi thực hiện luận văn tuy đã gặp không ít
những khó khăn.
Tôi xin gửi lời cảm ơn chân thành đến thầy Hồ Hữu Hoà
– Giảng viên hướng dẫn luận văn. Thầy đã tận tình hướng dẫn
cho tôi trong suốt quá trình thực hiện luận văn từ lúc nhận đề
tài đến khi hoàn thành.
Tôi cũng xin gửi lời cảm ơn đến tất cả các Thầy Cô trong
Khoa Sư Phạm trường Đại Học Cần Thơ đã trang bị cho tôi
những nền tảng tri thức quý báu để hôm nay tôi có đủ điều
kiện thực hiện quyển luận văn này.
Bên cạnh đó, sự động viên và giúp đỡ của các bạn lớp Sư
phạm Toán Tin K31 là nguồn động lực để tôi vượt qua những
khó khăn trong suốt thời gian nghiên cứu. Xin cảm ơn các
bạn!
Do thời gian và kiến thức còn hạn hẹp, tài liệu tham khảo
còn hạn chế nên khi trình bày đề tài chắc chắn không tránh
khỏi sai sót. Tôi rất mong nhận được những ý kiến đóng góp

của Thầy Cô và các bạn để đề tài của tôi được hoàn chỉnh
hơn.
Xin chân thành cảm ơn!
Cần Thơ, ngày 22 tháng 4 năm 2009
Người viết luận văn
Mã Bính Mai
Xích Markov

NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN


Xích Markov

NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN


Xích Markov

MỤC LỤC

Trang
PHẦN MỞ ĐẦU Error! Bookmark not defined.
PHẦN NỘI DUNG Error! Bookmark not defined.
Chương I - KIẾN THỨC CHUẨN BỊ Error! Bookmark not defined.
1. Xác suất và các công thức tính xác suất: Error! Bookmark not defined.
1.1 Định nghĩa xác suất Error! Bookmark not defined.
1.2. Các công thức tính xác suất Error! Bookmark not defined.
2. Đại lượng ngẫu nhiên: Error! Bookmark not defined.
2.1. Đại lượng ngẫu nhiên Error! Bookmark not defined.
2.2. Luật phân phối xác suất của đại lượng ngẫu nhiên rời rạc Error! Bookmark

not defined.
2.3. Các số đặc trưng của đại lượng ngẫu nhiên rời rạc Error! Bookmark not
defined.
2.4. Phân phối đồng thời của 2 đại lượng ngẫu nhiên rời rạc Error! Bookmark not
defined.
Chương II - CÁC KHÁI NIỆM CƠ BẢN VỀ XÍCH MARKOV.Error! Bookmark not
defined.
1. Định nghĩa tính Markov và xích Markov Error! Bookmark not defined.
1.1. Tính Markov Error! Bookmark not defined.
1.2. Xích Markov Error! Bookmark not defined.
2. Xích Markov rời rạc và thuần nhất Error! Bookmark not defined.
2.1. Định nghĩa Error! Bookmark not defined.
2.2. Ma trận xác suất chuyển sau một bước Error! Bookmark not defined.
2.3. Ma trận xác suất chuyển sau n bước Error! Bookmark not defined.
2.4. Phân phối hữu hạn chiều Error! Bookmark not defined.
Xích Markov

2.5. Phân phối ban đầu Error! Bookmark not defined.
2.7. Mô hình của một xích Markov rời rạc và thuần nhất Error! Bookmark not
defined.
3. Xích Markov có hữu hạn trạng thái Error! Bookmark not defined.
3.1. Xích có hai trạng thái Error! Bookmark not defined.
3.2. Ứng dụng Error! Bookmark not defined.
3.3. Định lý ergodic Error! Bookmark not defined.
3.4. Phân phối dừng Error! Bookmark not defined.
3.5. Phân phối giới hạn và phân phối ergodic Error! Bookmark not defined.
4. Một số mô hình xích Markov Error! Bookmark not defined.
4.1. Mô hình bình Ehrenfest Error! Bookmark not defined.
4.2. Mô hình kiểm kê Error! Bookmark not defined.
4.3. Mô hình phân chia thị trường Error! Bookmark not defined.

5. Phân tích bước thứ nhất Error! Bookmark not defined.
5.1. Trường hợp đơn giản Error! Bookmark not defined.
5.2. Phân tích bước thứ nhất tổng quát Error! Bookmark not defined.
Chương III - PHÂN LOẠI TRẠNG THÁI XÍCH MARKOV Error! Bookmark not
defined.
1. Các trạng thái liên thông và sự phân lớp Error! Bookmark not defined.
1.1. Trạng thái liên thông Error! Bookmark not defined.
1.2. Chu kỳ của trạng thái Error! Bookmark not defined.
1.3. Sự phân lớp Error! Bookmark not defined.
2. Trạng thái hồi quy và trạng thái không hồi quy Error! Bookmark not defined.
2.1. Mở đầu Error! Bookmark not defined.
2.2. Định nghĩa Error! Bookmark not defined.
3. Tiêu chuẩn hồi quy và không hồi quy Error! Bookmark not defined.
Xích Markov

3.1. Định lý 1 Error! Bookmark not defined.
3.2. Định lý 2 Error! Bookmark not defined.
4. Định lý giới hạn cơ bản của xích Markov Error! Bookmark not defined.
4.1. Bổ đề Error! Bookmark not defined.


4.2. Định lý 1 Error! Bookmark not defined.
4.3. Định lý 2 Error! Bookmark not defined.
5. Sự tồn tại
)(
lim
n
ij
n
p

∞→
và phân phối dừng Error! Bookmark not defined.
5.1. Định lý 1 Error! Bookmark not defined.
5.2. Định lý 2 Error! Bookmark not defined.
5.3. Định lý 3 Error! Bookmark not defined.
6. Xích Markov có hữu hạn trạng thái Error! Bookmark not defined.
6.1. Định lý 1 Error! Bookmark not defined.
6.2. Định lý 2 Error! Bookmark not defined.
PHẦN KẾT LUẬN Error! Bookmark not defined.
TÀI LIỆU THAM KHẢO Error! Bookmark not defined.

Xích Markov
- 1 -
PHẦN MỞ ĐẦU


1. Lý do chọn đề tài:
Trong hoạt động thực tiễn của mình con người bắt buộc phải tiếp xúc với các biến
cố ngẫu nhiên không thể dự đoán trước được. Một lĩnh vực toán học có tên là “Lý Thuyết
Xác Suất” đã ra đời nhằm phục vụ nghiên cứu các quy luật và các quy tắc tính toán các
hiện tượng ngẫu nhiên. Ngày nay Lý Thuyết Xác Suất đã trở thành một ngành toán học
lớn, cả về lý thuyết lẫn ứng dụng. Các mô hình xác suất đã thực sự được ứng dụng rộng
rãi trong khoa học tự nhiên cũng như khoa học xã hội.
Trong thực tế ta thường gặp những hệ mà sự tiến triển của nó trong tương lai chỉ
phụ thuộc vào hiện tại và độc lập với quá khứ. Khi làm dự báo cho các quá trình như thế
ta cần tính đến tương lai hệ sẽ ra sao khi cho biết trước hiện tại. Mô hình xác suất để
nghiên cứu vấn đề này là “Quá trình Markov”. Mô hình này được nhà Toán học - Vật lý
nổi tiếng người Nga Andrei Andreevitch Markov đưa ra vào đầu thế kỷ XX. Trong đó
“Xích Markov” là trường hợp riêng của quá trình Markov khi ta có thể đánh số được các
trạng thái. Mô hình này có nhiều ứng dụng trong kinh tế, sinh học, tin học, viễn thông,…

Được sự hướng dẫn tận tình của thầy Hồ Hữu Hòa em đã mạnh dạn chọn đề tài
“Xích Markov” cho bài Luận văn Tốt Nghiệp ngành Sư Phạm Toán Tin.
2. Mục đích nghiên cứu:
Hệ thống lại những kiến thức cơ bản về Xác suất đã được học trong chương trình.
Tìm hiểu về mô hình xích Markov rời rạc và thuần nhất.
Tìm hiểu ý nghĩa của xích Markov thông qua các mô hình trong thực tế.
Hoàn thành Luận văn, luyện tập nghiên cứu khoa học, tạo bước đầu cho việc học
tập sau này.
3. Nhiệm vụ nghiên cứu:
Đưa ra các yếu tố cần thiết của một xích Markov rời rạc và thuần nhất.
Phân loại các trạng thái xích Markov.
Xích Markov
- 2 -
Nghiên cứu về tính ergodic của xích, sự tồn tại phân phối giới hạn, sự tồn tại và
duy nhất của phân phối dừng.
4. Phương pháp nghiên cứu:
Đọc sách có liên quan đến đề tài, tìm tài liệu trên Internet.
Sử dụng phương pháp phân tích để nắm vững vấn đề một cách chi tiết.
Sử dụng phương pháp tổng hợp, hệ thống lại kiến thức, trình bày vấn đề theo trình
tự logic để người đọc dể theo dõi.
5. Nội dung nghiên cứu:
Chương I: Kiến thức chuẩn bị:
Trình bày các khái niệm cơ bản về xác suất, một số tính chất và các công thức tính
xác suất như: công thức cộng, công thức nhân, công thức xác suất đầy đủ,…Khái niệm
đại lượng ngẫu nhiên, các số đặc trưng của đại lượng ngẫu nhiên rời rạc. Từ đó làm cơ sở
để hiểu được khái niệm mới.
Chương II: Các khái niệm cơ bản về xích Markov:
Trình bày các khái niệm cơ bản và nêu một số mô hình ứng dụng quan trọng. Các
khái niệm như: tính Markov, xác suất chuyển, phương trình Chapman-Kolmogorov, phân
phối dừng, định lý ergodic, phương pháp phân tích bước thứ nhất và ba mô hình trong

thực tế. Nhiều ví dụ được trình bày để hiểu rõ hơn các khái niệm.
Chương III: Phân loại trạng thái xích Markov:
Chương này trình bày sự phân lớp trạng thái của xích Markov thuần nhất. Các trạng
thái liên thông và chu kỳ của trạng thái. Trạng thái hồi quy và không hồi quy. Từ đó dẫn
đến sự tồn tại của phân phối giới hạn, phân phối dừng. Tính ergodic của xích sẽ được
trình bày rõ hơn sau khi phân loại các trạng thái của xích. Viết sơ đồ thể hiện mối liên hệ
giữa các tính chất đối với xích Markov có hữu hạn trạng thái.
6. Các bước nghiên cứu:
Tìm tài liệu có liên quan.
Nghiên cứu lý thuyết.
Viết đề cương.
Xích Markov
- 3 -
Tổng hợp lý thuyết, giải bài tập.
Viết luận văn.
Báo cáo luận văn.
Xích Markov
- 4 -
PHẦN NỘI DUNG



C
C
h
h
ư
ư
ơ
ơ

n
n
g
g


I
I

K
K
I
I
Ế
Ế
N
N

T
T
H
H
Ứ
Ứ
C
C


C
C
H
H
U
U
Ẩ
Ẩ
N
N


B
B
Ị
Ị

1. Xác suất và các công thức tính xác suất:
1.1 Định nghĩa xác suất:
1.1.1. Định nghĩa xác suất cổ điển:
Xét một phép thử với không gian các sự kiện sơ cấp gồm n trường hợp (sự
kiện sơ cấp) đồng khả năng (khả năng xảy ra như nhau), trong đó có m trường hợp thuận
lợi cho sự kiện A. Khi đó, xác suất của sự kiện A, kí hiệu P(A), được xác định bởi hệ
thức:
n
m
AP =)(

1.1.2. Định nghĩa xác suất bằng thống kê:
Giả sử phép thử được thực hiện n lần độc lập (nghĩa là kết quả phép thử sau
không phụ thuộc vào các phép thử trước đó), trong đó sự kiện A xuất hiện m lần. Khi đó,
m được gọi là tần số xuất hiện của A, tỉ số
n
m
f = được gọi là tần xuất của sự kiện A. Khi
số phép thử khá lớn, tần xuất f đạt giá trị ổn định và giá trị đó được xem là xác suất của
sự kiện A.

n
m
f =
)(AP
n
 →
+∞→

1.1.3.Định nghĩa xác suất bằng hình học:
Xét một phép thử có không gian của sự kiện sơ cấp là miền hình học W (đoạn
thẳng, hình phẳng, khối không gian,…) có số đo (độ dài, diện tích, thể tích,…) hữu hạn,
khác không. Sự kiện A được biểu diễn tương ứng thành miền hình học A là miền con của
W. Xác suất của sự kiện A được xác định bởi hệ thức
=
)(AP
Wdoso
Adoso

Xích Markov
- 5 -
1.1.4. Định nghĩa xác suất theo tiên đề:
a)
σ
- đại số trên tập hợp:
Cho tập hợp W = {W
1
, W
2
,…}
≠
∅
(hữu hạn hoặc vô hạn). Kí hiệu P(W)
là tập hợp tất cả các tập con của W. Tập hợp khác rỗng F
⊆
P(W) với các phép toán hợp,
giao, phần bù được gọi là một
σ
- đại số trên tập W nếu:

i) A
∈
F
A⇒
∈
F.
ii) A
i
∈
F, i = 1, 2,…
U
+∞
=
⇒
1i
i
A
∈
F.
iii) A, B
∈
F
BA
∩
⇒
∈
F.
σ
- đại số F còn được gọi là không gian mẫu. Mỗi phần tử A, B,…của F
là sự kiện ngẫu nhiên. Phần tử W là sự kiện chắc chắn, phần tử

∅
là sự kiện không thể.
b) Định nghĩa xác suất theo tiên đề (Kolmogorov):
Cho F là một
σ
- đại số trên W. Hàm P: F
→
[0, 1] tương ứng sự kiện
A
∈
F thành số thực P(A) được gọi là hàm xác suất nếu:
i) P(A)
≥
0 ,
∀
A
∈
F.
ii) P(W) = 1.
iii) A
i
∈
F , i = 1, 2,…
,∅=∩
ji
AA
i
≠
j
∑

+∞
=
+∞
=
=








⇒
1
1
)(
i
i
i
i
APAP
U
.
Bộ ba (W,F,P) được gọi là không gian xác suất. Giá trị P(A) được gọi là
xác suất của sự kiện A.
1.1.5. Một số tính chất của xác suất:
i) 0
≤
P(A)

≤
1.
ii) A
⇒
B thì P(A)
≤
P(B),
A
⇔
B thì P(A) = P(B).
iii) A = W thì P(A) = 1,
A =
∅
thì P(A) = 0.
Xích Markov
- 6 -
1.2. Các công thức tính xác suất:
1.2.1. Công thức nhân xác suất:
i) P(AB) = P(A).P(B/A) = P(B).P(A/B).
Nếu A, B độc lập thì P(A.B) = P(A).P(B).
ii) P(ABC) = P(A).P(B/A).P(C/AB).
Nếu {A, B, C} độc lập toàn phần thì P(ABC) = P(A).P(B).P(C).
iii) P(A
1
A
2
…A
n
) = P(A
1

).P(A
2
/A
1
)…P(A
n
/A
1
A
2
…A
n-1
).
Nếu {A
1
, A
2
, …A
n
} độc lập toàn phần thì
P(A
1
A
2
…A
n
) = P(A
1
).P(A
2

)…P(A
n
).
1.2.2. Công thức cộng xác suất:
i) P(A + B) = [P(A) + P(B)] – P(AB).
Nếu A.B =
∅
(xung khắc) thì P(A + B) = P(A) + P(B).
ii) P(A + B + C) = [P(A) + P(B) + P(C)] - [P(AB) + P(AC) + P(BC)]
+ [P(ABC)].
Nếu {A, B, C} xung khắc đôi một tức là





∅=
∅=
∅=
BC
AC
AB
thì
P(A + B + C) = P(A) + P(B) + P(C).
iii) P(A
1
+ A
2
+…+A
n

) = [
∑
=
n
i
i
AP
1
)( ] - [
)(
∑
< ji
ji
AAP
] + [
)(
k
kji
ji
AAAP
∑
<<
] - …
+ (-1)
n-1
.[P(A
1
.A
2
…A

n
)].
Nếu {A
1
, A
2
, …A
n
} xung khắc đôi một tức là
)( jiAA
ji
≠∅=
thì
P(
∑
=
n
i
i
A
1
) =
∑
=
n
i
i
AP
1
)(

iv) P(A) + P(
A
) = 1.

Xích Markov
- 7 -
1.2.3. Công thức xác suất toàn phần:
Giả sử {A
1
, A
2
, …A
n
} là hệ đầy đủ, xung khắc (đôi một), còn B là sự kiện ngẫu
nhiên trong cùng một phép thử. Khi đó:
P(B) = )/().(
1
∑
=
n
i
ii
ABPAP
1.2.4. Công thức Bayes:
Với giả thiết như trong công thức xác suất toàn phần ta có:
P(A
k
/B) =
∑
=

n
i
ii
kk
ABPAP
ABPAP
1
)/().(
)/().(
(1
≤
k
≤
n).

2. Đại lượng ngẫu nhiên:
2.1. Đại lượng ngẫu nhiên:
Cho không gian xác suất (W,F,P) trong đó F là
σ
- đại số trên W, còn P là hàm
xác suất P: F
→
[0, 1].
Ánh xạ X: W
→
R được gọi là một đại lượng ngẫu nhiên (biến ngẫu nhiên).
Nếu A
∈
F và xác suất P(A) = p và giá trị X(A) = x ta viết P(X = x) = p.
Đại lượng ngẫu nhiên là đại lượng biến thiên nhận giá trị số phụ thuộc vào kết

quả của phép thử ngẫu nhiên (một quy tắc đặt tương ứng mỗi kết quả của phép thử với
một số thực) và có thể nhận biết xác suất để X nhận giá trị đó.
Các đại lượng ngẫu nhiên thường được kí hiệu bởi: X, Y, Z, … hoặc dạng chỉ số
X
1
, X
2
, X
3
,…
Các đại lượng ngẫu nhiên được phân chia thành 2 loại:
* Đại lượng ngẫu nhiên rời rạc: là đại lượng ngẫu nhiên chỉ nhận hữu hạn
hoặc vô hạn đếm được giá trị.
* Đại lượng ngẫu nhiên liên tục: là đại lượng ngẫu nhiên có thể nhận vô hạn
nhiều hơn đếm được giá trị. Nói cách khác, các giá trị nhận được của đại lượng ngẫu
nhiên liên tục có thể lấp đầy ít nhất một khoảng số thực (a, b).
Xích Markov
- 8 -
2.2. Luật phân phối xác suất của đại lượng ngẫu nhiên rời rạc:
Luật phân phối xác suất của đại lượng ngẫu nhiên là biểu đồ trong đó chỉ ra:
i) Các giá trị có thể nhận được của đại lượng ngẫu nhiên.
ii) Xác suất tương ứng để đại lượng ngẫu nhiên nhận giá trị đó.
Luật phân phối xác suất của đại lượng ngẫu nhiên rời rạc được thể hiện bởi bảng
sau (X nhận hữu hạn giá trị):
X x
1
x
2
x
3

… x
i
… x
n

P p
1
p
2
p
3
… p
i
… p
n

trong đó x
i
là giá trị (phân biệt) của X; p
i
là xác suất tương ứng để X nhận giá trị x
i
, p
i
> 0,
1
1
=
∑
=

n
i
i
p . Kí hiệu: P(X = x
i
) = p
i
.
2.3. Các số đặc trưng của đại lượng ngẫu nhiên rời rạc:
2.3.1. Kỳ vọng:
- Kỳ vọng của đại lượng ngẫu nhiên X rời rạc, ký hiệu là E(X), được xác định
như sau:
E(X) =
∑
=
n
i
ii
px
1

Kỳ vọng là giá trị trung bình theo xác suất hay là giá trị trung tâm của đại
lượng ngẫu nhiên X.
- Kỳ vọng có điều kiện của X khi sự kiện A đã cho là số thực xác định theo
công thức:
E(X/A) = )/(
1
AxXPx
n
i

ii
∑
=
=
2.3.2. Phương sai:
- Phương sai của đại lượng ngẫu nhiên X rời rạc, ký hiệu D(X), được xác định
bởi hệ thức:
Xích Markov
- 9 -
D(X) =
2
1
2
apx
n
i
ii
−
∑
=
với E(X) = a.
Phương sai là trung bình theo xác suất của bình phương độ sai lệch giữa các
giá trị của đại lượng ngẫu nhiên với trung bình của nó.
- Phương sai có điều kiện của X khi sự kiện A đã cho là số thực xác định theo
công thức:
D(X) =
2
1
2
)/( aAxXPx

n
i
ii
−=
∑
=
với a = E(X/A).
2.4. Phân phối đồng thời của 2 đại lượng ngẫu nhiên rời rạc:
Giả sử X, Y là 2 biến ngẫu nhiên rời rạc. Khi đó dãy số kép

ij
p
= P(X = x
i
, Y= y
j
)
được gọi là phân phối đồng thời của X và Y.
Xích Markov
- 10 -

C
C
h
h
ư
ư
ơ
ơ
n

n
g
g


I
I
I
I
















C
C
Á
Á
C

C


K
K
H
H
Á
Á
I
I


N
N
I
I
Ệ
Ệ
M
M


C
C
Ơ
Ơ


B

B
Ả
Ả
N
N


V
V
Ề
Ề


X
X
Í
Í
C
C
H
H


M
M
A
A
R
R
K

K
O
O
V
V



1. Định nghĩa tính Markov và xích Markov:
1.1. Tính Markov:
1.1.1. Giới thiệu:
- Giả thiết chúng ta nghiên cứu sự tiến triển theo thời gian của một hệ vật lý
hoặc sinh thái nào đó (có thể là phần tử, hạt cơ bản, người hoặc một sinh vật nào đó,…).
- Ký hiệu X(t) là vị trí của hệ tại thời điểm t. Tập hợp các vị trí có thể có của hệ
được gọi là không gian trạng thái.
- Giả sử trước thời điểm s hệ ở trạng thái nào đó, còn ở thời điểm s hệ ở trạng
thái i. Ta cần biết tại thời điểm t trong tương lai (t > s) hệ ở trạng thái j với xác suất là bao
nhiêu?
Tính Markov của hệ có nghĩa là sự tiến triển của hệ trong tương lai chỉ
phụ thuộc vào hiện tại và độc lập với quá khứ (tức là xác suất hệ ở trạng thái j tại thời
điểm t trong tương lai chỉ phụ thuộc vào s, t, i, j).
* Hệ có tính chất này được gọi là quá trình Markov.
Ví dụ: X(t) là dân số tại thời điểm t thì có thể xem X(t) chỉ phụ thuộc vào dân số
hiện tại và độc lập với quá khứ.
* Nếu đặt các biến cố A = (X
n+1
= j), B = (X
n
= i), C = (X
0

= i
0
,…X
n-1
= i
n-1
),
thì tính Markov có nghĩa là P(A/B) = P(A/BC). Từ đó suy ra:
P(AC/B) =
)(
)(
BP
ABCP
=
)(
)/().(
BP
BCAPBCP
=
)(
)/()./().(
BP
BAPBCPBP

= P(C/B).P(A/B),
tức là quá khứ và tương lai là độc lập với nhau khi cho trước hiện tại.


Xích Markov
- 11 -

1.1.2. Định nghĩa:
Ký hiệu X(t) là vị trí của hệ tại thời điểm t. E là không gian trạng thái của hệ.
Ta nói rằng X(t) có tính Markov nếu:
P{X(t
n+1
) = j / X(t
0
) = i
0
,…, X(t
n-1
) = i
n-1
, X(t
n
) = i} = P{X(t
n+1
) = j / X(t
n
) = i}
với bất kỳ t
0
< t
1
< … < t
n
< t
n+1
< … và i
0

, …i
n-1
, i, j
∈
E.
1.2. Xích Markov:
1.2.1. Định nghĩa:
Ta ký hiệu E là tập gồm các giá trị của X(t) và gọi E là không gian trạng thái
của X(t). Khi đó X(t) được gọi là xích Markov nếu X(t) có tính Markov và E đánh số
được.
1.2.2. Các ví dụ:
Ví dụ 1: Cho
0
ξ
,
1
ξ
,…,
n
ξ
, … là dãy biến ngẫu nhiên (đại lượng ngẫu nhiên) rời
rạc, độc lập, E
k
là tập hợp các giá trị của
k
ξ
, E
k
hữu hạn hay đếm được (k = 0,1, …, n, …)
Đặt E =

U
∞
=0k
k
E , rõ ràng E là tập không quá đếm được.
Khi đó ta thấy:
P{
1+n
ξ
= j /
0
ξ
= i
0
, …,
1−n
ξ
= i
n-1
,
n
ξ
= i} = P{
1+n
ξ
= j} = P{
1+n
ξ
= j /
n

ξ
= i}
với i
0
∈
E
0
,…, i
n-1
∈
E
n-1
, i
∈
E
n
, j
∈
E
n+1
.
Như vậy (
n
ξ
; n = 0, 1, 2,…) là xích Markov.
Ví dụ 2: Cho
0
ξ
,
1

η
, …,
n
η
là dãy biến ngẫu nhiên (đại lượng ngẫu nhiên) rời rạc,
độc lập, nhận các giá trị là những số nguyên.
Đặt X
n
=
0
ξ
+
1
η
+
2
η
+… +
n
η
(n = 1, 2,…). Ta có:
P{X
n +1
= j /
0
ξ
= i
0
, X
1

= i
1
, …, X
n-1
= i
n-1
, X
n
= i} =
= P{X
n
+
1+n
η
= j /
0
ξ
= i
0
,
0
ξ
+
1
η
= i
1
, …, X
n-1
+

n
η
= i} =
= P{
1+n
η
= j – i /
0
ξ
= i
0
,
1
η
= i
1
– i
0
, …,
n
η
= i – i
n-1
} =
= P{
1+n
η
= j – i}.
Xích Markov
- 12 -

Và
P{X
n+1
= j / X
n
= i} = P{X
n
+
1+n
η
= j /
0
ξ
+
1
η
+… +
1−n
η
+
n
η
= i} =
= P{
1+n
η
= j – i /
0
ξ
+

1
η
+… +
1−n
η
+
n
η
= i} =
= P{
1+n
η
= j – i}.
Như vậy (X
n
; n = 1, 2, …) là xích Markov.
Ví dụ 3: Có 3 hộp chứa các quả cầu trắng và đen. Hộp thứ nhất chứa 2 quả trắng và
3 quả đen, hộp thứ hai chứa 2 quả trắng và 2 quả đen, hộp thứ ba chứa 3 quả trắng và 1
quả đen. Từ hộp thứ nhất lấy ngẫu nhiên 1 quả cầu bỏ vào hộp thứ hai, sau đó lấy ngẫu
nhiên 1 quả từ hộp thứ hai bỏ sang hộp thứ ba, cuối cùng lấy 1 quả từ hộp thứ ba bỏ vào
hộp thứ nhất. Như vậy ta có 3 phép thử được thực hiện liên tiếp. Dãy phép thử trên là một
xích Markov.
Thật vậy: Gọi 1 là sự kiện rút được quả trắng.
2 là sự kiện rút được quả đen.
Ta tính các xác suất có điều kiện và không điều kiện sau:
- Sau phép thử thứ nhất: P(1) =
5
2
và P(2) =
5

3
.
- Sau phép thử thứ hai:
* Nếu lần thứ nhất rút được quả màu trắng thì hộp thứ hai sẽ có 3 quả trắng
và 2 quả đen. Khi đó: P(1/1) =
5
3
và P(2/1) =
5
2
.
* Nếu lần thứ nhất rút được quả màu đen thì hộp thứ hai sẽ có 2 quả trắng
và 3 quả đen. Khi đó: P(1/2) =
5
2
và P(2/2) =
5
3
.
- Sau phép thử thứ ba:
* Nếu lần thứ nhất rút được quả trắng hoặc đen và lần thứ hai rút được quả
trắng thì hộp thứ ba đều có 4 quả trắng và 1 quả đen.
Khi đó: P(1/11) =
5
4
, P(1/21) =
5
4
, P(2/11) =
5

1
, P(2/21) =
5
1

Xích Markov
- 13 -
* Nếu lần thứ nhất rút được quả trắng hoặc đen và lần thứ hai rút được quả
đen thì hộp thứ ba đều có 3 quả trắng và 2 quả đen.
Khi đó: P(1/12) =
5
3
, P(1/22) =
5
3
, P(2/12) =
5
2
, P(2/22) =
5
2
.
Vậy ta có các kết quả:
P(1) = P(2/1) = P(1/2) = P(2/12) = P(2/22) =
5
2

P(2) = P(1/1) = P(2/2) = P(1/12) = P(1/22) =
5
3

P(1/11) = P(1/21) =
5
4

P(2/11) = P(2/21) =
5
1

Ta thấy rằng P(i/jk) không phụ thuộc vào j. Điều đó có nghĩa là phép thử thứ
ba chỉ phụ thuộc vào phép thử thứ hai mà không phụ thuộc vào phép thử thứ nhất. Dãy
phép thử trên là mô hình của xích Markov.

2. Xích Markov rời rạc và thuần nhất:
2.1. Định nghĩa:
- Xích Markov rời rạc: X(t) là một xích Markov rời rạc nếu t = 0, 1, 2,…(tức là t
đếm được). Còn nếu t
[
)
∞∈ ,0
thì ta có khái niệm xích Markov với thời gian liên tục.
- Xích Markov thuần nhất:
Đặt p(s, t, i, j) = P(X(t) = j / X(s) = i), (s < t) và được gọi là xác suất chuyển
của hệ. Nếu xác suất chuyển chỉ phụ thuộc vào (t – s) thì hệ là thuần nhất theo thời gian,
tức là: p(s, t, i, j) = p(s + h, i, t + h, j).
2.2. Ma trận xác suất chuyển sau một bước:
2.2.1. Định nghĩa:
Giả sử (X
n
); n = 0, 1, 2,… là xích Markov rời rạc và thuần nhất. Khi đó tính

Markov và tính thuần nhất của (X
n
) có nghĩa là:
Xích Markov
- 14 -

ij
p
= P(X
n+1
= j / X
n
= i) = P(X
n+1
= j / X
0
= i
0
, …, X
n-1
= i
n-1
, X
n
= i) không
phụ thuộc vào n.
P = (
ij
p
) được gọi là ma trận xác suất chuyển sau một bước.

2.2.2. Tính chất:
Từ công thức xác suất đầy đủ suy ra ma trận P = (
ij
p
) có tính chất:
0
≤≤
ij
p
1,
Eji
∈
∀
,
,
1=
∑
∈Ej
ij
p
.
2.2.3. Ý nghĩa:

ij
p
là xác suất có điều kiện để hệ tại thời điểm n (hiện tại) ở trạng thái i,
chuyển sang trạng thái j tại thời điểm n + 1 (tương lai).
2.2.4. Các ví dụ:
Ví dụ 1: Xét một bài toán truyền một bức điện gồm các tín hiệu 0, 1 thông qua kênh
có nhiều trạm và mỗi trạm nhận sai tín hiệu với xác suất cố định là

α
∈
(0, 1), nhận đúng
tín hiệu với xác suất là 1 -
α
. Giả sử X
0
là tín hiệu truyền đi và X
n
là tín hiệu nhận được
tại trạm thứ n. Cho biết (X
n
, n = 0, 1, 2,…) lập thành xích Markov với không gian trạng
thái là E = {0, 1}.
Ma trận xác suất chuyển của xích được tính như sau:

00
p
= P(X
n+1
= 0 / X
n
= 0) = 1 -
α
.

01
p
= P(X
n+1

= 1 / X
n
= 0) =
α
.

10
p
= P(X
n+1
= 0 / X
n
= 1) =
α
.

11
p
= P(X
n+1
= 1 / X
n
= 1) = 1 -
α
.
Vậy ta có ma trận xác suất chuyển của xích là:
P =







−
−
αα
αα
1
1



Xích Markov
- 15 -
Ví dụ 2: Chuyển động ngẫu nhiên của một người say rượu
Một người say rượu đi ra khỏi quán rượu (quán ở trên con đường dài vô hạn
có nhà của người say). Tìm được nhà thì người đó sẽ ở lại nhà.
Nhà Người say
∞

0 1 2 i
Người say bước từng bước. Cứ mỗi bước người say đi về hướng nhà với
xác suất
2
1
và đi hướng ngược lại với xác suất
2
1
. Các trạng thái của quá trình là toạ độ
nguyên của người say so với vị trí nhà, E = {0, 1, 2, …}. Gọi X

n
là vị trí của người say
sau bước thứ n. Khi đó (X
n
) là xích Markov. Ta tìm ma trận xác suất chuyển của xích.
Giải
Nhà có vị trí là 0 nên:
00
p
= 1 và
j
p
0
= 0 với j
E
∈

Các vị trí còn lại được tính:
p
i, i-1
= P(X
n+1
= i - 1 / X
n
= i) =
2
1
(người say bước sang trái)
p
i, i+1

= P(X
n+1
= i + 1 / X
n
= i) =
2
1
(người say bước sang phải)

ij
p
= 0 với j
1
±
≠
i

Vậy ma trận xác suất chuyển cần tìm là:
P =






















0
2
1
00

2
1
0
2
1
0
0
2
1
0
2
1
0001

Xích Markov
- 16 -
2.3. Ma trận xác suất chuyển sau n bước:
2.3.1. Định nghĩa:
Ma trận xác suất chuyển sau n bước được định nghĩa theo công thức:

)(n
ij
p
= P(X
n+m
= j / X
m
= i) = P(X
n
= j / X
0
= i).
Ma trận P
(n)
= (
)(n
ij
p
) được gọi là ma trận xác suất chuyển sau n bước.
* Ta thấy
)1(
ij

p
=
ij
p
. Ta quy ước:




≠
=
=
ji
ji
p
ij
,0
,1
)0(

2.3.2. Ý nghĩa:

)(n
ij
p
là xác suất có điều kiện để hệ tại thời điểm ban đầu ở trạng thái i, sau n
bước chuyển sang trạng thái j.
2.3.3. Phương trình Chapman-Kolmogorov:
Từ công thức xác suất đầy đủ và từ tính Markov ta có:
∀

n = 0, 1, 2,…

∑
∈
+
=
Ek
n
kjik
n
ij
ppp
)()1(
.

∑
∈
+
=
Ek
kj
n
ik
n
ij
ppp .
)()1(

Tổng quát hơn
∀

n, m = 0, 1, 2,… ta có:

∑
∈
+
=
Ek
m
kj
n
ik
mn
ij
ppp
)()()(
. được gọi là phương trình Chapman-Kolmogorov.
Chứng minh:
Ta chứng minh cho trường hợp tổng quát, tức là chứng minh phương trình
Chapman-Kolmogorov:
∑
∈
+
=
Ek
m
kj
n
ik
mn
ij

ppp
)()()(
. .
Ta lập luận như sau: hệ xuất phát từ trạng thái i, sau n + m bước chuyển
sang trạng thái j là kết quả của việc hệ xuất phát từ trạng thái i, sau n bước chuyển sang
trạng thái k nào đó; rồi hệ xuất phát từ trạng thái k, sau m bước tiếp theo chuyển sang
trạng thái j.
Xích Markov
- 17 -
Theo công thức xác suất đầy đủ ta có:
)( mn
ij
p
+
= P(X
n+m
= j / X
0
= i) =
=
)/().,/(
00
iXkXPkXiXjXP
nn
Ek
mn
=====
∑
∈
+

=
= )/()./(
0
iXkXPkXjXP
nn
Ek
mn
====
∑
∈
+
(do tính Markov)
=
∑
∈Ek
m
kj
n
ik
pp
)()(
. (do tính thuần nhất).
Công thức đã được chứng minh.
Phương trình trên có dạng ma trận:
P
(n+1)
= P.P
(n)

P

(n+1)
= P
(n)
.P
P
(n+m)
= P
(n)
.P
(m)

Từ đó suy ra: P
(n)
= P
n

2.3.4. Các ví dụ:
Ví dụ 1: Cho xích Markov (X
n
; n = 0, 1, 2,…) với không gian trạng thái
E = {0, 1, 2} và ma trận xác suất chuyển:
P =











3,01,06,0
6,02,02,0
7,02,01,0

Tính P
2
và P(X
3
= 1/ X
1
= 0), P(X
3
= 1/ X
0
= 0).
Giải
P
2
=











3,01,06,0
6,02,02,0
7,02,01,0
.










3,01,06,0
6,02,02,0
7,02,01,0
=










57,017,026,0

44,014,042,0
4,013,047,0

Dựa vào định nghĩa ma trận xác suất chuyển sau n bước ta có:
P(X
3
= 1/ X
1
= 0) =
)2(
01
p
= 0,13
Xích Markov
- 18 -
Tương tự: P(X
3
= 1/ X
0
= 0) =
)3(
01
p
. Theo phương trình Chapman-Kolmogorov ta có:

)3(
01
p
=
)2(

2102
)2(
1101
)2(
0100
pppppp ++
= (0,1).(0,13) + (0,3).(0,14) + (0,7).(0,17)
= 0,174

Ví dụ 2: Cho xích Markov (X
n
;n = 0, 1, 2,…) với không gian trạng thái E = {0, 1, 2}
và ma trận xác suất chuyển:
P =










0,05,05,0
5,00,05,0
5,05,00,0

Tính P(X
n

= 0 / X
0
= 0) đối với n = 0, 1, 2, 3.
Giải
Với n = 0: P(X
0
= 0 / X
0
= 0) = 1 (do quy ước hay đây là sự kiện chắc chắn)
Với n = 1: P(X
1
= 0 / X
0
= 0) =
00
p
= 0
Với n = 2: P(X
2
= 0 / X
0
= 0) =
)2(
00
p =
200210010000
pppppp ++
= 0 + (0,5).(0,5) + (0,5).(0,5) = 0,5
Với n = 3: P(X
3

= 0 / X
0
= 0) =
)3(
00
p
=
)2(
2002
)2(
1001
)2(
0000
pppppp ++

=
2022102100200220121011001001
)2(
0000
() (. pppppppppppppppp ++++++
)
= 0 + 0,5.[0 + 0 + (0,5).(0,5)] + 0,5.[0 + (0,5).(0,5) + 0]
= 0,25

2.4. Phân phối hữu hạn chiều:
2.4.1. Công thức:
* Phân phối hữu hạn chiều của quá trình Markov được tính theo công thức sau:
P(X
0
= i

0
) =
0
i
p

P(X
0
= i
0
, X
1
= i
1
,…, X
n-1
= i
n-1
, X
n
= i
n
) =
nn
iiiii
ppp
,,
1100

−