ước lượng bayes trong mô hình hồi qui phi tuyến hữu hạn chiều

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN


TRẦN THẾ VŨ





ƯỚC LƯỢNG BAYES TRONG MÔ HÌNH HỒI QUI PHI TUYẾN HỮU
HẠN CHIỀU


Chuyên ngành: Lý thuyết xác suất và thống kê trong toán học
Mã số: 60 46 15

LUẬN VĂN THẠC SĨ TOÁN HỌC


NGƯỜI HƯỚNG DẪN KHOA HỌC:
PGS.TS TÔ ANH DŨNG




TP HỒ CHÍ MINH - 2011
LỜI CẢM ƠN
Lời đầu tiên, tôi xin gửi lòng biết ơn sâu sắc của tôi đến Thầy PGS.Tiến sĩ Tô Anh
Dũng về sự tận tình hướng dẫn, chỉ bảo của thầy đối với tôi trong suốt quá trình học tập
và hoàn thành luận văn.

Tôi xin chân thành cảm ơn Nghiên cứu sinh Trần Võ Huy và các bạn Trần Minh Quang,
Nguyễn Thành Tâm, Nguyễn Anh Triết, Nguyễn Thị Kim Loan đã đọc bản luận văn và
cho những ý kiến đóng góp xác đáng và quý báu giúp tôi hiểu sâu hơn.
Tôi xin cảm ơn đến Quý Thầy Cô trong Hội đồng chấm luận văn đã dành thời gian quý
báu để tham dự hội đồng chấm luận văn.
Tôi xin trân trọng cảm ơn Quý Thầy Cô trong và ngoài của Khoa Toán-Tin học Trường
Đại học Khoa học Tự nhiên thành phố Hồ Chí Minh, đã truyền đạt kiến thức và kinh
nghiệm học thuật cho tôi trong suốt quá trình học tại trường.
Xin trân trọng cảm ơn Ban Giám hiệu, các thầy cô phòng Quản lý Sau Đại học trường
Đại học Khoa học Tự nhiên thành phố Hồ Chí Minh đã tạo mọi điều kiện thuận lợ i giúp
tôi hoàn thành chương trình học.
Do kiến thức bản thân còn hạn chế cũng cần phải học tập thêm. Kính mong sự đóng
góp và chỉ bảo của Quý Thầy Cô.
Cuối cùng, tôi xin dành những lời thân thương nhất gửi đến các thành viên của gia
đình tôi, những người đã luôn bên tôi những lúc khó khăn, luôn động viên, hỗ trợ và tạo
mọi điều kiện thuận lợi nhất để tôi học tập.
Thành phố Hồ Chí Minh, tháng 6 năm 2011.
TRẦN THẾ VŨ
Lời giới thiệu
Ước lượng Bayes là vấn đề cập nhật và thời sự hiện nay trong thống kê và đã được tiếp cận
theo nhiều hướng khác nhau. Trong đề tại luận văn này ta sẽ tiếp cận ước lượng tham ẩn
định vị trong mô hình hồi qui phi tuyến hữu hạn chiều theo quan điểm giải tích hàm và
đây cũng là một bài toán quan trọng về mặt lý thuyết lẫn ứng dụng. Trong đề tài sẽ trình
bày cách xây dựng ước lượng bayes cho tham ẩn định vị, hơn thế nữa ta sẽ khảo sát mô
hình với giả thiết hàm ước lượng của tham ẩn định vị có tính ngẫu nhiên và cụ thế hơn là
cấu trúc hàm lập ngẫu nhiên. Dựa vào nội dung chính đó, đề tài phân thành bốn phần sau:
- Chương 1 : Kiến thức cơ bản về lý thuyết xác suất, độ đo.
- Chương 2 và 3 : Nghiên cứu các hàm lập ngẫu nhiên và tổng các biến ngẫu nhiên
không độc lập.
- Chương 4 : Nghiên cứu và phân tích ước lượng Bayes trong mô hình hồi qui phi tuyến

1chiều, hữu hạn chiều và bước đầu khảo sát các ước lượ ng của tham ẩn định vị với cấu
trúc ngẫu nhiên.
- Phụ lục A, B : Cung cấp kiến thức cơ bản về thống kê Bayes và không gian Banach.
1
Mục lục
Lời giới thiệu 1
Bảng ký hiệu 2
1 Kiến thức nền tảng 3
1.1 Không gian topo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Cơ bản về lý thuyết độ đo, tích phân và xác suất . . . . . . . . . . . . . . . 5
1.3 Sự hội tụ của các biến ngẫu nhiên và kỳ vọng có điều kiện . . . . . . . . . . 14
1.4 Độ đo xác suất trên không gian metric . . . . . . . . . . . . . . . . . . . . . 16
1.5 Xích markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2 Hàm lặp ngẫu nhiên 23
2.1 Cơ sở xây dựng hàm lặp ngẫu nhiên và điều kiện tồn tại phân bố xác suất
dừng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2 Moment hình học co . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.3 Các ví dụ và ứng dụng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3 Giới hạn Berry-Esseen 38
3.1 Giới hạn Berry-Esseen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.2 Các ví dụ ứng dụng. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4 Ước lượng Bayes trong mô hình hồi qui 50
4.1 Tiêu chuẩn compact tương đối trong không gian hàm . . . . . . . . . . . . . 50
4.2 Về sự tồn tại ước lượng Bayes trong cấu trúc thống kê. . . . . . . . . . . . . 54
4.3 Ước lượng Bayes trong mô hình hồi qui phi tuyến 1chiều . . . . . . . . . . 57
4.4 Ước lượng Bayes trong mô hình hồi qui phi tuyến rchiều . . . . . . . . . . 60
4.5 Ước lượng Bayes trong mô hình hồi qui phi tuyến rchiều với ước lượng bị
chặn của tham ẩn định vị  là hàm ngẫu nhiên . . . . . . . . . . . . . . . . . 65
Phần kết luận 69
A Cơ sở lý thuyết thống kê Bayes 70

B Không gian Banach 79
Tài liệu tham khảo 87
i
Bảng ký hiệu
R Tập số thực.
L
1
(; F; P ); L
1
Không gian các biến ngẫu nhiên khả tích.
L
p
(; F; P ); L
p
Không gian các biến ngẫu nhiên lũy thừ p khả tích.
d
p
(x; y); 
p
(x; y) Metric Prokhorov.
1
A
Hàm chỉ tiêu tập A.
F trường sinh bởi :
kk
p
Chuẩn trên không gian định chuẩn L
p
(; F; P ); L
p

:
B(X) đại số Borel.
B(I; R
r
) Không gian gồm các hàm h : I ! R
r
đo được và bị chặn:
L(; ); L(; ) Hàm tổn thất.
Pr ob Xác suất xảy ra.
2
Chương 1
Kiến thức nền tảng
1.1 Không gian topo
Định nghĩa 1.1.1. Cho X là một tập hợp khác rỗng. Một họ T các tập con của X được
gọi là một topo trên X nếu T thỏa mãn 3 tiên đề sau đây :
1. ; 2 T , X 2 T:
2. Nếu (G

)
2I
là một họ các phần tử của T thì
S
2I
G

2 T:
3. Nếu G
1
; G
2

2 T thì G
1
T
G
2
2 T:
Khi đó cặp (X; T ) được gọi là không gian topo xác định trên nền X.
Định nghĩa 1 .1. 2 . Một metric d trên tập X là một ánh xạ d : X  X ! R sao cho :
1. Với mọi x; y 2 X ta có d(x; y)  0 và d(x; y) = 0 nếu và chỉ nếu x = y:
2. Với mọi x; y 2 X ta có d(x; y) = d(y; x):
3. Với mọi x; y; z 2 X ta có d(x; z)  d(x; y) + d(y; z):
Ta ký hiệu là (X; d).
Định nghĩa 1.1.3. Giả sử (X; T ) là một không gian topo và x
0
2 X. Tập A  X được
gọi là lân cận của x
0
nếu tồn tại tập mở U 2 T sao cho x
0
2 U  A. Hiển nhiên nếu U 2 T
thì U là lân cận của mọi điểm của nó. Tuy nhiên một lân cận của x
0
chưa chắc là một tập
mở.
Định nghĩa 1.1.4. Giả sử (X; T ) là một không gian topo và ; 6= B  T . Họ B được
gọi là một cơ sở của topo T nếu với mọi G 2 T tồn tại một họ B
0
 B sao cho G =
S
A2B

0
A:
Định nghĩa 1.1.5. Cho một họ V những lân cận của điểm x 2 X được gọi là một cơ
sở lân cận của x 2 X nếu với mọi lân cận U của x đều tồn tại một lân cận H 2 V sao cho
x 2 H  U.
Định nghĩa 1.1.6. Trong không gia n topo được gọ i là khả li (hay tách được) nếu trong
X tồn tại một tập con A hữu hạn hay đếm được và A trù mật khắp nơi (tập hợp trù mật)
tức là A = X:
Định lý 1.1.1. Cho (X; d) là một không gian metric và T là topo sinh ra bởi metric d
tức là T là họ tất cả các tập con của X mở đối với metric d. Nếu (X; T ) là khả li thì nó có
một cơ sở đếm được.
Định lý 1. 1. 2. Mọi không gian topo có một cơ sở đếm được đều khả li.
3
CHƯƠNG 1. KIẾN THỨC NỀN TẢNG
Định lý 1.1.3. Mọi không gian topo có một cơ sở đếm được thì mỗi điểm của nó đều
có một cơ sở lận cận đếm được.
Định nghĩa 1.1.7. Không gian topo (X; T ) được gọi là T
1
không gian nếu với hai
điểm khác nhau trong X thì sẽ tồn tại một lân cận của điểm này mà không chứa điểm kia.
Định nghĩa 1.1.8. Không gian topo (X; T ) được gọi là không gian chính quy nếu X
là T
1
không gian và với mọi x 2 X và mọi tập đóng F  X sao cho x =2 F thì tồn tại các
tập mở U sao cho x 2 U và tập mở V sao cho F  V sao cho U \V = ?:
Định lý 1.1.4. Giả sử X là một không gian chính quy và có một cơ sở đếm được. Khi
đó X là metric hóa được tức là tồn tại một metric d trên X sao cho topo sinh bởi d trùng
với topo T .
Định nghĩa 1.1.9. Cho (X


)
2I
là một họ những không gian topo. Đặt X là tích
Descartes của họ các tập hợp (X

)
X =
Q
2I
X

= f(x

)
2I
: x

2 X

g
= fx : I !
S
2I
X

jx() = x

2 X

g:

Các x

;  2 I là các thành phần (tọa độ) của phần tử (x

)
2I
. Với mỗi 
0
2 I, ta xét
phép chiếu p

0
: X ! X

0
; cho bởi
Q
2I
X

3 (x

)
2I
! x

0
2 X

0

;
topo trên X làm cho tất cả các phép chiếu này liên tục tức là topo đầu tiên trên X xác
định bởi họ (p

)
2I
. X cùng với topo này trở thành một không gian topo gọi là không gian
tích của các không gian topo X

ta ký hiệu (
Q
i2I
X
i
;
Q
i2I
T
i
). Nếu G

0
là một tập mở trong
X

0
thì tập hợp
p
1


0
(G

0
) = G

0

Q
6=
0
X

:
Một tập hợp thuộc vào cơ sở của topo tích sẽ có dạng
V =
n
T
i=1
p
1

i
(G

i
);
trong đó G

i

là một tập mở trong X

i
. Ta có thể viết lại như sau
V =
n
T
i=1
(G

i

Q
6=
0
X

)
=
n
Q
i=1
G

i
 (
Q
6=
1
;:::;

n
X

):
Định lý 1.1.5. Cho ((X
i
; T ))
i2I
là một họ các không gian topo. Nếu I đếm được và
mỗi không gian (X
i
; T
i
) thỏa mãn :
(1) hoặc là khả li,
(2) hoặc là có một cơ sở đếm được,
thì tích (
Q
i2I
X
i
;
Q
i2I
T
i
) cũng vậy.
Luận văn thạc sĩ toán học 4
CHƯƠNG 1. KIẾN THỨC NỀN TẢNG
1.2 Cơ bản về lý thuyết độ đo, tích phân và xác suất

1.2.1 Lý thuyết độ đo, tích phân
Định nghĩa 1.2 .1. 1. Cho không gian  6= ?, F
0
là các tập con trên . F
0
được gọi là
đại số nếu thỏa
1.  2 F
0
:
2. 8A 2 F
0
; A 2 F
0
:
3. A; B 2 F
0
thì A [B 2 F
0
.
Định nghĩa 1.2 .1. 2. Cho không gian  6= ?, F
0
là các tập con trên . F
0
được gọi là
đại số (trường) nếu thỏa
1.  2 F
0
:
2. 8A 2 F

0
; A 2 F
0
:
3. 8fA
n
g
n2N
 F
0
thì [
1
i=1
A
i
2 F
0
.
Định nghĩa 1 .2. 1. 3. Cho không gian  và F là đại số trên : Khi đó (; F) là
không gian đo được, A 2 F gọi là A đo được.
Định nghĩa 1.2 .1 .4. Cho C là lớp các tập trên . Ta nói đại số sinh bởi C là đại
số bé nhất chứa C. Ký hiệu (C):
Định nghĩa 1.2.1.5. Cho hai không gian đo được (
1
; F
1
) và (
2
; F
2

) với A
1
 
1
,
A
2
 
2
. Ta định nghĩa tích Descartes:
A
1
 A
2
= f(w
1
; w
2
) : w
1
2 A
1
; w
2
2 A
2
g:
Khi A
1
= 

1
; A
2
= 
2
thì 
1
 
2
=
2
Q
i=1

i
là tích của hai không gian 
1
; 
2
:
Nếu A
1
2 F
1
, A
2
2 F
2
thì A
1

 A
2
gọi là hình chữ nhật. Khi đó đại số bé nhất làm
cho các hình chữ nhật đó đo được (chứa tất cả hình chữ nhất) gọi là đại số tích ký hiệu
là F
1
 F
2
hoặc _
2
i=1
F
i
.
Ta gọi (
1

2
; F
1
F
2
) gọi là không gian tích của hai không gian (
1
; F
1
) và (
2
; F
2

):
Định nghĩa 1.2.1.6. Cho C là lớp các tập con trên : Hàm ' xác định trên C và nhận
giá trị số
' : C ! R
8A 2 C; 9!x 2 R : '(A) = x
được gọi là hàm tập nhận giá trị số.
- Hàm tập ' được gọi là hữu hạn khi '(A) < 1; 8A 2 C:
- Hàm tập ' được gọi là không âm nếu '(A)  0; 8A 2 C:
- Hàm tập ' được gọi là cộng tính hữu hạn nếu:
8fA
i
g
i=1;:::;n
 C :A
i
\ A
j
= ? với i 6= j; j = 1; :::; n và
n
P
i=1
A
i
2 C; ta có
'(
n
P
i=1
A
i

) =
n
P
i=1
'(A
i
):
- Hàm tập ' được gọi là cộng tính đếm được (cộng tính) nếu:
Luận văn thạc sĩ toán học 5
CHƯƠNG 1. KIẾN THỨC NỀN TẢNG
8fA
i
g
i2N
 C :A
i
\ A
j
= ? với i 6= j 2 N và
1
P
i=1
A
i
2 C; ta có
'(
1
P
i=1
A

i
) =
1
P
i=1
'(A
i
):
- Hàm tập ' được gọi là hữu hạn nếu :
8C 2 C; thì 9!fC
k
g
k2N
 C : [
1
i=1
C
k
= C và '(C
k
) hữu hạn 8k = 1; :::; 1:
Định nghĩa 1.2.1.7. Cho không g ian đo được (; F) và một hàm  xác định trên F
và nhận giá trị [0; 1):  được gọi là độ đo nếu  là cộng tính.
-  được gọi là hữu hạn nếu () < 1.
-  được gọi là cộng tính hữu hạn nếu
8fA
i
g
i=1;:::;n
 F:A

i
\ A
j
= ? với i 6= j; j = 1; :::; n ; ta có
'(
n
P
i=1
A
i
) =
n
P
i=1
'(A
i
):
-  được gọi là hữu hạn nếu :
9!fC
k
g
k2N
 F : [
1
i=1
C
k
=  và '(C
k
) < 1 8k = 1; :::; 1:

Cho không gian đo được (; F) và  là một độ đo trên (; F):Khi đó (; F; ) được gọi
là không gian có độ đo hay là không gian đo. Khi () = 1 thì (; F; ) được gọi là không
gian xác suất.
Các tính chất :
a) Nếu 9A 2 F sao cho (A) < 1 thì (?) = 0:
b) Tính cộng tính hữu hạn của độ đo.
c) Nếu A; B 2 F và A  B thì (A)  (B):
d) Giả sử  < 1, A; B 2 F và A  B thì (BnA) = (B)  (A).
e) Giả sử  < 1, A; B 2 F thì (A [ B) = (B) + (A)  (A \B):
f) 8fA
n
g
n
 F ta có ([
1
n=1
A
n
) 
1
P
n=1
(A
n
):
Định lý 1. 2. 1.1 . Cho không gian đo (; F; ) và fA
n
g
n2N
đo được. Khi đó ta có

1. (lim
n!1
inf A
n
)  lim
n!1
inf (A
n
):
2. Nếu (
1
S
n=1
A
n
) < 1 thì lim
n!1
sup (A
n
)  (lim
n!1
sup A
n
):
với lim
n!1
inf A
n
=
1

S
n=1
1
T
k=n
A
k
, lim
n!1
sup A
n
=
1
T
n=1
1
S
k=n
A
k
.
Định lý 1.2.1.2. Cho không gian đo (; F; ),  < 1: Nếu A
n
! A khi n ! 1 thì ta
có (A
n
) ! (A):
Định lý 1 .2 .1. 3 (Định lý Borel - C antelli). Cho không gian đo (; F; ); fA
n
g

n2N

F. Nếu
1
P
n=1
(A
n
) < 1 thì (lim
n!1
sup A
n
) = 0:
Luận văn thạc sĩ toán học 6
CHƯƠNG 1. KIẾN THỨC NỀN TẢNG
Định nghĩa 1.2.1.8. Cho không gian (; F; ) và tập A  . Ta nói A là tập không
đáng kể (không đáng kể hay không) nếu 9B 2 F sa o cho A  B và (B) = 0:
Gọi L là lớp các tập N   là tập không đáng kể tức là
L = fN   : N là   không đáng kểg:
Nếu L  F thì (; F; ) gọi là không gian có độ đo đủ. Khi đó  được gọi là độ đo đủ.
Vậy trong không gian có độ đo đủ, các tập không đáng kể đều đo được.
Định lý 1 .2. 1. 4. Cho không gian (; F; ) và Llà lớp các tập không đáng kể (không).
a) Nếu F = fA [ N : A 2 F; n 2 Lg thì F = (F [L):
b) Nếu  : F ! [0; 1) được xác định như sau :
8(A [N) 2 F; (A [N) = (A):
8A 2 F; (A) = (A):
Khi đó  là độ đo nới rộng duy nhất của  lên F (j
F
= ):
c) (;

F; ) là không gian có độ đo đủ.
Định lý 1.2.1.5. Cho (; F), ;  độ đo hữu hạn trên (; F), F
0
là đại s ố trên ;
(F
0
) = F. Nếu  =  trên F
0
thì  =  trên F.
Định lý 1.2.1.6 (Định lý Carathéodory). Cho đại số F
0
trên ; 
0
là hàm tập.

0
: F
0
! [0; 1] thỏa:
1. 
0
là hữu hạn trên F
0
.
2. 
0
là cộng tính trên F
0
.
Khi đó ta có thể nới rộng 

0
thành độ đo  duy nhất trên (F
0
):
Định nghĩa 1.2.1.9. Cho (R; B(R)). Khi đó hàm tập  : B(R) ! [0; 1] gọi là độ đo
Lebesgue-Stieltjes nếu : (I
k
) < 1; 8I
k
khoảng giới nội trong R.
Định nghĩa 1 .2. 1. 10 .
F được gọi là hàm phân phối nếu F : R ! R thỏa :
1. F là hàm không giảm trên R.
2. F là hàm liên tục trái 8x 2 R:
3. F (1) = lim
x!1
F (x) = 0, F(+1) = lim
x!+1
F (x) = 1:
Định lý 1. 2. 1. 7.
a. Cho độ đo Lebesgue-Stieltjes . Khi đó hàm F : R ! R được xác định bởi : F (b) 
F (a) = [a; b); 8a; b 2 R; a  b là hàm phân phối.
b. Ngược lại, cho hàm phân phối F. Khi đó  được định nghĩa như sau :
(1) [a; b) = F (b)  F (a):
(2) (1; a] = F (a)  F (1); (a; +1) = F(+1)  F(a):
(3) Đặt F
0
là lớp các tập có dạng tổng hữu hạn các khoảng nửa hở bên phải.
8A 2 F
0

; A =
n
P
k=1
I
k
, trong đó I
k
là một khoảng nửa hở b ên phải
(A) =
n
P
k=1
(I
k
)
thì  là độ đo Lebesgue-Stieltjes trên (F
0
) = B(R):
Luận văn thạc sĩ toán học 7
CHƯƠNG 1. KIẾN THỨC NỀN TẢNG
Định nghĩa 1.2.1.11. Cho (; F); (
0
; F
0
) là hai không gian đo được. Ta nói hàm
f : (; F) ! (
0
; F
0

) là đo được ( còn gọi f là F đo được) nếu :
8B 2 F
0
: f
1
(B) 2 F () f
1
(F
0
)  F:
Trong trường hợp (; F) = (
0
; F
0
) = (R; B(R)) và f : (R; B(R)) ! (R; B(R)) đo được
thì f còn gọi là hàm Borel.
Chú ý :
1. Nghịch ảnh của đại số là một đại số.
2. Nếu f đo được thì f
1
(ảnh ngược của đại số) là đại số bé nhất làm cho
f đo được.
3. Nếu X : (; F) ! (R; B(R)) là hàm đo được. Khi đó X
1
(B(R)) được ký hiệu
là (X):
4. Nếu f : (; F) ! (R; B(R)) là hàm đo được thì khi đó người ta ký hiệu f 2
L
0
(; F) là lớp các hàm đo được trên (; F):

5. Nếu f 2 L
0
(; F) và (; F; ) là không gian có độ đo đầy đủ. Khi đó f gọi là
đo được.
6. Hợp 2 hàm đo được là đo được, công, trừ, nhân, chia (nếu xác định) của 2 hàm
đo được là đo được.
7. Cho f : (R; B(R)) ! (R; B(R)) liên tục thì f đo được.
Định lý 1. 2. 1. 8. cho f :  ! 
0
. C là lớp các tập con của 
0
. Khi đó
f
1
((C)) = (f
1
(C)):
Định nghĩa 1.2.1.12. Cho không gian (; F; ) đầy đủ. Ta nói P (!) đúng hầu khắp
nơi nếu f! : P (!) không đúng g = 0: Tức là
9N 2 F : (N) = 0; P (!) đúng 8! 2 N
Chú ý :
1. Nếu f 2 L
0
(; F; ) và f = g hầu khắp nơi thì g 2 L
0
(; F; ):
2. Nếu ff
n
g
n2N

 L
0
(; F; ); và f
n
! f hầu khắp nơi thì f 2 L
0
(; F; ):
Định nghĩa 1.2.1.13. Cho f :  ! R. Ta nói f là hàm bậc thang nếu f() chỉ nhận
hữu hạn giá trị thực. Giả sử
f() = fa
1
; a
2
; :::; a
n
g:
Khi đó ta có thể biểu diễn hàm bậc thang thông qua các hàm sau :
f(!) =
n
P
i=1
a
i
 1
A
i
(!)
trong đó A
i
= f! 2  : f(!) = a

i
g; i = 1; :::; n và 1
A
:  ! f0; 1g
1
A
(!) =

1 nếu ! 2 A
0 nếu ! =2 A
:
Định nghĩa 1 .2. 1. 14 . Cho hàm f 2 L
0
(; F; ). Ta có các định nghĩa sau :
1. Nếu f = 1
A
; A 2 F thì
R

fd =
R

1
A
d := (A):
Luận văn thạc sĩ toán học 8
CHƯƠNG 1. KIẾN THỨC NỀN TẢNG
2. Nếu f =
n
P

i=1
a
i
 1
A
i
(!) thì
R

fd :=
n
P
i=1
a
i
(A
i
):
3. Nếu f 2 L
+
0
(; F; ) thì
R

fd := supf
R

hd : 0  h  f; h là hàm bậc thang g:
L
+

0
(; F; ) là lớp các hàm không âm đo được.
4. Nếu f 2 L
0
(; F; ). Đặt f
+
= max(f; 0); f

= max(f; 0) ) f = f
+
 f

:Vì thế
ta có
Z

fd =
Z

f
+
d 
Z

f

d:
- Nếu
R


f
+
d = 1,
R

f

d = 1 thì
R

fd không tồn tại.
- Nếu chỉ có một trong hai bằng 1 thì ta nói
R

fd tồn tại nhưng không khả tích.
- Nếu 1 <
R

f
+
d < 1, 1 <
R

f

d < 1 thì f khả tích. Và ta ký hiệu
L
1
(; F; ) lớp các hàm khả tích Lebesgue.
Tính chất :

1. Cho f; g 2 L
0
(; F; ), f + g xác định.
R

(f + g)d tồn tại và
R

fd +
R

gd xác
định. Khi đó
Z

(f + g)d =
Z

fd +
Z

gd:
Đặc biệt f; g 2 L
1
(; F; ) thì (f + g) 2 L
1
(; F; ):
2. Cho ff
n
g

n2N
 L
0
(; F; ); 0  f
n
với mọi n 2 N. Khi đó
Z

(
1
P
n=1
f
n
)d =
1
P
n=1
Z

f
n
d:
Định lý 1. 2. 1.9 (Định l ý hội tụ đơn điệu). Cho ff
n
g
n2N
 L
0
(; F; )

a) Nếu g  f
n
8n 2 N,
R

gd > 1 và f
n
"
n
f thì
R

f
n
d "
n
R

fd:
b) Nếu g  f
n
8n 2 N,
R

gd < +1 và f
n
#
n
f thì
R


f
n
d #
n
R

fd:
Định lý 1.2.1.10 (Định lý hội tụ bị chặn) : Cho ff
n
g
n2N
đo được trên (; F; ) và
jf
n
j  g 2 L
1
(; F; ): Nếu f
n
! f; n ! 1 thì :
a) f 2 L
1
(; F; ):
b)
R

f
n
d !
R


fd, n ! 1.
Định nghĩa 1.2.1.15. Cho độ đo có dấu (độ đo suy rộng) ; và độ đo  trên (; F).
Ta nói  tuyệt đối liên tục với  (  ) nếu :
(A) = 0 ) (A) = 0; 8A 2 F:
Ta nói độ đo  là độ đo có dấu trên (; F) nếu :  : F ! [1; +1) hoặc (1; +1]
thỏa mãn 2 tính chất :
- (?) = 0:
-  là cộng tính.
Định lý 1.2.1.10. Cho  là độ đo có dấu và  là độ đo trên không gian đo được (; F),
 < 1: Khi đó 2 điều sau đây là tương đương :
a)   :
b) (A
n
) ! 0, n ! 1 thì (A
n
) ! 0, n ! 1.
Luận văn thạc sĩ toán học 9
CHƯƠNG 1. KIẾN THỨC NỀN TẢNG
Định lý 1 .2 .1. 11 (Định l ý Radon - Nikodym). Cho  là độ đo có dấu,  là độ đo
trên (; F): Giả sử ,  < 1,   . Khi đó tồn tại hàm f 2 L
1
(; F; ) sao cho
(A) =
Z
A
fd, 8A 2 F:
Lúc này f được gọi là đạo hàm Radon - Nicodym của  đối với  và viết f =
d
d

.
1.2.2 Xây dựng không gian xác suất
Không gian xác suất và các đặc trưng của nó được xây dựng và mở rộng từ lý thuyết
độ đo và tích phân. Từ đây ta coi tập  là không gian các biến cố sơ cấp.
Định nghĩa 1 .2. 2. 1 (Hệ ti ên đề Kolmogorov). Ta gọi bộ ba (; F; P ) với
a)  là tập hợp tùy ý gồm các phần tử !.
b) F là các đại số các tập con của .
c) P là độ đo xác suất cộng tính (P () = 1) hay nói gọn hơn là xác suất trên F.
Khi đó không gian (; F; P ) gọi là không gian xác suất.
Tập  được gọi là không gian các biến cố sơ cấp. Tập A 2 F được gọi là biến cố, P(A)
là xác suất của biến cố A: P được gọi là xác suất trên F:
Định nghĩa 1.2.2.2 (phần tử ngẫu nhiên). Giả sử (; F) và (E; ) là hai không
gian đo, ánh xạ f :  ! E được gọi là đo được hay phần tử ngẫu nhiên nhận g iá trị trong
E nếu
f
1
(A) 2 F; A 2 F:
Đôi khi f còn được gọi là phần tử ngẫu nhiên trên (; F) với giá trị trong (E; ).
Định nghĩa 1.2.2.3. Giả sử  là tập tùy ý, (f
i
)
i2I
là họ cá c ánh xạ từ  vào các không
gian đo (E
i
; 
i
)
i2I
. Ta gọi đại số sinh bởi họ hàm (f

i
) và ký hiệu bởi (f
i
; i 2 I) là đại
số bé nhất trên  sao cho tất cả các ánh xạ f
i
đo được.
Hiển nhiên rằng
(f
i
; i 2 I)  (f
1
i
(A
i
); A
i
2 
i
; i 2 I):
Định nghĩa 1.2.2.4. Giả sử (E
i
; 
i
)
i2I
là họ các không gian đo và E là tích Descartes
của các E
i
; E =

Q
i2I
E
i
. Ký hiệu X
i
là ánh xạ tọa độ từ E lên E
i
, i 2 I. Khi đó (X
i
; i 2 I)
được gọi là tích của các đại số 
i
và được ký hiệu là 
i2I

i
.
Nhận xét : 
i2I

i
cũng là đại số sinh bởi họ tập X
1
i
(A
i
); A
i
2 

i
; i 2 I trong đó
A
i
= E
i
hầu tất cả (trừ một số hữu hạn các i):
Định nghĩa 1.2.2.5. Lớp K các tập con của  được gọi là co mpact nếu đối với dãy
bất kỳ (K
n
)  K mà
1
T
n=1
K
n
= ? thì tồn tại n
0
sao cho
n
0
T
n=1
K
n
= ?.
Nhận xét : Nếu  là không gian topo thì lớp các tập compact của nó thỏa mãn định
nghĩa.
Định lý 1.2.2.1. Giả sử K là lớp compact bất kỳ của . Khi đó lớp nhỏ nhất chứa K
đóng đối với hợp hữu hạn và giao đếm được cũng là lớp compact.

Định nghĩa 1.2.2.6: Giả sử (; F; P ) là không gian xác suất, K  F là lớp compact.
Độ đo xác suất P được gọi là chính quy (đối với K) nếu
Luận văn thạc sĩ toán học 10
CHƯƠNG 1. KIẾN THỨC NỀN TẢNG
P (B) = sup
A2K
AB
P (A); với mỗi B 2 F:
Nhật xét : Nếu P chính quy đối với K thì P cũng chính quy đối với lớp K

là lớp nhỏ
nhất chứa K đóng đối với hợp hữu hạn và giao đếm được.
Định lý 1.2.2.2. Giả sử (; F; P ) là không gian xác suất, F
0
là đại số các tập con của
: K
0
là lớp compact và K
0
 F
0
. Ngoài ra, giả thiết rằng F = (F
0
) và K là lớp nhỏ
nhất chứa K
0
đóng với hợp hữu hạn và giao đếm được. Giả sử P là hàm tập không âm hữu
hạn cộng tính trên F
0
và P () = 1: Khi đó, nếu

P (B) = sup
A2K
0
AB
P (A), với mỗi B 2 F
0
;
thì P có thể thác triển một cách duy nhất thành một độ đo xác suất trên F và chính quy
đối với K:
Định nghĩa 1.2.2.7. (; F) không gian đo đã cho, R = [1; +1]. Hàm thực X =
X(!) xác định  lấy giá trị trên R gọi là hàm F-đo được hoặc biến ngẫu nhiên suy rộng
nếu
f! : X(!) 2 Bg = X
1
(B) 2 F với mỗi B 2 B(R):
Trong đó B(R) là đại số các tập Borel của trục thực R (tập Borel được trình bày
trong phần 1.4). Thêm vào đó, nếu
X :  ! R = (1; +1):
thì X được gọi là biến ngẫu nhiên.
Định nghĩa 1.2.2. 8 (Hàm Borel). Hàm ' : (R
n
; B(R
n
)) ! (R; B(R)) được gọi là
hàm Borel, nếu nó B(R
n
)đo được, nghĩa là với mỗi B 2 B(R)
'
1
(B) 2 B(R

n
):
Tính chất :
1. X
1
; :::; X
n
là các biến ngẫu nhiên cùng xác định trên (; F) và '(t
1
; :::; t
n
) là hàm
Borel giá trị thực. Khi đó Y = '(X
1
; :::; X
n
) cũng là biến ngẫu nhiên.
2. X; Y là các biến ngẫu nhiên xác định trên (; F) khi đó X Y , X:Y , X _Y , X ^Y ,
X
+
= X _0; X

= (X) _0, jXj = X
+
+ X

cũng là các biến ngẫu nhiên.
3. Cho (X
n
)

n1
là dãy các biến ngẫu nhiên xác định trên (; F) và sup
n
X
n
, inf
n
X
n
hữu
hạn trên . Khi đó sup
n
X
n
, inf
n
X
n
, lim X
n
= X (hữu hạn) đều là các biến ngẫu nhiên.
Định lý 1.2.2.3. Giả sử X là biến ngẫu nhiên xác định trên (; F) và Y là ánh xạ
từ  vào R. Lúc đó Y là F-đo được khi và chỉ khi tồn tại hàm Borel ' : R ! R sao cho
Y = ' X.
Định nghĩa 1.2.2.9. Giả sử X là phần tử ngẫu nhiên xác định trên (; F; P ) nhận giá
trị trên (E; ). Hàm tập
P
X
(B) = P (X
1

(B)); B 2 ;
Luận văn thạc sĩ toán học 11
CHƯƠNG 1. KIẾN THỨC NỀN TẢNG
được gọi là phân phối X trên (E; ). Đó là một độ đo xác suất còn được gọi là ảnh của P
qua X, ký hiệu là X(P):
Khi (E; ) = (R
T
; B(R
T
)); phần tử ngẫu nhiên X còn được gọi là hàm ngẫu nhiên. Nếu
T  R thì X được gọi là quá trình ngẫu nhiên.
Định nghĩa 1 .2. 2. 10 . Hàm số
F
X
(x) = P [X < x]; x 2 R;
được gọi là hàm phân phối của biến ngẫu nhiên X:Các tính chất của F
X
(x) nằm trong định
nghĩa 1:2:1:10. Và khi đó ta cũng biết tồn tại độ đo xác suất  trên (R; B(R)) sao cho
F (x) = (1; x); x 2 R:
Xét không gian L
1
(; F; P ); ta gọi kỳ vọng toán của biến ngẫu nhiên X là EX =
R
X(!)dP (!) hoặc
R
X(!)P (d!) hoặc
R
XdP. Ta nhận thấy E(X) hoàn toàn xác định,
không phụ thuộc vào cách biểu diễn của X và như vậy kỳ vọng là một phiếm hàm xác định

trên L
1
(; F; P ).
Định lý 1. 2. 2.4 . X 2 L
1
(; F; P ) nếu và chỉ nếu với mọi " > 0 tồn tại  > 0 sao cho
Z
A
jAjdP < "; EjXj < 1= với mọi A 2 F, P (A) < :
Định lý 1.2.2.5. Giả sử X là phần tử ngẫu nhiên từ không gian xác s uất (; F; P ) vào
không gian đo (E; ), P
X
là phân phối xác suất của X trên (E; ), nghĩa là
P
X
(B) = P (X
1
(B)); B 2 :
Khi đó, với mọi hàm thực ' từ E vào R (đo được) ta có
Z
B
'(x)dP
X
(x) =
Z
X
1
(B)
'(X(!))dP (!)
với mọi B 2  theo nghĩa tích phân này tồn tại thì tích phân kia cũng tồn tại và bằng

nhau.
Mở rộng hơn nữa X là biến ngẫu nhiên có phân phối liên tục tuyệt đối với hàm mật độ
f(x):Khi đó
Z
X
1
(B)
'(X(!))dP (!) =
Z
B
'(x)f(x)dx; B 2 B(R):
Đặc biệt
E'(X) =
Z
R
'(x)f(x)dx:
Nếu ' : R ! R là hàm Borel bất kỳ. Khi đó
Z
X
1
(B)
'(X(!))dP (!) =
Z
B
'(x)dP
X
(x); B 2 B(R)
và
Luận văn thạc sĩ toán học 12
CHƯƠNG 1. KIẾN THỨC NỀN TẢNG

E'(X) =
Z
R
'(x)dP
X
(x):
1.2.3 Xác suất chuyển và độ đo tích
Định nghĩa 1 .2. 3. 1: Giả sử (
1
; F
1
), (
2
; F
2
) là hai không gian đo. Xác suất chuyển
là hàm P
12
(!
1
; A
2
) xác định trên không gian tích 
1
 F
2
và thỏa mãn :
a) Với !
1
2 

1
cố định, hàm P
12
(!
1
; :) là độ đo xác suất trên F
2
:
b) Với A
2
2 F
2
cố định, hàm P
12
(:; A
2
) F
1
đo được.
Định lý 1.2.3.1. Giả sử (
1
; F
1
), (
2
; F
2
) là hai không gian đo, P
1
là xác suất trên

F
1
; P
12
là xác suất chuyển trên 
1
 F
2
. Khi đó, tồn tại xác suất P trên F
1
 F
2
sao cho
P (A
1
 A
2
) =
Z
A
1
P
1
(d!
1
)P
12
(!
1
; A

2
); A
i
2 F
i
; i = 1; 2:
Giả sử X là biến ngẫu nhiên không âm hoặc nữa khả tích trên
(
1
 
2
; F
1
 F
2
):
Khi đó, hàm
Y (!
1
) =
Z

2
P
12
(!
1
; d!
2
)X

!
1
(!
2
)
xác định P
1
hầu chắc chắn, F
1
đo được, không âm (hoặc nữa khả tích) và
Z

1

2
XdP =
Z

1
P
1
(d!
1
)
Z

2
P
12
(!

1
; d!
2
)X
!
1
(!
2
):
Định lý 1.2.3.2. Giả sử (
1
; F
1
; P
1
), (
2
; F
2
; P
2
) là hai không gian xác suất. Khi đó
tồn tại xác suất P duy nhất trên F
1
 F
2
sao cho
P (A
1
 A

2
) = P
1
(A
1
) P
2
(A
2
), A
1
2 F
1
, A
2
2 F
2
:
Đối với biến ngẫu nhiên bất kỳ X không âm (nửa khả tích) trên
(
1
 
2
; F
1
 F
2
)
ta có
Z


1

2
XdP =
Z

1
P
1
(d!
1
)
Z

2
P
2
(d!
2
)X
!
1
(!
2
)
=
Z

2

P
2
(d!
2
)
Z

1
P
1
(d!
1
)X
!
2
(!
1
):
Luận văn thạc sĩ toán học 13
CHƯƠNG 1. KIẾN THỨC NỀN TẢNG
1.3 Sự hội tụ của các biến ngẫu nhiên và kỳ vọng có
điều kiện
1.3.1 Sự hội tụ của các biến ngẫu nhiên
Định nghĩa 1.3.1 (Hội tụ theo phân phối). Giả sử (F
i
)
i2N
là một dãy các hàm
phân phối xác suất với các biến ngẫu nhiên (X
i

)
i2N
và F là hàm phân phối ứng với biến
ngẫu nhiên X. Ta nói rằng dãy X
n
hội tụ về X theo phân phối, nếu
lim
n!1
F
n
(a) = F (a);
với mọi số thực a mà tại đó F liên tục. Vì F(a) = P r(X  a), nên điều này có nghĩa là
xác suất để giá trị của X nằm trong một giới hạn định sẵn gần như là bằng với xác suất để
X
n
cũng nằm trong giới hạn này, với n được cho đủ lớn. Sự hội tụ theo phân phối thường
được ký hiệu X
n
D
! X .
Hội tụ theo phân phối là dạng hội tụ yếu nhất, và thường được gọi là hội tụ yếu khi đó
ta có thể ký hiệu X
n
w
! X hoặc X
n
 X:
Định nghĩa 1.3.2 (Hội tụ theo xác suất). Dãy (X
n
) hội tụ về X theo xác suất nếu

lim
n!1
P (jX
n
 Xj  ") = 0;
với mọi > 0. Hội tụ theo xác suất được ký hiệu X
n
P
! X: Hội tụ theo xác suất suy ra sự
hội tụ theo phân phối.
Định nghĩa 1.3.3 (Hội tụ hầu như chắc chắn). Ta nói rằng dãy (X
n
) hội tụ hầu
như chắc chắn hay hầu khắp nơi hay với xác suất 1 hay mạnh về X nếu :
P

lim
n!1
X
n
= X

= 1;
điều này tương đương với cách viết
P

f! 2 j lim
n!1
X
n

(!) = X(!)

= 1:
Hội tụ hầu như chắc chắn thì suy ra hội tụ theo xác suất, và do đó cũng suy ra hội tụ
theo phân phối.
Định nghĩa 1.3.4 (Hội tụ theo trung bình bậc r) : Ta nói rằng dãy (X
n
) hội
tụ theo trung bình bậc r hay trong không gian định chuẩn L
r
(; F; P ) về X, nếu r  1,
EjX
n
j
r
< 1 với mọi n, và
lim
n!1
E (jX
n
 Xj
r
) = 0:
Các trường hợp đặc biệt quan trọng:
- Nếu r = 1, ta nói X
n
hội tụ theo trung bình về X.
- Nếu r = 2, ta nói X
n
hội tụ theo trung bình bình phương (bậc 2) về X.

Hội tụ theo trung bình bậc r, với r > 0, suy ra hội tụ theo xác suất. Còn nếu r > s  1,
thì hội tụ theo trung bình bậc r sẽ suy ra hội tụ theo trung bình bậc s. Do đó hội tụ theo
trung bình dẫn đến hội tụ theo trung bình bình phương.
Luận văn thạc sĩ toán học 14
CHƯƠNG 1. KIẾN THỨC NỀN TẢNG
1.3.2 Kỳ vọng có điều kiện
Định nghĩa 1.3.1. Cho không gian xác suất (; F; P ), < là trường con của F khi
đó kỳ vọng có điều kiện của biến ngẫu nhiên X  0 đối với F là biến ngẫu nhiên suy rộng
không âm
E(Xj<) :  ! [0; 1]
sao cho
(i) E(Xj<) là < đo được.
(ii) Với mọi A 2 <
Z
A
XdP =
Z
A
E(Xj<)dP:
Tính chất :
1. Nếu X là <đo được thì E(Xj<) = X. Đặc biệt, nếu c là hằng số thì E(cj<) = c:
2. Nếu X  Y thì E(Xj<)  E(Y j<). Đặc biệt, ta có bất đẳng thức
jE(Xj<)j  E(jXj j<):
3. Nếu a; b 2 R thì E((aX + bY )j<) = aE(Xj<) + bE(Y j<).
4. E[E(Xj<)] = EX:
5. Nếu (X) và < độc lập thì E(Xj<) = EX: Đặc biệt nếu X; Y độc lập thì E(XjY ) =
EX:
6. Nếu <
1
 <

2
thì
E[E(Xj<
2
)j<
1
] = E[E(Xj<
1
)j<
2
] = E(Xj<
1
):
7. Nếu Y là <đo được thì
E(XY j<) = Y E(Xj<):
8. Nếu < = f?; g thì
E(Xj<) = EX:
9. Nếu jX
n
j  Y; EY < 1 và X
n
! X hầu chắc chắn thì
lim
n!1
E(X
n
j<) = E(Xj<) hầu chắc chắn.
và
lim
n!1

E(jX
n
 Xjj<) = 0 hầu chắc chắn
10. Nếu X
n
 Y , EY > 1; thì
E( lim
n!1
inf X
n
j<)  lim
n!1
inf E(X
n
j<) hầu chắc chắn.
11. Nếu X
n
 Y , EY < 1; thì
E( lim
n!1
sup X
n
j<)  lim
n!1
sup E(X
n
j<) hầu chắc chắn.
Luận văn thạc sĩ toán học 15
CHƯƠNG 1. KIẾN THỨC NỀN TẢNG
12. Nếu X

n
 0 với mọi n; thì
E(
X
X
n
j<) =
X
E(X
n
j<) hầu chắc chắn.
Ta có một số bất đẳng thức thông dụng sau đây.
a) Bất đẳng thức Chebyschev (cho kỳ vọng). Với mọi biến ngẫu nhiên X chỉ nhận
các giá trị không âm, và mọi số dương a > 0 ta có
P (X  a) 
E(X)
a
b) Bất đẳng thức Markov (cho các moment tuyệt đối). Với mọi biến ngẫu nhiên
X, số dương a > 0, và số tự nhiên k, ta có
P (jXj  a) 
E(jXj
k
)
a
k
:
c) Bất đẳng thức Chebyschev cho phương sai). Nếu X là một biến ngẫu nhiên
có phương sai var(X) hữu hạn và a > 0 bất kỳ, ta có
P (jX E(X)j  a) 
var(X)

a
2
:
a) Bất đẳng thức Holder. Cho X 2 L
r
(; F; P ), Y 2 L
s
(; F; P ), trong đó r; s là
các số sao cho 1 < r < 1; 1=r + 1=s = 1 thì
E(jXY j j<)  [E(jXj
r
j<)]
1=r
:[E(jY j
s
j<)]
1=s
:
b) Bất đẳng thức Minkowski. Nếu X; Y 2 L
r
(; F; P ); 1  r thì
E(jX + Y j
r
j<)  [E(jXj
r
j<)]
1=r
+ [E(jY j
r
j<)]

1=r
:
c) Bất đẳng thức Jensen. Nếu g : R ! R là hàm lồi, tức là
g(ax + by)  ag(x) + bg(y); 0  a; b  1; a + b = 1; x; y 2 R
thì
g(E(Xj<))  E(g(X)j<):
1.4 Độ đo xác suất trên không gian metric
Định nghĩa 1.4.1. Cho (X; d) là không gian metric. đại số Borel B(X) là đại số
nhỏ nhất trong X chứa tất cả tập con mở của X. Các thành phần của B(X) gọi là các tập
Borel của X.
Định lý 1.4.1. Nếu X là không gian metric tách được, khi đó B(X) trùng với đại
số sinh bởi quả cầu đóng hoặc mở của X.
Định nghĩa 1.4.2. Cho (X; d) là một không gian metric. Một độ đo Borel hữu hạn
trên X là ánh xạ  : B(X) ! [0; 1) sao cho (?) = 0 và A
1
; A
2
; ::: 2 B(X) rời nhau sao
cho (
1
S
i=1
B
i
) =
1
P
i=1
(B
i

). Nếu (X) = 1 Khi đó  được gọi là một độ đo xác suất Borel.
Luận văn thạc sĩ toán học 16
CHƯƠNG 1. KIẾN THỨC NỀN TẢNG
Cho (X; d) là không gian metric và ta đặt
C
b
(X) := ff : X ! R : f là liên tục và bị chặn g
Với mỗi f 2 C
b
(X) là khả tích tương ứng với bất kỳ độ đo Borel hữu hạn trên X.
Định nghĩa 1.4.3. Cho ; 
1
; 
2
; ::: là độ đo Borel hữu hạn trên X. Ta nói rằng (
i
)
i
hội tụ yếu tới  nếu
R
fd
i
!
R
fd
khi i ! 1 với mọi f 2 C
b
(X): Ta ký hiệu 
i
) .

Định nghĩa 1.4.4. Cho (X; d) là không gian metric. Ta đặt P = P (X) là tất cả độ đo
xác suất Borel trên X. Cho ;  2 P (X), ta định nghĩa
d
p
(; ) = inff > 0 : (A)  (A

) +  và (A)  (A

) + ; 8A 2 B(X)g
trong đó
A

= fx : d(x; A) < g nếu A 6= ?; ?

= ? với mọi  > 0
với d(x; A) = inffd(x; a) :  2 Ag. Hàm d
p
được gọi là metric Prokhorov trên P (X).
Định lý 1. 4. 2. Cho (X; d) là một không gian metric
(i) d
p
là một metric trên P(X):
(ii) Cho ; 
1
; 
2
; ::: 2 P (X). Khi đó d
p
(
i

; ) ! 0 suy ra 
i
) .
Định lý 1.4.3. Nếu (X; d) là không gian metric tách được, khi đó cho ; 
1
; 
2
; ::: 2
P (X), ta có

i
)  , d
p
(
i
; ) ! 0:
Định lý 1.4.4. Nếu (X; d) là không gian metric tách được, khi đó không gian (P (X); d
p
)
là không gian metric tách được.
Định lý 1.4.5. Một độ đo Borel hữu hạn  trên X cơ sở chặt nếu 8" > 0 tồn tại một
tập compact K  X sao cho (XnK) < " tức là (K)  (X) ". Nếu  là độ đo Borel
hữu hạn chặt trên X khi đó
(A) = supf(K) : K  A; K compactg
với mọi tập Borel A trên X.
Định lý 1.4.6. Nếu (X; d) là môt không gian metric đầy đủ tách được, khi đó mọi độ
đo Borel hữu hạn trên X là chặt.
Định nghĩa 1.4.5. Tập hợp  các độ đo xác suất Borel trên X được gọi là chặt hay
thỏa điều kiện Prokhorov nếu với mọi " > 0 tồn tại tập con compact K
"

của X sao cho
(K)  1 "; 8 2 :
Định lý 1.4.7 (Prokhorov). Cho (X; d) là không gian metric tách được, đầy đủ và
cho  là tập con của P(X). Khi đó 2 điều sau đây là tương đương :
(a)  là compact trong P(X):
Luận văn thạc sĩ toán học 17
CHƯƠNG 1. KIẾN THỨC NỀN TẢNG
(b)  chặt.
Định lý 1.4.8. Nếu (X; d) là một không gian metric compact khi đó (P (X); d
p
) là một
không gian metric compact.
1.5 Xích markov
a) Hạt nhân xác suất chuyển
 Cho X là tập hợp nào đó và gọi B(X) là -trường sinh ra trên X: Nếu P =
fP (x; A); x 2 X; A 2 B(X)g sao cho
1. Với mỗi A 2 B(X); x ! P (x; A) là một hàm không âm trên X.
2. Với mỗi x 2 X; A ! P (x; A) là một độ đo xác suất trên B(X).
Khi đó ta gọi P là hạt nhân xác suất chuyển Markov hay hạt nhân chuyển Markov hay
hạt nhân xác suất chuyển.
 Với bất kỳ hạt nhân xác suất chuyển Markov P và bất kỳ hàm bị chặn  trên X; ta
định nghĩa
P (x) = P(x; ) =
Z
X
P (x; dy)(y):
Để ý ta thấy
jP (x)j 
Z
X

P (x; dy) j(y)j  jj
1
= sup
x2X
j(x)j
 Cho  là một độ đo xác suất trên (X; B(X)). Khi đó với mọi A 2 B(X) ta định ng hĩa
P
P (A) =
Z
X
(dx)P (x; A);
ta dễ dàng thấy P là một độ đo xác suất.
 Với bất kỳ độ đo  và bất kỳ hàm bị chặn ; ta có:
P  =
Z
X
Z
X
(dx)P (x; dy)(y) = P [] = [P ];
trong đó với bất kỳ độ đo ; [] =
R
X
(dx)(x):
b) Hạt nhân xác suất chuyển trên không gian trạng thái rời rạc
 Cho X = fx
0;
x
1
; :::g là rời rạc (có thể là tập hữu hạn hoặc vô hạn đếm được) và cho
B(X) là họ các tập con của X:

 Trạng thái của hạt nhân chuyển Markov được định nghĩa bởi fP (x; y); (x; y) 2 X Xg;
trong đó x 2 X và y 2 X; P (x; y) là ký hiệu ngắn gọn cho P(x; fyg):
 Vì mọi x 2 X; x ! P (x; :) là một xác suất, ta phải có
P (x; y)  0 và P (x; X) =
X
y2X
P (x; y) = 1:
 Ma trận fP (x; y); (x; y) 2 X  Xg được gọi là một ma trận chuyển Markov hoặc là
một ma trận ngẫu nhiên.
Luận văn thạc sĩ toán học 18
CHƯƠNG 1. KIẾN THỨC NỀN TẢNG
 Một hàm  trên không gian trạng thái rời rạc được xác định một các duy nhất bởi
vector  = ((x
0
); (x
1
); :::; ) và
P (x) =
X
y2X
P (x; y)(y);
P (x) có thể được giải thích là thành phần thứ x của vector thu được bằng cách nhân
vector  và ma trận chuyển P:
 Một phân phối xác suất trên B(X) được định nghĩa là vector  = ((x
0
); (x
1
); :::)
và phân phối xác suất P được định nghĩa, với mỗi y 2 X
P (fyg) =

X
x2X
(fxg)P (x; y)
 Cho Q
1
và Q
2
là 2 hạt nhân xác suất chuyển Markov. Ta định nghĩa, với bất kỳ x 2 X
và A 2 B(X) tích các hạt nhân Q
1
Q
2
là
Q
1
Q
2
(x; A) =
Z
X
Q
1
(x; dy)Q
2
(y; A)
 Khi không gian trạng thái X là rời rạc, tích của các hạt nhân chuyển Markov trùng
với tích các ma trận.
c) Hạt nhân lặp và phương trình Chapman-Kolmogorov
 Đặt P
0

(x; A) = 
x
(A) là độ đo Dirac được định nghĩa là

x
(A) =

1; x 2 A
0; x =2 A
 Với mọi n  1; định nghĩa theo quy nạp như sau
P
n
(x; A) =
Z
X
P (x; dy)P
n1
(y; A); x 2 X và A 2 B(X)
Ta viết P
n
là ký hiệu hạt nhân xác suất chuyển sau n bước chuyển fP
n
(x; A); x 2
X; A 2 B(X)g:
 Phương trình Chapman-Kolmogorov : với bất kỳ m với 0  m  n;
P
n
(x; A) =
Z
X

P
m
(x; dy)P
nm
(y; A), x 2 X, A 2 B(X)
d) Định l ý Lonescu-Tulcea
Với độ đo ban đầu cho trước  trên B(X) và họ các hạt nhân xác suất chuyển P =
fP
k
(x; A); x 2 X; A 2 B(X)g. Với bất kỳ n > 0 và bất kỳ A
0
2 B(X); A
n
2 B(X)
P
(n)

[A
0
 A
1
 ::: A
n
] =
Z
A
0
Z
A
1

:::
Z
A
n
(dx
0
)P
1
(x
0
; dx
1
):::P
n
(x
n1
; dx
n
):
Ta đặt P
(0)

(A) = (A). Ta ký hiệu P
(n)
x
= P
(n)

khi  là hà m phân bố Dirac tại x. Ta
dễ thấy

Luận văn thạc sĩ toán học 19
CHƯƠNG 1. KIẾN THỨC NỀN TẢNG
 P
(n)

định nghĩa là độ đo xác suất trên 
n
= (X
n
;
n
W
i=1
B(X)):
 P
(n)

=
R
P
(n)
x
(dx):
 Cho m < n, phép chiếu P
(n)

trên 
n
là bằng P
(m)


;
P
(m)

(A
1
 ::: A
m
) = P
(n)

(A
1
 ::: A
m
 X :::  X)
 Định lý Lonescu-Tulcea : Với phân bố xác suất ban đầu cho trước  và bất kỳ
họ hạt nhân xác suất chuyển Markov (P
k
; k  0) tồn tại duy nhất độ đo xác suấ t trên

1
= (
Q
1
i=1
X;
1
W

i=1
B(X)) có phép chiếu trên 
n
trùng với P
(n)

:
e) Định nghĩa cơ bản về Xích Markov
Cho X
n
; n  0 là dãy biến ngẫu nhiên trên (X; B(X)); Q = (Q
k
; k  0) là họ hạt nhân
chuyển trên (X; B(X)) và  là một xác suất của (X; B(X)). Ta nói rằng X = (X
n
; n  0)
là xích Markov trên (X; B(X)) với hạt nhân chuyển Q và phân phối  ban đầu cho trước
nếu
1. Luật (luật phân phối) của X
0
là .
2. Bất kỳ hàm bị chặn ;
E[(X
n+1
)jF
n
] = Q
n
(X
n

)
trong đó F
n
= (X
0;
X
1
; :::; X
n
) là đại số sinh bởi các biến ngẫu nhiên X
0
; X
1
; :::; X
n
.
Xích Markov được gọi là thời gian thuần nhất nếu Q
n
= Q với mọi n  0:
 Theo tính chất Markov ta suy ra bất kỳ hàm bị chặn , với mọi n và p, ta có
E[(X
n+p
jF
n
] = Q
n
:::Q
n+p1
(X
n

);
E[(X
n+p
)] = Q
1
:::Q
n+p1
[]
Khi Xích Markov là thời gian thuần nhất,
E[(X
n+p
)jF
n
] = Q
p
(X
n
):
 Theo tính chất Markov ta suy ra với bất kỳ n và hàm bị chặ n 
0
; :::; 
n
; ta có
E[(X
n+1
)
n
Q
k=0


k
(X
k
)] = E[Q
n
(X
n
)
n
Q
k=0

k
(X
k
)]:
Sau đây ta sẽ xét xích Markov trên không gian trạng thái rời rạc.
 Ma trận P = fP (x; y); (x; y) 2 Xg được gọi là ma trận xác suất chuyển Markov nếu
P (x; y)  0 và
X
z2X
P (x; z) = 1; 8x; y 2 X:
 Cho  là phân phối xác suất. Theo định lý Lenescu-Tucea chỉ ra rằng tồn tại một dãy
biến ngẫu nhiên fX
n
; n  0g sao cho bất kỳ n và bất kỳ x
0
; x
1
; :::; x

n
; ta có
P

(X
0
= x
0
; X
1
= x
1
; :::; X
n
= x
n
) = (x
0
)P (x
0
; x
1
):::P (x
n1
; x
n
)
= P
(n)


(x
1
; :::; x
n
):
Luận văn thạc sĩ toán học 20
CHƯƠNG 1. KIẾN THỨC NỀN TẢNG
với bất kỳ hàm bị chặn  và 
0
; :::; 
n
; ta có
E[(X
n+1
)(
n
Q
k=0

k
(X
k
))] =
P
x
0
;:::;x
n+1
[
n

Q
k=0

k
(x
k
)](x
n+1
)(x
0
)P (x
0
; x
1
):::P (x
n
; x
n+1
)
=
P
x
0
;:::;x
n
[
n
Q
k=0


k
(x
k
)](x
n+1
)(x
0
)P (x
0
; x
1
):::P (x
n1
; x
n
)
P
x
n+1
P (x
n
; x
n+1
)(x
n+1
)
= E[P (X
n
)
n

Q
k=0

k
(X
k
)]
và (X
k
; k  0) là xích Markov thời gian thuần nhất với phân bố xác suất ban đầu  và
hạt nhân xác suất chuyển P:
 Định lý : Cho dãy (X
n
; n  0) là một xích Markov với ma trận xác suất chuyển Q và
phân bố xác suất ban đầu cho trước  nếu và chỉ nếu với bất kỳ n  0, phân bố của vector
ngẫu nhiên (X
0
; X
1
; :::; X
n
) trên 
n
trùng với P
(n)

:
f) Phân bố bất biến và tính dừng
 Một độ đo hữu hạn trên B(X) với tính chất
(A) =

Z
X
(dx)P (x; A); A 2 B(X);
được gọi là bất biến. Nếu độ đo bất biến là hữu hạn thì sẽ được chuẩn hóa thành độ đo xác
suất dừng.
 Cho quá trình  = f
k
g
k2Z
được gọi là dừng ngặt nếu và chỉ nếu với bất kỳ n 2 N
và bất kỳ k; phân phối của f
n
; :::; 
n+k
g có cùng phân phối của f
0
; :::; 
k
g:
 Cho trước độ đo xác suất bất biến ban đầu  sao cho
(A) =
R
X
(dw)P (w; A):
Ta xây dựng quá trình lặp như sau, với bất kỳ n và A 2 B(X);
(A) =
R
X

R

X
(dx)P (x; dw)

P (w; A)
=
R
X
(dx)
R
X
P (x; dw)P (w; A)
=
R
X
(dx)P
2
(x; A)
:::
=
R
X
(dx)P
n
(x; A) = P

(
n
2 A):
 Ta xét P


(
n
2 ) với bất kỳ phân bố ban đầu cho trước : Nếu tồn tại giới hạn độ
đo 

trên top o phù hợp trong không gian độ đo xác suất, sao cho
P

(
n
2 A) ! 

(A);
với mọi A 2 B(X); khi đó
Luận văn thạc sĩ toán học 21
CHƯƠNG 1. KIẾN THỨC NỀN TẢNG


(A) = lim
n!1
R
(dx)P
n
(x; A)
= lim
n!1
R
X
R
P

n1
(x; dw)P (w; A)
=
R
X


(dw)P (w; A):
Vì thế nếu giới hạn 

tồn tại, thì giới hạn này sẽ là độ đo xác suất bất biến và nếu 

là duy nhất thì sẽ không phụ thuộc vào .

Luận văn thạc sĩ toán học 22