Tìm hiểu quá trình hồi phục (Renewal Processes) và ứng dụng

Edited with the trial version of
Foxit Advanced PDF Editor
To remove this notice, visit:
www.foxitsoftware.com/shopping

ĐẠI HỌC BÁCH KHOA HÀ NỘI
VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

BÁO CÁO BÀI TẬP LỚN
QUÁ TRÌNH NGẪU NHIÊN ỨNG DỤNG
ĐỀ TÀI:

Tìm hiểu quá trình hồi phục
(Renewal Processes) và ứng
dụng
Nhóm sinh viên thực hiện:
Hoàng Anh Đức
Nguyễn Tố Tuân
Đặng Văn Hùng
Phan Minh Tân
Bùi Trung Dũng
Kiều Minh Đức

20093795
20106109
20106095
20104834
20111264
20070843

Giáo viên hướng dẫn: PGS. TS. Nguyễn Thị Hoàng Lan

Edited with the trial version of
Foxit Advanced PDF Editor
To remove this notice, visit:
www.foxitsoftware.com/shopping

Mục lục
Mục lục. ............................................................................................................................................................................... 1
1

Quá trình hồi phục (Renewal processes) ...................................................................................................... 2
1.1

Mở đầu .............................................................................................................................................................. 2

1.2

Định nghĩa . ...................................................................................................................................................... 2

1.3

Tính chất của quá trình hồi phục ............................................................................................................ 3

2

1.3.1

Strong Law of Large Number (SLLN - Luật số lớn) . ............................................................... 3

1.3.2

Elementary renewal theorem (Định lí cơ bản) .......................................................................... 4

Quá trình hồi phục có hoàn lại (Renewal reward processes) . .............................................................. 4
1.

3

Mở đầu................................................................................................................................................................... 4

2.1

Định nghĩa . ...................................................................................................................................................... 5

2.2

Tính chất của quá trình hồi phục có hoàn lại. ................................................................................... 5

2.2.1

Strong Law of Large Number (SLLN - Luật số lớn) . ............................................................... 5

2.2.2

Elementary theorem (Định lí cơ bản). .......................................................................................... 6

Minh họa với Matlab . ........................................................................................................................................... 6
3.1

Minh họa quá trình hồi phục . .................................................................................................................. 6

Mã Matlab ................................................................................................................................................................. 6
Kết quả . ..................................................................................................................................................................... 7
3.2

Minh họa quá trình hồi phục có hoàn lại. ........................................................................................... 7

Mã Matlab ................................................................................................................................................................. 7
Kết quả . ..................................................................................................................................................................... 8
4

Bài tập ví dụ.............................................................................................................................................................. 8
4.1.

Bài tập 1. ............................................................................................................................................................ 9

4.1.1

Đề bài . ...................................................................................................................................................... 9

4.1.2

Bài giải . .................................................................................................................................................... 9

4.2

Bài tập 2 .......................................................................................................................................................... 10

4.2.1

Đề bài . .................................................................................................................................................... 10

4.2.2

Bài giải . .................................................................................................................................................. 10

Phụ lục . .............................................................................................................................................................................. 12
Chuỗi ngẫu nhiên i.i.d. (Independent, identically distributed). ............................................................... 12
Luật số lớn (Strong Law of Large Numbers) .................................................................................................. 12
Tài liệu tham khảo......................................................................................................................................................... 13

1


Edited with the trial version of
Foxit Advanced PDF Editor
To remove this notice, visit:
www.foxitsoftware.com/shopping

1 Quá trình hồi phục (Renewal processes)
1.1 Mở đầu
Trong thực tế rất nhiều sự kiện xảy ra một cách ngẫu nhiên và chúng đã được mô hình hóa
bằng các lí thuyết về xác suất, thống kê và quá trình ngẫu nhiên. Một trong các vấn đề
thường gặp là việc đếm các sự kiện ngẫu nhiên xảy ra trong một mô hình ngẫu nhiên nào
đó. Để giải quyết việc này, mô hình về các quá trình đếm (counting processes) được đưa ra
và một ví dụ điển hình là quá trình Poisson (Poisson processes).
Học phần Xác suất - Thống kê đã đề cập tới phân phối Poisson và ứng dụng của nó. Trên
quan điểm về quá trình ngẫu nhiên, quá trình Poisson là một quá trình đếm dùng để xác
định số lượng sự kiện ngẫu nhiên đã xảy ra và thời điểm chúng xuất hiện trong một khoảng

thời gian cho trước. Nhiều mô hình ngẫu nhiên trên thực tế có thể được mô tả bằng quá
trình Poisson như sự phân rã hạt nhân (phóng xạ), các loại hàng đợi như tổng đài điện thoại,
web server …
Tuy nhiên không phải tất cả các sự kiện ngẫu nhiên trong thực tế đều tuân theo phân phối
Poisson. Vì vậy, về mặt lí thuyết ta có thể tổng quát hóa quá trình Poisson bằng một quá
trình ngẫu nhiên khác có phân phối của các sự kiện là G tổng quát. Quá trình đang đề cập
đến đây gọi là quá trình hồi phục (renewal processes).

1.2 Định nghĩa
là một chuỗi các biến ngẫu nhiên i.i.d.1 có hàm phân phối

Với
trị trên

và có kì vọng



Đặt



Các



Đoạn [



[ ]

, nhận các giá

:

[ ]
.

gọi là điểm hồi phục (renewal points).
] gọi là khoảng hồi phục (renewal, renewal cycle).

gọi là thời gian trễ.

Khi đó biến ngẫu nhiên
(Là giá trị lớn nhất của

định nghĩa bởi:
sao cho

)

sẽ chỉ ra số lượng khoảng hồi phục đã xảy ra cho tới thời điểm t. Vì vậy nó được gọi
là quá trình hồi phục.

1

Xem phụ lục.

2

Một ví dụ thực tế của quá trình hồi phục là việc sử dụng một loại máy sản xuất có thời
gian sử dụng (thời gian sống) là biến ngẫu nhiên có phân phối nào đó, và một máy mới
được thay thế khi máy cũ bị hỏng. Ta có thể dễ dàng thấy thời gian sử dụng mỗi máy là
thể hiện của chuỗi biến
trình bày. Vì vậy

và thời điểm phải thay thế máy đó là

đã

chính là quá trình hồi phục để đếm số lượng máy đã phải sử

dụng cho tới thời điểm t và nó có thể chỉ ra một số các vấn đề khác mà người quản lí
quan tâm.

1.3 Tính chất của quá trình hồi phục
1.3.1
Gọi

Strong Law of Large Number (SLLN - Luật số lớn)
[ ]
] là thời gian sống trung bình (expected lifetime) ta có:
2

Với

là số lượng khoảng hồi phục (sự kiện) đã xảy ra cho tới thời điểm , công thức này chỉ ra

số lượng sự kiện xảy ra trên một đơn vị thời gian trong thời gian dài (long run,
Chứng minh
Dễ dàng thấy

2

là điểm hồi phục cuối cùng trước và

With probability 1: với xác suất bằng 1

3

).

là điểm hồi phục đầu tiên sau :


Ta có:


(luật số lớn với i.i.d.3)

[ ]



(

Tức là cận dưới và cận trên của

)(

(tương tự và

)

)

đều tiến đến , từ đó ta có điều phải chứng minh.

1.3.2 Elementary renewal theorem (Định lí cơ bản)
Định nghĩa hàm hồi phục:
[ ]
Ta có:

[ ]
Chứng minh định lí này dựa vào Đẳng thức Wald về thời gian dừng (stopping time) của một
chuỗi i.i.d. Ta không đề cập đến chứng minh này ở bản báo cáo này.

2 Quá trình hồi phục có hoàn lại (Renewal reward processes)
1. Mở đầu


Quá trình hồi phục còn có thể dùng để biểu diễn miền thời gian sử dụng các máy móc,
trong đó loại máy được sử dụng có thời hạn sử dụng (thời gian sống) là ngẫu nhiên và
máy được thay thế khi hỏng.



Trên thực tế, máy có thể được thay thế bất kì lúc nào và tốn một chi phí nhất định.



Một cách tổng quát hơn ở những trường hợp khác, chi phí thay đổi (hồi phục) sự kiện có
thể là âm (mất đi) hoặc dương (nhận thêm).

Trong phần trên ta đã đề cập tới việc sử dụng quá trình hồi phục để mô hình hóa việc sử
dụng và thay thế máy móc. Tuy nhiên trong thực tế kinh doanh, việc thay thế máy móc hay
bất kì công cụ nào đều tiêu tốn một chi phí nhất định, đồng thời sự kiện này có thể xảy ra
bất kì lúc nào, trước hoặc sau khi máy bị hỏng (cũng là ngẫu nhiên).
Tổng quát hơn, chi phí thay đổi (hồi phục) sự kiện không những chỉ là âm (mất đi) mà còn
có thể là dương (nhận thêm vào).

3

Xem phụ lục.

4


Vì vậy, quá trình hồi phục có thể được tổng quát hóa thêm một bước bằng cách đưa vào
khái niệm về chi phí hồi phục sự kiện (hoàn lại – reward) và ta gọi nó là renewal reward
process.

2.1 Định nghĩa
Ta có

là một quá trình hồi phục với các điểm hồi phục là

Với một chuỗi biến ngẫu nhiên i.i.d.

có trung bình

.
[

]

, ta định nghĩa quá

trình hồi phục có hoàn lại như sau:

Quá trình này chỉ ra mức chi phí đạt được cho tới thời điểm đang xét.

Không chỉ được sử dụng để mô tả về việc sử dụng và thay thế máy móc, quá trình hồi phục
có hoàn lại còn có thể mô tả quá trình sản xuất sản phẩm, trong đó thời gian cần thiết để
cho ra một sản phẩm là ngẫu nhiên. Nếu sản phẩm đó đạt chuẩn thì nó sẽ trả về cho nhà
sản xuất một khoản thưởng (
để tiêu hủy nó (

dương) còn nếu nó hỏng thì nhà sản xuất phải mất chi phí

âm). Quá trình hồi phục có hoàn lại trong trường hợp này sẽ chỉ ra được

mức lợi nhuận mà nhà sản xuất đạt được sau một thời gian cho trước.

2.2 Tính chất của quá trình hồi phục có hoàn lại
2.2.1 Strong Law of Large Number (SLLN - Luật số lớn)
Vẫn với thời gian sống trung bình
[ ], ta có:

5


4

Tính chất này chỉ ra lượng chi phí hoàn lại trung bình trong thời gian dài (long run) bằng .
2.2.2
Với

Elementary theorem (Định lí cơ bản)
[ ], ta có:

3 Minh họa với Matlab
Qua việc nghiên cứu quá trình hồi phục và quá trình hồi phục có hoàn lại, ta thấy dạng của
đồ thị là một hình bậc thang với các bước có độ dài ngẫu nhiên. Vì vậy để minh họa, ta cần
phải thực hiện các bước sau.
i.

Sinh chuỗi số ngẫu nhiên có chung hàm phân phối.

ii.

Sử dụng chuỗi đã sinh để tính lại độ dài bậc thang theo định nghĩa của quá trình hồi
phục.

iii.

Sử dụng công cụ vẽ đồ thị dạng bậc thang của phần mềm minh họa.

Để thực hiện các bước này, phần mềm Matlab có các hàm hỗ trợ như sau:
Y = random(name,A,B,C,[m,n,...]) – tạo số random với phân phối “name” và các tham
số A, B, C trên ma trận cỡ mxnx…
B = cumsum(A) – tính tổng dọc theo mảng A
stairs(X,Y) – vẽ đồ thị dạng bậc thang với đầu vào là các ma trận X,Y

3.1 Minh họa quá trình hồi phục
Mã Matlab
num = 1; % số lượng quá trình hồi phục cần minh họa
maxtime = 10; % thời điểm tối đa được minh họa
% khởi tạo ma trận toàn 0 để tính toán và vẽ đồ thị dễ hơn
rntimes = zeros(1, num);
% tạo điểm hồi phục và ghi vào các cột của ma trận
% hàm random này cho các số ngẫu nhiên theo phân phối mũ có trung bình bằng 2
% hàm random này có thể thay thế bằng các hàm sinh số ngẫu nhiên dương khác
i = 1;
while (min(rntimes(i, :))<=maxtime)
rntimes = [rntimes; rntimes(i, :)+random('exp',2,[1, num])];
i = i+1;
4

With probability 1: với xác suất bằng 1

6


end;
% tìm các điểm phục hồi vượt quá maxtime và gán lại bằng maxtime
ex_i = find(rntimes>maxtime);
rntimes(ex_i) = maxtime;

% khởi tạo các bước nhảy của quá trình hồi phục và đưa vào các cột ma trận
rncount = [zeros(1, num); ones(size(rntimes, 1)-1, num)];
% đặt lại giá trị đếm của các điểm vượt quá bằng 0
rncount(ex_i) = 0;
% cộng lại các giá trị đếm và vẽ đồ thị
rncount = cumsum(rncount);
stairs(rntimes, rncount);

Kết quả

3.2 Minh họa quá trình hồi phục có hoàn lại
Mã Matlab
num = 1; % số lượng quá trình hồi phục cần minh họa
maxtime = 10; % thời điểm tối đa được minh họa
% khởi tạo ma trận toàn 0 để tính toán và vẽ đồ thị dễ hơn
rntimes = zeros(1, num);
% tạo điểm hồi phục và ghi vào các cột của ma trận
% hàm random này cho các số ngẫu nhiên theo phân phối mũ có trung bình bằng 2
% hàm random này có thể thay thế bằng các hàm sinh số ngẫu nhiên dương khác
i = 1;
while (min(rntimes(i, :))<=maxtime)
rntimes = [rntimes; rntimes(i, :)+random('exp',2,[1, num])];

7


Edited with the trial version of
Foxit Advanced PDF Editor
To remove this notice, visit:
www.foxitsoftware.com/shopping

i = i+1;
end;
% tìm các điểm phục hồi vượt quá maxtime và gán lại bằng maxtime
ex_i = find(rntimes>maxtime);
rntimes(ex_i) = maxtime;
% khởi tạo các bước nhảy của quá trình và đưa vào các cột ma trận
rncount = [zeros(1, num); rand(size(rntimes, 1)-1, num)];
% đặt lại giá trị đếm của các điểm vượt quá bằng 0
rncount(ex_i) = 0;
% cộng lại các giá trị đếm và vẽ đồ thị
rncount = cumsum(rncount);
stairs(rntimes, rncount);

Kết quả

4 Bài tập ví dụ

8


Edited with the trial version of
Foxit Advanced PDF Editor
To remove this notice, visit:
www.foxitsoftware.com/shopping

4.1 Bài tập 1
4.1.1 Đề bài: Cho biến ngẫu nhiên X, Y tuân theo phân phối chuẩn đồng thời với các
tham số:
= 3;

= 4;

= 1;

= 2;

=

1
2

Tìm luật phân phối của f(y|x) và f(x|y).
4.1.2 Giải:
+ X, Y tuân theo phân phối chuẩn đồng thời nên có hàm mật độ đồng thời:
1
1
−
−
( , )=
exp −
+
2(1 − )
2
1−
( −

−2

)( −

+ Tính hàm mật độ biên: Đặt =
1

( )=

.

exp

2

=> 1 −

−( − )
+
2(1 − )
(

1

=

)

(



)

)

.

=

( −

)



= √2

.
1

( )=

, ta có:

2

)

2

Áp dụng tích phân: ∫

−

1−
(


. Suy ra:

exp −

√2

2

−
2

2

+ Từ đó có các hàm mật độ biên:
( )=

( , )

=

( )=

( , )

=

1
√2
1
√2

exp −

( −
2

)

exp −

( −
2

)

+ Từ đó ta có các hàm mật độ có điều kiện:
( , )
1
( | )=
=
exp −
( )
2
1−

√2
( , )
1
( | )=
=
exp −
( )
2
1−
√2
Suy ra ( | )~ (
Và ( | )~ (
Thay số ta được:

+

+

( −
( −

);

);

(1 −

(1 −

1

(1 −

)

1
(1 −

)

ℎ

~ (

;

)

ℎ

~ (

;

)

−

−

( −

)

−

−

( −

)

))

))

( | )~ ( + 1; 3) ( | )~ ( + 2; )

9


Edited with the trial version of
Foxit Advanced PDF Editor
To remove this notice, visit:
www.foxitsoftware.com/shopping

4.2 Bài tập 2
4.2.1 Đề bài: 2 biến x và y không tương quan và  x   y   . Biểu diễn nếu
z  x  jy thì:

f z  z   f  x, y  

 z 
 x2  y2 
1
exp
exp   2 


2
2
2
2
 2   z
 z 
1

2
 1

 1
 z     exp   2u 2   2 v 2    exp    z2  
 2

 4


Khi   u  jv . Đây là dạng vô hướng của công thức (8-62)
4.2.2 Bài làm:
+Do x và y là 2 biến ngẫu nhiên không tương quan nên với z  x  jy thì phương sai
của z là:

 z2   x2   y2  2 2
2

Ngoài ra z  x 2  y 2 ⇔ z  x 2  y 2

(1)

(2)

+Hàm đặc trưng của biến z là:
 z2
fz  z  
exp   2 
 z 
 z2


1

(3)

Thay (1) và (2) vào (3), ta được:
 z2 
 x2  y2 
1
fz  z  
exp   2  
exp  

2

  z  2 2
 z2
 2 


1

+Mặt khác: Gọi véc-tơ ngẫu nhiên X   x, y 
Ta có hàm mật độ của X là:
 x2  y 2 
f  X   f  x, y  
exp  

2
2 2
 2 
1

+Như vậy: f z  z   f  x, y  .
10


Edited with the trial version of
Foxit Advanced PDF Editor
To remove this notice, visit:
www.foxitsoftware.com/shopping

+Ta có:   u  jv ⇒   u 2  v 2 ⇔  2  u 2  v 2 (4)
+Ta có hàm:
2

 1
 z     exp   z2   (5)
 4


Thay (1) và (4) vào (5) ta được:
 1

 z     exp    2  u 2  v 2  
 2

 1

  z     exp    2u 2   2 v 2  
 2


11


Phụ lục
Chuỗi ngẫu nhiên i.i.d. (Independent, identically distributed)
Là một chuỗi các số ngẫu nhiên hoặc một chuỗi các biến ngẫu nhiên có chung hàm phân phối
và độc lập đối với nhau.

Luật số lớn (Strong Law of Large Numbers)
Với

là một chuỗi biến ngẫu nhiên i.i.d thì:
∑

[ ]

w. p.1 = với xác suất bằng 1
Chỉ ra rằng khi thực hiện một phép thử càng nhiều lần thì trung bình cộng các giá trị đo được
càng tiến đến gần với trung bình của sự kiện ngẫu nhiên.

12


Tài liệu tham khảo
Geiger, Jochen. 2007. Applied Stochastic Processes. 2007.
Jun, C H. 2002. Chapter 3 Renewal Theory. 2002.
Kaj, Ingemar and Gaigalas, Raimundas. Renewal processes. Department of Mathematics.
[Online] Uppsala University. />Kapodistria, Stella and Resing, Jacques. 2012. Renewal theory and its application. TU/e.
[Online] 2012.
Papoulis, Athanasios. 1991. Probability, Random Variables, and Stochastic Processes. s.l. :
McGraw-Hill, Inc., 1991. 0-07-048477-5.
Wikipedia. Law of large numbers. Wikipedia. [Online]
/>—. Poisson process. Wikipedia. [Online] />—. Renewal Theory. Wikipedia. [Online] />
13