Luận văn Thạc sĩ - Chưa phân loại | Hanoi University of Science, VNU

THÔNG TIN VỀ LUẬN VĂN THẠC SĨ
1.
3.
5.
6.
7.

Họ và tên học viên: Phạm Thị Hoa
2. Giới tính: Nữ
Ngày sinh: 07/7/1986
4. Nơi sinh: Văn Lâm - Hưng Yên
Quyết định công nhận học viên số: , ngày tháng năm
Các thay đổi trong quá trình đào tạo: Không có
Tên đề tài luận văn:

“Một số tiêu chuẩn lựa chọn mô hình”
8. Chuyên ngành: Lý thuyết xác suất và thống kê toán học
9. Mã số: 60 46 15
10. Cán bộ hướng dẫn khoa học: TS. Trần Mạnh Cường – Trường Đại học
Khoa học Tự nhiên- Đại học Quốc Gia Hà Nội
11. Tóm tắt các kết quả của luận văn:
Lựa chọn mô hình là một bài toán cơ bản của thống kê cũng như nhiều ngành
khoa học khác như học máy, kinh tế lượng, ... Theo R. A. Fisher có 3 bài toán
chính trong thống kê suy luận và dự báo gồm
- Xác định mô hình
- Ước lượng tham số
- Dự báo
Trước những năm 1970 hầu hết các nghiên cứu tập trung vào hai bài toán
sau với giả thiết là mô hình đã biết. Sau khi xuất hiện công trình của Akaike
(1973) thì bài toán lựa chọn mô hình thu hút được sự quan tâm của cộng đồng
làm thống kê.

Với một bộ dữ liệu đưa ra, có thể đặt vào nó rất nhiều mô hình và với các
mô hình đưa ra, mô hình nào là tốt nhất? Để trả lời cho câu hỏi trên, người
ta đã đưa ra các tiêu chuẩn thông tin để lựa chọn mô hình phù hợp như tiêu
chuẩn thông tin của Akaike (AIC) và tiêu chuẩn thông tin Bayesian (BIC)...
Việc lựa chọn một mô hình phù hợp là trung tâm cho tất cả các công tác thống
kê với dữ liệu. Lựa chọn các biến để sử dụng trong một mô hình hồi quy là một
trong những ví dụ quan trọng. Luận văn của tôi trình bày hai tiêu chuẩn thông
tin quan trọng đó là tiêu chuẩn thông tin của Akaike và tiêu chuẩn thông tin
Bayesian. Luận văn được chia làm ba chương
Chương 1. Kiến thức chuẩn bị
1.1.Lượng thông tin Fisher
Định nghĩa lượng thông tin Fisher và đưa ra ví dụ.
1


1.2. Ước lượng hợp lý cực đại
Định nghĩa ước lượng hợp lý cực đại, phương pháp tìm ước lượng hợp lý cực đại
và ví dụ.
1.3. Hồi quy tuyến tính
Giới thiệu mô hình hồi quy tuyến tính cổ điển, phương pháp ước lượng bình
phương cực tiểu, tính chất ước lượng bằng phương pháp bình phương cực tiểu.
1.4. Hồi quy Poisson
Giới thiệu về mô hình hồi quy Poisson.
1.5. Hồi quy logistic
Giới thiệu về mô hình hồi quy logistic.
Chương 2. Một số tiêu chuẩn lựa chọn mô hình
2.1. Tiêu chuẩn thông tin Akaike
2.1.1. Khoảng cách Kullback- Leibler
Trình bày định nghĩa và tính chất của khoảng cách Kullback- Leibler.
2.1.2. Ước lượng hợp lý cực đại và khoảng cách Kullback- Leibler

Trình bày mối liên hệ giữa ước lượng hợp lý cực đại và khoảng cách KullbackLeibler trong cả hai trường hợp độc lập cùng phân bố và trường hợp hồi quy.
2.1.3. Định nghĩa AIC
Đối với một mô hình tham số M, tiêu chuẩn thông tin Akaike(AIC) được xác
định như sau:
ˆ − 2length(θ) = 2
AIC(M ) = 2 n (θ)

n,max

− 2length(θ),

ở đó length(θ) là số các tham số ước lượng trong mô hình, n,max là cực đại của
loga hàm hợp lý.
2.1.4. AIC và khoảng cách Kullback- Leibler
Phần này chỉ ra tại sao công thức của AIC cho cả hai trường hợp độc lập cùng
phân bố và mô hình hồi quy có dạng:
ˆ − 2length(θ) = 2
AIC(M ) = 2 n (θ)

n,max

− 2length(θ),

2.1.5. Tiêu chuẩn Takeuchi
Phần này trình bày tiêu chuẩn Takeuchi trong trường hợp không muốn giả định
rằng mô hình sử dụng bằng mô hình thật.
Takeuchi (1976) đã đề nghị một tiêu chuẩn thông tin như sau:
ˆ − 2pˆ∗ ,
TIC = 2 n (θ)

ˆ
với pˆ∗ = Tr(Jˆ− 1 K)
2

(1)


2.1.6. AIC hiệu chỉnh cho hồi quy tuyến tính
Trình bày sự sửa đổi kích thước mẫu của AIC trong mô hình hồi quy tuyến tính
để được AICc và AICc∗ .
2.2. Tiêu chuẩn thông tin Bayesian(BIC)
2.2.1. Nguồn gốc của BIC
Phần này trình bày xác suất hậu nghiệm của một mô hình và nguồn gốc của
BIC, BIC ∗ , BIC exact .
2.2.2. Định nghĩa BIC
Tiêu chuẩn thông tin Bayesian của Schwarz (1978) và Akaike (1977, 1978) đã
đưa đến dạng của một hình phạt loga hàm hợp lý. Cụ thể là,
ˆ − (logn)dim(M ),
BIC(M ) = 2 n (θ)

với dim(M) là số các tham số ước lượng trong mô hình và n là kích thước mẫu.
2.2.3. Ai là người viết ’The Quiet Don’ ?
Áp dụng mục 2.2.1 để tính giá trị BIC ∗ cho ba mô hình đưa ra M1 , M2 , M3 và
chọn ra mô hình thích hợp nhất.
Chương 3. Áp dụng
3.1. Giới thiệu về phần mềm R
3.2. Áp dụng với bộ số liệu
Đưa ra một bộ số liệu về bốn phép đo trên hộp sọ của người Ai Cập qua năm
khoảng thời gian khác nhau. Sử dụng phần mềm R tính giá trị AIC và BIC cho
năm mô hình ứng cử viên và lựa chọn ra mô hình tốt nhất.

12. Khả năng ứng dụng trong thực tiễn: không
13. Những hướng nghiên cứu tiếp theo: không
14. Các công trình đã công bố có liên quan đến luận văn: không
Ngày 27 tháng 2 năm 2013
Học viên
(Kí và ghi rõ họ tên)

Phạm Thị Hoa

3


INFORMATION ON MASTER’THESIS
1.
3.
5.
6.
7.

Full name: Pham Thi Hoa
2. Sex: female
Date of birth:07/7/1986
4. Place of birth: Van Lam – Hung Yen
Admission decision number:
Dated
Changes in academic process: no
Official thesis title:
“ Some of the model selection criteria”

8. Major: Probability theory and mathematical statistics

9. Code: 60 46 15
10. Supervisors: Dr. Tran Manh Cuong
11. Summary of the finding of the thesis:
Model selection is a fundamental problem of statistics as well as other sciences, such as machine learning, econometrics, . . . According to R.A. Fisher,
there are three main problems in statistical inference and forecasting:
- Model specification
- Estimation of model parameters
- Prediction
Before the 1970s most of the researches focused focuses on the two last problems with the assumption that the model has been known. After the appearance
of Akaike’s work (1973), the model selection problem attracted the attention of
the statistical community.
Given a data set, can be put on it so many models and models made, what is
the best model? To answer that question, they came up with the criterion information to select appropriate model as the Akaike’s information criteria (AIC)
and Bayesian information criteria (BIC). . . Choosing a suitable model is central
to all statistical work with data. Selecting the variables for use in a regression
model is one important example. My thesis presents two important information
criteria, they are Akaike’s information criterion and Bayesian information criterion. The thesis is divided into three chapters
Chapter 1. Prepared knowledge
1.1.Fisher information
The definition of the Fisher information and examples
1.2.Maximum likelihood estimate
The definition of the maximum likelihood estimate, methods of finding the maximum likelihood estimate and example.
4


1.3. Linear regression
Introduction to the classical linear regression model, method of the minimum
square estimate, the properties of method of the minimum square estimate.
1.4.Poisson regression
Introduction to Poisson regression model.

1.5. Logistic regression
Introduction to the logistic regression model.
Chapter 2. Some of the model selection criterion
2.1. Akaike information criteria
2.1.1. Kullback-Leibler distance
The definition and properties of the Kullback –Leibler distance.
2.1.2. Maximum likelihood estimator and Kullback-Leibler distance
The relationship between the maximum likelihood estimate and Kullback-Leibler
distance in both cases identical independent distribution and regression.
2.1.3. AIC definition
For a parametric model M, Akaike information criterion (AIC) is defined as follows:
ˆ − 2length(θ) = 2
AIC(M ) = 2 n (θ)

n,max

− 2length(θ),

where length(θ) is number of parameters in model, n,max is maximum of loglikelihood function.
2.1.4. AIC and Kullback-Leibler distance
This section indicates why AIC formula for both identical independent distribution and regression model as follows:
ˆ − 2length(θ) = 2
AIC(M ) = 2 n (θ)

n,max

− 2length(θ),

2.1.5.Takeuchi criterion
This section presents Takeuchi criterion in case one does not want to make the

assumption that the model used is the true model.
Takeuchi (1976) has proposed information a criterion as follows:
ˆ − 2pˆ∗ ,
TIC = 2 n (θ)

ˆ
with pˆ∗ = Tr(Jˆ− 1 K)

2.1.6. Corrected AIC for linear regression
Presenting sample size modifications of AIC in linear regression model to be
AICc and AICc∗ .
5


2.2.Bayesian information criterion (BIC)
2.2.1. Derivation of the BIC
This section presents posterior probability of a model and derivation of the BIC,
BIC ∗ , BIC exact .

2.2.2. BIC definition
Schwarz’s Bayesian information criterion (1978) and Akaike (1977, 1978) led to
a form of a penalised log- likelihood function. Namely,
ˆ − (logn)dim(M ),
BIC(M ) = 2 n (θ)

With dim(M) being the number of parameters estimated in the model, and n
the sample size of the data.
2.2.3. Who wrote ‘ The Quiet Don‘ ?
Applying the section 2.2.1 to calculate the BIC ∗ values for the three given models M1, M2, M3 and select the most appropriate model.
Chapter 3. applying

3.1. Introduction of the software R
3.2. Applied to data set
Given a data set of four measurements on skulls of Egyptians through five different time. Using software R to calculate the AIC and BIC values for five candidate
models and select the best model.
12. Practical applicability: no
13. Further research directions: no
14. Thesis-related publications: no
Date:27/2/2013
Signature:

Full name: Pham Thi Hoa

6