Nghiên cứu bayesian knowledge tracing xây dựng hệ thống trắc nghiệm thích nghi (tt)

ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC BÁCH KHOA

PHẠM NGỌC QUÝ

NGHIÊN CỨU BAYESIAN KNOWLEDGE TRACING
XÂY DỰNG HỆ THỐNG TRẮC NGHIỆM THÍCH NGHI

C
C
R
UT.L

D

Chun ngành: Khoa Học Máy Tính
Mã số: 60.48.01.01

TĨM TẮT LUẬN VĂN THẠC SĨ

Đà Nẵng, 01/2021



Cơng trình được hồn thành tại
TRƯỜNG ĐẠI HỌC BÁCH KHOA - ĐẠI HỌC ĐÀ NẴNG

Người hướng dẫn khoa học: TS. ĐẶNG HOÀI PHƯƠNG
Phản biện 1: TS. NINH KHÁNH DUY
Phản biện 2: TS. TRẦN THẾ VŨ

C
C
R
UT.L

Luận văn sẽ được bảo vệ trước Hội đồng chấm Luận văn tốt
nghiệp Thạc sĩ kỹ thuật chuyên ngành Khoa học máy tính họp

D

tại Trường Đại học Bách khoa – Đại học Đà Nẵng ngày 23
tháng 01 năm 2021.

Có thể tìm hiểu luận văn tại:
- Trung tâm Học liệu, Đại học Đà Nẵng tại Trường Đại học
Bách khoa;
- Thư viện Khoa Công nghệ thông tin, Trường Đại học Bách
khoa – Đại học Đà Nẵng.



1

MỞ ĐẦU
1. Tổng quan về đề tài
Hiện nay các hình thức kiểm tra, đánh giá truyền thống trong hoạt
động dạy - học nặng về đánh giá khả năng ghi nhớ, trình bày lại những
nội dung mà người dạy truyền thụ kiến thức đã và đang bộc lộ nhiều
hạn chế về khả năng vận dụng linh hoạt - sáng tạo các kiến thức của
người học trong các tình huống thực tế. Ở nhiều nước trên thế giới đã

nghiên cứu và vận dụng các phương pháp đánh giá bằng các trắc
nghiệm. Các bộ trắc nghiệm được nghiên cứu thử nghiệm cho từng
loại hình dạy - học với nhiều mục đích khác nhau như: trắc nghiệm trí
thơng minh IQ, trắc nghiệm kiểm tra tiếng Anh TOEFL, trắc nghiệm

C
C
R
UT.L

kiểm tra luật giao thông, v.v... Trên thế giới hiện nay có các hình thức
trắc nghiệm như: trắc nghiệm chủ quan (Subjective test), trắc nghiệm

D

khách quan (Objective test) và trắc nghiệm thích nghi (Adaptive test).
Tất cả các hình thức trắc nghiệm này đều nhằm mục đích đánh giá
trình độ, năng lực cũng như kết quả học tập của người học nhưng mỗi
hình thức có các phương pháp tiến hành và hiệu quả mang lại khác
nhau. Một số nghiên cứu gần đây đã chỉ ra rằng xu hướng chủ yếu là
ứng dụng trắc nghiệm thích nghi (TNTN) trong việc đánh giá kiến
thức, nhận thức và kỹ năng của người học, đặc biệt là mơ hình TNTN
trên máy tính.
Hầu hết các hệ thống TNTN hiện nay thường sử dụng Lý thuyết
đáp ứng câu hỏi (Item Theory Response - IRT) để đánh giá mức độ
năng lực người học. IRT cho phép đánh giá mức độ năng lực người
học dựa vào xác xuất trả lời đúng câu hỏi với tập hợp tham số câu hỏi
trắc nghiệm. Như vậy, có thể thấy mơ hình TNTN trên cơ sở IRT cho

2

phép đánh giá, phân loại người học trên toàn miền kiến thức hay nói
cách khác là chỉ cho phép đánh giá theo chiều ngang đối với miền kiến
thức cần đánh giá.
Tuy nhiên hiện nay, với sự phát triển của các hệ thống đào tạo
điện tử, thì các hệ thống học tập (gia sư) thông minh cũng đang được
phát triển trên cơ sở Bayesian Knowledge Tracing (BKT). Các hệ
thống này cho phép đánh giá mức độ kiến thức, kỹ năng của người học
đối với từng phân vùng kiến thức nhỏ nhưng lại khơng tính tốn đến
mức độ năng lực người học trên tồn miền kiến thức (đánh giá theo
chiều sâu).
Do đó vấn đề đặt ra là làm sao xây dựng được hệ thống TNTN

C
C
R
UT.L

cho phép đánh giá theo chiều ngang lẫn chiều sâu nhằm mang lại thông
tin tối đa về hoạt động học của người học, từ đó nâng cao hiệu quả của

D

quá trình đào tạo. Trong luận văn, tác giả đề xuất mơ hình TNTN cải
tiến kết hợp giữa BKT & IRT để giải quyết vấn đề nêu trên.
2. Mục đích và ý nghĩa của đề tài
2.1. Mục đích
− Phân tích mơ hình TNTN trên cơ sở Lý thuyết đáp ứng câu hỏi
(Item Theory Response);

− Đề xuất cải tiến mô hình TNTN sử dụng BKT & IRT.
2.2. Ý nghĩa khoa học và thực tiễn của đề tài
− Ý nghĩa khoa học: Xây dựng mơ hình TNTN kết hợp BKT và
IRT;
− Phát triển hệ thống Website thi trắc nghiệm hỗ trợ triển khai
mơ hình TNTN đề xuất đối với học phần Lập trình hướng đối


3

tượng của Khoa Công nghệ Thông tin, trường Đại học Bách khoa
– Đại học Đà Nẵng.
2.3. Mục tiêu
Mục tiêu chính của đề tài là xây dựng mơ hình TNTN hỗ trợ các
hệ thống học tập thông minh. Để thoả mãn mục tiêu này thì cần đạt
được những mục tiêu cụ thể sau:
- Phân tích mơ hình TNTN áp dụng lý thuyết đáp ứng câu hỏi
để đánh giá mức độ năng lực thí sinh;
- Phân tích các hệ thống học tập thông minh sử dụng BKT để
đánh giá mức độ kiến thức, kỹ năng của người học;
- Phân tích bài tốn đặt ra: xây dựng mơ hình TNTN kết hợp

C
C
R
UT.L

BKT và IRT cho phép đánh giá mức độ kiến thức, năng lực của
thí sinh theo chiều ngang và chiều sâu;

D

- Phát triển hệ thống trắc nghiệm trên cơ sở mơ hình đề xuất.
2.4. Nhiệm vụ
Để đạt được những mục tiêu trên thì nhiệm vụ đặt ra của đề tài là:
- Nghiên cứu IRT & BKT;
- Phân tích vấn đề đặt ra & đề xuất phương pháp giải quyết;
- Xây dựng hệ thống ứng dụng trên cơ sở mơ hình, phương pháp
đề xuất & triển khai thực tế;
- Đánh giá kết quả theo yêu cầu của đề tài.


4

3. Đối tượng và phạm vi nghiên cứu
3.1. Đối tượng nghiên cứu
Đề tài tìm hiểu về các mơ hình trắc nghiệm thích nghi, các mơ
hình xây dựng hệ thống học tập thơng minh. Từ đó dựa trên cơ sở
BKT & IRT để xây dựng mơ hình TNTN.
3.2. Phạm vi nghiên cứu
Phạm vi nghiên cứu: Đề tài sử dụng BKT & IRT làm cơ sở để
xây dựng mơ hình TNTN cho học phần Lập trình hướng đối tượng
khoa Cơng nghệ Thơng tin, trường Đại học Bách khoa – Đại học Đà
Nẵng.

C
C
R
UT.L

4. Phương pháp nghiên cứu

4.1. Phương pháp lý thuyết

D

Phân tích và đánh giá các mơ hình, thuật tốn và hệ thống TNTN
hiện có và khả năng ứng dụng đối với các hệ thống e-learning, đồng
thời đề xuất mơ hình TNTN cải tiến giải quyết vấn đề đặt ra.
4.2. Phương pháp thực nghiệm
Để xây dựng được hệ thống TNTN dựa trên mô hình đề xuất cần
thực hiện các vấn đề sau:
- Xây dựng ngân hàng câu hỏi đủ lớn để làm dữ liệu đầu vào
cho hệ thống đồng thời xây dựng được cấu trúc kiến thức học
phần Lập trình hướng đối tượng;
- Phân tích, thiết kế và xây dựng hệ thống trắc nghiệm trên cơ
sở mơ hình đã đề xuất;
- Triển khai và đánh giá hệ thống.


5

5. Kết luận
5.1. Kết quả của đề tài
- Xây dựng mơ hình TNTN cải tiến dựa trên BKT & IRT;
- Áp dụng mơ hình đã xây dựng để tạo một hệ thống trắc nghiệm
và triển khai đánh giá kết quả cho học phần Lập trình hướng đối
tượng, trường Đại học Bách khoa – Đại học Đà Nẵng.
5.2. Hướng phát triển của đề tài
- Hồn thiện các mơ hình TNTN khác trên cùng một hệ thống

để có thể đánh giá hiệu quả của các mơ hình;
- Phát triển hệ thống trắc nghiệm phục vụ số lượng người dùng
lớn cùng lúc;

C
C
R
UT.L

- Nghiên cứu giải pháp cho phép hệ thống tự động điều chỉnh
cấu trúc kiến thức phù hợp với từng người học.

D

6. Bố cục của luận văn

Luận văn bao gồm các nội dung sau:
Mở đầu
Chương 1: CƠ SỞ LÝ LUẬN VÀ THỰC TIỄN
Chương 2: XÂY DỰNG MƠ HÌNH TRẮC NGHIỆM THÍCH
NGHI
Chương 3: PHÂN TÍCH THIẾT KẾ VÀ TRIỂN KHAI HỆ
THỐNG
Kết luận và hướng phát triển.


6

Chương 1: SƠ SỞ LÝ LUẬN VÀ THỰC TIỄN
Chương này giới thiệu về các hệ thống TNTN phổ biến hiện nay

và Lý thuyết đáp ứng câu hỏi áp dụng trong các hệ thống này. Đồng
thời phân tích mơ hình BKT áp dụng trong các hệ thống học tập thông
minh để đánh giá kỹ năng, kiến thức của người học. Phân tích ưu,
nhược điểm của 2 mơ hình này trong thực tế hiện tại, đưa ra vấn đề
cần giải quyết là xây dựng mơ hình TNTN theo cả chiều rộng lẫn chiều
sâu kiến thức.
1.1 TỔNG QUAN TRẮC NGHIỆM THÍCH NGHI
Ta có thể xem TNTN như là một thuật toán lặp với thơng số đầu
vào là ước tính ban đầu về mức độ năng lực của thí sinh, thuật tốn

C
C
R
UT.L

được bao gồm các bước sau:

- Bước 1. Tất cả các câu hỏi chưa được hệ thống lựa chọn sẽ là

D

câu hỏi ứng cử cho lựa chọn tiếp theo (dựa vào trình độ năng lực
hiện tại của thí sinh);
- Bước 2. Câu hỏi tiếp theo phù hợp với năng lực hiện tại của
thí sinh được đưa ra và thí sinh trả lời câu hỏi đó;
- Bước 3. Theo kết quả câu trả lời của thí sinh, một ước lượng
mới của mức độ năng lực được tính tốn;
- Bước 4. Quay lại Bước 1 nếu các điều kiện dừng của TNTN
xác định chưa thỏa mãn.

7

C
C
R
UT.L

D

Hình 1.1. Thuật tốn trắc nghiệm thích nghi
1.2. MƠ HÌNH TRẮC NGHIỆM THÍCH NGHI TRÊN CƠ SỞ
LÝ THUYẾT ĐÁP ỨNG CÂU HỎI (ITEM RESPONSE
THEORY)
Hiện nay có 3 mơ hình tính toán phổ biến trong lý thuyết đáp ứng
câu hỏi, các mơ hình này được phân loại theo số tham số đặc trưng mà
nó sử dụng [5]: mơ hình 1 tham số (1PM), mơ hình 2 tham số (2PM)
và mơ hình 3 tham số Birnbaum (3PM). Cả ba mơ hình được thể hiện
chung qua công thức (1.1), được gọi là đường cong đặc trưng câu hỏi
(Item Characteristic Curve - ICC):
𝑃 (𝜃) = 𝑐 + (1 − 𝑐)

1
1+

𝑒 ,-./0(1,2)

(1.1)

8

Trong đó:
- a là tham số độ phân biệt của câu hỏi (discrimination), nó cho
biết mức độ phân biệt của các thí sinh có năng lực trên mức năng
lực trung bình hoặc các thí sinh có năng lực dưới mức năng lực
trung bình;
- b là tham số độ khó của câu hỏi;
- c là tham số độ dự đoán (guessing) của câu hỏi, tham số này
cho biết trong trường hợp thí sinh có mức năng lực thấp nhất vẫn
có thể trả lời đúng một câu hỏi với một xác suất nào đó. Độ dự
đốn là một hằng số đối với mỗi câu hỏi, nó được giả thiết là
khơng biến đổi theo mức năng lực thí sinh, 1 < c < 0;
- θ là biến số biểu thị năng lực của thí sinh (ability);

C
C
R
UT.L

- P(θ) là xác suất để thí sinh có năng lực θ trả lời đúng câu hỏi.

D

Trong mơ hình hệ thống TNTN dựa trên cơ sở lý thuyết IRT, năng
lực của thí sinh sau mỗi lần trả lời câu hỏi là:
𝜃34- = 𝜃3 +

∑3478- 𝑆7 (𝜃3 )
(1.2)

∑3478- 𝐼7 (𝜃3 )

Trong đó:
- 𝜃3 : năng lực hiện tại của thí sinh;
- 𝜃34- : năng lực mới của thí sinh sau khi trả câu hỏi thứ N với
năng lực hiện tại 𝜃3 ;
- i: câu hỏi thứ i trong danh sách các câu hỏi mà thí sinh đã trả
lời;
- 𝐼7 (𝜃3 ): hàm thông tin của câu hỏi i đáp ứng cho thí sinh có
năng lực 𝜃3 , được tính theo công thức sau:


9

𝐼7 (𝜃3 ) =

𝑃7; (𝜃3 )<
(1.3)
𝑃7 (𝜃3 )(1 − 𝑃7 (𝜃3 ))

+ 𝑃7 (𝜃3 ) là xác suất để thí sinh có năng lực 𝜃3 trả lời đúng
câu hỏi thứ i;
+ 𝑃7; (𝜃3 ) là đạo hàm cấp 1 của 𝑃7 (𝜃3 ).
- 𝑆7 (𝜃3 ) được tính bởi cơng thức sau:
𝑆7 (𝜃3 ) = >𝑢7 − 𝑃(𝜃3 )@

𝑃 ; (𝜃7 )
(1.4)
𝑃7 (𝜃3 )>1 − 𝑃7 (𝜃3 )@

+ Với 𝑢7 là đáp án câu hỏi thứ i (nhận giá trị nhị phân 0
hoặc 1).

C
C
R
UT.L

1.3. BAYESIAN KNOWLEDGE TRACING

D

Có bốn loại tham số được sử dụng trong BKT:

- P(L0): xác suất ban đầu của việc biết kiến thức;
- P(T): xác suất thí sinh chuyển từ trạng thái chưa biết sang
trạng thái đã biết đối với một kiến thức;
- P(S): xác suất thí sinh để mắc lỗi khi áp dụng một kiến thức
đã biết;
- P(G): xác suất áp dụng chính xác một kiến thức chưa được
biết đến.
Mơ hình trắc nghiệm với BKT được mơ tả như sau: Xác suất
ban đầu của thí sinh u biết được kiến thức k được đặt thành tham số
P(L0):
𝑃(𝐿- )DC = 𝑃(𝐿E )C (1.5)


10

Tùy thuộc vào việc thí sinh áp dụng kiến thức k đúng hay sai,

xác suất có điều kiện được tính như sau:
𝑃(𝐿G4- |𝑜𝑏𝑠 = 𝑐𝑜𝑟𝑒𝑐𝑡)CD
𝑃(𝐿G )CD (1 − 𝑃(𝑆)C )
=
(1.6)
𝑃(𝐿G )CD (1 − 𝑃 (𝑆)C ) + (1 − 𝑃(𝐿G )CD )𝑃(𝐺)C
𝑃(𝐿G4- |𝑜𝑏𝑠 = 𝑤𝑟𝑜𝑛𝑔)CD
=

𝑃(𝐿G )CD 𝑃(𝑆)C
(1.7)
𝑃(𝐿G )CD 𝑃(𝑆)C + (1 − 𝑃(𝐿G )CD )(1 − 𝑃 (𝐺 )C )

Xác suất có điều kiện ở trên được sử dụng để cập nhật xác suất
biết kiến thức:
𝑃(𝐿G4- )CD = 𝑃(𝐿G4- |𝑜𝑏𝑠)CD + >1 − 𝑃(𝐿G4- |𝑜𝑏𝑠)CD @𝑃(𝑇)C (1.8)

C
C
R
UT.L

Và để tính tốn xác suất thí sinh u áp dụng đúng kiến thức k
vào câu hỏi tiếp theo:

D

𝑃(𝐶G4- )CD = 𝑃 (𝐿G )CD >1 − 𝑃 (𝑆)C @ + >1 − 𝑃(𝐿G )CD @𝑃(𝐺)C (1.9)
1.4. MỘT SỐ CƠNG TRÌNH NGHIÊN CỨU ĐÃ CĨ
1.4.1. Modelling Student Knowledge as a Latent Variable in

Intelligent Tutoring Systems : A Comparison of Multiple
Approaches [12]
1.4.2. Learning meets Assessment: On the relation between
Item Response Theory and Bayesian Knowledge Tracing [13]
1.5. KẾT CHƯƠNG


11

Chương 2: XÂY DỰNG MƠ HÌNH
TRẮC NGHIỆM THÍCH NGHI
Chương này trình bày nội dung nghiên cứu chính của đề tài là xây
dựng mơ hình TNTN cải tiến dựa trên IRT & BKT.
2.1. ÁP DỤNG BAYESIAN KNOWLEDGE TRACING ĐỂ
ĐÁNH GIÁ MỨC ĐỘ KIẾN THỨC
Mơ hình BKT được mơ tả ở hình 2.1:

C
C
R
UT.L

D

Hình 2.1: Bayesion knowledge tracing
Trong đó:
- t là đỉnh kiến thức

- kt là biến tiềm ẩn mô tả mức độ kiến thức của thí sinh tại đỉnh
kiến thức đó (biết hoặc chưa biết)

- yt là kết quả câu trả lời trắc nghiệm của thí sinh (đúng hoặc
khơng đúng).
BKT là đại diện cho mơ hình Markov ẩn, vì trạng thái kiến thức
của thí sinh khơng được quan sát trong khi kết quả trả lời câu hỏi của
thí sinh được quan sát. Trong BKT, bốn tham số P(L0), P(T), P(G) và
P(S) cho mỗi đỉnh kiến thức được định nghĩa như sau:


12

already know

P(𝐿E ) ≝ 𝑃(𝑘E = 𝑡𝑟𝑢𝑒),(2.1)

learn

P(T) ≝ 𝑃 (𝑘G = 𝑡𝑟𝑢𝑒|𝑘G,- = 𝑓𝑎𝑙𝑠𝑒),(2.2)

guess

P(G) ≝ 𝑃 (𝑦G = 𝑡𝑟𝑢𝑒|𝑘G = 𝑓𝑎𝑙𝑠𝑒),(2.3)

slip

P(S) ≝ 𝑃(𝑦G = 𝑓𝑎𝑙𝑠𝑒|𝑘G = 𝑡𝑟𝑢𝑒),(2.4)

Mỗi đỉnh kiến thức đều có 4 tham số trên, theo mơ hình mạng
Bayes có thể tính tốn lại xác suất để cập nhật mức độ kiến thức của
thí sinh tại mỗi đỉnh kiến thức t sau mỗi câu hỏi như sau:
P(𝐿G = true|𝑦G = true)

=

𝑃(𝐿G )(1 − 𝑃 (𝑆))
(2.5)
𝑃 (𝐿G )>1 − 𝑃 (𝑆)@ + (1 − 𝑃(𝐿G ))𝑃(𝐺)

C
C
R
UT.L

P(𝐿G = true|𝑦G = false)

𝑃(𝐿G )𝑃(𝑆)
=
(2.6)
𝑃(𝐿G )𝑃(𝑆) + (1 − 𝑃(𝐿G ))(1 − 𝑃 (𝐺 ))

D

P(𝐿G4- = 𝑡𝑟𝑢𝑒) = 𝑃 (𝐿G |𝑦G ) + >1 − 𝑃 (𝐿G |𝑦G )@𝑃(𝑇)(2.7)
P(𝑦G4- = true) = P(𝐿G4- )>1 − P(S)@ + >1 − P(𝑃G4- )@P(G)(2.8)
2.2. ỨNG DỤNG IRT TRONG MƠ HÌNH TNTN
Mỗi đỉnh kiến thức sẽ bao gồm một tập hợp câu hỏi trắc nghiệm
liên quan đến đỉnh kiến thức đó. Để xác định xác suất thí sinh có biết
kiến thức tại đỉnh đó hay khơng ta áp dụng BKT, tuy nhiên vấn đề đặt
ra ở đây là trong mỗi đỉnh ta sẽ lựa chọn câu hỏi như thế nào để đưa
ra cho thí sinh một cách tốt nhất. Để đánh giá chính xác hơn sự phụ
thuộc của xác suất trả lời đúng câu hỏi vào tập hợp tham số của câu
hỏi thì cần bổ sung tham số độ dự đoán c.

13

Theo mơ hình 3 tham số của Birnbaum thì xác suất trả lời đúng
câu hỏi i của thí sinh j có năng lực 𝜃k được tính như sau:
P>ul = 1|θn , al , bl , cl @ = cl + (1 − cl )

1
,-./qr >st ,ur @

1+e

(2.9)

Trong đó:
- ui là kết quả đánh giá trả lời câu hỏi i (ui = 1 nếu trả lời đúng
câu hỏi thứ i và ui = 0 trong trường hợp ngược lại);
- ai, bi, ci là tập hợp các tham số của câu hỏi i: độ phân biệt, độ
khó và độ dự đốn của câu hỏi i;
- 𝜃k là mức độ năng lực hiện tại của thí sinh j.
Theo Birnbaum, mỗi câu hỏi trắc nghiệm cung cấp một lượng

C
C
R
UT.L

thơng tin nào đó về mức độ năng lực của thí sinh. Birnbaum đề xuất
hàm thơng tin Ii(θ) của câu hỏi i được tính tốn phụ thuộc vào năng

D

lực θ của thí sinh theo cơng thức sau:

<

>Pl ; (uw = 1|θ, al , bl , cl )@
Il (θ) =
(2.10)
Pl (uw = 1|θ, al , bl , cl )>1 − Pl (uw = 1|θ, al , bl , cl )@
Trong đó:
- Pl (uw = 1|θ, al , bl , cl ) là xác suất trả lời đúng câu hỏi i với tập
hợp tham số: ai, bi, ci;
- Pl (uw = 1|θ, al , bl , cl ) là đạo hàm bậc nhất của xác suất trả lời
đúng câu hỏi i theo mức độ năng lực;
Như vậy, trong bước thứ nhất, giá trị hàm thông tin Ii(θ) được tính
cho tập hợp các câu hỏi chưa đưa ra cho thí sinh. Phương pháp phổ
biến nhất trong việc lựa chọn câu hỏi tiếp theo phù hợp với mức độ
năng lực hiện tại của thí sinh là sử dụng hàm thơng tin lớn nhất.


14

Sau khi trả lời mỗi câu hỏi thì vấn đề đặt ra là làm sao đánh giá
lại mức độ năng lực của thí sinh vì giá trị mức độ năng lực mới này sẽ
được sử dụng để lựa chọn câu hỏi tiếp theo phù hợp với thí sinh. Sử
dụng phương pháp Maximum likelihood [9] để đánh giá mức độ năng
lực của thí sinh sau mỗi câu trả lời, tức là tìm một giá trị mức độ năng
lực mà hàm sau đây là tối đa:

f(u- , u< , … , uz , θ)
= Pl (u- = 1, θ){| . Pl (u- = 0, θ)-,{| . Pl (u<
= 1, θ){} . Pl (u< = 0, θ)-,{} … Pl (uz = 1, θ){~ . Pl (uz
= 0, θ)-,{~ → max
Hay nói cách khác:
z

C
C
R
UT.L

f(u- , u< , … , uz , θ) = ‚ Pl (uw , θ) → max
Trong đó:

D

w8-

- 𝑢- , 𝑢< , … , 𝑢ƒ là tập hợp câu trả lời của thí sinh đối với các câu
hỏi đã đưa ra;
- 𝑃7 (𝑢C , 𝜃) là xác suất trả lời đúng câu hỏi i của thí sinh có mức
độ năng lực θ.
Trắc nghiệm được bắt đầu với mức độ năng lực của thí sinh là θs,
ta có thể tiến hành đánh giá lại mức độ năng lực thí sinh sau khi trả lời
một câu hỏi θs+1 theo công thức sau:
θ„4- = θ„ +

∑l…z Sl (θ„ )
(2.11)

∑l…z Il (θ„ )

Trong đó:
- n là tập hợp bộ câu hỏi thí sinh đã trả lời;


15

- 𝑆7 (𝜃3 ) được tính theo cơng thức:
Sl (θ„ )
>ul − Pl (ul = 1|θ„ , al , bl , cl )@. Pl ; (ul = 1|θ„ , al , bl , cl )
=
(2.12)
P(ul = 1|θ„ , al , bl , cl )>1 − Pl (ul = 1|θ„ , al , bl , cl )@
+ Pl (ul = 1|θ„ , al , bl , cl ) và Pl ; (ul = 1|θ„ , al , bl , cl ) là xác
suất trả lời đúng câu hỏi i và đạo hàm bậc nhất tương ứng của
xác suất đó;
- 𝐼7 (𝜃3 ) là hàm thông tin câu hỏi
2.3. ƯỚC LƯỢNG THAM SỐ BKT VÀ IRT
2.3.1. Tính tốn tham số BKT sử dụng xác suất thực nghiệm
Bước đầu tiên trong xác suất thực nghiệm là xác định được tập

C
C
R
UT.L

hợp dữ liệu hiệu quả để đánh giá cho từng thí sinh trong mỗi đỉnh kiến
thức. Giả sử mức độ kiến thức là biết và không biết, và không cho

D

phép quên (trạng thái chưa biết khơng bao giờ có thể theo sau trạng
thái đã biết). Tác giả đề xuất sử dụng phương pháp heuristic đơn giản
[10] để xác định thời điểm thí sinh học một đỉnh kiến thức và lựa chọn
chuỗi câu hỏi phù hợp nhất.

Hình 2.2. Lựa chọn dữ liệu hiệu quả và Xác suất thực nghiệm


16

Bước tiếp theo: tính tốn xác suất cho các tham số trong mơ hình
BKT từ dữ liệu ban đầu. Tham số P(L0) là xác suất thí sinh biết trước
đỉnh kiến thức (trước khi bước vào quá trình đánh giá) được tính bằng
cách lấy giá trị trung bình của thí sinh trong trong lần trả lời đầu tiên
[11], với K là kết quả trả lời câu hỏi đầu tiên của các dữ liệu hiệu quả:
P(𝐿E ) =

∑ 𝐾E
(2.13)
|𝐾E |

Sử dụng 𝐾7 (mức độ kiến thức) và 𝐶7 (kết quả trả lời đúng câu
hỏi) của các dữ liệu hiệu quả làm cơ sở ta có thể tính tốn 03 tham số
cịn lại của mơ hình BKT như sau:
P(T) =

∑7‡E(1 − 𝐾7,- )𝐾7
(2.14)

∑7‡-(1 − 𝐾7,- )

C
C
R
UT.L

P(G) =

∑7 𝐶7 (1 − 𝐾7 )
(2.15)
∑7 (1 − 𝐾7 )

P(S) =

∑7(1 − 𝐶7 )𝐾7
(2.16)
∑7 𝐾7

D

2.3.2. Tính tốn tập tham số câu hỏi trắc nghiệm
Khi phân tích câu hỏi trắc nghiệm có 2 chỉ số cần quan tâm là độ
khó và độ phân biệt của câu hỏi trắc nghiệm.
Độ khó của câu hỏi trắc nghiệm là chỉ số đo nói lên chất lượng
của câu hỏi trắc nghiệm, có hiệu nghiệm trong việc phân tán, đánh giá
năng lực của thí sinh.
Theo lý thuyết trắc nghiệm cổ điển thì độ khó bi của câu hỏi trắc
nghiệm i là tỷ số phần trăm số thí sinh làm đúng câu hỏi trắc nghiệm
i trên tổng số thí sinh tham gia làm câu hỏi trắc nghiệm đó:

17

𝑏7 =

𝑁(2.17)
𝑁

Trong đó:
- N1: số thí sinh trả lời đúng câu hỏi trắc nghiệm i;
- N: tổng số thí sinh trả lời câu hỏi trắc nghiệm i.
Giá trị độ khó b có ý nghĩa quan trọng trong q trình phân tích
câu hỏi. Từ đó có thể thấy được mức độ phù hợp của câu hỏi trắc
nghiệm đó đối với nhóm thí sinh. Ngồi ra, giá trị b cịn giúp xác định
một số lỗi khác của câu hỏi trắc nghiệm để kịp thời điều chỉnh, sửa
đổi. Giá trị b cũng có thể cho thấy kết quả làm bài của các nhóm thí
sinh khác nhau. Có thể xác định độ khó bằng phương pháp thống kê.

C
C
R
UT.L

Dựa vào kết quả trắc nghiệm khách quan có thể phân chia thí sinh
thành 3 nhóm:

D

- Nhóm 1: là nhóm thí sinh giỏi (25% ÷ 27% thí sinh có kết quả

trắc nghiệm cao nhất);
- Nhóm 2: là nhóm thí sinh yếu (25% ÷ 27% thí sinh có kết quả
trắc nghiệm thấp nhất);
- Nhóm 3: là nhóm thí sinh trung bình (46% ÷ 50% thí sinh cịn
lại, khơng phụ thuộc vào 2 nhóm kia).
Khi đó độ khó câu hỏi trắc nghiệm i được tính như sau:
𝑏7 =

𝑁‰7 + 𝑁Š7
(2.18)
𝑁

Trong đó:
- NGi là số thí sinh thuộc nhóm giỏi trả lời đúng câu hỏi trắc
nghiệm i;


18

- NWi là số thí sinh thuộc nhóm yếu trả lời đúng câu hỏi trắc
nghiệm i;
- N là tổng số thí sinh tham gia trả lời câu hỏi trắc nghiệm i.
Một câu hỏi trắc nghiệm cần có khả năng phân biệt thí sinh có
các mức năng lực khác nhau như: giỏi, khá, trùng bình, yếu, … Khả
năng của câu hỏi trắc nghiệm thực hiện được sự phân biệt ấy được gọi
là độ phân biệt và được thể hiện thông qua tham số độ phân biệt
(discriminasion) của câu hỏi trắc nghiệm. Với câu hỏi trắc nghiệm có
độ phân biệt thì phản ứng của các thí sinh có mức độ năng lực khác
nhau đối với câu hỏi trắc nghiệm đó phải là khác nhau.
Độ phân biệt của câu hỏi i được tính như sau:

C
C
R
UT.L

𝑎7 =

D

𝑁‰7 − 𝑁Š7
(2.19)
(𝑁‰7 − 𝑁Š7 )‹0Œ

Trong đó: ai là độ phân biệt của câu hỏi i. Độ phân biệt của một
câu hỏi trắc nghiệm là chỉ số xác định chất lượng của câu trắc nghiệm,
có tác dụng phân loại các nhóm năng lực của thí sinh
2.4. KẾT CHƯƠNG


19

Chương 3: PHÂN TÍCH THIẾT KẾ
VÀ TRIỂN KHAI HỆ THỐNG
Chương này nhằm mục đích trình bày q trình xây dựng và triển
khai hệ thống Website trắc nghiệm trên cơ sở mơ hình đề xuất, tiến
hành triển khai hệ thống trắc nghiệm đã xây dựng trên một môn học
cụ thể.
3.1. PHÂN TÍCH CHỨC NĂNG CỦA HỆ THỐNG TRẮC
NGHIỆM

3.2. PHÂN TÍCH VÀ THIẾT KẾ HỆ THỐNG TRẮC NGHIỆM
3.2.1. Biểu đồ ca sử dụng của hệ thống

C
C
R
UT.L

3.2.2. Biểu đồ tuần tự của hệ thống

3.2.3. Biểu đồ hoạt động của hệ thống

D

3.3. THIẾT KẾ CƠ SỞ DỮ LIỆU

3.4. TRIỂN KHAI HỆ THỐNG TRẮC NGHIỆM THÍCH NGHI
Sau khi tiến hành chạy thử nghiệm hệ thống trên thực tế, ta thu
được các kết quả của 2 mơ hình như sau
Bảng 3.1: Bảng thay đổi năng lực thí sinh trong q trình thi bằng
IRT
Câu
Đỉnh kiến thức
θ
∆θ
Câu
Đỉnh kiến thức
θ
∆θ
Câu

1
1
1,00000
1,7884
6
2
2,5000
-0,0011
11

2
1
2,7884
-0,3408
7
2
2,4989
-0,0005
12

3
1
2,4476
0,5007
8
2
2,4984
0,0002
13

4
2
2,4977
0,0011
9
4
2,4986
0,0002
14

5
4
2,4988
0,0012
10
4
2,4988
0,5177x10 -6
15


20
Đỉnh kiến thức
θ
∆θ
Câu
Đỉnh kiến thức
θ
∆θ

1
2,4988
~0
16
2
2,4988
~0

3
2.5
2
1.5
1
0.5
0

1
2,4988
~0
17
2
2,4988
~0

1
2,4988
~0
18
4

2,4988
~0

2
2,4988
~0
19
4
2,4988
~0

2
2,4988
~0
20
4
2,4988
~0

Câu 1
Câu 2
Câu 3
Câu 4
Câu 5
Câu 6
Câu 7
Câu 8
Câu 9
Câu 10
Câu 11

Câu 12
Câu 13
Câu 14
Câu 15
Câu 16
Câu 17
Câu 18
Câu 19
Câu 20
Câu 21

C
C
R
UT.L

D

Sinh viên 1

Hình 3.1: Thay đổi năng lực của thí sinh trong q trình thi bằng
IRT
Bảng 3.2: Quá trình thay đổi năng lực và chuyển trạng thái của thí
sinh khi thi bằng phương pháp IRT + BKT
Câu
Đỉnh kiến thức
P(T)
P(L)
θ
∆θ

1
1
80%
40%
2,2318
1,4467

2
1
80%
60.23%
3,6785
-0,3211

3
1
80%
44.34&
3,3574
0,0066

4
1
80%
70.29%
3,3640
-0,0419

5

1
80%
76.83%
3,3221
0,0001


21
Câu
Đỉnh kiến thức
P(T)
P(L)
θ
∆θ
Câu
Đỉnh kiến thức
P(T)
P(L)
θ
∆θ
Câu
Đỉnh kiến thức
P(T)
P(L)
θ
∆θ

6
1
80%

82.11%
3,3222
0,5474x10 -6
11
3
80%
35.23%
1,2312
1,3015
16
3
80%
81.20%
2,4668
0,9823x10 -6

7
2
80%
33.33%
1,3463
-0,7120
12
3
80%
45.76%
2,5327
-0,1931
17
4

80%
30%
1,9879
0,1442

8
2
80%
50%
0,6343
1,5999
13
3
80%
55.23%
2,3396
0,1116
18
4
80%
55.22%
2,1321
0,5012

9
2
80%
68.2%
2,2342
0,0008

14
3
80%
61.56%
2,4512
0,01540
19
4
80%
65.67%
2,6333
0,0011

C
C
R
UT.L

D

10
2
80%
80.05%
2,2350
0,2441x10 -6
15
3
80%
72.14%

2,4666
0,0002
20
4
80%
81.10%
2,6344
0,4534x10 -6

Câu 1
Câu 2
Câu 3
Câu 4
Câu 5
Câu 6
Câu 7
Câu 8
Câu 9
Câu 10
Câu 11
Câu 12
Câu 13
Câu 14
Câu 15
Câu 16
Câu 17
Câu 18
Câu 19
Câu 20

4.0000
3.0000
2.0000
1.0000
0.0000

Đỉnh 1

Đỉnh 2

Đỉnh 3

Đỉnh 4

Hình 3.2: Thay đổi năng lực của thí sinh trong q trình thi bằng
IRT + BKT


22

Từ dữ liệu nhận được, ta thấy kết quả đánh giá của thí sinh ở 2
mơ hình gần như tương tự nhau. Tuy nhiên với mơ hình IRT, các câu
hỏi không trải dài trên tất cả các miền kiến thức, có đỉnh kiến thức xuất
hiện rất nhiều lần, và cũng có đỉnh khơng xuất hiện trong bài làm của
thí sinh. Khi có sự kết hợp với mơ hình BKT. Ta nhận thấy câu hỏi
trải điều tất cả các miền kiến thức, thí sinh được làm câu hỏi với đỉnh
kiến thức từ thấp đến cao. Mơ hình BKT kết hợp với IRT cịn cho thấy
năng lực cụ thể của thí sinh trong từng thành phần kiến thức.
3.5. KẾT CHƯƠNG

D

C
C
R
UT.L


23

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
1. KẾT QUẢ ĐẠT ĐƯỢC
Trong luận văn này, tác giả đã trình bày những kiến thức tổng quan
về trắc nghiệm thích nghi, lý thuyết đáp ứng câu hỏi, BKT. Nêu ra
những hạn chế mà các mơ hình trên chưa thể giải quyết. Đồng thời đề
xuất mơ hình TNTN kết hợp IRT và BKT để giải quyết các hạn chế
đưa ra.
Đề tài đã thực hiện xây dựng thành cơng mơ hình IRT kết hợp
BKT cho phép đánh giá theo mức độ kiến thức cũng như năng lực thí
sinh. Triển khai mơ hình trong thực tế với Học phần Lập trình hướng
đối tượng tại Khoa Cơng nghệ thông tin, trường Đại học Bách khoa –

C
C
R
UT.L

Đại học Đà Nẵng. So sánh kết quả đạt được giữa mơ hình đề xuất và
mơ hình TNTN trên cơ sở IRT.

D

Tuy nhiên mơ hình đề xuất vẫn cịn tồn tại một số hạn chế:
- Mơ hình chưa tính đến sự ảnh hưởng của câu hỏi với nhiều
đỉnh kiến thức khác nhau;
- Việc tính tốn các tham số trong mơ hình cần cải tiến, áp dụng
các phương pháp mới để nâng cao tính chính xác;
- Mơ hình miền kiến thức vẫn cịn bị ảnh hưởng của các yếu tố
chủ quan.