Ứng dụng mạng Bayes xây dựng hệ thống đánh giá mức độ kiến thức năng lực người học

1
ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC BÁCH KHOA

TRẦN THỊ TUYẾT MAI

ỨNG DỤNG MẠNG BAYES
XÂY DỰNG HỆ THỐNG ĐÁNH GIÁ MỨC ĐỘ
KIẾN THỨC NĂNG LỰC NGƯỜI HỌC

Chuyên ngành: Khoa học máy tính
Mã số

: 8480101

TÓM TẮT LUẬN VĂN THẠC SĨ
KHOA HỌC MÁY TÍNH

Đà Nẵng – Năm 2019


2
Công trình được hoàn thành tại
TRƯỜNG ĐẠI HỌC BÁCH KHOA

Người hướng dẫn khoa học: Tiến sĩ Đặng Hoài Phương

Phản biện 1: TS. Phạm Minh Tuấn
Phản biện 2: TS. Đậu Mạnh Hoàn

Luận văn sẽ được bảo vệ trước Hội đồng chấm Luận

văn tốt nghiệp thạc sĩ kỹ thuật họp tại Trường Đại học Bách
khoa vào ngày 25 tháng 8 năm 2019.

Có thể tìm hiểu luận văn tại:
− Trung tâm Học liệu, Đại học Đà Nẵng tại Trường Đại học
Bách khoa

− Thư viện Khoa công nghệ thông tin, Trường Đại
học Bách khoa – ĐHĐN

Đà Nẵng – Năm 2019


1
MỞ ĐẦU
1. Lý do chọn đề tài
Kiểm tra đánh giá kết quả học học tập của học sinh là một khâu có
vai trò quan trọng trong quá trình dạy học. Nó đảm bảo mối liên hệ
ngược trong quá trình dạy học bộ môn, giúp giáo viên điều chỉnh việc
dạy và học sinh kịp thời điều chỉnh việc học của mình.
Các phương pháp đánh giá truyền thống như: vấn đáp, tự luận,…
thường cho kết quả có độ chính xác không cao, tốn thời gian, không
khách quan và chỉ tập trung đánh giá được về mặt kiến thức, chưa chú
ý đến đánh giá năng lực của người học.
Một mô hình trắc nghiệm đã và đang được nghiên cứu hiện nay là
trắc nghiệm thích nghi (TNTN) trên máy tính (Computerized Adaptive
Testing - CAT). Mô hình này cho phép lựa chọn câu hỏi tiếp theo phù
hợp với mức kiến thức và năng lực hiện tại của thí sinh. Năng lực thí
sinh được cập nhật thường xuyên trong quá trình đánh giá và quá trình
đánh giá sẽ kết thúc khi đưa ra được chính xác mức kiến thức và năng

lực thực sự của thí sinh.
Ngày nay, với sự phát triển vượt bậc của khoa học máy tính nên
vấn đề triển khai các hệ thống TNTN dựa trên cơ sở các mô hình toán
học là hoàn toàn khả thi. Một số mô hình TNTN đã được nghiên cứu
và hiện thực hóa như: mô hình TNTN trên cơ sở lý thuyết đáp ứng câu
hỏi, mô hình TNTN trên cơ sở lôgic mờ, … Tuy nhiên các mô hình
TNTN kể trên vẫn còn tồn tại một số nhược điểm: chỉ đánh giá mức
độ năng lực của thí sinh theo chiều ngang kiến thức,…. Vì vậy tôi đề
xuất đề tài “Ứng dụng mạng Bayes xây dựng hệ thống đánh giá mức
độ kiến thức năng lực người học” để khắc phục các nhược điểm trên.


2
2. Mục đích và ý nghĩa đề tài
2.1. Mục đích
- Xây dựng mô hình trắc nghiệm thích nghi trên cơ sở Mạng
Bayes;
- Xây dựng hệ thống TNTN trên cơ sở mô hình đề xuất và triển
khai ứng dụng cho việc đánh giá kiến thức và kỹ năng môn Tin học lớp
11 của học sinh trường THPT Lê Quý Đôn - Quảng Bình.
- Góp phần vào hướng nghiên cứu mô hình thích nghi, đặc
biệt là TNTN nhằm ứng dụng cho thực tiễn giáo dục tại Việt Nam.
2.2. Ý nghĩa khoa học và thực tiễn của đề tài
- Mô hình TNTN đề xuất là sự kết hợp giữa hai lĩnh vực nghiên
cứu là trắc nghiệm thích nghi và lý thuyết mạng Bayes.
3. Mục tiêu và nhiệm vụ
3.1. Mục tiêu
- Xây dựng mô hình TNTN trên cơ sở mạng Bayes & IRT;
- Hiện thực hóa hệ thống TNTN đánh giá mức độ năng lực người
học dựa trên mô hình đề xuất.

3.2. Nhiệm vụ
- Nghiên cứu mô hình trắc nghiệm thích nghi đánh giá mức độ năng
lực, kiến thức người học;
- Phát biểu, phân tích và cài đặt giải thuật cho bài toán đặt ra (ứng
dụng mạng Bayes);
- Xây dựng mô hình và ứng dụng hệ thống;
- Đánh giá kết quả theo yêu cầu của đề tài.
4. Đối tượng và phạm vi nghiên cứu
Đối tượng nghiên cứu: Đề tài tìm hiểu về các phương pháp đánh
giá kiến thức, nhận thức và kỹ năng; các mô hình và thuật toán trắc


3
nghiệm; lý thuyết mạng Bayes. Từ đó dựa trên cơ sở lý thuyết mạng
Bayes để xây dựng mô hình TNTN.
Phạm vi nghiên cứu: Đề tài sử dụng lý thuyết mạng Bayes làm cơ
sở để xây dựng mô hình TNTN cho môn học Tin học lớp 11 tại trường
THPT Lê Quý Đôn – Quảng Bình.
5. Phương pháp nghiên cứu
5.1. Phương pháp lý thuyết
Phân tích và đánh giá các mô hình, thuật toán và hệ thống TNTN
hiện có và khả năng ứng dụng đối với thực tiễn của giáo dục Việt Nam.
Từ đó, đưa ra kết luận và cơ sở cho việc lựa chọn lý thuyết mạng Bayes
làm nền tảng để xây dựng mô hình TNTN.
5.2. Phương pháp thực nghiệm
- Xây dựng hệ thống TNTN trên cơ sở mô hình đề xuất.
- Xây dựng cơ sở dữ liệu ngân hàng câu hỏi môn Tin học lớp 11
- Triển khai và đánh giá hệ thống TNTN đã đề xuất trong thực tế.
6. Cấu trúc luận văn
Luận văn gồm 3 chương

Chương 1: Cơ sở lý luận và thực tiễn
Chương 2: Xây dựng mô hình TNTN trên cơ sở mạng Bayes
Chương 3: Xây dựng hệ thống trắc nghiệm thích nghi


4
CHƯƠNG I: CƠ SỞ LÝ LUẬN VÀ THỰC TIỄN
1.1. Tổng quan về trắc nghiệm thích nghi
1.2. Mô hình tổng quan TNTN
Về cơ bản TNTN cũng có các thành phần cơ bản như đối với hình
thức trắc nghiệm khách quan: ngân hàng câu hỏi (Calibrated item
bank), thuật toán lựa chọn câu hỏi (Item selection algorithm), thuật
toán đánh giá (Scoring algorithm) và điều kiện dừng (Termination
criterion). Tuy nhiên, các thành phần này có những điểm khác so với
trắc nghiệm khách quan.

Hình 1.1. Các thành phần cơ bản của mô hình TNTN.
Hoạt động của TNTN hay thuật toán TNTN là một thuật toán lặp
(hình 1.2), trong đó có các thao tác cơ bản như: Khởi tạo năng lực khởi
đầu của thí sinh; Lựa chọn câu hỏi để chọn ra câu hỏi phù hợp nhất từ
ngân hàng câu hỏi để cho thí sinh thực hiện; Nhận kết quả phản hồi để
ghi nhận kết quả trả lời từ thí sinh: Ước lượng năng lực mới dùng để
thực hiện các tính toán để ước lượng lại năng lực mới của thí sinh;
Điều kiện dừng là tập các điều kiện để xác định việc tiếp tục lựa chọn
câu hỏi hoặc kết thúc quá trình đánh giá.


5

Hình 1.2. Mô tả hoạt động của TNTN

1.2.1. Mô hình TNTN trên cơ sở lý thuyết đáp ứng câu hỏi
Trắc nghiệm thích nghi dựa trên lý thuyết đáp ứng câu hỏi là
phương pháp sử dụng lý thuyết đáp ứng câu hỏi để xây dựng hệ thống
TNTN trong đó việc lựa chọn ra câu hỏi tiếp theo cho thí sinh (dựa
trên các giá trị đặc trưng của câu hỏi) sao cho câu hỏi được lựa chọn


6
phải phù hợp với năng lực của từng thí sinh tại mỗi thời điểm trả lời
xong một câu hỏi.
Giá trị năng lực thí sinh 𝜃 và các giá trị tham số đặc trưng (độ khó,
độ phân biệt, độ đoán mò) cho các câu hỏi kết hợp với các công thức
tính toán đã được chứng minh sẽ quyết định được câu hỏi tiếp theo
được lựa chọn đưa ra đánh giá thí sinh.
1.2.2. Mô hình thích nghi trên cơ sở chuỗi Markov
Mô hình trắc nghiệm thích nghi sử dụng lý thuyết đáp ứng câu hỏi
không tính toán đến mối tương quan giữa các câu trả lời. Mặt khác sự
tương quan giữa các câu trả lời của thí sinh có thể cung cấp thông tin
của chính câu hỏi cho phép khảo sát sự ảnh hưởng giữa các câu hỏi với
nhau và sự ảnh hưởng này sẽ được thể hiện trong các câu trả lời. Và
mối tương quan này cho phép đánh giá một cách gián tiếp về chất
lượng ngân hàng câu hỏi.
Hiện nay một số tác giả đề xuất sử dụng chuỗi Markov để đánh giá
mối tương quan giữa các câu trả lời trong mô hình TNTN. Nếu xem
rằng mô hình chuỗi các câu trả lời là một chuỗi Markov đồng nhất.
Theo luật số lớn trong định lý Poisson thì xác suất chuyển trạng thái
không thay đổi với các giá trị xác suất khác nhau của mỗi bước chuyển
trong điều kiện số lượng thử nghiệm là đủ lớn.
Với việc sử dụng mô hình Markov thì hàm thông tin tối đa đánh giá
mức độ kiến thức hiện tại của thí sinh trong trắc nghiệm thích nghi

cũng sẽ thay đổi. Nếu trong quá trình trắc nghiệm đánh giá thí sinh
nhận được vector tập hợp các câu trả lời (𝑥0 , 𝑥1 , … , 𝑥𝑛 ) thì trong lý
thuyết đáp ứng câu hỏi hàm tính khả năng tối đa được xem là xác suất
không điều kiện.
Điều này cho thấy mô hình trắc nghiệm thích nghi sử dụng chuỗi
Markov để đánh giá năng lực người học sẽ chính xác hơn mô hình
TNTN trên cơ sở lý thuyết đáp ứng câu hỏi.


7
Mô hình trắc nghiệm thích nghi trên sử dụng mô hình xác suất dựa
trên kết quả thống kê tập hợp tham số câu hỏi trong ngân hàng câu hỏi
trắc nghiệm, do đó cho phép đánh giá mức độ năng lực thí sinh được
khách quan và chính xác hơn. Tuy nhiên, mô hình TNTN trên cơ sở
IRT và chuỗi Markov vẫn còn tồn tại hạn chế là chỉ cho phép đánh giá
mức độ năng lực thí sinh theo chiều ngang kiến thức cần đánh giá (dựa
vào tập ngân hàng câu hỏi trắc nghiệm). Do đó tôi đề xuất ứng dụng
Bayes Network (BN) để xây dựng hệ thống trắc nghiệm thích nghi cho
phép đánh giá được mức độ kiến thức của thí sinh với các thành phần
kiến thức của nội dung cần đánh giá.

1.3. Kết chương
Chương này tiến hành nghiên cứu khái niệm trắc nghiệm thích
nghi, phân tích mô hình TNTN trên cơ sở IRT và chuỗi Markov đối
với các hệ thống TNTN phổ biến hiện nay. Từ đó nêu lên hạn chế của
các mô hình TNTN hiện tại là chỉ cho phép đánh giá mức độ năng lực
thí sinh theo chiều ngang nội dung kiến thức và đề xuất áp dụng BN
để xây dựng hệ thống TNTN cho phép đánh giá mức độ kiến thức của
thí sinh theo chiều sâu của nội dung kiến thức cần đánh giá.

8
CHƯƠNG II: XÂY DỰNG MÔ HÌNH TNTN TRÊN CƠ SỞ
MẠNG BAYES
2.1. Mạng Bayes
2.1.1. Giới thiệu
2.1.2. Công thức Bayes
BBNs dựa trên lý thuyết xác suất có điều kiện của Thomas Bayes,
ông đã đưa ra qui luật cơ bản của xác suất, do đó gọi là công thức
Bayes [10]. Công thức đơn giản nhất như sau:
𝑃(𝐴)

𝑃(𝐴|𝐵) = 𝑃(𝐵|𝐴) 𝑃(𝐵)

(2)

Trong đó:
- 𝐴 và 𝐵 là hai sự kiện có thể xảy ra và phụ thuộc với nhau.
- 𝑃(𝐴) là xác suất của sự kiện 𝐴;
- 𝑃(𝐵) là xác suất của sự kiện 𝐵;
- 𝑃(𝐵/𝐴) là xác suất có điều kiện của 𝐵 khi biết trước 𝐴 đã xảy ra;
- 𝑃(𝐴/𝐵) là xác suất có điều kiện của 𝐴 khi biết trước 𝐵 đã xảy ra.
2.1.3. Cấu trúc mạng Bayes
Mạng Bayes là mô hình trực tiếp mà mỗi biến được đại diện bởi
một nút (node), mối quan hệ nhân quả giữa hai biến đó được biểu thị
bằng mũi tên được gọi “edge”. Mũi tên hướng từ nút nguyên nhân
“parent node” đến nút kết quả “child node”. Nút kết quả phụ thuộc có
điều kiện vào nút nguyên nhân. Mỗi nút (hay là biến) có một trạng thái
(state) tùy thuộc đặc trưng của biến đó. Cụ thể, theo hình 2.2, nút “tuyết
rơi” là nút nguyên nhân ảnh hưởng đến nút kết quả “tình trạng con

đường” và chúng có những trạng thái tương ứng [11].


9

Hình 2.1. Cấu trúc đơn giản của mạng Bayes trong tự nhiên
Hình 2.3 thể hiện cấu trúc của mạng BBNs tổng quát hơn, phức tạp
hơn với nhiều nút (nodes) và nhiều cạnh liên kết (edges) [12].

Hình 2.2. Cấu trúc mạng Bayes tổng quát
2.1.4. Bảng xác suất có điều kiện (CPT)
Mỗi nút luôn được gắn với một bảng xác suất có điều kiện
(Conditional Probability Table: CPT) dựa vào những thông tin ban đầu
hay dữ liệu, kinh nghiệm trong quá khứ. Ví dụ, mạng Bayes trong hình
2.2, CPT của các biến như sau (Bảng 1):


10
Bảng 1: CPT của các biến “Road Conditions” của mạng
Bayes theo hình 2.2
Parent node

Child node

Precipitation

Road Conditions
Impassable

Passable

None

0.05

0.95

Light

0.10

0.90

Heavy

0.70

0.30

Theo bảng 1, ta thấy: “nếu tuyết rơi (Precipitation) ở trạng thái nhẹ
(Light) thì khả năng (hay xác suất) để con đường (Road Conditions)
có thể đi qua được (Passable) là 90%; và không thể đi qua được
(Impassable) là 10%”. Trong mạng bayes, nút mà không có nguyên
nhân (no parent) gây ra nó thì gọi là nút gốc (root node). CPT của nút
này gọi là xác suất ban đầu (prior probability). Theo hình 2.2, CPT của
nút Precipitation được mô tả trong bảng 2.
Bảng 2: CPT của các biến “Precipitation” trong mạng Bayes
theo hình 2.2
Precipitation
None

Light

Heavy

0.800

0.150

0.005

Như vậy có thế nói mạng Bayes là một đồ thị có hướng phi chu
trình mà trong đó:
- Các nút biểu diễn các biến
- Các cung biểu diễn các quan hệ phụ thuộc thống kê giữa các biến
và phân phối xác suất địa phương cho mỗi giá trị nếu cho trước giá
trị của các cha của nó.


11
Nếu có một cạnh từ nút A tới nút B, thì biến B phụ thuộc trực tiếp
vào biến A, và A được gọi là cha của B. Nếu với mỗi biến 𝑋𝑖,𝑗 ∈
{1, . . , 𝑁} tập hợp các biến cha được ký hiệu bởi parents(X i ), thì phân
phối có điều kiện phụ thuộc của các biến là tích của các phân phối địa
phương.
𝑃𝑟(𝑋1 , … , 𝑋𝑛 ) = ∏𝑛𝑖=1 𝑃 𝑟(𝑋𝑖 │𝑃𝑟𝑎𝑟𝑒𝑛𝑡𝑠(𝑋𝑖 ))

(3)

Nếu 𝑋𝑖 không có cha, ta nói rằng phân phối xác suất địa phương

của nó là không có điều kiện, nếu không, nó là có điều kiện. Nếu biến
được biểu diễn bởi một nút được quan sát, thì ta nói rằng nút đó là một
nút hiển nhiên (evidence node).
2.2. Thuật toán TNTN tổng quát
Các mô hình thuật toán TNTN thường được xây dựng theo mô hình
tổng thể gồm các bước như sau (Hình 2.4):

Hình 2.3. Thuật toán tổng quát TNTN
Bước 1: Xác định các câu hỏi còn lại trong ngân hàng câu hỏi trắc
nghiệm chưa đưa ra đánh giá thí sinh. Trong tập câu hỏi đó cần lựa
chọn ra câu hỏi tốt nhất phù hợp với mức độ hiện tại (năng lực, kiến
thức) của thí sinh nhất.


12
Bước 2: Đề xuất câu hỏi cho TS trả lời và thu nhận kết quả trả lời.
Bước 3: Dựa vào kết quả câu trả lời của TS, tính toán lại mức độ
kiến thức, năng lực của TS.
Bước 4: Lặp lại các bước 1 đến 3 cho đến khi xác định được mức
độ năng lực, kiến thức của TS theo các điều kiện dừng.
2.3. Xây dựng đồ thị kiến thức
Để áp dụng BN xây dựng mô hình TNTN theo mức độ kiến thức
thí sinh, chúng ta cần xây dựng mô hình miền kiến thức cần đánh giá
(cụ thể ở đây là mô hình kiến thức của 1 môn học). Nghĩa là cần xây
dựng được đồ thị kiến thức bao gồm các đỉnh và cung. Trong cách tiếp
cận này tôi đề xuất chia làm 02 loại đỉnh như sau: đỉnh chứng cứ &
đỉnh kiến thức.
2.3.1. Đỉnh chứng cứ
Đỉnh chứng cứ (Evidential nodes) được định nghĩa là một câu hỏi
trắc nghiệm trong ngân hàng câu hỏi trắc nghiệm. Rõ ràng, muốn áp

dụng mô hình BN trong hệ thống ta cần biết được xác suất trả lời đúng
câu hỏi trắc nghiệm của mỗi thí sinh. Theo IRT, xác suất trả lời đúng
câu hỏi phụ thuộc vào mức độ năng lực hiện tại của thí sinh. Các nút
này được sử dụng để thu thập thông tin liên quan đến mức độ năng lực
của thí sinh đối với các thành phần kiến thức.
2.3.2. Đỉnh kiến thức
Đỉnh kiến thức (Knowledge nodes) mô tả nội dung kiến thức cần
đánh giá phân cấp từ mức độ tổng quát đến chi tiết. Trong luận văn tôi
chỉ đưa ra mô hình với 2 cấp độ mô tả nội dung cần đánh giá bao gồm:
đỉnh môn học & đỉnh thành phần kiến thức.
- Đỉnh môn học cho phép đánh giá mức độ kiến thức của thí sinh
có đáp ứng hay không, trong mô hình đề xuất thông thường chỉ tồn tại
01 đỉnh môn học.


13
Quan hệ giữa đỉnh chứng cứ & đỉnh kiến thức trong mô hình
TNTN:
- Quan hệ giữa đỉnh chứng cứ & đỉnh kiến thức, ở đây chỉ xét quan
hệ giữa đỉnh chứng cứ và đỉnh thành phần kiến thức. Tôi áp dụng mạng
Bayes nhân quả trong trường hợp này, có nghĩa là việc đánh giá mức
độ kiến thức của sinh viên đối với đỉnh thành phần kiến thức phụ thuộc
vào kết quả câu trả lời của thí sinh đối với đỉnh chứng cứ (câu hỏi trắc
nghiệm). Vì để trả lời được câu hỏi trắc nghiệm thì yêu cầu thí sinh
phải nắm rõ một số đỉnh kiến thức liên quan.
- Quan hệ giữa các đỉnh kiến thức được biểu diễn theo sơ đồ phân
cấp bao gồm 2 mức: đỉnh môn học & đỉnh thành phần kiến thức. Việc
đánh giá thí sinh có kiến thức đối với môn học phải được đánh giá phụ
thuộc vào mức độ kiến thức của thí sinh đối với tâp hợp đỉnh thành
phần kiến thức của đỉnh môn học.

2.4. Mô hình TNTN theo kiến thức trên cơ sở mạng Bayes và IRT
Giả sử đỉnh môn học S bao gồm tập hợp các đỉnh thành phần
kiến thức 𝐾𝑁𝑖 trong đói 𝑖 = 1, … , 𝑚 (với 𝑚 là số lượng thành phần
kiến thức của môn học S). Mức độ kiến thức của thí sinh đối với mỗi
thành phần kiến thức 𝐾𝑁𝑖 sẽ được đánh giá bằng một tập các ngân
hàng câu hỏi trắc nghiệm 𝑄𝑖𝑗 có liên quan đến thành phần kiến thức
𝐾𝑁𝑖 . Tuy nhiên, trong thực tế, mỗi đỉnh thành phần kiến thức 𝐾𝑁𝑖 sẽ
có một mức độ ảnh hưởng khác nhau đến việc đánh giá thí sinh có hiểu
được môn học hay không. Do đó mỗi đỉnh thành phần kiến thức sẽ có
một đại đượng để xác định mức độ quan trọng của đỉnh thành phần
kiến thức đó đối với tổng thể môn học. Do đó tôi đề xuất vector trọng
số để đo tầm quan trọng của mỗi thành phần kiến thức 𝐾𝑁𝑖 đối với
môn học 𝑆 như sau: 𝑤 = {𝑤1 , … , 𝑤𝑛 }. Trong đó hệ số wi tương ứng


14
với mức độ quan trọng của thành phần kiến thức KNi với môn học S.
Như vậy có thể biểu diễn môn học S là một cặp (𝐾𝑁𝑖 , 𝑤𝑖 ), trong đó:
- 𝐾𝑁𝑖 tập hợp các thành phần kiến thức độc lập của môn học 𝑆, với
𝑖 = 1, … , 𝑛 (𝑛 là số lượng thành phần kiến thức của môn học 𝑆);
- 𝑤𝑖 là vector trọng số xác định mức độ cần thiết của mỗi thành phần
kiến thức 𝐾𝑁𝑖 đối với môn học 𝑆, với 𝑖 = 1, … , 𝑛 & ∑𝑛𝑖=1 𝑤𝑖 = 1
Để đánh giá mức độ kiến thức của một thí sinh đối với môn học S
phụ thuộc vào xác suất thí sinh hiểu được môn học S như sau:
𝑃 (𝑆 | ({𝐾𝑁𝑖 = 1}𝑖∈𝑆 , {𝐾𝑁𝑗 = 1}𝑗∉𝑆 )) =

∑𝑖∈𝑆 𝑤𝑖
∑𝑛𝑗=1 𝑤𝑗

(4)

Một thành phần kiến thức 𝐾𝑁𝑖 sẽ bao gồm một tập các câu hỏi trắc
nghiệm có liên quan đến thành phần kiến thức 𝐾𝑁𝑖 dùng để đánh giá
mức độ kiến thức của thí sinh đối với thành phần kiến thức 𝐾𝑁𝑖 .
Vấn đề đặt ra là làm sao đánh giá được mức độ kiến thức của thí
sinh đối với mỗi đỉnh thành phần kiến thức. Để đánh giá thí sinh có
thông hiểu kiến thức tại một đỉnh thành phần kiến thức hay không cần
phải tính được đại lượng mức độ kiến thức tại đỉnh thành phần kiến
thức hiện tại của thí sinh. Theo lý thuyết trắc nghiệm cổ điển, mức độ
kiến thức của thí sinh tại mỗi đỉnh thành phần kiến thức được tính theo
công thức (6)
𝐾𝑖 =

𝑁1𝑖
𝑁𝑖

(6)

Trong đó:
- 𝐾𝑖 – mức độ kiến thức của thí sinh tại đỉnh kiến thức 𝑖;
- 𝑁1𝑖 – số câu trả lời đúng của thí sinh tại đỉnh kiến thức 𝑖;
- 𝑁𝑖 – số câu hỏi đưa ra cho TS tại đỉnh kiến thức 𝑖.
Với đề xuất với giá trị 𝐾𝑖 > 0.7 có thể hiểu rằng mức độ kiến thức
thí sinh đáp ứng đỉnh thành phần kiến thức 𝐾𝑁𝑖 (𝐾𝑁𝑖 = 1) và ngược lại


15
có nghĩa là mức độ kiến thức thí sinh không đáp ứng đỉnh thành phần
kiến thức 𝐾𝑁𝑖 (𝐾𝑁𝑖 = 0).
Qua đó, ta thấy đại lượng mức độ kiến thức tại mỗi đỉnh thành phần

kiến thức phụ thuộc vào số lượng câu trả lời đúng của thí sinh. Do đó,
việc sử dụng thuật toán để lựa chọn câu hỏi tiếp theo cho thí sinh là rất
quan trọng. Ở đây tôi đề xuất sử dụng thuật toán dựa trên Lý thuyết
đáp ứng câu hỏi theo mô hình 3 tham số để lựa chọn câu hỏi trong một
đỉnh thành phần kiến thức.
2.5. Thuật toán TNTN trên cơ sở Lý thuyết đáp ứng câu hỏi
Lý thuyết đáp ứng câu hỏi dựa trên phân tích cấu trúc tiềm ẩn
(LSA). Về bản chất, lý thuyết đáp ứng câu hỏi được xây dựng dựa trên
mô hình toán học [3, 4] sử dụng các mô hình logistic, mô tả sự phụ
thuộc giữa xác suất trả lời đúng câu hỏi trắc nghiệm đưa ra với mức độ
năng lực hiện tại của thí sinh.
Tồn tại 3 mô hình toán học trong lý thuyết đáp ứng câu hỏi [3, 4]:
mô hình 1 tham số (1PM), mô hình 2 tham số (2PM) và mô hình 3
tham số Birnbaum (3PM). Các mô hình trên chỉ khác nhau về số lượng
tham số của câu hỏi. Để đơn giản hóa các mô hình toán học, thông
thường chỉ xét trường hợp câu hỏi trắc nghiệm nhị phân, tức là câu hỏi
chỉ có hai mức trả lời: 0 (đúng) hoặc 1 (sai).
Theo mô hình 3 tham số của Birnbaum thì xác suất trả lời đúng câu
hỏi i của thí sinh j có năng lực θj được tính sau:
𝑝(𝑢𝑖 = 1|𝜃𝑗 , 𝑎𝑖 , 𝑏𝑖 , 𝑐𝑖 ) = 𝑐𝑖 + (1 − 𝑐𝑖 )

1
1+𝑒

−1.7𝑎𝑖 (𝜃𝑗 −𝑏𝑖 )

(7)

Trong đó:
- 𝑢𝑖 là kết quả đánh giá trả lời câu hỏi 𝑖 (𝑢𝑖 = 1 nếu trả lời đúng

16
câu hỏi thứ 𝑖 và 𝑢𝑖 = 0 trong trường hợp ngược lại) của thí sinh 𝑗;
- Với các tham số 𝑎𝑖 , 𝑏𝑖 , 𝑐𝑖 đã biết của câu hỏi 𝑖 có thể xây dựng
đồ thị phụ thuộc giữa hàm xác suất trả lời đúng câu hỏi với năng lực
của thí sinh (Hình 2.6).

Hình 2.6. Đồ thị mô tả sự phụ thuộc hàm xác suất trả lời đúng
câu hỏi (𝒂 = 𝟏, 𝒃 = 𝟎, 𝒄 = 𝟎. 𝟐𝟓) của người học có năng lực 𝜽
Trong các mô hình trắc nghiệm thích nghi ứng dụng IRT hiện nay
phần lớn đều dựa trên mô hình 2 tham số (độ khó và độ phân biệt) vì
sử dụng các loại câu hỏi trắc nghiệm khác nhau. Tuy nhiên để tăng
thêm tính chính xác của quá trình đánh giá, thông thường loại câu hỏi
trắc nghiệm khách quan nhiều lựa chọn được đề xuất sử dụng. Với câu
hỏi trắc nghiệm khách quan nhiều lựa chọn, mỗi câu hỏi trắc nghiệm
sẽ được bổ thêm tham số c là độ dự đoán câu trả lời của câu hỏi. Áp
dụng mô hình trắc nghiệm thích nghi dựa trên lý thuyết đáp ứng câu
hỏi với mô hình 3 tham số Birnbaum với câu hỏi trắc nghiệm khách
quan nhiều lựa chọn được thực hiện theo các bước như sau:
Bước 1: Thiết lập mức độ năng lực ban đầu cho thí sinh;


17
Bước 2: Lặp lại từ bước 3 đến bước 5 cho đến khi gặp điều kiện
dừng;
Bước 3: Đánh giá tập hợp câu hỏi chưa đưa ra cho thí sinh và tính
toán hàm thông tin của các câu hỏi đó dựa trên mức độ năng lực hiện
tại của thí sinh;
Bước 4: Lựa chọn và đưa ra câu hỏi phù hợp nhất với mức độ năng

lực hiện tại của thí sinh;
Bước 5: Đánh giá lại năng lực thí sinh trên cơ sở kết quả trả lời câu
hỏi đưa ra.
Mức độ năng lực ban đầu của mỗi thí sinh là không xác định, và
thường được lấy giá trị trung bình bằng 0.
Lựa chọn câu hỏi phù hợp với mức độ năng lực hiện tại của thí sinh
là rất quan trọng. Nếu câu hỏi đưa ra là quá khó hay quá dễ đối với thí
sinh thì sẽ mang lại ít thông tin về mức độ năng lực thí sinh. Để đánh
giá được chính xác mức độ năng lực thí sinh cần thiết phải đưa ra câu
ỏi với bộ tham số mang lại thông tin tối đa trong việc đánh giá mức độ
năng lực thí sinh.
Theo Birnbaum, mỗi câu hỏi trắc nghiệm cung cấp một lượng thông
tin nào đó về mức độ năng lực của thí sinh. Birnbaum đề xuất hàm
thông tin Ii (θ) của câu hỏi i được tính toán phụ thuộc vào năng lực θ
của thí sinh theo công thức sau:
2

(𝑝𝑖 ′ (𝑢𝑘 = 1|𝜃, 𝑎𝑖 , 𝑏𝑖 , 𝑐𝑖 ))
𝐼𝑖 (𝜃) =
𝑝𝑖 (𝑢𝑘 = 1|𝜃, 𝑎𝑖 , 𝑏𝑖 , 𝑐𝑖 )(1 − 𝑝𝑖 (𝑢𝑘 = 1|𝜃, 𝑎𝑖 , 𝑏𝑖 , 𝑐𝑖 ))

(8)


18

Hình 2.7. Thuật toán trắc nghiệm thích nghi theo mô hình Birnbaum
Như vậy, trong bước thứ nhất, giá trị hàm thông tin 𝐼𝑖 (𝜃) được
tính cho tập hợp các câu hỏi chưa đưa ra cho thí sinh. Phương pháp
phổ biến nhất trong việc lựa chọn câu hỏi tiếp theo phù hợp với mức

độ năng lực hiện tại của thí sinh là sử dụng hàm thông tin lớn nhất.
Sau khi trả lời mỗi câu hỏi thì vấn đề đặt ra là làm sao đánh giá
lại mức độ năng lực của thí sinh vì giá trị mức độ năng lực mới này sẽ
được sử dụng để lựa chọn câu hỏi tiếp theo phù hợp với thí sinh.
Sử dụng phương pháp Maximum likelihood [7] để đánh giá mức
độ năng lực của thí sinh sau mỗi câu trả lời, tức là tìm một giá trị mức
độ năng lực mà hàm sau đây là tối đa:


19
𝑓(𝑢1 , 𝑢2 , … , 𝑢𝑛 , 𝜃)
= 𝑝𝑖 (𝑢1 = 1, 𝜃)𝑢1 . 𝑝𝑖 (𝑢1 = 0, 𝜃)1−𝑢1 . 𝑝𝑖 (𝑢2
= 1, 𝜃)𝑢2 . 𝑝𝑖 (𝑢2 = 0, 𝜃)1−𝑢2 … 𝑝𝑖 (𝑢𝑛
= 1, 𝜃)𝑢𝑛 . 𝑝𝑖 (𝑢𝑛 = 0, 𝜃)1−𝑢𝑛 → 𝑚𝑎𝑥
Hay nói cách khác:

𝑛

𝑓(𝑢1 , 𝑢2 , … , 𝑢𝑛 , 𝜃) = ∏ 𝑝𝑖 (𝑢𝑘 , 𝜃) → 𝑚𝑎𝑥
Trong đó:

(9)

𝑘=1

- 𝑢1 , 𝑢2 , … , 𝑢𝑛 là tập hợp câu trả lời của thí sinh đối với các câu
hỏi đã đưa ra;
- 𝑝𝑖 (𝑢, 𝜃) là xác suất trả lời đúng câu hỏi 𝑖 của thí sinh có mức
độ năng lực 𝜃, được tính theo công thức (7).
Trắc nghiệm được bắt đầu với mức độ năng lực của thí sinh là

𝜃𝑠 , từ công thức (3) có thể tiến hành đánh giá lại mức độ năng lực thí
sinh sau khi trả lời một câu hỏi 𝜃𝑠+1 theo công thức sau:
𝜃𝑠+1 = 𝜃𝑠 +

∑𝑖𝜖𝑛 𝑆𝑖 (𝜃𝑠 )
∑𝑖𝜖𝑛 𝐼𝑖 (𝜃𝑠 )

(10)

Quá trình trắc nghiệm đánh giá mức độ năng lực của mỗi thí sinh
kết thúc khi đã đưa ra được chính xác mức độ năng lực của thí sinh đó.
Trong quá trình trắc nghiệm thích nghi theo mô hình đề xuất, sau mỗi
câu trả lời mức độ năng lực thí sinh sẽ được đánh giá lại. Nếu sự chênh
lệch mức độ năng lực thí sinh giữa hai lần đánh giá liên tiếp là rất nhỏ
thì có thể xem đó là kết quả đánh giá cuối cùng về mức độ năng lực thí
sinh. Bởi vì nếu thí sinh có trả lời thêm các câu hỏi nữa thì mức độ
năng lực thí sinh gần như không đổi và đó cũng chính là kết quả đánh
giá mức độ năng lực cuối cùng của thí sinh.


20
2.6. Đánh giá tập hợp tham số câu hỏi trắc nghiệm
Như vậy, vấn đề xây dựng và phát triển các hệ thống trắc nghiệm
cho phép tiến hành đánh giá kiến thức người học trên cơ sở mô hình
trắc nghiệm thích nghi là cần thiết, nhằm nâng cao hiệu quả và tính
chính xác. Trong mô hình đề xuất, mức độ chính xác phụ thuộc vào
chất lượng của ngân hàng câu hỏi trắc nghiệm hay nói một cách khác
là phụ thuộc vào tập hợp thông số của câu hỏi trắc nghiệm.
Vấn đề đặt ra ở đây là làm thế nào đánh giá được thông số câu hỏi
là có chất lượng, nhằm nâng cao hiệu quả quá trình trắc nghiệm đánh

giá kết quả mức độ năng lực người học. Tôi đề xuất áp dụng Lý thuyết
Trắc nghiệm cổ điển (Classical Test Theory) [13] là một trong những
lý thuyết quan trọng liên quan đến khoa học đo lường đánh giá được
xây dựng dựa trên khoa học xác suất và thống kê. Lý thuyết này được
ứng dụng trong việc phân tích câu hỏi nhằm làm tăng chất lượng của
chúng, loại bỏ, sửa chữa và tuyển chọn câu hỏi theo yêu cầu.
Khi phân tích câu hỏi có 2 chỉ số cần quan tâm là độ khó và độ phân
biệt:
Độ khó của câu hỏi là chỉ số đo nói lên chất lượng của câu hỏi, có
hiệu nghiệm trong việc phân tán, đánh giá năng lực của thí sinh. Theo
lý thuyết trắc nghiệm cổ điển [4] thì độ khó bi của câu hỏi i là tỷ số
phần trăm số thí sinh làm đúng câu hỏi i trên tổng số thí sinh tham gia
làm câu hỏi đó:
𝑏𝑖 =

𝑁1
𝑁

(12)

Giá trị độ khó b của mỗi câu hỏi chưa nói lên được câu hỏi đó tốt
hay không, nhưng nó nói lên độ khó tương đối của câu hỏi đó đối với
nhóm thí sinh tham gia làm bài trắc nghiệm. Nếu một nhóm thí sinh
khác trả lời câu hỏi đó thì giá trị độ khó b có thể khác.


21
Giá trị độ khó b có ý nghĩa quan trọng trong quá trình phân tích câu
hỏi. Từ đó có thể thấy được mức độ phù hợp của câu hỏi đó đối với
nhóm thí sinh. Ngoài ra, giá trị b còn giúp xác định một số lỗi khác

của câu hỏi để kịp thời điều chỉnh, sửa đổi. Giá trị b cũng có thể cho
thấy kết quả làm bài của các nhóm thí sinh khác nhau.
Theo [14], khi nói đến độ khó của câu hỏi, ta phải xem xét câu hỏi
là khó đối với đối tượng nào. Nhờ việc thử nghiệm trên các đối tượng
thí sinh phù hợp, có thể xác định độ khó bằng phương pháp thống kê.
Dựa vào kết quả trắc nghiệm khách quan có thể phân chia thí sinh
thành 3 nhóm:
Nhóm 1: là nhóm thí sinh giỏi (25% ÷ 27% thí sinh có kết quả
trắc nghiệm cao nhất);
Nhóm 2: là nhóm thí sinh yếu (25% ÷ 27% thí sinh có kết quả trắc
nghiệm thấp nhất);
Nhóm 3: là nhóm thí sinh trung bình (46% ÷ 50% thí sinh còn
lại, không phụ thuộc vào 2 nhóm kia).
Khi đó độ khó câu hỏi i được tính như sau:
𝑁𝐺𝑖 + 𝑁𝑊𝑖
𝑏𝑖 =
(13)
2𝑁
Độ khó câu hỏi sẽ có giá trị trong khoảng [0, 1], giá trị độ khó càng
gần 0 thì độ khó câu hỏi càng tăng, ngược lại giá trị độ khó càng gần
1 thì độ khó câu hỏi càng giảm. Thông thường độ khó của một câu hỏi
có thể chấp nhận được nằm trong khoảng [0.25, 0.75], câu hỏi có độ
khó lớn hơn 0,75 là quá dễ, có độ khó nhỏ hơn 0,25 là quá khó. Tuy
nhiên với bài kiểm tra trong lớp học thì Osterlind (1989) cho rằng độ
khó câu hỏi nên nằm trong khoảng [0.4, 0.8]. Dưới 0.4 nghĩa là câu hỏi
quá khó và trên 0.8 là câu hỏi quá dễ đối với thí sinh.


22
Độ phân biệt của một câu hỏi liên quan đến độ khó của câu hỏi đó.

Nếu một câu hỏi dễ đến mức mọi thí sinh đều làm đúng thì độ phân
biệt của nó rất kém vì mọi thí sinh đều có kết quả như nhau đối với câu
hỏi đó. Ngược lại, nếu một câu hỏi khó đến mức mọi thí sinh đều làm
sai thì độ phân biệt của nó cũng rất kém. Từ các trường hợp giới hạn
nói trên có thể nói rằng muốn có độ phân biệt tốt thì câu hỏi phải có
độ khó ở mức trung bình.
Từ [13], độ phân biệt của câu hỏi i được tính như sau:
𝑁𝐺𝑖 − 𝑁𝑊𝑖
(14)
𝑁
Độ phân biệt của một câu hỏi là chỉ số xác định chất lượng của câu
trắc nghiệm, có tác dụng phân loại các nhóm năng lực của thí sinh.
Theo Ebel (1956):
𝑎𝑖 =

- Nếu 𝑎𝑖 ≤ 0 thì câu hỏi i không có độ phân biệt hay nói cách khác
là câu hỏi đó không phân biệt được các thí sinh có mức độ năng lực
khác nhau;
- Nếu 0 < 𝑎𝑖 < 3 thì câu hỏi i có độ phân biệt thấp;
- Nếu 0.3 ≤𝑎𝑖 < 1 thì câu hỏi i có đ đề xuất với giá trị 𝐾𝑖 > 0.7 độ
phân biệt cao.
Độ khó và độ phân biệt có mối quan hệ tỷ lệ thuận với nhau. Tuy
nhiên, nếu độ khó đạt đết mức độ 100% thì độ phân biệt sẽ bằng 0.
Những câu hỏi như vậy sẽ ít có giá trị sử dụng.
2.7. Kết luận
Trong chương này tôi đã tìm hiểu lý thuyết mạng Bayes, áp
dụng vào xây dựng đồ thị kiến thức đồng thời đề xuất mô hình TNTN
theo kiến thức trên cơ sở tổng hợp mạng Bayes và IRT. Bên cạnh đó
tôi cũng đề xuất áp dụng lý thuyết trắc nghiệm cổ điển trong việc đánh
giá tập tham số của ngân hàng câu hỏi trắc nghiệm.

23
CHƯƠNG III: XÂY DỰNG HỆ THỐNG TRẮC NGHIỆM
THÍCH NGHI
3.1. Phân tích và thiết kế hệ thống
3.2. Triển khai hệ thống và đánh giá kết quả
3.2.1. Thiết kế dữ liệu hệ thống
3.2.2. Đánh giá kết quả thực nghiệm
3.3. Kết luận
Trong chương này trình bày việc triển khai xây dựng hệ thống trắc
nghiệm thích nghi trên cơ sở mô hình đề xuất & các mô hình trắc
nghiệm thích nghi đã tồn tại. Triển khai hệ thống trong thực tế và đánh
giá kết quả đạt được. Từ kết quả cho thấy mô hình đề xuất cho phép
đánh giá mức độ năng lực & kiến thức thí sinh chính xác và có hiệu
quả hơn.