BÁO CÁO " XÂY DỰNG HỆ THỐNG CÂU HỎI TRẮC NGHIỆM KHÁCH QUAN CHƯƠNG ĐỘNG HỌC CHẤT ĐIỂM VỚI SỰ HỖ TRỢ CỦA PHẦN MỀM VITESTA " ppt

Tuyển tập Báo cáo Hội nghị Sinh viên Nghiên cứu Khoa học lần thứ 8 Đại học Đà Nẵng năm 2012

XÂY DỰNG HỆ THỐNG CÂU HỎI TRẮC NGHIỆM KHÁCH QUAN
CHƯƠNG ĐỘNG HỌC CHẤT ĐIỂM VỚI SỰ HỖ TRỢ
CỦA PHẦN MỀM VITESTA
BUILDING THE SYSTEM OF MULTIPLE CHOICE QUESTIONS FOR THE
CHAPTER OF KINETICS OF PARTICLE WITH THE SUPPORT
OF THE VITESTA SOFTWARE
SVTH: Đặng Thị Hương
Lớp 08SVL, Khoa Vật lý, Trường Đại học Sư phạm, Đại học Đà Nẵng.
GVHD: PGS.TS Nguyễn Bảo Hoàng Thanh
Khoa Vật lý, Trường Đại học Sư phạm, Đại học Đà Nẵng.

TÓM TẮT
Trong bài báo này, tác giả xin được trình bày kết quả việc phân tích đánh giá câu
hỏi trắc nghiệm khách quan chương Động học chất điểm Vật lý 10 Nâng cao theo lý thuyết IRT
(Item Response Theory) với sự hỗ trợ của phần mềm Vitesta. Phần mềm này không chỉ cho chúng
ta những con số cụ thể, chính xác, nhanh chóng mà còn giúp cho người sử dụng có thể hình dung
trực quan về câu hỏi trắc nghiệm, đề trắc nghiệm, năng lực của học sinh và quan hệ giữa các yếu
tố đó dưới dạng văn bản và đồ thị.
Từ khoá: Vitesta, Động học chất điểm, lý thuyết Ứng đáp câu hỏi.
ABSTRACT
This paper presents the results of the analysis and evaluation of multiple choice questions
for the chapter of kinetics of particle in the Grade 10 Advanced Physics book based on Item
Response Theory with the support of the Vitesta software. This software does not only give us
the specific, accurate and fast numbers but also helps users visualize the multiple choice
questions, multiple choice tests, the capacity of the candidates and the relationship of
these factors indicated in texts and graphs.
Key words: Vitesta, Kinetics of particle, Item Response Theory.

1. Đặt vấn đề

Trắc nghiệm là một phương pháp của khoa học về đo lường trong giáo dục. Vì vậy
những năm gần đây, trắc nghiệm khách quan (TNKQ) được đưa vào trong các kỳ thi tốt
nghiệp phổ thông và tuyển sinh đại học nên sự quan tâm của các trường học Đại học Sư
phạm, các cơ sở quản lý giáo dục và đội ngũ giáo viên về phương pháp giảng dạy này ngày
một tăng lên. Một ưu điểm nổi bật của phương pháp trắc nghiệm là việc sử dụng các phần
mềm để xử lý số liệu của câu hỏi trắc nghiệm (CHTN), đề trắc nghiệm (ĐTN) đã mang lại
hiệu quả cao. Do đó việc vận dụng phần mềm Vitesta để phân tích, đánh giá CHTN, ĐTN
là cần thiết.
2. Lý thuyết Ứng đáp câu hỏi
Để có thể tạo ra được ngân hàng câu hỏi (NHCH) đảm bảo chất lượng đúng với
mục tiêu dạy học và đánh giá đúng năng lực của học sinh theo chuẩn kiến thức, kỹ năng thì
phải nắm vững được qui trình viết CH, phân tích đánh giá từng CHTN cũng như ĐTN.
Tuyển tập Báo cáo Hội nghị Sinh viên Nghiên cứu Khoa học lần thứ 8 Đại học Đà Nẵng năm 2012
Quá trình phân tích CHTN và ĐTN có thể nói là rất quan trọng vì nó quyết định cho việc
chọn hay không chọn để đưa vào NHCH nên lý thuyết trắc nghiệm (TN) ra đời, đã và đang
từng bước hoàn thiện. Từ đầu thế kỷ XX, lý thuyết TN cổ điển ra đời nhưng chưa hoàn
thiện nên đến những năm của thập niên 70 thì lý thuyết trắc nghiệm IRT (Item Response
Theory) ra đời. IRT được xây dựng dựa trên việc nghiên cứu mọi cặp tương tác nguyên tố
“học sinh – câu hỏi” (HS-CH). Mỗi HS đứng trước một CH sẽ ứng đáp như thế nào, điều
đó phụ thuộc vào năng lực tiềm ẩn của HS và các đặc trưng của CH. Hành vi ứng đáp này
được mô tả bằng một hàm đặc trưng CH cho biết xác suất trả lời đúng CH P(

) tùy theo
tương quan giữa năng lực HS

và các tham số đặc trưng cho CH. Hiện nay có 3 mô hình
toán học phổ biến nhất trong IRT: mô hình 1 tham số (mô hình Rasch) chỉ xét đến độ khó b
của CH, mô hình 2 tham số có xét đến độ phân biệt a của CH, và mô hình 3 tham số xét
thêm mức độ đoán mò c của HS khi trả lời CH. Dạng toán cụ thể của mô hình 3 tham số:
exp ( )

( ) (1 )
1 exp ( )
ab
P c c
ab




  

. So với lý thuyết TN cổ điển, lý thuyết IRT ưu việt hơn
nhiều. Trong lý thuyết TN cổ điển độ khó, độ phân biệt của các CH tính được phụ thuộc
vào mẫu HS được chọn để thử nghiệm và năng lực xác định được của HS phụ thuộc vào
ĐTN cụ thể mà HS làm. Với IRT, các tham số đặc trưng của CH (liên quan đến độ khó, độ
phân biệt, mức độ đoán mò) không phụ thuộc mẫu thử để định cỡ CH và năng lực đo được
của HS không phụ thuộc vào một ĐTN cụ thể, tức là phải như nhau cho dù đo bằng bất kỳ
ĐTN nào được lấy từ NHCH đã được cùng định cỡ. Theo IRT, mỗi CH có các thuộc tính
đặc trưng cho nó và mỗi HS ở một trình độ nào đó có một năng lực tiềm ẩn xác định, các
thuộc tính và đặc trưng này không phụ thuộc vào phép đo.
3. Xử lý số liệu bằng phần mềm Vítesta
Sau khi soạn thảo CH theo đúng quy trình gồm 4 giai đoạn theo 10 bước và tiến
hành cho HS kiểm tra, các phiếu trả lời sẽ được đưa vào máy quét hoặc nhập từng bài TN
vào máy tính. Vitesta sẽ tiến hành xử lý và sau đây là những chức năng chính của nó:
Định cỡ đề trắc nghiệm theo các mô hình IRT với 1, 2 và 3 tham số từ đó cung cấp tường
minh các đường cong đặc trưng, hàm thông tin của từng CHTN và ĐTN; thực hiện phép
biến đổi thông qua đường cong điểm thực của ĐTN nhằm thu được điểm số của từng HS
theo một thang điểm mong muốn nào đó (trên 10, trên 20, trên 100 v v…); độ khó, độ
phân biệt của CHTN theo lý thuyết cổ điển; cung cấp thông tin về tương quan giữa ĐTN
và mẫu HS, sơ đồ bài làm của từng HS; biến đổi điểm thô thành điểm thực theo thang điểm

tuỳ chọn
Để minh họa về tính năng của phần mềm VITESTA, sau đây chúng tôi sử dùng
chúng để phân tích kết quả bài làm chương Động học chất điểm Vật lý 10 Nâng cao sau
khi tiến hành thực nghiệm Sư phạm trên 8 lớp ở 4 trường THPT với 375 HS ở thành phố
Đà Nẵng và dùng phần mềm VITESTA phân tích theo mô hình 3 tham số, ta thu được kết
quả qua một số minh họa như sau:
BÁO CÁO VỀ ĐỀ THI

ĐÁP ÁN: 2221411122134313442134234434332242311314
TỔNG SỐ HỌC SINH: 375
Tuyển tập Báo cáo Hội nghị Sinh viên Nghiên cứu Khoa học lần thứ 8 Đại học Đà Nẵng năm 2012
TỔNG SỐ CÂU HỎI: 40

ĐỊNH CỠ ĐỀ THI
SAI SỐ THAM SỐ CHO PHÉP 0,001
SỐ VÕNG LẶP ƯỚC LƯỢNG MỖI THAM SỐ: 50
MÔ HÌNH: 3 THAM SỐ
ĐỘ TIN CẬY PHÂN TÍCH NĂNG LỰC (PERSON SEPARATION
RELIABILITY): 0,9994528
GIÁ TRỊ TRUNG BÌNH MỨC NĂNG LỰC: 0
GIÁ TRỊ TRUNG BÌNH ĐỘ KHÓ: 0,378
Bảng 1: Các chỉ số thống kê của từng câu hỏi
=========================================================================
Câu số: 13
Bỏ qua: 0
Độ phân biệt (cổ điển): 0,15164
Độ khó (cổ điển): 0,53333
Độ phân biệt IRT(a): 0,12863
Độ khó IRT(b): -0,18016
Độ phỏng đoán IRT(c): 0,04786

Các phương án: A B C D*
Số TS chọn: 119 26 30 200
Tỉ lệ TS chọn PA (%) 31,73 6,93 8,00 53,33
Tương quanđiểm nhị phân:-0,07781 -0,02414 -0,12275 0,15164
Giá trị t: -1,50739 -0,46630 -2,38873 2,96283
Giá trị p: 0,06628 0,32064 0,00870 0,00162
=========================================================================
Câu số: 38
Bỏ qua: 0
Độ phân biệt (cổ điển): 0,26768
Độ khó (cổ điển): 0,41067
Độ phân biệt IRT(a): 0,32812
Độ khó IRT(b): 0,70554
Độ phỏng đoán IRT(c): 0,00361
Các phương án: A B C* D
Số TS chọn: 67 100 154 54
Tỉ lệ TS chọn PA (%) 17,87 26,67 41,07 14,40
Tương quanđiểmnhịphân: -0,04281 -0,10294 0,26768 -0,19871
Giá trị p: 0,20423 0,02318 0,00000 0,00005
========================================================================
Từ các số liệu ở bảng trên chúng ta có thể chọn các CHTN theo độ khó, độ phân
biệt, độ đoán mò, cũng như các phương án nhiễu để lưu vào ngân hàng câu hỏi(NHCH),
như ở câu 13 cho thấy: độ khó 0,53, độ phân biệt kém, độ khó IRT -0.18, mức độ đoán mò
Tuyển tập Báo cáo Hội nghị Sinh viên Nghiên cứu Khoa học lần thứ 8 Đại học Đà Nẵng năm 2012
hơi cao gần 0.048 chúng tỏ số học sinh may rủi nhiều trong phương án đúng này mặc dù có
đến 53% số HS chọn. Nhiễu A tốt hơn nhiễu B vì lôi cuốn được nhiều HS chọn, độ phân
biệt bé hơn và giá trị p nhỏ hơn nhiều (p<0.05 là tốt). Nhiễu C tuy ít HS chọn nhưng khá
hay nhưng tất cả không đạt vì độ phân biệt quá thấp. Tóm lại câu này chưa tốt, để đưa vào
NHCH phải điều chỉnh sửa lại. Câu 38 ta thấy: độ khó 0.41, độ phân biệt tốt, độ khó theo
IRT 0.7 vượt mức năng lực trung bình 0, độ đoán mò thấp 0.00361, các phương án nhiễu

có độ phân biệt âm và lôi cuốn nhiều HS tham gia, tốt nhất là nhiễu D vì độ phân biệt và
giá trị p khá tốt. Vì vậy câu này tốt.
Hình 1: Ma trận đường cong đặc trưng và hàm thông tin của từng câu hỏi (câu 1 đến 14)



Từ ma trận đường cong đặc trưng CH giúp ta nhanh chóng phát hiện ra những câu
có vấn đề, có thể nhìn thấy ngay các câu 3, 4, 11, 13 có độ dốc nhỏ, tức là tham số a bé
thậm chí có độ khó âm cụ thể như ở câu 13 có độ phân biệt: 0,12863, độ khó: -0,18016.
Những câu này phải xem xét lại trước khi đưa vào ĐTN chính thức. Tương tự ma trận
đường cong hàm thông tin cho ta phép đo chính xác của CH nằm trong khoảng nào, có thể
thấy được rằng, ở câu 3, 11, 13 không cung cấp được thông tin của từng CH nhiều vì vậy
những câu này kém chất lượng cần phải chỉnh sửa lại. Ví dụ trong HTT câu 1 cho biết: câu
này dễ so với năng lực trung bình vì phép đo chính xác nằm dưới mức trung bình, độ
phỏng đoán hơi cao và độ phân biệt khá tốt. Như vậy, từ ma trận này ta có thể thiết kế một
ĐTN ở các mức độ khó, dễ hay bất cứ một mức độ nào tuỳ theo mục đích sử dụng của đề
thi, kiểm tra.
Hình 2: Đường cong đặc trưng của ĐTN

Đường cong này là tổng hợp tất cả đường cong đặc trưng của từng CH, nó biểu
diễn quan hệ hàm số giữa điểm thực và thang năng lực của HS và có dạng một hàm đồng
biến. Tiệm cận phải khi


có giá trị bằng tổng số CH N, tiệm cận trái khi



có giá trị bằng tổng giá trị các tham số đoán mò.
Hình 3: Đồ thị phân bố điểm

Đồ thị phân bố điểm vẽ lại các điểm dữ
Tuyển tập Báo cáo Hội nghị Sinh viên Nghiên cứu Khoa học lần thứ 8 Đại học Đà Nẵng năm 2012
liệu từ thực tế trên cơ sở các HS và CH đã được đánh giá. Mỗi điểm màu xanh là một hoặc
nhóm các HS có cũng điểm thô và cùng mức năng lực thu được từ quá trình ước lượng.
Bảng 2: Bảng giá trị ước lượng năng lực học sinh.
¦ STT¦ SBD ¦Năng lực ¦ Sai số chuẩn¦ Đúng/Tổng ¦Điểm quy đổi|
+ + + + + + |
¦ 1¦ 0000004204¦ 0,06114 ¦ 0,33228 ¦ 19/40 ¦ 506,11|
¦ 2¦ 0000004206¦ -1,00712 ¦ 0,35840 ¦ 13/40 ¦ 399,29|
¦ 3¦ 0000004205¦ 0,70245 ¦ 0,33404 ¦ 22/40 ¦ 570,24|
¦ 4¦ 0000004201¦ 0,75495 ¦ 0,33478 ¦ 23/40 ¦ 575,50|
¦ 5¦ 0000004202¦ 1,11315 ¦ 0,34222 ¦ 26/40 ¦ 611,31|
¦ 6¦ 0000004207¦ -1,18283 ¦ 0,36597 ¦ 12/40 ¦ 381,72|
¦ 7¦ 0000004208¦ -1,46916 ¦ 0,38011 ¦ 10/40 ¦ 353,08|
¦ 8¦ 0000004209¦ 0,12916 ¦ 0,33183 ¦ 19/40 ¦ 512,92|
¦ 9¦ 0000004210¦ 0,73595 ¦ 0,33450 ¦ 22/40 ¦ 573,60|
¦ 10 ¦ 0000004211 ¦ 2,02687 ¦ 0,38062 ¦ 29/40 ¦ 702,69|
Dựa vào bảng này ta có thể biết HS đang ở trường nào, lớp nào, năng lực của họ là
bao nhiêu cùng với số câu mà họ trả lời đúng. Nhưng quan trọng hơn hết trong bảng này là
điểm quy đổi. Từ Bảng 3 có thể rút ra một nhận xét: có những HS đạt điểm thô như nhau
(tức số CH trả lời đúng bằng nhau) nhưng lại có điểm quy đổi khác nhau. Lý do là vì mỗi
CH mà các HS đó làm được sẽ cung cấp cùng 1 điểm thô nhưng chúng lại có độ khó khác
nhau. Điều nhận xét trên cho thấy rõ điểm thô không đánh giá đúng năng lực của HS. Ví
dụ: HS có SBD 04 và 09 trả lời đúng 19/40 nhưng HS 09 có điểm số cao hơn vì năng lực
lớn hơn nghĩa là số câu hỏi đã làm được trong 19 câu này khó hơn 19 câu kia. Với lý
thuyết cổ điển thì số điểm bằng nhau.

Hình 4: Đồ thị phân bố độ khó và năng lực học sinh.

Đồ thị này cho phép bước đầu đánh giá về mức độ phù hợp của đề thi so với năng
lực HS. Năng lực HS và độ khó CH được đặt trên cùng thang đo. Chỉ số trên mỗi cột màu
xanh là số thứ tự câu hỏi trong đề thi, chỉ số trên mỗi cột màu đỏ là số lượng HS, vị trí của
mỗi cột màu xanh trên trục hoành là độ khó CH, vị trí của mỗi cột màu đỏ trên trục hoành
là năng lực HS. Như vậy đồ thị trên ta thấy rằng đề này có độ khó vượt khỏi năng lực của
HS mà cụ thể là: Nếu mức năng lực trung bình là 0 thì độ khó trung bình là 0,378 tức đề
này hơi khó so với năng lực của HS.


Hinh 4: Hàm thông tin đề thi-Đường cong sai số chuẩn. Mô hình 3 tham số.
Tuyển tập Báo cáo Hội nghị Sinh viên Nghiên cứu Khoa học lần thứ 8 Đại học Đà Nẵng năm 2012

Đường màu đỏ: Đường cong hàm thông tin đề thi. Đường đen nhạt: Đường cong
sai số chuẩn. Đường cong hàm thông tin trên cho thấy đề này có khả năng đo chính xác
nhất ở trong khoảng năng lực cao hơn mức trung bình.
Hình 5: Sơ đồ bài làm của từng HS (thứ 1)


Sơ đồ bài làm cho phép HS suy nghĩ và đối chiếu những câu hỏi làm được và
không làm được, cả những câu khó và dễ, những suy đoán về nguyên nhân thành công hay
thất bại của họ. Giáo viên cũng có thể dùng sơ đồ này để theo dõi HS, biết được năng lực
và những phần kiến thức HS chưa nắm được trong quá trình nhận thức môn học. Nữa mặt
phẳng bên trái chỉ các CH mà HS làm đúng, nữa mặt phẳng bên phải chỉ các CH mà HS
làm sai, vị trí của mỗi CH xác định độ khó của CH, tăng dần từ dưới lên theo trục thẳng
đứng. Với bài làm của HS STT 01 có 9 câu dễ, 10 câu khó làm được điều này cần kiểm tra
lại, 8 câu dễ và 13 câu khó không làm được điều này phù hợp. Sơ đồ này giúp chúng ta
thấy được rằng ĐTN có số CH khó nhiều hơn CH dễ và giúp mỗi HS có thể xem lại kết
quả, khả năng học tập của mình theo các chủ đề kiến thức ứng với từng CH. Ứng với 10/19

CH trả lời đúng thực sự là do HS có được kiến thức đó hay quay cóp, đoán mò và một CH
đặt ra cho HS này là nguyên nhân nào mà 10 câu khó làm đúng trong khi 8 câu dễ không
làm được. Nếu là HS ở trong lớp học mà GV đó dạy thì có thể điều tra, nắm được ngay
tình hình học tập của HS để từ đó có kế hoạch hỗ trợ và điều chỉnh kịp thời không chỉ một
em trên mà với tất cả HS mà GV đó giảng dạy.
4. Kết luận
Với ví dụ minh hoạ trên có thể kết luận rằng: VITESTA cho phép ước lượng kết
quả đạt độ chính xác tương đương nhưng thực hiện nhanh chóng, dễ sử dụng và cung cấp
tiện ích hơn nhiều so với 1 số phần mềm hiện nay và dựa trên việc phân tích đánh giá đó
lựa chọn các câu CH có độ khó, độ phân biệt và giá trị nội dung đạt yêu cầu để lưu vào
Tuyển tập Báo cáo Hội nghị Sinh viên Nghiên cứu Khoa học lần thứ 8 Đại học Đà Nẵng năm 2012
NHCH. Như vậy, trong 40 câu có một số câu cần phải chỉnh sửa lại như câu 3, 11, 13, 18
còn lại 9 câu ở mức độ nhận biết, 8 câu ở mức độ thông hiểu và 19 câu ở mức độ vận dụng
lưu vào ngân hàng CH.
Chúng tôi nghĩ cần phải sớm phổ biến kỹ thuật xây dựng câu hỏi trắc nghiệm theo
hướng này. Nếu ngân hàng câu hỏi đủ lớn, được soạn thảo và phân tích cẩn thận bao trùm
toàn bộ chương trình, các bài kiểm tra luôn thay đổi nội dung sẽ tác dụng tốt đến quá trình
tự học, làm giảm sự may rủi, học tủ, học lệch, hạn chế được nạn quay cóp buộc HS phải
học từ đầu. Từ đó, nó không chỉ giúp cho HS thay đổi phương pháp học một cách tích cực,
sáng tạo mà còn giúp giáo viên và nhà quản lý giáo dục có một phương pháp dạy và quản
lý hiệu quả hơn.

TÀI LIỆU THAM KHẢO
[1] Lâm Quang Thiệp (2011), Đo lường trong giáo dục, lý thuyết và ứng dụng, Nhà xuất
bản Đại học quốc gia Hà Nội.
[2] Lâm Quang Thiệp, Lâm Ngọc Minh, Lê Mạnh Tấn, Vũ Đình Bổng (2007), “Phần
mềm Vitesta và việc phân tích số liệu trắc nghiệm”, Tạp chí giáo dục, số 176,
11/2007.
[3] Nguyễn Bảo Hoàng Thanh (2011), Kiểm tra đánh giá trong giáo dục, Nhà xuất bản
Đà Nẵng.

[4] Nguyễn Bảo Hoàng Thanh (2008), “Sử dụng phần mềm Quest để phân tích câu hỏi
trắc nghiệm khách quan”, Tạp chí khoa học và công nghệ Đại học Đà Nẵng số
2(25)2008.