B
Ộ
VI
ĐỀ T
ÀI KHOA H
NGHIÊN C
Ứ
CÔNG NGH
Ệ THÔNG TIN TRONG VI
GIÁ K
ẾT QUẢ TỰ
TR
ẮC NGHI
Ch
ủ nhiệ
Ộ GIÁO DỤC V
À ĐÀO TẠO
VI
ỆN ĐẠI HỌC MỞ HÀ NỘI
BÁO CÁO TỔNG KẾT
ÀI KHOA H
ỌC VÀ CÔNG NGHỆ CẤP VI
ỆN
ỨU PH
ƯƠNG PHÁP
ỨNG DỤ
Ệ THÔNG TIN TRONG VIỆC ĐÁNH
Ả TỰ ĐỘNG CHO H
ÌNH TH
ỨC THI
C NGHIỆM KHÁCH QUAN
Mã số: V2014 - 41
ủ nhiệm đề t
ài: ThS. Đinh Tuấn Long
Hà Nội, 12/2014
ỆN
ỤNG
C ĐÁNH
ỨC THI
BÁO CÁO TỔNG KẾT
ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP VIỆN
NGHIÊN CỨU PHƯƠNG PHÁP ỨNG DỤNG
CÔNG NGHỆ THÔNG TIN TRONG VIỆC ĐÁNH
GIÁ KẾT QUẢ TỰ ĐỘNG CHO HÌNH THỨC THI
TRẮC NGHIỆM KHÁCH QUAN
Mã số: V2014-41
Chủ nhiệm đề tài: ThS. Đinh Tuấn Long
DANH SÁCH THÀNH VIÊN
THAM GIA NGHIÊN CỨU ĐỀ TÀI
Chủ nhiệm đề tài: ThS. Đinh Tuấn Long
Các thành viên: ThS. Trần Thị Lan Thu
KS. Trần Hoài Nam
KS. Lưu Tiến Trung
KS. Nguyễn Hữu Hải
M
MM
MỤC LỤC
ỤC LỤCỤC LỤC
ỤC LỤC
DANH M
DANH MDANH M
DANH MỤC TỪ VIẾT TẮT
ỤC TỪ VIẾT TẮTỤC TỪ VIẾT TẮT
ỤC TỪ VIẾT TẮT
DANH M
DANH MDANH M
DANH MỤC H
ỤC HỤC H
ỤC HÌNH V
ÌNH VÌNH V
ÌNH VẼ
ẼẼ
Ẽ
PH
PHPH
PHẦN MỞ ĐẦU
ẦN MỞ ĐẦUẦN MỞ ĐẦU
ẦN MỞ ĐẦU
1
11
1
1. Tính c
1. Tính c1. Tính c
1. Tính cấp thiết của đề t
ấp thiết của đề tấp thiết của đề t
ấp thiết của đề tài
àiài
ài
1
11
1
2. Tình hình nghiên c
2. Tình hình nghiên c2. Tình hình nghiên c
2. Tình hình nghiên cứu của đề t
ứu của đề tứu của đề t
ứu của đề tài
àiài
ài
1
11
1
3. M
3. M3. M
3. Mục ti
ục tiục ti
ục tiêu
êuêu
êu
2
22
2
4. Phương pháp nghiên c
4. Phương pháp nghiên c4. Phương pháp nghiên c
4. Phương pháp nghiên cứu
ứuứu
ứu
2
22
2
5. N
5. N5. N
5. Nội dung nghi
ội dung nghiội dung nghi
ội dung nghiên c
ên cên c
ên cứu
ứuứu
ứu
3
33
3
PH
PHPH
PHẦN II
ẦN IIẦN II
ẦN II:
: :
: N
NN
NỘI DUNG
ỘI DUNGỘI DUNG
ỘI DUNG
4
44
4
Chương 1: T
Chương 1: TChương 1: T
Chương 1: Tổng quan
ổng quanổng quan
ổng quan
4
44
4
1.1. Trắc nghiệm khách quan 4
1.1.1. Giới thiệu 4
1.1.2. Lợi ích của trắc nghiệm khách quan 5
1.1.3. Nhược điểm của trắc nghiệm khách quan 7
1.2. Các hình thức trắc nghiệm khách quan 7
1.3. Đánh giá kết quả hình thức trắc nghiệm khách quan 9
1.4. Ứng dụng Công nghệ thông tin trong công tác đánh giá kết quả 9
Chương 2: Th
Chương 2: ThChương 2: Th
Chương 2: Thực trạng công tác công tác t
ực trạng công tác công tác tực trạng công tác công tác t
ực trạng công tác công tác tổ chức thi hết môn học/học phần
ổ chức thi hết môn học/học phầnổ chức thi hết môn học/học phần
ổ chức thi hết môn học/học phầntheo
theo theo
theo
hình th
hình thhình th
hình thức trắc nghiệm khách quan tại Trung tâm Đ
ức trắc nghiệm khách quan tại Trung tâm Đức trắc nghiệm khách quan tại Trung tâm Đ
ức trắc nghiệm khách quan tại Trung tâm Đào t
ào tào t
ào tạo
ạo ạo
ạo E
EE
E-
-Learning, Vi
Learning, ViLearning, Vi
Learning, Viện Đại
ện Đại ện Đại
ện Đại
h
hh
học Mở H
ọc Mở Học Mở H
ọc Mở Hà N
à Nà N
à Nội
ộiội
ội
11
1111
11
2.1. Giới thiệu về trung tâm 11
2.1.1. Phương thức đào tạo eLearning 11
2.1.2. Quy trình tổ chức thi hết môn học/học phần 13
2.2. Phương pháp đánh giá kết quả 15
2.2.1. Kết quả đạt được 15
2.2.2. Những hạn chế 16
Chương 3: Đ
Chương 3: ĐChương 3: Đ
Chương 3: Đề xuất giải pháp ứng dụng công nghệ thông tin trong công tác c
ề xuất giải pháp ứng dụng công nghệ thông tin trong công tác cề xuất giải pháp ứng dụng công nghệ thông tin trong công tác c
ề xuất giải pháp ứng dụng công nghệ thông tin trong công tác ch
hh
hấm
ấm ấm
ấm
thi theo hình th
thi theo hình ththi theo hình th
thi theo hình thức trắc nghiệm khách quan
ức trắc nghiệm khách quanức trắc nghiệm khách quan
ức trắc nghiệm khách quan
17
1717
17
3.1. Đề xuất giải pháp 17
3.2. Triển khai thử nghiệm 17
3.2.1. Phân tích thiết kế phần mềm chấm thi trắc nghiệm tự động 17
3.2.2. Lựa chọn công cụ, xây dựng phần mềm thử nghiệm 41
3.2.3. Triển khai thử nghiệm tại Trung tâm Đào tạo E-Learning 41
3.2.4. Đánh giá kết quả 41
K
KK
KẾT LUẬN V
ẾT LUẬN VẾT LUẬN V
ẾT LUẬN VÀ KI
À KIÀ KI
À KIẾN
ẾN ẾN
ẾN NGH
NGHNGH
NGHỊ
ỊỊ
Ị
43
4343
43
TÀI LI
TÀI LITÀI LI
TÀI LIỆU THAM KHẢO
ỆU THAM KHẢOỆU THAM KHẢO
ỆU THAM KHẢO
44
4444
44
DANH MỤC TỪ VIẾT TẮT
STT Viết tắt Đầy đủ
1 HT Học tập
2 SV Sinh viên
3 TNKQ Trắc nghiệm khách quan
4 GV Giảng viên
DANH MỤC HÌNH VẼ
Hình 1: Quy trình tổ chức thi trắc nghiệm tại Trung tâm Đào tạo E-Learning 14
Hình 2: Ma trận yêu cầu của đề thi 15
Hình 3: Mô hình hoạt động của phần mềm chấm thi tự động 19
Hình 4: Mô hình Use-Case của phần mềm chấm thi tự động 21
Hình 5: Biểu đồ hoạt động tạo Project mới 33
Hình 6: Biểu đồ hoạt động nhập bài thi 34
Hình 7: Biểu đồ hoạt động thêm bài thi 35
Hình 8: Biểu đồ hoạt động xóa bài thi 36
Hình 9: Biểu đồ hoạt động nhập đáp án 37
Hình 10: Biểu đồ hoạt động nhập danh sách sinh viên 38
Hình 11: Biểu đồ hoạt động sửa lỗi 39
Hình 12: Biểu đồ hoạt động tạo báo cáo 40
Hình 13: Biểu đồ hoạt động xuất báo cáo 40
PHẦN MỞ ĐẦU
1. Tính cấp thiết của đề tài
Trung tâm Đào tạo E-Learning, Viện Đại học Mở Hà Nội được Viện
giao cho nhiệm vụ phát triển và triển khai đào tạo theo phương thức eLearning.
Hiện nay, Trung tâm đang có gần 8000 sinh viên theo học, với 5 ngành đào tạo:
Luật kinh tế, Công nghệ thông tin, Quản trị kinh doanh, Tài chính ngân hàng và
Kế toán. Với số lượng sinh viên đông, phương thức đào tạo mới, địa điểm đào
tạo phân tán, Trung tâm đã lựa chọn hình thức thi trắc nghiệm khách quan làm
hình thức thi chính cho các kỳ thi kết thúc học phần/môn học. Điều này đã giúp
đảm bảo kết quả các kỳ thi là trung thực, khách quan, thời gian có kết quả
nhanh, được sinh viên đánh giá cao.
Tuy nhiên, hình thức tổ chức thi này cũng còn những vấn đề cần được
hoàn thiện hơn để góp phần nâng cao chất lượng cho hình thức tổ chức thi này,
đặc biệt là khâu đánh giá kết quả bài làm của thí sinh.
Trong thời gian qua, Trung tâm đang sử dụng phần mềm chấm điểm thi
trắc nghiệm do đối tác là công ty Edutop64 cung cấp, tuy nhiên, đây là một
phần mềm đã được xây dựng từ năm 2009, bản thân nhóm phát triển phần mềm
này đã rời khỏi công ty Edutop64, nên phần mềm không có khả năng nâng cấp,
đổi mới theo những yêu cầu mới phát sinh trong thời gian này. Chính vì vậy,
việc cần có một sự nghiên cứu các vấn đề phát sinh từ thực tế triển khai, để đưa
ra một giải pháp hoàn toàn của Viện Đại học Mở Hà Nội trong việc đánh giá tự
động bài thi theo hình thức trắc nghiệm khách quan là rất cần thiết.
2. Tình hình nghiên cứu của đề tài
Việc ứng dụng công nghệ thông tin trong hình thức thi trắc nghiệm
khách quan càng ngày càng được quan tâm nhiều hơn, từ việc sử dụng máy
tính hỗ trợ khâu sản xuất đề thi đến cao hơn nữa là tổ chức kỳ thi, hỗ trợ công
tác chấm thi. Việc áp dụng công nghệ thông tin đã gia tăng độ chính xác và
giảm thời gian cho công tác chấm, tăng cường tối đa tính khách quan của hình
thức thi này. Hiện nay, có rất nhiều đơn vị trong và ngoài đã ứng dụng công
nghệ thông tin trong các giai đoạn của quá trình tổ chức thi trắc nghiệm như
trong các kỳ thi lấy chứng chỉ quốc tế Toelf, IELTS,… hay sát hạch lý thuyết
để lấy bằng lái xe. Bộ giáo dục và đào tạo cũng đã sử dụng các hệ thống chấm
thi tự động cho kỳ thi đại học theo tiêu chuẩn 3 chung từ năm 2004 đến nay.
Trên thị trường hiện nay cũng có rất nhiều các sản phẩm được xây
dựng để phục vụ cho công tác chấm thi trắc nghiệm như MrTest của Đại học
Quốc gia Hà Nội, eTest của Đại học Lạc Hồng, AutoMark của công ty MTV
LIINK,… với nhiều chức năng đa dạng. Tuy nhiên, các sản phẩm thương mại
đều có nhiều tính năng không cần thiết và khó để đáp ứng những nhu cầu cụ
thể của nhà trường, thêm vào đó, đa phần các phần mềm đã có chủ yếu chỉ tập
trung vào việc chấm điểm mà còn thiếu tính năng phân tích tự động, để từ đó
có cơ sở cải tiến, nâng cấp chất lượng ngân hàng đề thi và nâng cao hiệu quả
đào tạo. Nhóm tác giả đề xuất nghiên cứu đưa ra giải pháp ứng dụng công nghệ
thông tin trong việc đánh giá tự động kết quả bài thi theo hình thức trắc nghiệm
khách quan và từ đó, làm cơ sở để có thể xây dựng một phần mềm thực hiện
công việc này.
3. Mục tiêu
Nghiên cứu thực trạng của việc tổ chức thi theo hình thức trắc nghiệm
khách quan tại Trung tâm Đào tạo E-Learning, từ đó đề xuất giải pháp ứng
dụng công nghệ thông tin trong việc đánh giá kết quả bài thi trắc nghiệm khách
quan cho hệ đào tạo theo phương thức eLearning tại Trung tâm Đào tạo
eLearning – Viện Đại học Mở Hà Nội
4. Phương pháp nghiên cứu
Đề tài đi theo hướng khảo sát thực tế các yêu cầu của Trung tâm, từ đó
tiến hành đề xuất giải pháp ứng dụng công nghệ thông tin phục vụ các yêu cầu
đó. Phương pháp nghiên cứu sử dụng là phương pháp thống kê số liệu phục vụ
việc khảo sát và phương pháp thực nghiệm để đưa ra các đánh giá kết quả giải
pháp đề xuất.
5. Nội dung nghiên cứu
Khảo sát tình hình tổ chức chấm thi trắc nghiệm tại Trung tâm Đào tạo
eLearning
- Phân tích và thiết kế phần mềm chấm thi trắc nghiệm tự động
- Xây dựng phần mềm chấm thi trắc nghiệm tự động thử nghiệm
- Triển khai, đánh giá hiệu quả
- Xây dựng các tài liệu hướng dẫn sử dụng liên quan
PHẦN II
NỘI DUNG
1. Chương 1: Tổng quan
1.1. Trắc nghiệm khách quan
1.1.1. Giới thiệu
Trắc nghiệm khách quan là một phương pháp trắc nghiệm mà đề thi
gồm có nhiều câu hỏi, ở mỗi câu đều nêu lên vấn đề và những thông tin cần
thiết giúp thí sinh trả lời một cách ngắn gọn. Phương pháp trắc nghiệm khách
quan có rất nhiều ưu điểm, được sử dụng một cách rộng rãi, đặc biệt là trong
lĩnh vực giáo dục đào tạo. Trong thời gian đầu du nhập vào Việt Nam, trắc
nghiệm khách quan chủ yếu được sử dụng trong các kỳ thi cấp chứng chỉ và
các kỳ thi môn ngoại ngữ, tuy nhiên, sau thời gian chứng minh được hiệu quả
của nó, hình thức thi này đã được sử dụng trong nhiều lĩnh vực khác, Bộ Giáo
dục và Đào tạo cũng đã chính thức sử dụng thi trắc nghiệm khách quan cho đa
số các môn trong kỳ thi đầu vào đại học từ năm 2008. Chính vì sự phổ biến của
mình, khi người ta nói đến thi trắc nghiệm, được ngầm hiểu là trắc nghiệm
khách quan. Các câu hỏi được sử dụng trong các bài thi trắc nghiệm được gọi
là câu hỏi trắc nghiệm, những câu hỏi này được thiết kế và xây dựng theo
những tiêu chuẩn nhất định để đảm bảo được các đặc điểm của phương pháp
đánh giá này.
Cấu trúc của câu hỏi trắc nghiệm thông thường bao gồm những thành
phần sau:
Phần chính: luôn luôn có với bất kỳ câu hỏi trắc nghiệm nào
- Phần hỏi: là phần đặt vấn đề của câu hỏi trắc nghiệm.
- Phần trả lời: là phần đưa ra các phương án để người trả lời lựa chọn.
- Phần đáp án: là đáp án đúng của câu hỏi, phần này chỉ sử dụng khi
tiến hành chấm một bài thi trắc nghiệm.
Phần thông tin bổ sung: tùy thuộc vào yêu cầu, các phần này có thể có
hoặc không
- Phần phân loại theo mức độ khó dễ: đánh giá mức độ khó dễ của câu
hỏi.
- Phần phạm vi kiến thức: xác định phạm vi kiến thức của câu hỏi trắc
nghiệm
1.1.2. Lợi ích của trắc nghiệm khách quan
-
Tính khách quan: sử dụng TNKQ thì sẽ giải phóng được ảnh hưởng
chủ quan của người chấm. Tính chủ quan của người chấm thể hiện rõ
trong việc chấm bài tự luận hiện nay. Chúng ta từng thấy các giám
khảo khác nhau đánh giá khác nhau cùng một bài làm. Ngay cả khi
cùng một giám khảo thì điểm số của một bài làm cũng có thể thay
đổi tuỳ theo từng lúc. Ngược lại, khi sử dụng TNKQ thì khả năng tác
động của ảnh hưởng xa lạ đối với việc đánh giá thu lại đến mức tối
thiểu do mỗi câu hỏi đều có câu trả lời cho sẵn, nên việc chấm được
tiến hành một cách máy móc, không đòi hỏi chuyên môn của giám
khảo và có thể chấm bài TNKQ bằng bảng đục lỗ hoặc bằng máy.
-
Quá trình tiến hành nhanh chóng, mất ít thời gian: Việc soạn thảo
một bài TNKQ là rất lâu và công phu, nhưng việc chấm bài lại rất
nhanh chóng và thuận lợi. Nếu chấm bài tự luận, nhất là ở những lớp
đông SV, thì có khi phải mất hàng tuần, hoặc hơn thế nữa thì mới trả
được bài. Nhưng nếu chấm bài TNKQ thì một giờ có thể chấm hàng
trăm bài, nhất là nếu sử dụng các máy chấm điểm thì có thể chấm
được hàng ngàn bài trong một giờ (ví dụ máy IBM 1230 Otical Mart
Scoring Reader có thể chấm 1200 bài trong một giờ). Ưu điểm này
dẫn đến tính kinh tế và phổ biến của TNKQ. Người ta có thể tiến
hành kiểm tra đánh giá trên phạm vi lớn, số lượng lớn SV.
-
Tính bao quát về nội dung: Do ưu điểm nổi bật của TNKQ là nhanh
chóng, mất ít thời gian nên một bài TNKQ thường bao gồm nhiều
câu hỏi. Trong một bài TNKQ người ta có thể đưa vào đó nhiều nội
dung kiểm tra khác nhau cho mỗi môn học. Đây là ưu điểm lớn của
TNKQ so với dạng kiểm tra tự luận. Hạn chế của dạng tự luận là ở
chỗ, ở mỗi bài kiểm tra thường chỉ bao gồm vài câu hỏi nên chỉ có
thể đề cập đến một phạm vi hẹp của kiến thức của SV về môn học
đó. Do đó việc đánh giá có thể thiếu chính xác vì có em nắm được
vấn đề này lại không nắm được vấn đề khác. Trong thực tế với thời
gian 120 phút một bài TNKQ thường trên 60 câu hỏi, trên 200
phương án trả lời trong khi một bài tự luận thường chỉ gồm 5 hoặc 6
câu hỏi.
-
Gây hứng thú và tính tích cực HT cho SV: Với hình thức câu hỏi
ngắn gọn, việc trả lời đơn giản và kết quả bài làm thường được biết
trong thời gian ngắn và cũng là một hình thức kiểm tra mới, nên các
bài TNKQ thường gây cho người học hào hứng làm bài, do đó thúc
đẩy được việc HT. Nếu sau khi làm bài, SV được đối chiếu với đáp
án thì SV có thể tự lý giải được các lỗi mà SV gặp phải ở những câu
trả lời sai, những ý niệm sai lầm được sửa chữa một cách nhanh
chóng và khắc sâu trong đầu. Như vậy sẽ có hiệu quả hơn là phải chờ
đợi hàng tuần, hàng tháng mới biết được những sai lầm ấy. Đến lúc
ấy thì SV chỉ chú ý, quan tâm đến điểm số chứ ít khi chú ý đến sai
lầm và sửa chữa sai lầm. Dựa trên nguyên tắc này, người ta đã chế ra
những máy TNKQ dùng cho loại câu hỏi nhiều lựa chọn, với những
nút có sẵn câu trả lời. Với máy này SV có thể biết ngay câu trả lời
mà mình lựa chọn là đúng hay sai, và biết được số điểm toàn bài sau
khi hoàn tất. Giáo sư Mỹ Skinner và các cộng sự của ông đã chế tạo
ra máy DH, giúp SV có thể tự học bằng cách theo dõi và trả lời từng
đơn vị nhỏ của bài giảng hiện ra trên máy, ở Việt Nam, cũng có một
vài tác giả chế tạo ra các mẫu máy TNKQ khác nhau để kiểm tra SV,
và đã dùng thử có kết quả tốt gây hứng thú cho SV (tham khảo theo
Nguyễn Hữu Long, 1978). Ngày nay, với sự có mặt của công nghệ
thông tin, có rất nhiều phần mềm học tập, cũng như các trang web
học tập sử dụng phương pháp trắc nghiệm, cho kết quả ngay, giúp
người học tự kiểm tra được kiến thức của mình và cập nhật được
những lỗ hổng kiến thức mà mình mắc phải.
1.1.3. Nhược điểm của trắc nghiệm khách quan
Ngoài những ưu điểm nổi bật nêu trên, TN giáo dục cũng còn có những
nhược điểm nhất định của nó, đó là:
-
Việc soạn thảo đề thi thường khó và tương đối tốn kém. Bởi vì dễ
xây dựng các câu hỏi liên quan đến kiến thức hơn là liên quan đến
các mục tiêu ở mức cao hơn. Vì vậy cũng khó kiểm tra, đánh giá
được bề sâu kiến thức. Về điều này, nhiều nhà giáo dục cho biết là
nếu người biên soạn TNKQ có trình độ chuyên môn cao, có kinh
nghiệm sư phạm phong phú, thì các bài TNKQ sẽ đồi hỏi các thao
tác trí tuệ như phân tích tổng hợp, so sánh, trừu tượng hoá… kích
thích suy nghĩ sáng tạo chứ không phải chỉ đòi hỏi sự nhận dạng, tái
hiện kiến thức đã được học ở trên lớp.
-
Các yếu tố may rủi, ngẫu nhiên do HS có thể đoán mò các câu trả
lời, nhất là với loại câu TN đúng – sai, yếu tố may rủi lên đến 50%.
Tuy nhiên về nhược điểm này có những công trình nghiên cứu khoa
học cho biết là việc đối chiếu những kiến thức đúng – sai, trái ngược
nhau sẽ giúp SV lật lại vấn đề, cảnh giác với những sai lầm. Dẫu sao
về TN kiểu câu đúng – sai vẫn có ý kiến cho rằng nên hạn chê sử
dụng.
-
Khó đánh giá quy trình suy nghĩ dẫn đến kết quả TNKQ do việc trả
lời các câu hỏi TNKQ rất đơn giản. Ví dụ như chỉ là bôi đen ở đáp án
A, B, C hoặc D để thể hiện là SV lựa chọn đáp án tương ứng, điều
này làm cho GV khó có thể kiểm tra được năng lực trình bày, diễn
đạt, sắp xếp các ý kiến riêng của SV.
1.2. Các hình thức trắc nghiệm khách quan
Có nhiều hình thức để đưa ra các câu hỏi trắc nghiệm, khi tổ chức các
kỳ thi, người ra đề sẽ dựa trên đặc điểm, công dụng của từng loại câu hỏi để
quyết định lựa chọn sử dụng câu hỏi nào phù hợp nhất. Tuy nhiên, hiện nay ở
Việt Nam, các câu hỏi trắc nghiệm thường được tập trung vào trong 5 dạng
sau:
-
Câu hỏi đúng / sai
-
Câu hỏi có nhiều lựa chọn
-
Câu ghép đôi
-
Câu điền khuyết
-
Câu trả lời ngắn
-
Câu hỏi đúng / sai
a. Câu hỏi đúng / sai là các câu hỏi trắc nghiệm trong đó đáp án chỉ
đưa ra 2 phương án lựa chọn là Đúng hoặc Sai. Loại câu hỏi này thường đơn
giản, ít tốn công sức trong việc soạn thảo và thường được tập hợp nhiều câu hỏi
trong một bài tập trắc nghiệm.
b. Câu hỏi nhiều lựa chọn
Câu hỏi trắc nghiệm dạng này thường gồm 2 phần, phần câu hỏi và
phần các phương án. Phần câu hỏi là một câu hỏi hay câu chưa được hoàn tất,
phần các phương án gồm một số câu trả lời hay câu bổ sung để người trả lời
lựa chọn ra một hay nhiều đáp án đúng cho câu hỏi. Hình thức câu hỏi này hiện
nay đang là hình thức câu hỏi trắc nghiệm phổ biến nhất.
c. Câu ghép đôi
Câu hỏi trắc nghiệm dạng ghép đôi là câu hỏi gồm có 2 trường thông
tin, trong đó trường thông tin thứ nhất chứa một dãy các câu hỏi hoặc câu dẫn,
trường thông tin thứ hai chứa một dãy các câu trả lời hoặc lựa chọn. Nhiệm vụ
của người trả lời là phải tìm ra được từng cặp câu hỏi và câu trả lời tương ứng
với nhau. Thông thường thì số lượng câu hỏi và câu trả lời sẽ giống nhau, tuy
nhiên cũng có những trường hợp đặc biệt sẽ để số lượng câu hỏi và câu trả lời
khác nhau, trong đó có chứa một số câu dư thừa dùng để làm nhiễu hoặc có
một số câu hỏi hoặc đáp án được phép sử dụng nhiều lần.
d. Câu điền khuyết
Câu hỏi trắc nghiệm dạng điền khuyết là câu hỏi trong đó có chứa một
hoặc nhiều chỗ trống, đi kèm câu hỏi là một tập hợp các từ, cụm từ, hướng
dẫn,… để người trả lời lựa chọn bổ sung vào các chỗ trống sao cho tạo thành
một đáp án hoàn chỉnh. Dạng câu này hiện nay chủ yếu được sử dụng trong
môn ngoại ngữ, ít khi xuất hiện trong các kỳ thi trắc nghiệm khác.
e. Câu trả lời ngắn
Câu hỏi trắc nghiệm loại này là dạng câu hỏi ít xuất hiện nhất, vì đây là
các câu hỏi cần người trả lời phải tư duy và tự đưa ra đáp án riêng của mình
chứ không có gợi ý như các dạng câu hỏi trên, việc chấm các dạng câu hỏi này
cũng cần đến sự tham gia của con người, nên làm giảm tính khách quan của
hình thức đánh giá này, việc xây dựng các câu hỏi dạng này cũng rất mất công
trong việc liệt kê ra những đáp án phù hợp cho cùng một câu hỏi, khó tránh
khỏi những thiếu sót.
1.3. Đánh giá kết quả hình thức trắc nghiệm khách quan
Việc đánh giá kết quả hình thức trắc nghiệm khách quan thường được
thực hiện một cách khách quan, thông qua việc so sánh đơn giản giữa bài làm
của thí sinh và bảng kết quả. Vì bảng kết quả của hình thức trắc nghiệm khách
quan là hoàn toàn xác định, không mập mờ nên việc so sánh hoàn toàn không
cần các kiến thức chuyên môn liên quan tới đề thi. Trước kia, để thực hiện
được nhanh chóng công tác này, người ta sử dụng các tấm mica được đánh dấu
các vị trí trùng với kết quả và đặt lên trên bài làm của thí sinh để xác định vị trí
các ô làm sai (hoặc làm đúng) để xác định điểm số của bài kiểm tra. Ngày nay,
với sự có mặt của công nghệ thông tin, những thao tác này có thể thực hiện
được một cách tự động với sự hỗ trợ của máy tính, máy scanner và phần mềm
hỗ trợ chấm bài thi trắc nghiệm.
Chất lượng của đề thi trắc nghiệm sẽ được đánh giá thông qua kết quả
làm bài của thí sinh, tuy nhiên, trong phạm vi đề tài này, không đi sâu vào việc
phân tích và đánh giá chất lượng của đề thi trắc nghiệm khách quan.
1.4. Ứng dụng Công nghệ thông tin trong công tác đánh giá kết quả
Với những ưu thế của mình, trắc nghiệm khách quan càng ngày càng
được sử dụng nhiểu trong các kỳ kiểm tra, đánh giá. Điều này cũng nảy sinh
các vấn đề cần được giải quyết như sau:
-
Đảm bảo tính khách quan của đề thi
-
Đảm bảo tính đa dạng của đề thi
-
Đảm bảo chất lượng của đề thi
-
Đảm bảo tính khách quan của việc đánh giá kết quả bài thi
-
Đảm bảo tính chính xác trong công tác đánh giá kết quả bài thi
Nếu chỉ đơn thuần sử dụng các phương pháp thủ công, những vấn đề
trên sẽ càng ngày càng trở nên khó giải quyết, nhất là khi số lượng câu hỏi
trong ngân hàng đề được tăng lên. Chính vì vậy, việc đưa ra các giải pháp ứng
dụng công nghệ thông tin trong công tác tổ chức đánh giá kết quả trắc nghiệm
khách quan là điều rất cần thiết và thực sự giải quyết được những vấn đề trên.
Việc ứng dụng công nghệ thông tin thường được đưa ra dưới các hình thức sau:
-
Quản lý ngân hàng câu hỏi: các phần mềm giúp cho việc cập
nhật, nâng cấp, sửa chữa, đảm bảo tính bảo mật cho các câu hỏi
được lưu trữ trong ngân hàng câu hỏi trắc nghiệm. Việc quản lý
này giúp giảm rất nhiều thời gian trong việc tìm kiếm các câu
hỏi phù hợp các mục đích cần thiết để đưa vào một đề thi trắc
nghiệm khách quan.
-
Xây dựng các bộ đề thi từ ngân hàng câu hỏi: các phần mềm
thực hiện công việc lựa chọn ngẫu nhiên các câu hỏi trong ngân
hàng đề thi, nhằm thỏa mãn ma trận yêu cầu của đề thi (thường
bao gồm các yếu tố về độ khó dễ, số lượng câu hỏi, phạm vi kiến
thức của đề thi,…), sau đó tạo ra các đề thi giống nhau về nội
dung, nhưng khác nhau về cách hiển thị: xáo trộn thứ tự câu hỏi,
xáo trộn đáp án. Những bộ đề thi này thường được sử dụng tại
một lần tổ chức thi, đảm bảo giảm thiểu tình trạng quay cóp, hỏi
bài, nhưng vẫn đảm bảo là lượng kiến thức là giống nhau trong
tất cả các đề thi.
-
Đánh giá kết quả tự động: các phần mềm dạng này sẽ hỗ trợ việc
scan các bài làm của thí sinh, sau đó so sánh với đáp án của đề
thi và đưa ra kết quả. Tuy nhiên, các phần mềm cũng cần có các
tính năng cho phép dò kiểm, xem lại và can thiệp thủ công để
tránh tình trạng nhận dạng lỗi.
-
Phân tích kết quả và đánh giá chất lượng đề thi: thông qua các lý
thuyết về trắc nghiệm khách quan, các phần mềm có thể thống
kê được kết quả bài làm của hàng loạt thí sinh, từ đó đưa ra các
đánh giá về chất lượng của từng câu hỏi trắc nghiệm, cũng như
đánh giá chất lượng của đề thi trắc nghiệm. Việc này giúp cho
cơ sở tổ chức trắc nghiệm khách quan có thể hoàn thiện hơn
ngân hàng câu hỏi để nâng cao chất lượng của công tác đánh giá
thông qua việc tổ chức thi trắc nghiệm khách quan.
2. Chương 2: Thực trạng công tác công tác tổ chức thi hết môn
học/học phần theo hình thức trắc nghiệm khách quan tại Trung tâm
Đào tạo E-Learning, Viện Đại học Mở Hà Nội
2.1. Giới thiệu về trung tâm
Trung tâm Đào tạo E-Learning được thành lập năm 2009, được Viện
Đại học Mở Hà Nội giao cho trách nhiệm tổ chức đào tạo theo phương thức
đào tạo trực tuyến (E-Learning). Trong giai đoạn 2009-2013, Trung tâm sử
dụng công nghệ đào tạo được cung cấp bởi công ty Edutop64, với 4 ngành đào
tạo là Công nghệ Thông tin, Kế toán, Quản trị kinh doanh và Tài chính Ngân
hàng. Từ tháng 12/2013, Trung tâm đã hoàn thiện hệ thống công nghệ của
riêng Viện Đại học Mở Hà Nội, đưa vào sử dụng chính thức với tên gọi là
chương trình EHOU. Đến nay, đã có hơn 400 sinh viên theo học chương trình
EHOU và gần 7500 sinh viên theo học chương trình Cử nhân trực tuyến với sự
hỗ trợ công nghệ của Edutop64.
2.1.1. Phương thức đào tạo eLearning
Phương thức đào tạo E-Learning (Electronic Learning) là một thuật ngữ
dùng để mô tả việc học tập, đào tạo dựa trên công nghệ thông tin và truyền
thông.
Trong xã hội toàn cầu hóa ngày nay, học tập là việc cần được tiến hành
trong suốt cuộc đời của mỗi con người, việc học giúp cho con người có thể tiếp
cận được những tri thức mới, nắm bắt được những kỹ năng mới, bồi dưỡng
nâng cao những kỹ năng sẵn có, để có thể đáp ứng được các nhu cầu về công
việc cũng như cuộc sống của mỗi người. Tuy nhiên, không phải dễ dàng để có
thể dành ra một khoảng thời gian để có thể đăng ký, theo học các lớp học
truyền thống, vì điều này làm gián đoạn công việc của họ. Phương thức đào tạo
E-Learning được ra đời chính là nhằm mục đích giải quyết những vấn đề này,
phương thức này hướng tới việc tự học và người học có thể tự bố trí giờ học
của mình tại bất kỳ đâu, bất kể thời gian nào trong ngày. Phương pháp đào tạo
này sử dụng những tiến bộ của phương tiện điện tử, của công nghệ viễn thông
như máy tính, điện thoại, ti vi, internet, … nhằm gia tăng khả năng truyền tải
kiến thức của mình. Với các công cụ này, việc truyền đạt những kiến thức cần
thiết trở nên dễ dàng hơn thông qua hình ảnh, âm thanh, các đoạn phim ngắn,…
có khả năng biểu hiện nội dung cần truyền đạt một cách trực quan, sinh động.
Các công nghệ này cũng giúp cho việc giao tiếp từ xa giữa người dạy và người
học, nâng cao khả năng tự theo dõi, giám sát quá trình học tập của mỗi người,
từ đó đưa được ra lộ trình học tập một cách hiệu quả hơn. Không những giúp
đỡ được người học học theo những giáo trình sẵn có, E-Learning còn là công
cụ giúp những người thành công có thể dễ dàng chia sẻ kinh nghiệm của mình
cho người khác, giúp xã hội ngày càng phát triển và tiến bộ. Có thể nói phương
thức đào tạo E-Learning là một phương thức đầy tính nhân văn và vì sự tiến bộ
của nhân loại trên toàn thế giới. Có thể tổng hợp một số đặc tính của phương
thức này như sau:
-
E-Learning là một loại hình đào tạo năng động: nội dung thông tin mang
tính thời đại và thực tế, có tính cập nhật thường xuyên;
-
E-Learning là hoạt động thực tế: người học có thể chọn lựa đúng những
gì mình cần;
-
E-Learning là loại hình học tập hướng người học: người học tham gia
phương thức này hoàn toàn chủ động về thời gian, về nội dung học tập,
về khối lượng kiến thức mà họ muốn thu nhập, và về cách thức tiếp
nhận kiến thức sao cho phù hợp với bản thân mỗi người;
-
E-Learning là lại hình đào tạo có tính toàn cầu: với sự phát triển của
Internet, không có ranh giới cụ thể giữa các quốc gia trên hệ thống
mạng, người học và người dạy có thể đến từ bất kỳ quốc gia nào trên thế
giới;
-
E-Learning là loại hình đào tạo hiệu quả: do sự phát triển của công nghệ,
nội dung đào tạo của phương thức này luôn mang tính trực quan, dễ học,
dễ hiểu, người học khi tham gia phương thức này bản thân đã có ý thức
tự học, nên tính hiệu quả của việc học rất cao;
-
E-Learning là loại hình đào tạo tiết kiệm thời gian: người học có thể chủ
động trong việc bố trí thời gian học như học tại nhà, học trên đường đi,
học lúc nghỉ ngơi ở cơ quan,… người học cũng có thể tự tăng tốc độ
học tập để rút ngắn thời gian học của mình;
2.1.2. Quy trình tổ chức thi hết môn học/học phần
Với số lượng sinh viên đông, số ngành học nhiều hơn so với một khoa
chuyên ngành thông thường, vì vậy việc tổ chức thi cũng diễn ra với mật độ
dày hơn, trong khi lượng giảng viên cơ hữu lại rất ít, đa phần là cán bộ tham
gia các khâu tổ chức và quản lý đào tạo. Chính vì vậy, Trung tâm Đào tạo E-
Learning lựa chọn giải pháp thi trắc nghiệm để đảm bảo chất lượng cũng như
tiến độ chấm thi, báo kết quả cho sinh viên.
Quy trình tổ chức thi tại Trung tâm diễn ra như sau:
Hình 1: Quy trình t
ổ
Quy trình trên mô t
ả
t
ổ chức kỳ thi hết môn/học ph
Trung tâm Đào t
ạo eLearning. Trong
gian, dễ nhầm lẫn nhất là:
-
Xây d
ựng đề thi từ ngân h
yêu c
ầu của môn học,
•
Xây dựng ma trận yêu cầu với
đề thi của từng môn học/học
phần
•Xây dựng ngân hàng câu hỏi
trắc nghiệm (hiện nay Trung
tâm chỉ sử dụng dạng
Multiple Choice cho hình thức
thi này)
•Xây dựng bộ đề thi theo ma
trận yêu cầu
•Chuyển các bộ đề thi cho
Phòng Khảo thí và Đảm bảo
chất lượng quản lý
Xây dựng đề
thi
ổ chức thi trắc nghiệm tại Trung tâm Đ
ào tạo E-Learning
ả một cách đ
ơn gi
ản các công việc cần tiến h
ọc phần theo ph
ương th
ức trắc nghiệm khách quan t
o eLearning. Trong
đó, có 2 bước phức tạp và t
ốn nhiề
ừ ngân h
àng câu hỏi trắc nghiệm, thỏa m
ãn ma tr
a môn học, đây l
à một ví dụ của ma trận yêu cầu:
Xây dựng ma trận yêu cầu với
đề thi của từng môn học/học
Multiple Choice cho hình thức
•Lên kế hoạch thi và thông
báo cho sinh viên
•Tiếp nhận đề thi được lựa
chọn ngẫu nhiên từ Phòng
Khảo thí và Đảm bảo chất
lượng
•Tổ chức thi với hình thức
trắc nghiệm khách quan
Tổ chức kỳ thi
•
Tiếp nhận bài làm của thí
sinh
•
Tiếp nhận đáp án của đề
thi từ Phòng Khảo thí và
Đảm bảo chất lượng
•
Quét bài thi vào máy tính
•
Chấm điểm thông qua
phần mềm chấm điểm tự
động
•
Dò kiểm các trường hợp
lỗi, không nhận dạng được
•
Chuyển kết quả chấm thi
cho Phòng Khảo thí và
Đảm bảo chất lượng,
Phòng Đào tạo và lưu trữ
ến h
ành để
m khách quan tại
n nhiều thời
ãn ma tr
ận
Tiếp nhận bài làm của thí
sinh
Tiếp nhận đáp án của đề
thi từ Phòng Khảo thí và
Đảm bảo chất lượng
Quét bài thi vào máy tính
Chấm điểm thông qua
phần mềm chấm điểm tự
động
Dò kiểm các trường hợp
lỗi, không nhận dạng được
Chuyển kết quả chấm thi
cho Phòng Khảo thí và
Đảm bảo chất lượng,
Phòng Đào tạo và lưu trữ
Chấm thi
Với ma trận như trên, việc xây dựng đề thi là cần phải chọn ngẫu nhiên
các câu hỏi sao cho chất lượng, mức độ khó dễ, phạm vi kiến thức, số
lượng phù hợp. Chính vì vậy, để xây dựng được một đề thi thực sự
khách quan khi có sự tham gia của con người trong việc lựa chọn các
câu hỏi trong ngân hàng là khá khó khăn.
-
So sánh bài làm của thí sinh với đáp án để đưa ra kết quả của bài thi: đây
là khâu không quá khó để thực hiện, tuy nhiên dễ nhầm lẫn và mất nhiều
thời gian, cần sự hỗ trợ của công nghệ thông tin. Đánh giá thực trạng
công tác chấm thi theo hình thức trắc nghiệm khách quan
2.2. Phương pháp đánh giá kết quả
Do số lượng sinh viên theo học Chương trình Cử nhân Trực tuyến với
sự hỗ trợ kỹ thuật của Công ty Edutop64 hiện nay vẫn chiếm tỷ lệ lớn, nên
Trung tâm vẫn sử dụng một phần mềm chấm thi do đối tác là Công ty
Edutop64 cung cấp từ năm 2009.
2.2.1. Kết quả đạt được
STT Tên bài
Số lượng câu hỏi/ một đề thi: 40
Câu/bài
Dễ TB Khó
100% 40% 40% 20%
1 Bài 1 7 3 3 1
2 Bài 2 7 3 3 1
3 Bài 3 7 3 3 1
4 Bài 4 7 3 3 1
5 Bài 5 7 3 3 1
6 Bài 6 5 2 2 1
Tổng 40 17 17 6
Hình 2: Ma trận yêu cầu của đề thi
Phần mềm đã giúp việc đánh giá kết quả bài thi trắc nghiệm khách quan
đảm bảo được các tiêu chí cần thiết:
-
Khách quan: bài làm của thí sinh được quét vào máy thông qua một máy
Scanner, sau đó niêm phong túi bài và bắt đầu nhập đề và thực hiện các
thao tác chấm bài, nên việc can thiệp vào bài thi là không xảy ra. Việc
chấm bài là do máy tự nhận dạng và tự xác định điểm, tuy nhiên, người
chấm sẽ kiểm tra lại tất cả các trường hợp có nghi vấn không nhận dạng
đúng. Việc kiểm tra hoàn toàn trên máy tính và không can thiệp vào bài
thi.
-
Nhanh: mặc dù vẫn phải thực hiện một số thao tác dò kiểm thủ công trên
một số bài thi có nghi vấn, tuy nhiên số lượng này chiếm tỷ lệ chỉ
khoảng 20%, nên tổng thời gian dùng để thực hiện công việc này vẫn
được rút ngắn đáng kể so với việc sử dụng bảng mica để chấm thủ công.
2.2.2. Những hạn chế
Mặc dù đã có rất nhiều đóng góp trong việc đánh giá chất lượng bài thi
trắc nghiệm khách quan tại Trung tâm Đào tạo E-Learning, nhưng phần mềm
cũng vẫn tồn tại một số vấn đề phát sinh, như không phù hợp với chương trình
đào tạo EHOU và một số nhược điểm:
o Phần mềm chỉ làm việc với các ảnh được quét vào từ một máy
Scanner đã cũ, ảnh quét từ các máy khác không làm việc. Trong
khi máy Scanner đó có tốc độ quét chậm, và nếu máy có sự cố thì
phải chờ sửa chửa chứ không có giải pháp thay thế vì sản phẩm
đã không còn bán mới trên thị trường;
o Nhóm xây dựng phần mềm đó đã nghỉ, không làm việc cho
Edutop64 nữa, chính vì vậy không có khả năng nâng cấp, cải tiến
theo yêu cầu mới của Trung tâm;
o Cơ chế chấm điểm của phần mềm cứng nhắc, nhiều lỗi và khả
năng nhận dạng kém, dẫn tới mất nhiều thời gian trong khâu dò
kiểm, và vẫn có xác suất lỗi, tuy nhiên tỷ lệ lỗi thấp, trong phạm
vi chấp nhận được.
3. Chương 3: Đề xuất giải pháp ứng dụng công nghệ thông tin trong
công tác chấm thi theo hình thức trắc nghiệm khách quan
3.1. Đề xuất giải pháp
Nhận thức được những khó khăn gặp phải trong quá trình triển khai tổ
chức các kỳ thi trắc nghiệm khách quan tại Trung tâm Đào tạo E-Learning,
nhóm tác giả đề xuất xây dựng một phần mềm hoàn toàn của Viện Đại học Mở
Hà Nội, thực hiện công việc tự động chấm điểm bài thi theo hình thức này.
Việc chấm điểm sẽ được dựa trên các kỹ thuật về nhận dạng ảnh và xử
lý ảnh tự động trên máy tính.
Với việc tự xây dựng phần mềm chấm thi trắc nghiệm, Trung tâm sẽ
giải quyết được hết các nhược điểm của phần mềm cũ, và linh hoạt hơn trong
việc cải tiến, xây dựng các đề thi mới, tiến tới phân loại và đánh giá chất lượng
đề thi, đánh giá chất lượng câu hỏi trắc nghiệm trong ngân hàng đề thi để nâng
cao chất lượng trong khâu đánh giá và kiểm định, từ đó nâng cao chất lượng
đào tạo phương thức đào tạo trực tuyến.
3.2. Triển khai thử nghiệm
3.2.1. Phân tích thiết kế phần mềm chấm thi trắc nghiệm tự động
3.2.1.1. Phân tích và xác định yêu cầu
Trong những năm gần đây, việc thi cử luôn là một chủ đề thời sự rất
được quan tâm. Chuyện gian lận quay cóp trong các kỳ thi, kết quả điểm thi
không chính xác, thường theo ý kiến chủ quan của người chấm thi dẫn đến việc
khiếu kiện, đáp án kỳ thi tuyển sinh không nhất quán, rõ ràng, v.v , hầu như
năm nào cũng xảy ra, gây nhiều bức xúc. Do đó, nhu cầu cần có một phương
pháp thi cho kết quả chính xác hơn được đặt ra.
Trong bối cảnh đó, thi trắc nghiệm - dạng thi mà mỗi bài thi có một đáp
án rõ ràng kèm theo – là một giải pháp được nhắc đến. Đối với một kỳ thi trắc
nghiệm được tổ chức và quản lý tốt, minh bạch, kết quả thi của thí sinh sẽ
khách quan, không còn phụ thuộc nhiều vào người chấm bài nữa. Ngoài ra,
việc chấm thi sẽ mau lẹ.
Sau đây là bảng so sánh ưu và nhược điểm của từng phương pháp thi:
Yêu cầu
Ưu thế thuộc về ph
ương
pháp
Trắc
nghiệm
Tự luận
Ít tốn công ra đề thi
x
Đánh giá được khả năng diễn đạt, đặc biệt là di
ễn đạt
tư duy hình tượng
x
Đề thi phủ kín nội dung môn học x
Ít may rủi do trúng tủ, trật tủ x
Ít tốn công chấm thi x
Khách quan trong chấm thi x
Áp dụng được công nghệ mới trong việc nâng cao
chất lư
ợng kỳ thi, giữ bí mật đề thi, hạn chế quay cóp
khi thi, hạn chế tiêu cực trong chấm thi và giúp phân
tích kết quả thi
x
Tuy nhiên, câu hỏi lại đựơc đặt ra rằng: khi phương pháp thi trắc nghiệm
có những ưu điểm như vậy nhưng tại sao vẫn chưa được phổ biến ở Việt Nam.
Sau khi phân tích đi tìm các nguyên nhân, ta nhận thấy rằng dù đã từng áp dụng
thi trắc nghiệm ở một số môn tại nhiều nơi, thế nhưng nước ta vẫn còn thực
hiện cách thức chấm bài thủ công, nguyên nhân chính là do ở kinh phí. Khi
chấm thủ công như thế kết quả được đưa ra rất chậm và đôi lúc còn chưa khách
quan (do người chấm nhầm lẫn trong lúc chấm ), không đảm bảo được tính
chính xác như bản chất của hình thức thi trắc nghiệm. Trong khi đó, để có thể
chấm tự động, đòi hỏi phải có thiết bị chuyên dụng với giá thành tương đối cao.
Muốn vậy, kỳ thi phải lớn và thu lệ phí đầu vào cao. Điều này là không khả thi
trong điều kiện của Việt Nam. Tiếp nữa, các mẫu bài thi có sẵn cho các thiết bị
chuyên dụng đó thường cố định, không khả chuyển, việc tạo ra các mẫu mới là