ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƢỜNG ĐẠI HỌC GIÁO DỤC
NGUYỄN THỊ BẮC
XÂY DỰNG BỘ CÂU HỎI CHUẨN HÓA TRẮC NGHIỆM KHÁCH
QUAN KỸ NĂNG ĐỌC HIỂU CẤP ĐỘ 3 THEO KHUNG NĂNG LỰC
NGOẠI NGỮ VIỆT NAM TẠI HỌC VIỆN AN NINH
LUẬN VĂN THẠC SĨ NGÀNH
ĐO LƢỜNG VÀ ĐÁNH GIÁ TRONG GIÁO DỤC
HÀ NỘI – 2017
ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƢỜNG ĐẠI HỌC GIÁO DỤC
NGUYỄN THỊ BẮC
XÂY DỰNG BỘ CÂU HỎI CHUẨN HÓA TRẮC NGHIỆM KHÁCH QUAN
KỸ NĂNG ĐỌC HIỂU CẤP ĐỘ 3 THEO KHUNG NĂNG LỰC NGOẠI
NGỮ VIỆT NAM TẠI HỌC VIỆN AN NINH
LUẬN VĂN THẠC SĨ NGÀNH ĐO LƢỜNG VÀ ĐÁNH GIÁ TRONG GIÁO DỤC
CHUYÊN NGÀNH: ĐO LƢỜNG VÀ ĐÁNH GIÁ TRONG GIÁO DỤC
Mã số: 60140120
Ngƣời hƣớng dẫn khoa học: Tiến sĩ Tô Thị Thu Hƣơng
HÀ NỘI – 2017
LỜI CAM ĐOAN
Tôi xin cam đoan luận văn với tiêu đề“Xây dựng bộ câu hỏi chuẩn hóa
trắc nghiệm khách quan kỹ năng Đọc hiểu cấp độ 3 theo Khung năng lực ngoại
ngữ Việt Nam tại Học viện An ninh nhân dân" hoàn toàn là kết quả nghiên cứu
của cá nhân tôi và kết quả của đề tài chƣa đƣợc công bố ở bất kỳ cơng trình
nghiên cứu của ngƣời khác. Các số liệu, kết quả đƣợc trình bày trong luận văn
là sản phẩm nghiên cứu của cá nhân tôi. Các thơng tin tham khảo đều đƣợc trích
dẫn rõ nguồn gốc theo đúng quy định.
Tơi xin chịu trách nhiệm về tính trung thực của số liệu và các nội dung
khác trong luận văn của mình.
Hà Nội, ngày 10 tháng 11 năm 2016
Tác giả luận văn
(Ký và ghi rõ họ tên)
Nguyễn Thị Bắc
i
LỜI CẢM ƠN
Em xin bày tỏ lòng biết ơn chân thành nhất tới TS Tô Thị Thu Hƣơng,
ngƣời đã trực tiếp hƣớng dẫn và dìu dắt em trong suốt tiến trình thực hiện đề tài.
Em xin chân thành cảm ơn các Thầy/Cô thuộc Bộ môn Đo lƣờng và Đánh
giá trong giáo dục, trƣờng Đại học Giáo dục, Đại học Quốc Gia Hà nộiđã theo
sát, nhắc nhở chúng em trong quá trình học tập cũng nhƣ hồn thiện luận văn.
Đặc biệt, xin gửi lời biết ơn sâu sắc đến cha mẹ, gia đình, bạn bè và đồng
nghiệp đã động viên và giúp đỡ em trong suốt thời gian thực hiện luận văn tốt
nghiệp.
Trong q trình hồn thành luận văn mặc dù đã cố gắng rất nhiều, tuy
nhiên do khả năng, kiến thức cịn hạn hẹp nên khơng tránh khỏi sai sót, hạn chế
do đó em rất mong tiếp tục nhận đƣợc sự góp ý, tƣ vấn để hồn thiện hơn bản
luận văn này cũng nhƣ trong các cơng trình nghiên cứu khoa học tiếp theo.
Hà Nội, ngày 10 tháng 11 năm 2016
Học viên
Nguyễn Thị Bắc
ii
DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT
HVAN
: Học viện An ninh
TNKQ
: Trắc nghiệm khách quan
Khung NLNN VN
: Khung năng lực ngoại ngữ 6 bậc của Việt Nam
MCQ
: Câu hỏi nhiều lựa chọn
iii
DANH MỤC CÁC BẢNG
Bảng 1.1: So sánh 2 loại tiếp cận cơ bản trong thiết kế đề thi (nguồn NormanEGronlund )
Bảng 1.2: Báng phán bổ xác suất tự nhiên trong câu hỏi dạng MCQ
Bảng 1.3: Nguồn lựa chọn bài đọc
Bảng 1.4. Bảng mơ tả đặc tính của một bài đọc
Bảng 1.5 Bảng tóm tắt các mức nhận thức theo quan niệm của Bloom
Bảng 1.6. Bảng mô tả kỹ năng đọc cấp độ 3 theo Khung NLNN 6 bậc
Bảng 1.7. Bảng mơ tả mức độ tương thích giữa Khung CEFR và Khung NLNNVN
Bảng 2.8. Bảng mô tả dạng thức đề thi B1 áp dụng tại HVAN
Bảng 2.9. Bảng mô tả nội dung kiểm tra của từng phần trong đề thi
Bảng 2.10. Bảng mô tả ma trận bài thi
Bảng 2.11. Bảng mô tả ma trận nhận thức theo Bloom
Bảng 2.12. Bảng hỏi tham khảo ý kiến giảng viên về bộ câu hỏi trắc nghiệm và đề thi.
Bảng 3.13. Độ khó của câu trắc nghiệm Part 1
Bảng 3.14: Độ khó của câu trắc nghiệm Part 2
Bảng 3.15: Độ khó của câu trắc nghiệm Part 3
Bảng 3.16: Độ khó của câu trắc nghiệm Part 4
Bảng 3.17: Độ phân biệt Part 1
Bảng 3.18: Độ phân biệt Part 2
Bảng 3.19: Độ phân biệt Part 3
Bảng 3.20: Độ phân biệt Part 4
Bảng 3.21: Bảng thống kê các câu có độ phân biệt kém
Bảng 3.22: Bảng thống kê các phương án sai kém chất lượng
Bảng 3.23: Thống kê kết quả phân tích câu hỏi thử nghiệm lần thứ hai
Bảng 3.24: Bảng thống kê độ khó các câu hỏi trong đề thi 01
Bảng 3.25: Các phương án sai không hấp dẫn đề thi 01
Bảng 3.26: Độ phân biệt của câu hỏi thi trong đề thi đề thi 01
Bảng 3.27: Hệ số tương quan giữa điểm của câu hỏi thi với điểm toàn bài thi
đề thi 01
Bảng 3.28: Sự phù hợp của câu hỏi thi với mơ hình Rasch đề thi 01
Bảng 3.29. Thống kê những câu hỏi đạt/chưa đạt chất lượng
iv
4
8
10
10
20
32
33
38
39
40
41
46
50
51
52
53
53
54
54
55
56
56
61
61
63
64
65
66
79
DANH MỤC CÁC SƠ ĐỒ, BIỂU ĐỒ, MƠ HÌNH
Sơ đồ 1.1: Mối quan hệ giữa Kiểm tra, Đo lường và Đánh giá
5
Sơ đồ 1.2: Quy trình xây dựng bộ câu hỏi trắc nghiệm khách quan
12
Hình1.3:Mơhìnhđơngiảnvềvaitrịcủakiểmtraphântíchtrìnhđộhọcsinh(nguồnNormanEGronlund)
21
Hình 1.4: Mơ hình đơn giản của bài kiểm tra tiến độ(nguồnNormanEGronlund)
23
Hình 1.5: Mơ hình đơn giản của bài kiểm tra cuối quá trình đào tạo(nguồn Norman E
24
Gronlund)
Hình 1.6: Sơ đồ mối quan hệ ngược của kết quả
27
Hình 1.7 Sơ đồ năng lực ngơn ngữ
28
Hình 1.8 Sơ đồ các yếu tố của quá trình hiểu văn bản
30
Biểu đồ3.9: Biểu đồ phân bố độ khó
50
Biểu đồ3.10: Biểu đồ phân bố độ khó Part 2
51
Biểu đồ3.11: Biểu đồ phân bố độ khó Part 3
53
Biểu đồ3.12: Biểu đồ phân bố độ khó Part 4
53
Biểu đồ 3.13: Biểu đồ phân bố độ phân biệt Part 1
54
Biểu đồ3.14: Biểu đồ phân bố độ phân biệt Part 2
54
Biểu đồ3315: Biểu đồ phân bố độ phân biệt Part 3
55
Biểu đồ3.16: Biểu đồ phân bố độ phân biệt Part 4
56
Sơ đồ 3.17: Sự phù hợp của câu hỏi thi với mơ hình Rasch đề thi 01
67
Biểu đồ 3.18. Biểu đồ phân bố độ khó câu hỏi thi và năng lực thí sinh đề thi 01
67
v
MỤC LỤC
Lời cam đoan
Lời cảm ơn
Các ký hiệu, các chữ viết tắt
Danh mục các bảng
Danh mục các sơ đồ, biểu đồ, mơ hình
Mục lục
MỞ ĐẦU
1. Lý do chọn đề tài
2. Mục đích nghiên cứu của đề tài
3. Giới hạn, phạm vi nghiên cứu
4. Câu hỏi nghiên cứu, giả thuyết nghiên cứu của đề tài
5. Khách thể nghiên cứu và đối tƣợng nghiên cứu
6. Phƣơng pháp nghiên cứu
7. Bố cục của luận văn
CHƢƠNG 1: CƠ SỞ LÍ LUẬN VÀ TỔNG QUAN NGHIÊN CỨU
1.1 Tổng quan tình hình nghiên cứu
1.1.1. Tình hình nghiên cứu tại Việt Nam
1..1.2. Tình hình nghiên cứu ở nước ngoài
1.2. Lý thuyết về đo lƣờng và đánh giá trong giáo dục
1.2.1. Một số khái niệm về đo lường và đánh giá trong giáo dục
1.2.2Quy trình thiết kế câu hỏi TNKQ kỹ năng đọc hiểu tiếng Anh cấp độ 3
theo Khung NLNN Việt Nam
1.3 Cơ sở lý luận của phân tích câu hỏi thi và đề thi
1.3.1. Mục tiêu của phân tích câu hỏi thi
1.3.2. Vị trí vai trị của phân tích câu hỏi thi
1.4. Nội dung hoạt động của phân tích câu hỏi thi
1.4.1. Độ khó của câu hỏi thi
1.4.2. Các khả năng nhầm đáp án
1.4.3.Chất lượng của các phương án sai (phương án sai)
1.4.4. Độ phân biệt của câu hỏi thi
vi
i
ii
iii
iv
v
vi
ix
ix
xi
xi
xi
xii
xii
xiii
1
1
1
1
3
3
10
13
14
14
14
15
15
16
16
1.4.5. Hệ số tương quan giữa điểm của câu hỏi thi với điểm toàn bài thi
1.4.6. Độ tin cậy của đề thi
1.5. Phân loại các mục tiêu dạy học và các mức độ của lĩnh vực nhận
thức
1.5.1 Mục tiêu dạy học
1.5.2. Các mức độ của lĩnh vực nhận thức
1.5.3. Mục đích của kiểm tra đánh giá
1.5.4. Ý nghĩa của việc kiểm tra, đánh giá
1.6. Đánh giá năng lực đọc hiểu
1.6.1. Năng lực ngôn ngữ
1.6.2. Kỹ năng đọc hiểu
1.7. Khung năng lực ngoại ngữ Việt Nam và Nội dung Kỹ năng Đọc hiểu cấp
độ 3
Tiểu kết Chƣơng 1
CHƢƠNG 2: PHƢƠNG PHÁP NGHIÊN CỨU
2.1. Chƣơng trình tiếng Anh cấp độ B1 tại Học viện An ninh
2.2. Tổng quát về định dạng đề thi
2.3. Quy định về cách tính điểm bài thi
2.4. Phân bố nội dungkiểm tra và ma trận bài thi kỹ năng Đọc hiểu
tiếng Anh bậc 3 theo Khung NLNN Việt Nam
2.5. Xây dựng câu hỏi thi
2.6. Lấy ý kiến tham khảo của các giảng viên về bộ câu trắc nghiệm
2.7. Thực nghiệm sƣ phạm
2.7.1. Ý nghĩa của việc thực nghiệm sư phạm
2.7.2. Cách thức tiến hành
Tiểu kết Chƣơng 2
CHƢƠNG 3: KẾT QUẢ NGHIÊN CỨU VÀ KHUYẾN NGHỊ
3.1. Phân tích 324 câu hỏi thi
3.1.1. Phân tích câu hỏi thi lần thứ nhất
3.1.2. Phân tích câu hỏi thi lần thứ hai
3.2. Phân tích đề thi
3.2.1. Độ khó của câu hỏi thi
3.2.2. Các khả năng nhầm đáp án
vii
17
17
17
17
18
20
24
27
27
29
31
34
35
36
37
39
39
41
45
47
48
49
50
51
51
58
61
61
3.2.3. Chất lượng của các phương án sai (phương án sai)
3.2.4. Độ phân biệt của câu hỏi thi
3.2.5. Hệ số tương quan giữa điểm của câu hỏi thi với điểm toàn bài thi
3.2.6. Sự phù hợp của câu hỏi thi
3.2.7. Sơ đồ phân bố độ khó câu hỏi thi và năng lực thí sinh
3.2.8. Các chỉ số thống kê của câu hỏi
3.3. Độ tin cậy của đề thi
3.4. Hạn chế của nghiên cứu và gợi ý các hƣớng nghiên cứu tiếp theo
KHUYẾN NGHỊ
TÀI LIỆU THAM KHẢO
PHỤ LỤC
viii
63
64
65
66
66
68
69
71
73
75
91
MỞ ĐẦU
1. Lý do chọn đề tài
Căn cứ Quyết định số 1400/QĐ-TTG ngày 30 tháng 9 năm 2008 về việc
phê duyệt Đề án “Dạy và học ngoại ngữ trong hệ thống giáo dục quốc dân giai
đoạn 2008 – 2020”, việc dạy và học tiếng Anh đã đƣợc xác định đóng một vai
trò quan trọng trong sự nghiệp giáo dục “Đổi mới toàn diện dạy và học ngoại
ngữ trong hệ thống giáo dục quốc dân, triển khai chƣơng trình dạy và học ngoại
ngữ mới ở các cấp học, trình độ đào tạo nhằm đến năm 2015 đạt đƣợc một bƣớc
tiến rõ rệt về trình độ, năng lực sử dụng ngoại ngữ của nguồn nhân lực nhất là
đối với một số lĩnh vực ƣu tiên; đến năm 2020 đa số thanh niên Việt Nam tốt
nghiệp Trung cấp, Cao đẳng và Đại học có đủ năng lực ngoại ngữ sử dụng độc
lập, tự tin trong giao tiếp, học tập, làm việc trong môi trƣờng hội nhập, đa ngơn
ngữ, đa văn hóa; biến ngoại ngữ trở thành thế mạnh của ngƣời dân Việt Nam,
phục vụ sự nghiệp cơng nghiệp hóa, hiện đại hóa đất nƣớc.”; Căn cứ Quyết định
số 43/2007/QĐ-BGDĐT của Bộ trƣởng Bộ Giáo dục và Đào tạo quy định đào
tạo theo hình thức tín chỉ thì sinh viên là trung tâm, ngồi kiến thức giảng viên
truyền đạt trên lớp thì sinh viên phải tự học, tự nghiên cứu thêm tài liệu. Việc tự
học của sinh viên giữ vai trị vơ cùng quan trọng trong quá trình học đại học, là
nhân tố trực tiếp nâng cao chất lƣợng đào tạo ở các trƣờng đại học. Bên cạnh đó
cịn góp phần nâng cao hoạt động trí tuệ của sinh viên trong việc tiếp thu và
hiểu tri thức mới, rèn luyện cho sinh viên có cách suy nghĩ, giải quyết các vấn
đề khó khăn một cách độc lập, giúp sinh viên tự tin hơn trong việc lựa chọn
cuộc sống của mình, và thúc đẩy lịng ham học, ham hiểu biết, vƣơn tới đỉnh
cao của khoa học, sống có hồi bão, có ƣớc mơ. Sinh viên tự học có thể chủ
động đƣợc quỹ thời gian, có thể học bất cứ lúc nào. Thêm nữa, việc tự học cịn
nâng cao tinh thần trách nhiệm trong cơng tác, làm việc theo nhóm, nâng cao
tính sáng tạo trong tƣ duy và linh hoạt nhạy bén trong suy nghĩ, rèn luyện kỹ
năng phân tích tình hình và đƣa ra quyết định, đây là một yếu tố cần và đủ để
ix
sau này khi rời khỏi ghế nhà trƣờng sinh viên sẽ không bỡ ngỡ khi làm việc ở
môi trƣờng thực tế.
Qua khảo sát sơ bộ của ngƣời nghiên cứu tại các trƣờng Cơng an nhân
dân cho thấy hiện nay tình trạng tự học nói chung và ngoại ngữnói riêng của
sinh viên chƣa phát huy đƣợc hiệu quả, sinh viên thiếu kiến thức tiếng Anh cơ
bản cũng nhƣ chuyên ngành phục vụ chuẩn đầu vào và đạt chuẩn đầu ra về
ngoại ngữ cụ thể là môn tiếng Anh đang chiếm tỉ lệ rất cao mặc dù đã có nhiều
đổi mới trong phƣơng pháp dạy và học ở cáchọc viện, đại học và cao đẳng trong
ngành Công an.
Đây cũng là thực trạng mà sinh viên HVAN đang phải đối mặt, qua khảo
sát tại trƣờng, tỷ lệ sinh viên theo chuẩn đầu ra phải có trình độ tiếng Anh cấp
độ 3 (B1) theo Khung năng lực ngoại ngữ Việt Nam không đạt chuẩn cũng nhƣ
các học phần tiếng Anh trong chƣơng trình đào tạo còn chiếm tỷ lệ cao 45%1,
sinh viên phải học và thi đi thi lại nhiều lần, gây tâm lý nặng nề, ám ảnh và áp
lực không hề nhỏ tới sinh viên. Do đặc thù của ngành, ngoài thời gian học tập
trên lớp, sinh viên HVAN phải tham gia rất nhiều các hoạt động rèn luyện ngoài
giờ khác nhƣ: tập điều lệnh, tập võ, lao động nghĩa vụ….Hơn nữa theo quy định
đào tạo đại học chính quy theo hình thức tín chỉ thời gian tự học chiếm tỉ lệ lớn
do đó sinh viên rất cần nguồn tƣ liệu tham khảo sẵn có phong phú, đa dạng dễ
dàng tiếp cận trong q trình tự học, ơn luyện chủ động lĩnh hội kiến thức, xây
dựng ý thức học tập suốt đời.
Ngoài ra, thông tƣ ban hành Khung năng lực ngoại ngữ Việt Nam cũng
mới đƣợc Bộ Giáo dục và Đào tạo ban hành năm 2014 và HVAN áp dụng
Thông tƣ này cho việc đánh giá năng lực ngoại ngữ theo chuẩn đầu vào và
chuẩn đầu ra các hệ, loại, đối tƣợng đào tạo tại Học viện vì vậy những tài liệu
tham khảo, các bộ câu hỏi đã đƣợc chuẩn hóa và tƣơng ứng phù hợp với bảng
1
nguồn từ Trung tâm Ngoại ngữ, Tin học-HVAN
x
mô tả từng cấp độ theo Khung năng lực ngoại ngữ Việt Nam trên thị trƣờng hầu
nhƣ chƣa có, cịn tại HVAN cũng chƣa có bất kỳ nguồn tài liệu nào nhƣ trên.
Là giáo viên giảng dạy tiếng Anh tại Trung tâm Ngoại ngữ, Tin học đồng
thời cũng là cán bộ của phịng Khảo thí và Đảm bảo chất lƣợng đào tạo HVAN, đứng trƣớc những câu hỏi, trăn trở của các em sinh viên làm sao tìm
cách học, ơn thi và thi chứng chỉ tiếng Anh cấp độ 3 (B1 theo CEFR)hiệu quả
nhất trong thời gian ngắn nhất, tôi lựa chọn đề tài “Xây dựng bộ câu hỏi chuẩn
hóa trắc nghiệm khách quan kỹ năng Đọc hiểu cấp độ 3 theo Khung năng lực
ngoại ngữ Việt Nam tại Học viện An ninh nhân dân"
Kết quả nghiên cứu của luận văn sẽ là một nguồn tài liệu đã đƣợc chuẩn
hóa theo lý thuyết đo lƣờng, đánh giá hiện đại để giảng viên sử dụng đánh giá
trong lớp học và giúp sinh viên tự ôn luyện kỹ năng Đọc hiểu tiếng Anh hiệu
quả đáp ứng chuẩn đầu ra cấp độ 3 (B1) theo Khung NLNN Việt Nam, đồng
thời là nguồn bổ sung vào ngân hàng câu hỏi trắc nghiệm khách quan môn tiếng
Anh mà HVAN đang triển khai xây dựng.
2. Mục đích nghiên cứu của đề tài
Nghiên cứu xây dựng 180 câu hỏi TNKQ kỹ năng Đọc hiểu môn tiếng
Anh cấp độ 3 (B1) theo Khung NLNN Việt Nam.
3. Giới hạn, phạm vi nghiên cứu
Đề tài nghiên cứu, xây dựng bộ câu hỏiTNKQ nhiều lựa chọn phục vụ
việc ôn luyện và thi kỹ năng Đọc hiểu môn tiếng Anh cấp độ 3 (B1) theo Khung
NLNN Việt Nam cho những hệ, loại, đối tƣợng đào tạo tại HVAN phải đạt
chuẩn trình độ tiếng Anh bậc 3 (B1) theo Khung NLNN Việt Nam.
4. Câu hỏi nghiên cứu, giả thuyết nghiên cứu của đề tài
4.1. Câu hỏi nghiên cứu.
- Cơ sở khoa học để xây dựng bộ câu hỏi chuẩn hóa TNKQ kỹ năng Đọc
hiểu môn tiếng Anh cấp độ 3 (B1) theo Khung NLNN Việt Nam là gì?
xi
- Kết quả thử nghiệm bộ câu hỏi trắc nghiệm và đề thi nhƣ thế nào?
4.2. Giả thuyết nghiên cứu
- Việc xây dựng, thử nghiệm và phân tích câu hỏi TNKQ kỹ năng đọc
hiểu môn tiếng Anh dựa trên cơ sở khoa học đo lƣờng đánh giá sẽ góp phần xây
dựng đƣợc ngân hàng câu hỏi thi.
- Có thể sử dụng bộ câu hỏi này để xây dựng đề kiểm tra đánh giá quá
trình và đề thi cấp chứng chỉ B1 tại HVAN.
5. Khách thể nghiên cứu và đối tƣợng nghiên cứu
5.1. Khách thể nghiên cứu
Sinh viên hệ cao học, liên thông tại HVAN phải đạt chuẩn đầu ra môn
tiếng Anh cấp độ 3 theo Khung NLNN Việt Nam.
5.2. Đối tượng nghiên cứu.
Cơ sở khoa học và quy trình xây dựng bộ câu hỏi chuẩn hóa TNKQ và đề
thi kỹ năng Đọc hiểu môn tiếng Anh cấp độ 3 theo Khung NLNN Việt Nam.
6. Phƣơng pháp nghiên cứu
6.1. Nghiên cứu lý thuyết
- Nghiên cứu văn bản của Bộ Giáo dục và Đào tạo, Bộ Công an và
HVAN về đào tạo đại học theo hình thức tín chỉ, quy định chuẩn ngoại ngữ tại
Học viện, Khung NLNN Việt Nam, quy định về dạng thức đề thi cấp độ 3 theo
khung tham chiếu chung châu Âu và Việt Nam.
- Nghiên cứu các tài liệu về đo lƣờng, đánh giá trong giáo dục liên quan
tới vấn đề nghiên cứu.
- Nghiên cứu các Chƣơng trình đào tạo, Đề cƣơng chi tiết mơn học, giáo
trình, tài liệu tham khảo môn tiếng Anh của HVAN.
xii
6.2. Nghiên cứu thực nghiệm
- Quan sát: quan sát quá trình tự học, phƣơng tiện và trang thiết bị hỗ trợ
việc tự học, quá trình thử nghiệm xây dựng bộ câu hỏi chuẩn hóa TNKQ.
- Thực nghiệm: cung cấp thêm một phƣơng tiện và nguồn tài liệu tham
khảo trong quá trình tự học cho sinh viên thơng qua việc thiết kế và thử nghiệm
công cụ đánh giá: thiết kế câu hỏi TNKQ, đề kiểm tra TNKQ, đánh giá câu hỏi
TNKQ.
- Phân tích và tổng kết kinh nghiệm
- Phƣơng pháp chuyên gia: tiếp thu ý kiến của các chuyên gia, đồng
nghiệp, sinh viên trong quá trình thiết kế, thử nghiệm, phân tích, đánh giá câu
hỏi TNKQ.
6.3. Phương pháp thống kê tốn học
- Sử dụng phần mềm SPSS phân tích số liệu thống kê mô tả
- Sử dụng phần mềm chuyên dụng Quest phân tích các thơng số kỹ thuật
của bộ câu hỏi nhƣ độ khó, độ phân biệt, độ tin cậy…
7. Bố cục của luận văn
Ngoài phần Mở đầu, các phụ lục và danh mục tài liệu tham khảo, luận
văn gồm 3 chƣơng:
Chƣơng 1: Cơ sở lý luận và tổng quan nghiên cứu.
Chƣơng 2: Phƣơng pháp nghiên cứu.
Chƣơng 3: Kết quả nghiên cứu và khuyến nghị.
xiii
xiv
CHƢƠNG 1
CƠ SỞ LÍ LUẬN VÀ TỔNG QUAN NGHIÊN CỨU
1.1 Tổng quan tình hình nghiên cứu
1.1.1. Tình hình nghiên cứu tại Việt Nam
Nội dung, quy trình xây dựng bộ câu hỏi chuẩn hóa TNKQ hồn tồn
giống nhƣ xây dựng ngân hàng câu hỏi trắc nghiệm khách quan do vậy đề tài
liên quan đến xây dựng hoặc đánh giá ngân hàng câu hỏi cũng đã đƣợc nhiều
học viên nghiên cứu, ứng dụng nhƣ đề tài: “Nghiên cứu, xây dựng ngân hàng
câu hỏi trắc nghiệm khách quan dùng để kiểm tra đánh giá kết quả học tập mơn
Tốn lớp 12 tại trƣờng THPT Bến Tre, Vĩnh Phúc” của học viên Tạ Thị Thu
Hiền, 2008 hoặc đề tài "Góp phần nghiên cứu, xây dựng ngân hàng câu hỏi trắc
nghiệm khách quan dùng để kiểm tra đánh giá mơn Hóa học 12 ban KHTN
trƣờng THPT Yên Lạc II-tỉnh Vĩnh phúc" của học viên PhạmThị Thủy, 2008
hay đề tài "Đánh giá chất lƣợng thƣ viện câu hỏi trắc nghiệm khách quan môn
giải phẫu sinh lý tại trƣờng cao đẳng y tế Phú Thọ" của học viên Nguyễn Thị
Hòa, 2014 …Các đề tài này đều đề xuất đƣợc các bƣớc tiến hành xây dựng câu
hỏi thi và ngân hàng câu hỏi thi của từng môn học khác nhau thông qua nghiên
cứu, ứng dụng lý thuyết khảo thí cổ điển và hiện đại. Tuy nhiên việc xây dựng
bộ câu hỏi chuẩn hóa dùng để tự ơn luyện cũng nhƣ kiểm tra đánh giá kỹ năng
đọc hiểu tiếng Anh tƣơng đƣơng cấp độ 3 theo Khung NLNN Việt Nam (B1
theo CEFR) thì dƣờng nhƣ chƣa đƣợc đề cập, nghiên cứu.
1..1.2. Tình hình nghiên cứu ở nước ngồi
Trên thế giới có rất nhiều nghiên cứu về việc học ngoại ngữ từ rất lâu đời.
Nằm trong những nghiên cứu về năng lực và kiểm tra đánh giá là nghiên cứu
của Bachman (1990); Boddy và Langham (2000). Trong đó, các tác giả đề cập
đến thành phần năng lực của ngôn ngữ, bao gồm: năng lực tổ chức sử dụng cấu
trúc ngữ pháp và ngôn từ; và năng lực ngữ dụng và ngôn ngữ trong giao tiếp xã
hội. Cụ thể hơn, năng lực ngôn ngữ đƣợc định nghĩa nhƣ là một cụm các thành
1
tố đƣợc sử dụng trong giao tiếp thông qua ngôn ngữ, đồng thời một lần nữa tái
khẳng định tác động của hình thức kiểm tra đánh giá với kết quả và quá trình
học tập.
Trong các cuốn sách nhƣ “Materials for the guidance of test item
writers”của Hiệp hội các đơn vị khảo thí châu Âu (ALTE) năm 1995; “A Short
Guide to Writing Effective Test Questions” của tác giả Ben Clay năm 2001;
“Constructing achievement tests” của Norman E Gronlund (1982)…các tác giả
nghiên cứu và đƣa ra những hƣớng dẫn, lời khuyên hữu ích về viết câu hỏi thi
nói chung cũng nhƣ cách viết các dạng câu hỏi TNKQ khác nhau trong tiếng
Anh nhƣ dạng câu hỏi nhiều lựa chọn (multiple choices), câu hỏi Đúng – Sai
(True-False), điền khuyết (cloze items), Nối (Matching)…
Đặc biệt trong cơng trình nghiên cứu khoa học "An empirical
investigation of the process of writing Academic Reading test items for the
International English Language Testing System", hai tác giả Anthony Green và
Roger Hawkey (2007) đã mơ tả và phân tích chi tiết q trình 02 nhóm viết câu
hỏi thi kỹ năng đọc hiểu cho bài thi IELTS của ETS. Một nhóm bao gồm các
chuyên gia viết câu hỏi thi dày dặn kinh nghiệm, nhóm kia là các giáo viên
giảng dạy tiếng Anh, có kinh nghiệm ơn luyện IELTS. Tác giả so sánh và phân
tích tỉ mỉ, khoa học sự khác nhau giữa hai nhóm trong nguồn tìm bài đọc, lựa
chọn văn bản, cắt, chỉnh sửa văn bản, thời gian hoàn thành, những điểm mạnh
điểm yếu, chất lƣợng các câu hỏi thi…Đây là nguồn tài liệu tham khảo có giá trị
thực tiễn đối với giáo viên cũng nhƣ ngƣời viết câu hỏi thi.
Tóm lƣợc lại, các nghiên cứu ở trong và ngồi nƣớc đều đã đề cập đến
nhiều khía cạnh của việc học, đánh giá môn ngoại ngữ cũng nhƣ việc xây dựng
đề thi TNKQ. Tuy nhiên, chƣa có một đề tài nào nghiên cứu về xây dựng bộ câu
hỏi chuẩn hóa kỹ năng đọc hiểu cấp độ 3 theo Khung NLNN của Việt Nam do
đó, trong luận văn này, tác giả muốn đi sâu nghiên cứu, xây dựng bộ câu hỏi
chuẩn hóa kỹ năng đọc hiểu tiếng Anh áp dụng cho các đối tƣợng sinh viên tại
2
HVAN phải đạt chuẩn ngoại ngữ là cấp độ 3 theo Khung NLNN Việt Nam, kết
quả nghiên cứu sẽ là tài liệu cho giáo viên sử dụng để kiểm tra thƣờng xuyên và
định kỳ trên lớp, sinh viên sử dụng để tự ôn luyện làm quen với dạng thức bài
thi thật nhằm đạt đƣợc kết quả cao nhất trong kỳ thi cấp chứng chỉ theo chuẩn
do Học viện tổ chức và cũng là nguồn câu hỏi bổ sung vào ngân hàng câu hỏi
TNKQ môn tiếng Anh hiện Học viện đang trong quá trình triển khai xây dựng.
1.2. Lý thuyết về đo lƣờng và đánh giá trong giáo dục
1.2.1. Một số khái niệm về đo lường và đánh giá trong giáo dục
Trong các khâu của quá trình dạy học thì kiểm tra đánh giá kết quả học
tập là một khâu quan trọng trong quá trình đào tạo, là một kênh giúp định lƣợng
đƣợc một khái niệm mang tính định tính là chất lƣợng đào tạo, giúp ngƣời học
và các bên liên quan biết đƣợc ngƣời học và ngƣời dạy đang ở mức độ nào.
Kiểm tra đánh giáđƣa ra điểm số và kết luận về trình độ của ngƣời học từ đó có
những cải tiến, điều chỉnh cho phù hợp để đạt đƣợc mục tiêu đào tạo đề ra ban
đầu ngoài ra điều quan trọng hơn là kiểm tra đánh giá phải khuyến khích, động
viên ngƣời học và cung cấp thơng tin điều chỉnh quá trình dạy - học nhằm giúp
cho ngƣời học đạt đƣợc kết quả tốt hơn cả dự kiến ban đầu.
- Đo lƣờng (Measurement): Theo Nitko và Brookhart (2007) đo lƣờng
trong giáo dục là một thủ pháp gán điểm số (cho điểm) cho một thuộc tính/đặc
tính, đặc điểm cụ thể nào đó, theo một cách thức mà điểm số mô tả/biểu hiện
đƣợc mức độ một cá nhân sở hữu đặc tính hoặc đặc điểm đó. Cịn theo Peter W.
Airasian (1997) đo lƣờng là quá trình xác định số lƣợng hoặc gán một con số
cho việc thể hiện kỹ năng. Nguyễn Công Khanh (trƣờng Đại học Sƣ phạm Hà
nội) đã khái quát đo lƣờng liên quan đến việc sử dụng các con số vào q trình
lƣợng hóa các sự kiện, hiện tƣợng hay thuộc tính.
Đo lƣờng trong khoa học giáo dục sử dụng hai loại tham chiếu: tham
chiếu theo chuẩn (norm reference) và tham chiếu theo tiêu chí (criterion
3
reference). Tham chiếu theo chuẩn đƣợc hiểu là so sánh kết quả của ngƣời này
với ngƣời khác còn tham chiếu theo tiêu chí là so kết quả đạt đƣợc của thí sinh
với mục tiêu, u cầu của mơn học.
Bảng 1.1: So sánh 2 loại tiếp cận cơ bản trong thiết kế đề thi (nguồn NormanEGronlund )
THIẾT KẾ ĐỀ THI THEO KIỂU THIẾT KẾ ĐỀ THI THEO KIỂU
"norm-reference"
"criteria-reference"
Nguyên tắc
sử dụng
Điểm nhấn
chính
Giải thích
kết quả
Nội dung
bao trùm
Kế hoạch
kiểm tra
Quy trình
thu thập
câu hỏi
Thiết kế điều tra
Thiết kế cho mức độ thành thạo
Đo sự khác biệt về thành tích của
mỗi cá nhân
Miêu tả những nhiệm vụ học
sinh có thể thực hiện
So kết quả với chuẩn nội dung
cụ thể
Tập trung vào những nhiệm vụ
học tập cụ thể
Miêu tả nội dung cụ thể đƣợc
sử dụng
Bao gồm tất cả những câu hỏi
cần thiết để miêu tả đầy đủ kiến
thức, kỹ năng. Khơng cố gắng
tăng độ khó của câu hỏi hoặc
bỏ đi các câu hỏi dễ nhằm tăng
sự thay đổi về điểm số
So với kết quả các học sinh khác
Những kiến thức rộng
Bảng đặc tả thƣờng đƣợc sử dụng
Các câu hỏi đƣợc dùng nhằm có
đƣợc độ phân biệt tối đa giữa các
học sinh. Các câu hỏi dễ bị loại ra
ngoài
- Kiểm tra (Testing): Theo Từ điển giáo dục, kiểm tra là bộ phận hợp
thành của quá trình dạy - học nhằm nắm đƣợc thơng tin về tình trạng và kết quả
học tập của học sinh, về những nguyên nhân cơ bản của thực trạng đó để tìm ra
những biện pháp khắc phục những lỗ hổng, đồng thời củng cố và tiếp tục nâng
cao hiệu quả của hoạt động dạy - học. Yêu cầu và nội dung kiểm tra phải bám
sát từng giai đoạn học tập để khơng bỏ sót những điều cơ bản, đồng thời cũng
không vƣợt qua phạm vi quy định của chƣơng trình. Theo Wikipedia, kiểm tra
thƣờng đƣợc thực hiện trên giấy hoặc trên máy tính để đo kiến thức, kỹ năng,
năng khiếu…của ngƣời dự kiểm tra. Qua các định nghĩa trên, Cấn Thị Thanh
Hƣơng (Đại học Quốc gia Hà nội) đã khái quát khái niệm kiểm tra đƣợc hiểu
nhƣ sau: Kiểm tra là công việc nhằm đo hay xác định mức độ về kiến thức, kỹ
năng và thái độ mà ngƣời học đạt đƣợc sau một quá trình học tập.
4
- Đánh giá (Assessment): có nhiều định nghĩa khác nhau về khái niệm
"đánh giá" (assessment) tùy theo cách tiếp cận nhƣ đánh giá nói chung, đánh giá
trong giáo dục, đánh giá trong dạy học và đánh giá kết quả học tập. Trong dạy
học, R.F.Marger định nghĩa "Đánh giá là việc miêu tả tình hình của học sinh và
giáo viên để dự đốn cơng việc phải tiếp tục và giúp học sinh tiến bộ", cịn theo
Nguyễn Cơng Khanh (trƣờng Đại học sƣ phạm Hà nội) thì cho rằng đánh giá
trong giáo dục là một khái niệm rộng, nó liên quan đến q trình thu thập thơng
tin và sử dụng các thơng tin này để ra quyết định về đối tƣợng đƣợc đánh giá.
- Lƣợng giá (Evaluation) là việc căn cứ vào kết quả của quá trình đo
lƣờng và đánh giá năng lực và phẩm chất của sản phẩm đào tạo để đƣa ra
những nhận định, kết luận và đề xuất các quyết định nhằm không ngừng nâng
cao chất lƣợng đào tạo.
Nội hàm của những khái niệm trên có những nét tƣơng đồng, bổ trợ lẫn
nhau. đánh giá (assessment) bao gồm tất cả các hoạt động kiểm tra và đo lƣờng,
mà muốn đo lƣờng đƣợc thì phải thơng qua kiểm. Mối quan hệ này đƣợc thể
hiện qua sơ đồ sau:
Đánh giá
Đo lƣờng
Kiểm tra
Sơ đồ 1.1: Mối quan hệ giữa Kiểm tra, Đo lường và Đánh giá
- Trắc nghiệm khách quan: Theo Nitko và Brookhart (2007) trắc nghiệm
là một công cụ hoặc một thủ pháp có tính hệ thống cho việc quan sát và mơ tả
một hoặc một số đặc tính của một học sinh, sử dụng một thang đo đƣợc điểm
hóa theo mức độ hoặc một sơ đồ phân loại theo tiêu chí. Trắc nghiệm có thể làm
5
với từng học sinh hay một quốc gia. Nguyễn Công Khanh (Đại học Sƣ phạm Hà
nội) có cách giải thích nhƣ sau: Trắc nghiệm là một kiểu đo lƣờng sử dụng
những thủ pháp/những kỹ thuật cụ thể, có tính hệ thống nhằm thu thập thông tin
và chuyển những thông tin này thành các con số hoặc điểm để lƣợng hóa cái cần
đo.
Các loại trắc nghiệm khách quan
Một bài kiểm tra trắc nghiệm có thể có nhiều loại câu trắc nghiệm khác
nhau, mỗi loại câu trắc nghiệm có ƣu điểm, nhƣợc điểm riêng và có ý nghĩa,
mức độ đánh giá khác nhau. Thông thƣờng các loại câu trắc nghiệm sau đƣợc sử
dụng kết hợp trong một bài kiểm tra. Theo Lê Đức Ngọc trong Đo lƣờng và
Đánh giá thành quả học tập (2013) và một số học giả nƣớc ngoài nhƣ Norman E
Gronlund (1982), Ben Clay (2001)…thì một số loại trắc nghiệm cơ bản có
những ƣu, nhƣợc điểm đƣợc phân tích nhƣ sau:
- Loại trắc nghiệm đúng-sai (True-False Items)
Câu đúng sai yêu cầu ngƣời đƣợc hỏi phải phán đoán đúng hay sai đối
với một câu trần thuật hoặc một câu hỏi. Loại câu hỏi này phù hợp nhất cho việc
khảo sát trí nhớ những sự kiện hay nhận biết các sự kiện.
Đối với nội dung câu đúng: mọi khía cạnh trong phát biểu, khẳng định
phải đúng và phù hợp với tri thức khoa học (True).
Đối với nội dung câu sai: trong cùng một phát biểu, khẳng định có nhiều
mệnh đề thì chỉ cần một nội dung hoặc một mệnh đề sai với khoa học thì tồn
bộ câu đó đƣợc hiểu là sai (False).
Ƣu điểm là ra câu hỏi dễ dàng, ít mắc phải sai lầm, hình thức đơn giản,
khách quan khi chấm điểm.
Tuy nhiên, nhƣợc điểm của loại này cũng rất nhiều: Khả năng đốn mị
cao (50%), dễ lộ đáp án, có độ tin cậy thấp.
* Nguyên tắc biên soạn câu đúng sai
6
- Nên lựa chọn hỏi nội dung quan trọng, cốt lõi của vấn đề chứ không
phải hỏi về những chi tiết vụn vặt, không quan trọng.
- Nên đặt câu hỏi để kiểm tra khả năng lý giải, chứ không đơn thuần là
kiểm tra trí nhớ. Khơng nên trích ngun văn những câu từ sách giáo khoa,
trong tài liệu giảng dạy, để tránh việc học sinh thuộc lịng sách máy móc. Nên
diễn đạt lại các điều đã học bằng từ ngữ và cấu trúc khác mà vẫn đảm bảo đƣợc
mục tiêu cần khảo sát.
- Trong một câu hỏi chỉ có thể hỏi một vấn đề hoặc một ý trọng tâm,
không nên hỏi hai ý hoặc nửa câu đúng. nửa câu sai
- Tránh sử dụng các từ ngữ có tính giới hạn đặc thù mang tính ám thị nhƣ
"nói chung", "đa số", "thƣờng thƣờng", "tất cả"…
- Trình bày câu hỏi thi đơn giản rõ ràng, không thể đúng sai lẫn lôn, ba
phải, đúng sai lẫn lộn
- Tránh khuynh hƣớng dúng số câu đúng nhiều hơn số câu sai hay ngƣợc
lại trong bài thi. Số câu đúng và số câu sai nên là tƣơng đƣơng. Thứ tự của hai
loại đó cần sắp xếp theo hình thức khơng cố định.
- Tránh dùng các câu ở thể phủ định, nhất là thể phủ định kép.
- Tránh để thí sinh đốn đƣợc câu trả lời đúng nhờ vào chiều dài của đáp
án. Các câu trả lời đúng thƣờng dài hơn các câu sai vì cần phải thêm các mệnh
đề điều kiện giới hạn cần thiết. Do đó, khi biên soạn vấn đề này cần đƣợc lƣu ý
điều chỉnh sao cho các đáp án có độ dài tƣơng đƣơng nhau.
- Loại trắc nghiệm điền khuyết (Completion Items)
Trắc nghiệm điền khuyết là hình thức các phát biểu, hoặc khẳng định
chƣa hồn chỉnh khi cịn chừa các khoảng trống. Nhiệm của ngƣời làm bài là
điền hoặc liệt kê một từ hoặc nhiều từ vào các khoảng trống bỏ lửng để nội
dung của phát biểu đó đúng.
7
- Ƣu điểm: loại câu trắc nghiệm này có ƣu điểm là phát huy khả năng ghi
nhớ của học sinh. Loại trừ khả năng đốn mị, dễ soạn.
- Khuyết điểm: thƣờng trích nguyên văn một hoặc nhiều câu trong tài
liệu, nội dung kiểm tra của loại này thƣờng rất hẹp, việc chấm bài thƣờng không
khách quan, tốn nhiều công sức.
- Loại trắc nghiệm nhiều chọn lựa (Multỉple Choice Questỉon-MCQ)
MCQ yêu cầu ngƣời thi tùy ý lựa chọn đáp án chính xác trong một số đáp
án đƣa ra đƣợc gọi là câu hỏi nhiều lựa chọn. Về kết cấu loại trắc nghiệm này
gồm có hai bộ phận cơ bản:
Phần dẫn: một phát biểu chính có thể là một câu hỏi, câu định hƣớng, một
phát biểu bỏ lửng. Phần dẫn là cơ sở của vấn đề nhằm giúp ngƣời trả lời hiểu
đƣợc ý muốn hỏi, hoặc vấn đề cần giải quyết, hoặc phát biểu cần hoàn thiện.
Phần dẫn phải thể hiện một cách rõ ràng, ý nghĩa cụ thể.
Phần lựa chọn: tƣơng ứng với mỗi câu hỏi, mỗi định hƣớng ở phần dẫn sẽ
có một nhóm gồm nhiều câu trả lời, nhiều câu giải quyết vấn đềở phần lựa chọn.
Trong đó chỉ có một đáp án duy nhất đúng, các lựa chọn khác sẽ là “phƣơng án
sai”; phƣơng án sai phải có tính hấp dẫn cao vì khi đọc lên có vẻ đúng đối với
những thí sinh chƣa nắm chắc đƣợc vấn đề, và sức hấp dẫn của phƣơng án sai là
một trong các yêu cầu của loại trắc nghiệm này. Số lƣợng các lựa chọn có thể
khác nhau và tối thiểu là 3, thông thƣờng số lƣợng lựa chọn thƣờng là 4.
Ƣu điểm: Loại trắc nghiệm này có độ giá trị cao hơn nhờ tính chất có thể
đo đƣợc nhiều loại tƣ duy khác nhau nhƣ nhớ, áp dụng, suy diễn, tổng quát….và
có độ tin cậy cao hơn, xác suất may rủi tự nhiên phụ thuộc số lƣợng chọn trả lời.
Ta có bảng phân bố xác suất may rủi tự nhiên nhƣ sau:
Bảng 1.2: Báng phán bổ xác suất tự nhiên trong câu hỏi dạng MCQ
Số lựa chọn
Xác suất may rủi tự nhiên
3
33.3%
4
25%
5
20%
8
Với loại câu hỏi này thì khả năng phân biệt năng lực nhận thức của học
sinh là rất tốt, có thể dùng để đánh giá năng lực học tập của một số lƣợng thí
sinh rất đơng, tiết kiệm đƣợc thời gian, cơng sức và kinh phí vì có thể sử dụng
máy chấm bài. Và một ƣu điểm nổi bật của câu hỏi trắc nghiệm là khách quan
khi chấm vì khơng phụ thuộc nhiều vào ngƣời chấm.
Nhƣợc điểm: Khó soạn câu hỏi vì địi hỏi kinh nghiệm, khả năng và mất
rất nhiều thời gian, cơng sức mới có thể viết đƣợc những câu hỏi hay, theo đúng
quy trình và kỹ thuật. Ngoài ra, câu hỏi dạng này dễ lộ đáp án do cố gắng diễn
đạt cho đúng trong đáp án đƣợc lựa chọn là "key" hoặc các “phƣơng án sai”
khơng có tính hấp dẫn cao. Các câu MQC có thể khơng đo đƣợc khả năng giải
quyết vấn đề khéo léo hoặc khả năng phán đốn tinh vi của thí sinh.
* Ngun tắc biên soạn câu nhiều lựa chọn
- Câu dẫn của câu hỏi nên mang trọn ý nghĩa và phần câu trả lời để chọn
nên ngắn gọn
- Số lƣợng phƣơng án lựa chọn càng nhiều thì khả năng đốn mị càng
thấp. Mỗi câu hỏi nên có từ 4 đến 5 phƣơng án lựa chọn và nên thống nhất số
lƣợng phƣơng án lựa chọn trong một câu trong toàn bộ bài thi.
- Không sử dụng các phƣơng án sai quá rõ ràng, mà các câu nhiễu phải có
liên hệ logic nhất định tới chủ đề, "có vẻ hợp lý", "có sức hấp dẫn" với thí sinh.
Các nguồn để tạo câu nhiễu tốt nhƣ: những quan điểm sai và những sai lầm
thƣờng gặp trong kĩthuật; những sai lầm của học sinh trong giờ học hoặc trong
bài tập ngoài giờ; nội dung bản thân nó là đúng nhƣng lại khơng thoả mãn các
u cầu của câu hỏi ; nội dung hoặc là quá rộng hoặc quá hẹp so với yêu cầu của
câu hỏi; từ ngữ đƣợc diễn đạt cẩn thận tới mức nó có vẻ là có lí đối với những
ngƣời khơng am hiểu.
- Cẩn thận khi dùng các từ "tất cả các phƣơng án trên đều sai" và "tất cả
các phƣơng án trên đều đúng" làm tăng khả năng đốn mị.
9