Nghiên cứu một số yếu tố gây ra lỗi thiên lệch (Bias) trong câu hỏi thi PISA 2012
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (2.23 MB, 127 trang )
ĐẠI HỌC QUỐC GIA HÀ NỘI
VIỆN ĐẢM BẢO CHẤT LƯỢNG GIÁO DỤC
Phạm Thị Thùy Linh
NGHIÊN CỨU MỘT SỐ YẾU TỐ GÂY RA LỖI THIÊN LỆCH (BIAS)
TRONG CÂU HỎI THI PISA 2012 – LĨNH VỰC TOÁN HỌC
LUẬN VĂN THẠC SĨ
Hà Nội – Năm 2015
ĐẠI HỌC QUỐC GIA HÀ NỘI
VIỆN ĐẢM BẢO CHẤT LƯỢNG GIÁO DỤC
Phạm Thị Thùy Linh
NGHIÊN CỨU MỘT SỐ YẾU TỐ GÂY RA LỖI THIÊN LỆCH (BIAS)
TRONG CÂU HỎI THI PISA 2012 – LĨNH VỰC TOÁN HỌC
Chuyên ngành: Đo lường và đánh giá trong giáo dục
Mã số: 60140120
LUẬN VĂN THẠC SĨ
Người hướng dẫn khoa học: TS. Sái Công Hồng
Hà Nội – Năm 2015
LỜI CẢM ƠN
Trước tiên, tôi muốn gửi lời cảm ơn sâu sắc đến TS. Sái Công Hồng.
Thầy đã tận tình hướng dẫn, giúp đỡ, cùng với lời động viên của Thầy đã
giúp tôi vượt qua nhiều khó khăn trong quá trình thực hiện luận văn tốt
nghiệp này.
Xin chân thành cảm ơn Giám đốc Trung tâm đánh giá chất lượng giáo
dục và các đồng nghiệp ở Trung tâm đã tạo điều kiện thuận lợi, giúp đỡ cho
tôi hoàn thành khóa học và luận văn này.
Xin trân trọng cảm ơn quý thầy cô và đồng nghiệp đã giúp đỡ tôi trong
quá trình thu thập dữ liệu, cung cấp tài liệu tham khảo và những ý kiến đóng
góp quý báu trong quá trình nghiên cứu.
Do bản thân cũng có những hạn chế và chưa có nhiều kinh nghiệm
trong nghiên cứu nên luận văn này không tránh khỏi những thiếu sót. Tôi kính
mong nhận được góp ý, bổ sung ý kiến của quý thầy giáo, cô giáo và các bạn
học viên.
Tôi xin chân thành cảm ơn!
LỜI CAM ĐOAN
Tôi xin cam đoan danh dự luận văn với tiêu đề “Nghiên cứu một số yếu
tố gây ra lỗi thiên lệch (bias) trong câu hỏi thi PISA 2012 – lĩnh vực Toán
học” hoàn toàn là kết quả nghiên cứu của chính bản thân tôi và chưa được
công bố trong bất cứ một công trình nghiên cứu nào của người khác. Trong
quá trình thực hiện luận văn, tôi đã thực hiện nghiêm túc các quy tắc đạo đức
nghiên cứu; các kết quả trình bày trong luận văn là sản phẩm nghiên cứu,
khảo sát của riêng cá nhân tôi; tất cả các tài liệu tham khảo sử dụng trong luận
văn đều được trích dẫn tường minh, theo đúng quy định.
Tôi xin hoàn toàn chịu trách nhiệm về tính trung thực của số liệu và các
nội dung khác trong luận văn của mình.
Hà Nội, ngày ……… tháng ……. năm 20…..
Tác giả luận văn
MỤC LỤC
LỜI CẢM ƠN ............................................................................................................ 2
MỤC LỤC ................................................................................................................. 1
DANH MỤC CÁC TỪ VIẾT TẮT .......................................................................... 3
DANH MỤC CÁC BẢNG ........................................................................................ 4
MỞ ĐẦU .................................................................................................................... 8
1. Lý do chọn đề tài .................................................................................................... 8
2. Ý nghĩa khoa học và thực tiễn của đề tài ............................................................. 10
2.1. Ý nghĩa khoa học .............................................................................................. 10
2.2. Ý nghĩa thực tiễn ............................................................................................... 10
3. Mục đích nghiên cứu của đề tài ........................................................................... 10
4. Giới hạn nghiên cứu của đề tài............................................................................. 10
5. Câu hỏi và giả thuyết nghiên cứu:........................................................................ 11
5.1. Câu hỏi nghiên cứu ............................................................................................ 11
5.2. Giả thuyết nghiên cứu ........................................................................................ 11
6. Khách thể, đối tượng nghiên cứu ......................................................................... 11
6.1. Đối tượng nghiên cứu ........................................................................................ 11
6.2. Khách thể nghiên cứu......................................................................................... 11
7. Phương pháp nghiên cứu ...................................................................................... 11
8. Cấu trúc luận văn ................................................................................................. 12
CHƯƠNG 1.CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN VẤN ĐỀ NGHIÊN CỨU .. 13
1. Các khái niệm và quan niệm ................................................................................ 13
1.1. Đánh giá giáo dục .............................................................................................. 13
1.2. Thiết kế câu hỏi đánh giá năng lực học sinh .................................................... 16
1.3. Câu hỏi “Bias” ................................................................................................. 20
1.3.1.
Khái niệm ................................................................................................. 20
1.3.2.
Phương pháp phát hiện câu hỏi thiên lệch ............................................. 22
1.3.2.1.
Chỉ số DIF ................................................................................................ 22
1.3.2.2.
Các loại câu hỏi DIF ................................................................................ 25
1
1.4. Lý thuyết Ứng đáp câu hỏi ............................................................................... 26
2.
Tổng quan các tài liệu nghiên cứu ................................................................... 28
CHƯƠNG 2.PHƯƠNG PHÁP LUẬN NGHIÊN CỨU........................................ 35
1.
Giới thiệu về Chương trình đánh giá học sinh quốc tế PISA ........................... 35
1.1. Giới thiệu chung ............................................................................................... 35
1.2. Mục tiêu của PISA ............................................................................................ 36
1.3. Chọn mẫu PISA 2012 ....................................................................................... 38
1.4. Quy trình xây dựng đề thi PISA........................................................................ 41
1.5. Khung đánh giá năng lực Toán học của PISA 2012 ........................................ 44
1.6. Mã hóa (chấm điểm)......................................................................................... 48
2.
Phần mềm phân tích câu hỏi DIF .................................................................... 49
3.
Bộ dữ liệu phân tích ......................................................................................... 50
CHƯƠNG 3.KẾT QUẢ NGHIÊN CỨU VÀ KẾT LUẬN ................................... 53
1.
Giới tính học sinh và lỗi thiên lệch trong câu hỏi thi PISA ............................. 53
2.
Vị trí địa lý và lỗi thiên lệch trong câu hỏi thi PISA ........................................ 57
3.
Yếu tố vùng miền và lỗi thiên lệch trong câu hỏi thi PISA............................... 64
4.
Loại hình trường và lỗi thiên lệch trong câu hỏi thi PISA ............................... 71
5.
Đánh giá chung ................................................................................................ 74
KẾT LUẬN .............................................................................................................. 76
1.
Kết quả đạt được của đề tài .......................................................................... 76
2.
Hạn chế và hướng nghiên cứu tiếp theo ...................................................... 77
2
DANH MỤC CÁC TỪ VIẾT TẮT
1. GD&ĐT
:
Giáo dục và Đào tạo
2. HS
:
Học sinh
3. OECD
:
Tổ chức Hợp tác và Phát triển Kinh tế
4. PISA
:
Chương trình đánh giá học sinh quốc tế
6. KQHT
:
Kết quả học tập
7. TNKQ
:
Trắc nghiệm khách quan
Differential item functioning - câu hỏi thực
8. DIF
:
hiện chức năng khác biệt
3
DANH MỤC CÁC BẢNG
Số
Tên bảng
hiệu
Trang
1.1
Các tiêu chí đánh giá
22
1.2
Các mức độ nhận thức
24
2.1
Số luợng quốc gia/vùng lãnh thổ tham gia các kỳ khảo sát PISA
38
2.2
Lĩnh vực khảo sát chính tại các kỳ PISA
39
2.3
3 cấp độ năng lực Toán học phổ thông
48
2.4
Bảng mô tả 6 mức độ đánh giá năng lực Toán học trong PISA
50
3.1
Điểm trung bình của học sinh nam và học sinh nữ
59
3.2
Tương quan điểm trung bình giữa học sinh nam và học sinh nữ
59
3.3
Kiểm định Independent Samples T-test về kết quả trung bình giữa
nhóm học sinh nam và nhóm học sinh nữ
61
3.4
Số lượng học sinh theo vị trí địa lý
62
3.5
Điểm trung bình của học sinh ở ba vị trí địa lý
63
3.6
Tương quan điểm trung bình giữa học sinh ở ba vị trí địa lý
63
3.7
Kiểm định Independent Samples T-test về kết quả trung bình giữa
nhóm học sinh thành thị và nhóm học sinh nông thôn
65
3.8
Kiểm định Independent Samples T-test về kết quả trung bình giữa
nhóm học sinh thành thị và nhóm học sinh vùng sâu vùng xa ở một
số câu hỏi
67
3.9
Kiểm định Independent Samples T-test về kết quả trung bình giữa
nhóm học sinh nông thôn và nhóm học sinh vùng sâu vùng xa ở
một số câu hỏi
69
4
3.10
Điểm trung bình của học sinh ba miền Bắc, Trung, Nam
69
3.11
Tương quan điểm trung bình giữa học sinh ba miền Bắc, Trung,
Nam
70
3.12
Kiểm định Independent Samples T-test về kết quả trung bình giữa
nhóm học sinh miền Bắc, miền Trung và miền Nam ở một số câu
hỏi
72
3.13
Điểm trung bình của học sinh theo loại hình trường
76
3.14
Tương quan điểm trung bình của học sinh theo loại hình trường
76
Kiểm định Independent Samples T-test về kết quả trung bình giữa
3.15
nhóm học sinh công lập và nhóm học sinh ngoài công lập
5
78
DANH MỤC CÁC HÌNH
Số
hiệu
Tên hình
Trang
1.1
Đường cong đặc tính câu hỏi (ICC)
29
1.2
Mô hình một thông số (b: độ khó câu hỏi)
30
1.3
Mô hình hai thông số (a: độ phân biệt của câu hỏi)
30
1.4
Mô hình ba thông số(c: yếu tố gợi ý/đoán mò)
31
2.1
Quy trình dịch thuật của PISA
45
2.2
DIF đồng nhất: Nhóm tham chiếu (bi = 0,8, ai=1) và nhóm đối
chứng (bi = 1,3, ai = 1).
55
2.3
DIF không đồng nhất: Nhóm tham chiếu (bi = 0, ai = 1) và nhóm
đối chứng (bi = 0, ai = 0,6).
55
3.1
Kết quả phân tích DIF theo yếu tố giới tính
60
3.2
Kết quả phân tích DIF theo yếu tố giới tính của câu hỏi số 2 và số 3
60
3.3
DIF ở câu hỏi 2, giữa nhóm học sinh nam và nhóm học sinh nữ
61
3.4
DIF ở câu hỏi 3 giữa nhóm học sinh nam và nhóm học sinh nữ
61
3.5
Kết quả phân tích DIF theo yếu tố vị trí địa lý, giữa thành thị - nông
thôn
64
3.6
DIF ở câu hỏi 81,giữa nhóm học sinh thành thị và nông thôn
64
3.7
Kết quả phân tích DIF theo yếu tố vị trí địa lý, giữa thành thị - vùng
sâu xa
66
3.8
Kết quả phân tích DIF theo yếu tố vị trí địa lý, giữa nông thônvùng sâu xa
68
6
3.9
Kết quả phân tích DIF theo yếu tố vùng miền, miền Bắc – miền
Nam
71
3.10
Kết quả phân tích DIF theo yếu tố vùng miền, miền Bắc – miền
Trung
72
3.11
Kết quả phân tích DIF theo yếu tố vùng miền, miền Trung – miền
Nam
73
3.12
Kết quả phân tích DIF theo yếu tố loại hình trường
77
7
MỞ ĐẦU
1. Lý do chọn đề tài
Hiện nay, nền giáo dục Việt Nam đang thực hiện công cuộc đổi mới căn bản,
toàn diện nhằm đáp ứng yêu cầu của sự nghiệp công nghiệp hoá, hiện đại hóa đất
nước. Chúng ta đang tiến hành đổi mới từ mục tiêu, nội dung, phương pháp tới hình
thức tổ chức, phương tiện giáo dục... Để đảm bảo công cuộc đổi mới giáo dục thành
công, chúng ta cần đẩy mạnh đổi mới kiểm tra, đánh giá. Chính vì nhu cầu như vậy,
ngày 03/11/2011, Bộ GD&ĐT đã ban hành Thông tư số 51/2011/TT-BGDĐT Quy
định về Đánh giá định kỳ quốc gia kết quả học tập của học sinh trong các cơ sở giáo
dục phổ thông. Thông tư đã tạo điều kiện thuận lợi cho các kỳ đánh giá học sinh ở
cả 3 cấp học: Tiểu học, Trung học cơ sở và Trung học phổ thông, tương ứng với các
lớp 5, lớp 9 và lớp 11. Bên cạnh các kỳ đánh giá quốc gia, Việt Nam cũng tích cực
tham gia hội nhập quốc tế thông qua các kỳ đánh giá quốc tế như PISA, PASEC...
Trong đó, đáng chú ý nhất là chương trình đánh giá học sinh quốc tế PISA.
Năm 2010, lãnh đạo Bộ Giáo dục và Đào tạo Việt Nam đã quyết định ký hợp
đồng với OECD (Tổ chức hợp tác và phát triển kinh tế) để Việt Nam tham gia
Chương trình đánh giá học sinh quốc tế (Programme for international student
assessment – gọi tắt là PISA) từ chu kỳ năm 2012. Đây là chương trình đánh giá
mang quy mô toàn cầu với sự tham gia của hơn 70 quốc gia/vùng lãnh thổ, được
tiến hành theo chu kỳ 3 năm 1 lần, mỗi chu kỳ sẽ tập trung đánh giá chuyên sâu một
trong ba lĩnh vực Toán học, Khoa học và Đọc hiểu. Năm 2012, PISA tập trung vào
đánh giá năng lực của học sinh ở lĩnh vực Toán học. Chương trình này xây dựng
các bài kiểm tra để đánh giá năng lực của học sinh ở độ tuổi 15 (Theo OECD, đây là
độ tuổi học năm cuối giáo dục bắt buộc). Các đề thi cũng như các tài liệu liên quan
sẽ được dịch sang các ngôn ngữ khác nhau tùy theo từng quốc gia để sử dụng cho
đánh giá. Các quốc gia/vùng lãnh thổ tham gia chương trình đánh giá này có thể có
được những so sánh có tính chất tham khảo về chất lượng giáo dục của nước mình
với những nước khác cùng tham gia, so sánh năng lực của học sinh theo thời gian
và đánh giá tác động của các quyết định chính sách giáo dục từ đó đưa ra những đề
8
xuất phù hợp. Tháng 12/2013, kết quả thi PISA 2012 đã được công bố. Việt Nam đã
đạt được các kết quả cao hơn nhiều so với mong đợi: Toán học (lĩnh vực chính)
đứng ở vị trí 17/65, Khoa học đứng ở vị trí 8/65 và Đọc hiểu đứng vị trí 19/65.
Việt Nam là một trong những quốc gia lần đầu tiên tham gia PISA vào chu kỳ
năm 2012. Từ lúc đăng ký và được OECD chính thức đồng ý để Việt Nam tham gia
PISA 2012 đến khi kỳ thi chính thức diễn ra (tháng 4/2012), Việt Nam đã trải qua
cả một giai đoạn căng thẳng để hoàn thành được các nhiệm vụ do OECD yêu cầu
để có thể tiến hành được kỳ khảo sát chính thức. Một trong những nhiệm vụ quan
trọng và khó khăn nhất là dịch thuật, thẩm định và thích ứng các bộ đề thi và phiếu
hỏi. Mặc dù bộ đề thi của PISA được đánh giá là bộ đề thi chuẩn quốc tế, nhưng
cho đến hiện tại, có nhiều quốc gia, kể cả những quốc gia sử dụng bản nguyên gốc
bằng tiếng Anh để tiến hành khảo sát, vẫn luôn băn khoăn về chất lượng của đề thi
khi áp dụng tại từng quốc gia, đặc biệt là những quốc gia phải dịch lại bộ đề thi.
Mặc dù đã trải qua 2 kỳ khảo sát (năm 2012 và năm 2015), tuy nhiên, cho tới
thời điểm hiện tại, Việt Nam vẫn chưa có một nghiên cứu chính thức nào về chất
lượng của các câu hỏi thi được sử dụng. Trong khi, như chúng ta đã biết, kết quả
làm bài của học sinh lại bị ảnh hưởng bởi rất nhiều yếu tố như bản thân học sinh,
điều kiện gia đình, môi trường xã hội, môi trường học tập và đặc biệt là bởi chất
lượng câu hỏi thi. Một đề thi tốt sẽ đánh giá được đúng năng lực, kết quả học tập
của học sinh. Nhưng một đề thi bị lỗi sẽ cho những kết quả sai lệch, nghiêm trọng
hơn có thể làm hỏng cả một kỳ đánh giá. Một đề thi lỗi có thể là một đề thi sai về
kiến thức, có các câu hỏi gây hiểu nhầm cho học sinh, hoặc có thể các câu hỏi chỉ
phù hợp với một nhóm đối tượng nhất định...
Sau kỳ khảo sát PISA 2012 thành công, đã có rất nhiều câu hỏi được đặt ra:
Liệu rằng một bộ đề thi chuẩn quốc tế khi áp dụng tại Việt Nam có mắc các lỗi
thiên lệch hay không? Có yếu tố nào khiến cho câu hỏi thi PISA trở nên thiên lệch
hay không? Nếu có, mức độ thiên lệch của bộ đề thi PISA như thế nào?
Với mong muốn giải đáp một phần những câu hỏi trên, tác giả đã chọn đề tài
9
"Nghiên cứu một số yếu tố gây ra lỗi thiên lệch (Bias) trong câu hỏi thi PISA 2012 lĩnh vực Toán học" làm đề tài luận văn thạc sỹ của mình.
2. Ý nghĩa khoa học và thực tiễn của đề tài
2.1.
Ý nghĩa khoa học
Đề tài nghiên cứu tập trung vào nghiên cứu hệ thống lý thuyết về câu hỏi
thực hiện chức năng khác biệt (differential item functioning – DIF) và quy trình
phân tích phát hiện DIF (điều kiện cần để kết luận câu hỏi thiên lệch). Vì vậy đề tài
nghiên cứu thành công sẽ góp phần vào hệ thống lý luận về những lý thuyết đánh
giá liên quan đến các nguy cơ gây ra lỗi thiên lệch (bias) trong câu hỏi thi.
2.2.
Ý nghĩa thực tiễn
Đề tài cung cấp một hệ thống lý thuyết về các yếu tố ngôn ngữ, vị trí địa lý,
vùng miền, giới tính có thể làm xuất hiện lỗi thiên lệch (bias) trong câu hỏi thi lĩnh
vực Toán học của PISA 2012 tại Việt nam.
3. Mục đích nghiên cứu của đề tài
Nghiên cứu nhằm tìm hiểu và xác định một số yếu tố gây ra lỗi thiên lệch
(bias) trong câu hỏi thi lĩnh vực Toán học PISA tại Việt Nam.
4. Giới hạn nghiên cứu của đề tài
Đề tài giới hạn trong việc tập trung phân tích kết quả thi Toán học PISA 2012
và đi tìm sự khác biệt về hiện tượng câu hỏi DIF giữa học sinh để tìm ra các yếu tố
gây ra lỗi thiên lệch (bias) trong câu hỏi thi lĩnh vực Toán học PISA 2012 tại Việt
Nam. Các yếu tố được chia thành các nhóm sau:
- Giới tính (nam, nữ);
- Vị trí địa lý (thành thị, nông thôn, miền núi);
- Vùng miền (Bắc, Trung, Nam);
- Loại hình trường (Công lập, ngoài công lập)
10
5. Câu hỏi và giả thuyết nghiên cứu:
5.1. Câu hỏi nghiên cứu
Đề tài nhằm trả lời câu hỏi nghiên cứu: Tại Việt Nam, các yếu tố giới tính, vị
trí địa lý, vùng miền và loại hình trường gây ra lỗi thiên lệch cho câu hỏi thi PISA
như thế nào?
5.2. Giả thuyết nghiên cứu
Dựa trên câu hỏi nghiên cứu đã đề ra, tác giả đặt ra 04 giả thuyết nghiên cứu
sau:
Yếu tố giới tính gây ra lỗi thiên lệch trong câu hỏi thi PISA 2012 lĩnh vực
Toán học tại Việt Nam.
Yếu tố vị trí địa lý gây ra lỗi thiên lệch trong câu hỏi thi PISA 2012 lĩnh vực
Toán học tại Việt Nam.
Yếu tố vùng miền gây ra lỗi thiên lệch trong câu hỏi thi PISA 2012 lĩnh vực
Toán học tại Việt Nam.
Yếu tố loại hình trường gây ra lỗi thiên lệch trong câu hỏi thi lĩnh vực Toán
học PISA 2012 tại Việt Nam.
6. Khách thể, đối tượng nghiên cứu
6.1. Đối tượng nghiên cứu
Các yếu tố có nguy cơ gây ra lỗi thiên lệch trong câu hỏi thi PISA 2012 lĩnh
vực Toán học.
6.2. Khách thể nghiên cứu
Câu hỏi thi PISA lĩnh vực Toán học.
7. Phương pháp nghiên cứu
* Phương pháp nghiên cứu định tính: phương pháp nghiên cứu lý luận
Tác giả tiến hành thu thập tài liệu từ nhiều nguồn khác nhau: bài báo, các đề
11
tài nghiên cứu và các tài liệu khác có liên quan ở trong và ngoài nước. Sau khi thu
thập, phân tích, tổng hợp lý thuyết, tác giả phân loại, hệ thống hóa và khái quát hóa
cơ sở lý thuyết để từ đó xây dựng được cơ sở lý luận cho đề tài.
* Phương pháp phân tích định lượng: Tác giả sử dụng các phần mềm SPSS
và CONQUEST để chạy dữ liệu và phân tích các kết quả cần thiết. Cụ thể:
- SPSS: chạy điểm trung bình, chênh lệch điểm trung bình và Independent
Samples T-test cho các cặp dữ liệu
- CONQUEST: chạy DIF cho câu hỏi theo các cặp yếu tố.
8. Cấu trúc luận văn
Chương I. Cơ sở lý luận và tổng quan vấn đề nghiên cứu
Chương II. Phương pháp luận nghiên cứu
Chương III. Kết quả nghiên cứu và kết luận
Kết luận
Tài liệu tham khảo
Phụ lục
12
CHƯƠNG 1.
CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN VẤN ĐỀ NGHIÊN CỨU
1. Các khái niệm và quan niệm
1.1. Đánh giá giáo dục
Từ cuối thế kỷ 19, khái niệm Đánh giá giáo dục đã phát triển mạnh mẽ ở các
nước phương Tây. Đã có rất nhiều nghiên cứu cũng như cách tiếp cận khác nhau về
khái niệm này. Một trong những định nghĩa được đánh giá là đã khái quát khá đầy
đủ về khái niệm này là: “Đánh giá trong giáo dục được định nghĩa là quá trình thu
thập thông tin để đưa ra những quyết định giáo dục liên quan tới học sinh, để phản
hồi cho học sinh về sự tiến bộ, những điểm mạnh và điểm tồn tại trong học tập của
chúng, để đưa ra phán quyết về hiệu quả của công tác giảng dạy và sự phù hợp của
chương trình đào tạo, và cuối cùng là để cung cấp thông tin xây dựng chính
sách.”(AFT, NCME, NEA, 1990:1)
Như vậy, có thể thấy, mục tiêu chính của đánh giá giáo dục là dựa trên các
thông tin thu thập được để đưa ra những quyết định liên quan tới giảng dạy, chương
trình học và các chính sách giáo dục nhằm phát triển khả năng học tập của học sinh.
Hiện nay, trên thế giới, không chỉ có các chương trình đánh giá chất lượng học tập
của học sinh, mà còn có các chương trình đánh giá những đối tượng khác trong môi
trường học tập, ví dụ: chương trình TALIS nhằm đánh giá chất lượng của giáo
viên/hiệu trưởng nhà trường. Những chương trình này đánh giá trực tiếp các đối
tượng liên quan đến học sinh, chứ không thông qua việc đánh giá học sinh. Nhờ vậy
giúp các nhà đánh giá có cái nhìn toàn diện và chính xác hơn về môi trường giáo
dục, ví dụ như chất lượng giảng dạy của giáo viên, kinh nghiệm quản lý của điều
kiện cơ sở vật chất, sự phù hợp của các chương trình học.
Trong tiếng Anh, khi nhắc tới Đánh giá giáo dục, người ta thường dùng 4
thuật ngữ quan trọng: Test (Kiểm tra), Measurement (Đo lường), Assessment (Đánh
giá) và Evaluation (Định giá).
13
Ở Việt Nam, thường có sự đánh đồng giữa các thuật ngữ trên.Với nhiều người,
các thuật ngữ này đều là chỉ sự đánh giá. Trên thực tế, mỗi thuật ngữ này đều sử
dụng hình thức test (kiểm tra, bài kiểm tra) nhưng không từ nào đồng nghĩa với
testing (trắc nghiệm) cả, và các bài kiểm tra trong 3 quy trình này có thể khác
nhau...”. Cụ thể:
- Thuật ngữ Test (Kiểm tra): kiểm tra chính là một hoạt động đánh giá. Kiểm
tra là hoạt động đo lường nhằm thu được các kết quả, các nhận xét, phán quyết dựa
vào các thông tin thu được theo công cụ đã chuẩn bị trước với mục đích xác định
xem cái gì đã đạt được, cái gì chưa đạt được, những nguyên nhân….
- Thuật ngữ Measurement (Đo lường): đây là một hoạt động của đánh giá
định lượng. Đo lường (Measurement) là việc gán các con số cho các đặc điểm
(lượng hóa) nhằm đánh giá được cá nhân.
- Thuật ngữ Assessment (Đánh giá): đánh giá (assessment) trong giáo dục là
quá trình mô tả đối tượng thông qua các thông tin thu thập được, bao gồm các loại
thông tin định tính, thông tin định lượng. Đối tượng được đánh giá có thể là học
sinh, giáo viên hoặc hiệu trưởng. Cách thức thu thập thông tin hết sức đa dạng,
không chỉ giới hạn trong việc đo lường (measurement) hay kiểm tra (test).
- Thuật ngữ Evaluation (Định giá): đây chính là quy trình hoàn thiện, bổ
sung bước cuối cùng cho đánh giá (assessement), người đánh giá sẽ đưa ra những
nhận định/quyết định thông qua những đánh giá đã được thực hiện.
Từ khi ra đời đến nay, đánh giá giáo dục đã trải quả rất nhiều xu hướng đánh
giá. Nhưng các chuyên gia đã tóm gọn trong 3 xu hướng chính: Đánh giá để phát
triển học tập hay đánh giá vì sự tiến bộ của người học (assessment for learning),
Đánh giá về kết quả học tập (assessment of learning), Đánh giá là một quá trình
học/ đánh giá là hoạt động học tập (assessment as learning).
Như chúng ta đã biết, đánh giá giáo dục giúp cho các nhà hoạch định chính
sách đưa ra các chiến lược và hoạt động nhằm khuyến khích việc học tập của học
14
sinh. Ban đầu, các nhà giáo dục nghĩ rằng việc đánh giá nên tiến hành khi kết thúc
giai đoạn học tập, nhưng trên thực tế, việc đánh giá nên được tiến hành xuyên suốt
quá trình học tập của học sinh. Khi các nhà giáo dục xác định được nội dung cần
giảng dạy cho học sinh, họ sẽ xác định được cần đánh giá việc học tập như thế nào,
vào thời điểm nào. Tùy theo ý định sử dụng và các nhiệm vụ được giao mà các nhà
giáo dục sẽ sử dụng đánh giá về kết quả học tập, đánh giá để phát triển học tập hay
đánh giá như quá trình học tập.
Đánh giá để phát triển học tập hay đánh giá vì sự tiến bộ của người học
(Assessment FOR learning) thường được biết tới như một đánh giá quá trình và
đánh giá chẩn đoán. Đánh giá vì sự tiến bộ của người học sử dụng một nhiệm vụ
hoặc một hoạt động với mục đích xác định sự tiến bộ của học sinh trong một bài
học hoặc một hoạt động hướng dẫn. Giáo viên có thể tự điều chỉnh các chỉ dẫn trên
lớp học dựa vào nhu cầu của học sinh. Tương tự, học sinh sẽ nhận được nhận xét về
việc học của mình.
Đánh giá về kết quả học tập(Assessment OF learning) sử dụng một nhiệm
vụ hoặc một hoạt động để đo lường, ghi chép và báo cáo kết quả học sinh đạt được
có liên quan đến một mức kì vọng nhất định. Những đánh giá này được biết đến
dưới hình thức đánh giá tổng kết.
Đánh giá là quá trình học tập (Assessment AS learning) sử dụng một
nhiệm vụ hoặc một hoạt động cho phép học sinh có cơ hội sử dụng (kết quả) của
đợt đánh giá để phục vụ cho việc học tập sau này. Tự đánh giá hoặc đánh giá chéo
giúp học sinh tự phản ánh và tìm ra điểm mạnh và yếu trong việc học tập của bản
thân. Những nhiệm vụ này tạo cơ hội cho học sinh tự đề ra mục tiêu cá nhân và tự
thúc đẩy bản thân học tập.
Dựa theo từng quan điểm mà người ta phân loại ra các loại hình đánh giá. Ví
dụ: Xét theo quy mô sẽ phân ra hai loại: Đánh giá trên diện rộng (Large-Scale
Assessment) và Đánh giá trên lớp học (Clasroom Assessment). Xét theo quá trình
15
học tập sẽ có 3 loại đánh giá tương ứng với 3 giai đoạn đầu vào, quá trình học tập
và đầu ra của quá trình, là: Đánh giá sơ khởi (Placement Assessment), Đánh giá
trong tiến trình (Formative Assessment), Đánh giá tổng kết (Summative
Assessment). Xét theo chuẩn tương đối của nhóm người cùng được đánh giá và
chuẩn về mức độ thành thạo đáp ứng chuẩn mực mong đợi thì đánh giá trong giáo
dục được chia thành các loại là Đánh giá dựa theo chuẩn (norm-referenced
assessment) và đánh giá dựa theo tiêu chí (criterion-referenced assessment)….
1.2. Thiết kế câu hỏi đánh giá năng lực học sinh
Hiện nay, bên cạnh việc đánhh giá kiến thức, kỹ năng của người học, nhà
trường và giáo viên cũng dần chú trọng tới việc đánh giá năng lực của người học.
Năm 2014, Vụ Giáo dục Trung học - Bộ GD&ĐT đã cho triển khai Tập huấn
kiểm tra, đánh giá trong quá trình dạy học theo định hướng phát triển năng lực học
sinh trong trường trung học phổ thông. Trong các đợt tập huấn, sự khác nhau giữa
đánh giá kiến thức, kỹ năng và đánh giá theo năng lực đã được nhấn mạnh. Khác
với đánh giá kiến thức, kỹ năng lấy việc kiểm tra khả năng tái hiện kiến thức đã học
làm trung tâm của việc đánh giá, đánh giá kết quả học tập theo năng lực chú trọng
khả năng vận dụng sáng tạo tri thức trong những tình huống ứng dụng khác nhau ...
“Đánh giá theo năng lực là đánh giá kiến thức, kỹ năng và thái độ trong bối cảnh có
ý nghĩa”.
Theo Tài liệu tập huấn của Vụ Giáo dục Trung học - Bộ GD&ĐT, có thể phân
biệt giữa đánh giá năng lực và Đánh giá kiến thức, kỹ năng của người học dựa trên
một số tiêu chí như sau:
Bảng 1.1. Các tiêu chí đánh giá
Tiêu chí
so sánh
1. Mục
đích chủ
yếu nhất
Đánh giá năng lực
Đánh giá kiến thức, kỹ năng
Đánh giá khả năng HS vận dụng
Xác định việc đạt kiến
các kiến thức, kỹ năng đã học vào giải
thức, kỹ năng theo mục tiêu
quyết vấn đề thực tiễn của cuộc sống.
của chương trình giáo dục.
Vì sự tiến bộ của người học so với
Đánh giá, xếp hạng
16
chính họ.
giữa những người học với
nhau.
2. Ngữ
Gắn với ngữ cảnh học tập và thực tiễn
Gắn với nội dung học tập
cảnh đánh cuộc sống của HS.
(những kiến thức, kỹ năng,
giá
thái độ) được học trong nhà
trường.
3. Nội
dung
đánh giá
Những kiến thức, kỹ năng, thái độ
ở nhiều môn học, nhiều hoạt động giáo
dục và những trải nghiệm của bản thân
HS trong cuộc sống xã hội (tập trung
vào năng lực thực hiện).
Quy chuẩn theo các mức độ phát
triển năng lực của người học.
Những kiến thức, kỹ
năng, thái độ ở một môn học.
Quy chuẩn theo việc
người học có đạt được hay
không một nội dung đã được
học.
4. Công
cụ đánh
giá
Nhiệm vụ, bài tập trong tình huống,
bối cảnh thực.
Câu hỏi, bài tập, nhiệm vụ
trong tình huống hàn lâm
hoặc tình huống thực.
5. Thời
điểm
đánh giá
Đánh giá mọi thời điểm của quá trình
dạy học, chú trọng đến đánh giá trong
khi học.
Thường diễn ra ở những
thời điểm nhất định trong quá
trình dạy học, đặc biệt là
trước và sau khi dạy.
Năng lực người học
phụ thuộc vào số lượng câu
hỏi, nhiệm vụ hay bài tập đã
hoàn thành.
Càng đạt được nhiều
đơn vị kiến thức, kỹ năng thì
càng được coi là có năng lực
cao hơn.
(Nguồn: Tài liệu tập huấn kiểm tra, đánh giá trong quá trình dạy học theo định
hướng phát triển năng lực học sinh trong trường trung học phổ thông, Vụ Giáo dục
Trung học – Bộ Giáo dục và Đào tạo, 2014)
6. Kết
quả đánh
giá
Năng lực người học phụ thuộc vào
độ khó của nhiệm vụ hoặc bài tập đã
hoàn thành.
Thực hiện được nhiệm vụ càng
khó, càng phức tạp hơn sẽ được coi là có
năng lực cao hơn.
Việc thiết kế câu hỏi đánh giá năng lực học sinh vẫn phải tuân thủ nghiêm
ngặt các quy định trong quy trình thiết kế câu hỏi, đề thi nói chung. Cụ thể:
Bước 1: Xây dựng ma trận đề kiểm tra;
Bước 2: Xây dựng thang đánh giá và viết câu hỏi;
17
Bước 3: Lấy ý kiến chuyên gia thẩm định để hoàn thiện các câu hỏi và đề;
Bước 4: Kiểm tra thử nghiệm các câu hỏi;
Bước 5: Phân tích đánh giá câu hỏi;
Bước 6: Sửa chữa các câu hỏi và hoàn thiện đề kiểm tra để sử dụng chính thức.
Mỗi bước tiến hành đều phải được kiểm tra, thẩm định, và có thể tiến hành
nhiều lần để đảm bảo độ chính xác của các sản phẩm.
Đối với bước 2, phần viết câu hỏi cần đảm bảo các kỹ thuật xây dựng câu hỏi.
Các dạng câu hỏi thường được sử dụng bao gồm:
-
Câu hỏi trắc nghiệm khách quan nhiều lựa chọn (Multiple choice);
-
Câu hỏi Có – Không, Đúng – Sai phức hợp (Yes – No; True – False
complex);
-
Câu hỏi đóng đòi hỏi trả lời (Close – constructed response question);
-
Câu hỏi mở đòi hỏi trả lời ngắn (Short response question);
-
Câu hỏi mở trả lời dài (Open – constructed response question).
Tuy nhiên, điểm khác biệt nhất trong việc thiết kế câu hỏi đánh giá năng lực
học sinh là ở nội dung câu hỏi. Khác với những câu hỏi chỉ tập trung đánh giá kiến
thức, kỹ năng gắn liền với nội dung học, câu hỏi đánh giá năng lực học sinh tập
trung vào việc đánh giá khả năng vận dụng sáng tạo tri thức trong những tình huống
thực tiễn khác nhau của học sinh. Nội dung của câu hỏi được xây dựng trên những
bối cảnh tái tạo lại thực tiễn.
Thông thường, các câu hỏi thường nhằm đánh giá trình độ nhận thức của học
sinh dựa trên các mức độ sau:
Bảng 1.2. Các mức độ nhận thức
Các mức độ
Các bậc trình độ
nhận thức
1. Hồi tưởng Tái hiện
Các đặc điểm
- Nhận biết lại cái gì đã học theo cách
18
thông tin
thức không thay đổi.
- Tái tạo lại cái đã học theo cách thức
không thay đổi.
2. Xử lý Hiểu và vận dụng
- Phản ánh theo ý nghĩa cái đã học.
thông tin
Nắm bắt ý nghĩa
- Vận dụng các cấu trúc đã học trong
Vận dụng
tình huống tương tự.
3. Tạo thông Xử lí, giải quyết vấn đề - Nghiên cứu có hệ thống và bao quát
tin
một tình huống bằng những tiêu chí riêng.
- Vận dụng các cấu trúc đã học sang
một tình huống mới.
- Đánh giá một hoàn cảnh, tình huống
thông qua những tiêu chí riêng
Nhận biết lại
Tái tạo lại
Dựa trên các mức độ này, các câu hỏi sẽ được xây dựng theo các dạng:
- Dạng bài tập dạng tái hiện: Yêu cầu sự hiểu và tái hiện tri thức. Bài tập tái
hiện không phải trọng tâm của bài tập định hướng năng lực.
- Dạng bài tập vận dụng: Các bài tập vận dụng những kiến thức trong các
tình huống không thay đổi. Các bài tập này nhằm củng cố kiến thức và rèn luyện kỹ
năng cơ bản, chưa đòi hỏi sáng tạo.
- Dạng bài tập giải quyết vấn đề: Các bài tập này đòi hỏi sự phân tích, tổng
hợp, đánh giá, vận dụng kiến thức vào những tình huống thay đổi, giải quyết vấn đề.
Dạng bài tập này đòi hỏi sự sáng tạo của người học.
- Dạng bài tập gắn với bối cảnh, tình huống thực tiễn: Các bài tập vận dụng
và giải quyết vấn đề gắn các vấn đề với bối cảnh và tình huống thực tiễn. Những bài
tập này là những bài tập mở, tạo cơ hội cho nhiều cách tiếp cận, nhiều con đường
giải quyết khác nhau.
Các bài tập trong PISA là ví dụ điển hình cho câu hỏi đánh giá năng lực học
sinh. Các câu hỏi trong PISA đánh giá năng lực của học sinh ở độ tuổi 15 – độ tuổi
kết thúc giáo dục bắt buộc, nhằm xác định khả năng bước ra môi trường lao động
của học sinh.
19
1.3. Câu hỏi “Bias”
1.3.1. Khái niệm
Cho đến nay, ở Việt Nam, vẫn chưa có một định nghĩa chính xác về thuật ngữ
“Bias” trong lĩnh vực đánh giá giáo dục. Trong khi đó, trên thế giới, thuật ngữ này
đã được tìm hiểu từ thế những năm 70.
Một trong những người đầu tiên tìm hiểu về lỗi “bias” trong câu hỏi thi là
Cleary (1968). Cleary đã định nghĩa về “bias” như sau: Một bài thi bị đánh giá là
“bias” đối với một cá nhân trong một nhóm dân số nếu điểm số của tiêu chí được
đánh giá là cao hoặc thấp hơn so với dự kiến đối với cá nhân đó, trong khi đối với
các cá nhân của các nhóm còn lại, điểm số của tiêu chí này là đúng theo dự kiến.
Với định nghĩa này của “bias” này, có thể có một ý nghĩa của "không công bằng unfair", đặc biệt nếu việc sử dụng bài thi đưa ra những dự đoán quá thấp. Nếu bài
thi được sử dụng để lựa chọn, các cá nhân của nhóm dân số có thể bị loại trong khi
họ có khả năng hoàn thành bài thi tốt như bất cứ cá nhân nào khác. Theo ông, trong
thống kê, “bias” đề cập tới một lỗi hệ thống trong việc tính toán một giá trị. Một bài
thi “bias” là một bài thi đã đánh giá một giá trị của một biến cao hơn hoặc thấp hơn
so với giá trị thực tế của nó. Nếu lỗi “bias” này xảy ra như là một chức năng của
biến giá trị, ví dụ như biến văn hóa, biến dân tộc hoặc biến giới tính, thì bài thi
“bias” có thể được coi là có lỗi “bias” về giá trị đó, ví dụ như là lỗi “bias” về văn
hóa, dân tộc hoặc giới tính.
Theo Alan Davies (1999), “bias” được định nghĩa như sau: trong kết quả làm
bài thi, luôn có khả năng tồn tại một sự khác biệt có hệ thống giữa kết quả làm bài
của một nhóm dân số đặc trưng và các nhóm dân số còn lại do một yếu tố nào đó.
“Bias” có thể được khẳng định trên cơ sở là sự khác biệt bắt nguồn từ yếu tố không
liên quan đến năng lực trên các tiêu chí đo lường.
Trong ngôn ngữ đo lường đánh giá, các lỗi bias thường xuất phát từ:
- Kiến thức cơ bản, bao gồm cả nền văn hóa và kiến thức nội dung đó có thể
hạn chế khả năng của một nhóm cụ thể để đối phó với nhu cầu ngôn ngữ của một
20
nhiệm vụ;
- Phương pháp kiểm tra hoặc định dạng (VD: câu hỏi nhiều lựa chọn) mà có
thể được tiến hành phù hợp với nhóm này hơn nhóm khác;
Điều tra của về tính “bias” của bài kiểm tra là trung tâm của quá trình xác định
độ giá trị cấu trúc. Khi được tìm thấy, lỗi “bias” được coi là đại diện cho một sự vi
phạm các giả định một chiều, đó là, điểm kiểm tra có một ý nghĩa chung cho tất cả
thí sinh.
Trong số các kỹ thuật thường được sử dụng để nghiên cứu lỗi “bias” trong bài
kiểm tra, người ta thường dùng phân tích nhân tố và kỹ thuật đa biến như mô hình
phương trình cấu trúc. Để phát hiện lỗi “bias” tiềm ẩn ở mức câu hỏi (thường được
gọi là DIF) người ta thường sử dụng lý thuyết ứng đáp câu hỏi. Thiên lệch tiên đoán
thường được xác định trên cơ sở của phương trình hồi quy.
Như vậy, với những định nghĩa trên: Bias có thể hiểu chung là lỗi trong câu
hỏi, đề kiểm tra dẫn tới việc đánh giá không đúng/không chính xác kết quả làm
bài của học sinh, do câu hỏi có chứa những nội dung khiến cho một nhóm học sinh
ít có khả năng trả lời đúng câu hỏi đó so với những học sinh còn lại.
Theo cá nhân tác giả, nên dịch “bias” là thiên lệch. Trong toàn luận văn này,
tác giả sẽ dùng từ “bias” với nghĩa là “thiên lệch”.
Lỗi thiên lệch xuất hiện dưới nhiều hình thức. Lỗi thiên lệch thường liên quan
tới giới tính, văn hóa, dân tộc, tôn giáo. Một câu hỏi có thể là thiên lệch nếu nó có
chứa nội dung hoặc ngôn ngữ là các kiểu không quen thuộc với chỉ một phân nhóm
thí sinh, hoặc nếu cấu trúc câu hỏi hoặc định dạng theo kiểu khác biệt, đó sẽ là khó
khăn cho một phân nhóm thí sinh nào đó. Thông thường, người ta thường chia ra
làm ba dạng thiên lệch:
- Thiên lệch nội dung;
- Thiên lệch ngôn ngữ;
21
