Bài giảng Xây dựng câu hỏi Toán PISA: Phần 6

6. MÃ HÓA BÀI THI
Ron Martin
Dave Tout
Juliette Mendelovits


Table 2: PISA item types and coding requirements

SESDP

Dạng trả lời
Đáp án nhiều lựa
chọn
Đáp án nhiều lựa
chọn phức hợp
Các đáp án đóng
được cho sẵn

Tính chất
Chỉ chọn một đáp án trong nhiều
đáp án được nêu ra
Lựa chọn trong một chuỗi các
đáp án dạng đúng/ sai hoặc
có/khơng

Quy định Mã hóa
Khơng u cầu (câu trả lời
được nhập trực tiếp)
Không yêu cầu (câu trả lời
được nhập trực tiếp vào máy
tính)

Một số khơng u cầu(câu trả
Viết câu trả lời ngắn hoặc đáp án lời được nhập trực tiếp vào
tính tốn số học, câu trả lời rõ máy tính);
ràng chỉ có một kết quả
Mã hóa đối với một số item,
gán mã tham chiếu với
hướng dẫn mã hóa.

Trả lời ngắn

Câu trả lời ngắn hoặc đáp án tính Mã hóa, gán mã tham chiếu
tốn số học, nhưng nhiều cách với hướng dẫn mã hóa.
đưa ra đáp án

Đáp án mở

Câu trả lời dài (ví dụ: u cầu lập Mã hóa, gán mã tham chiếu
luận hoặc trình bày chi tiết lời với hướng dẫn mã hóa.
giải


Câu hỏi với câu trả lời mở

SESDP

Hướng dẫn mã hoá
 Phải khớp với Mục đích câu hỏi (thêm vào
những mơ tả chung mà câu hỏi có ý định
đánh giá)

 Phải có một mơ tả chính xác– Mơ tả – của
mỗi loại mã hố
 Phải nhằm mục đích bao qt TẤT CẢ các
loại câu trả lời
 Phải bao gồm ví dụ về câu trả lời của học
sinh – Câu trả lời ví dụ – cho tất cả các loại


Câu trả lời mở

SESDP

Hướng dẫn mã hoá:
Yêu cầu một câu trả lời hoặc một lập luận ngược
lại. Hỗ trợ câu trả lời bằng các phép toán.
Trong các câu hỏi Toán học PISA người ta yêu
cầu học sinh “Đưa ra lời giải thích của bạn” và
viết vài dịng về điều đó.
Cố gắng căn cứ vào hướng dẫn mã hoá và đánh
dấu vào các ví dụ trong câu trả lời của học sinh –
từ phỏng vấn hoặc thử nghiệm


Chấm thi và đánh giá

SESDP

Chú trọng đánh giá năng lực vận dụng
kiến thức, kĩ năng để xử lí những tình
huống thực tiễn.

PISA sử dụng thuật ngữ coding (mã
hóa). Mã của câu trả lời được quy ra điểm
số theo yêu cầu của câu hỏi.
Mã đơn và bội: Mã bội gồm 4 người
thực hiện và nhập dữ liệu độc lập,
không thống nhất điểm
5


Các Mã trong PISA

SESDP

 Mã 1 chữ số: 0, 1, 2, 9, 7
 Mã 2 chữ số: 00, 01,…;11, 12,…;21, 22,…;99, 97
* Chữ số thứ nhất cho biết mức độ trả lời.
* Chữ số thứ hai: đặc tính hay xu hướng của câu trả lời.
* Mã hóa 2 chữ số có hai ưu điểm chính:
- Thu được nhiều thơng tin hơn việc hiểu và nhận thức
chưa đúng, các lỗi thường gặp và các cách tiếp cận
khác nhau của học sinh.
- Biểu diễn mã có cấu trúc hơn, xác định rõ mức độ
phân biệt của các nhóm mã
 Mỗi mã thường có 2 phần chính:
- Mơ tả các u cầu đối với câu trả lời để đạt được Mã
- Đưa ra những ví dụ về câu trả lời đạt được Mã.
 Sau đó các Mã sẽ được chuyển sang điểm (Score) theo
Báo cáo số 1 - Quy tắc và Kỹ thuật Mã hóa
6
khung và thang đánh giá

PISA của OECD


Sàng lọc và rà soát lại các câu hỏi

SESDP

 Phối hợp và rà soát giúp lựa chọn được các câu
hỏi có chất lương cao hơn.
 Các câu hỏi được xây dựng tốt sẽ cho ra dữ liệu
tốt hơn rất nhiều trong việc đánh giá kỹ năng
và kiến thức của học sinh.
 Việc rà sốt có thể bao gồm:
 Rà sốt cán bộ xây dựng câu hỏi:
 Một số ít học sinh được tiếp xúc với những câu hỏi này,. Có
thể sử dụng phương pháp “Phát ngôn thầm”.
 Thử nghiệm: thử nghiệm bộ câu hỏi với số lượng học sinh
đủ lớn trong các trường để ước chừng câu hỏi khó, và giúp
cho việc xây dựng hướng dẫn mã hoá.
 Rà soát bên ngoài: các bên liên quan và các chuyên gia


Cách xây dựng
báo cáo năng lực PISA
Juliette Mendelovits

Australian Council for Educational
Research
August 2012

Mơ hình Rasch

SESDP

 Các item được đặt vào một thang đo độ khó
liên quan đến nhau.
 Độc lập về khả năng làm bài thi của học sinh.
 Học sinh được đặt vào một thang đo năng
lực tương đương với độ khó của câu hỏi.
 Khơng phụ thuộc vào độ khó của các item trong
bài thi.
 Câu hỏi và học sinh được đặt vào một thang
đo tương ứng.
 Cho phép xây dựng thang đo như mô tả.


Câu hỏi và HS đặt vào 1 thang đo

Năng lực cao

2

1

0

-1

Năng lực thấp

-2

-3

|
|
X|
|
X|
XX|
XX|7
XX|
XXX|34
XXX|19
XXXX|23
XXXXXX|12
XXXXXX|
XXXXX|11 22
XXXXXX|26 27 33
XXXXXXX|10 14 30 32
XXXXXXX|2 5 20
XXXXXXXX|1 4 6 21 29
XXXXXXXXXX|8 16
XXXXXXX|9 31
XXXXXXXXX|3
XXXXXXXX|18 25
XXXXXXXX|13
XXXXXXX|15
XXXXXXXX|

XXXXXX|
XXXXXXX|
XXXX|24
XXXX|
XXXXX|
XXX|28
XX|17
XX|
XX|
X|
X|
X|
X|
|

SESDP

Câu hỏi khó

Câu hỏi dễ


SESDP


XD 1 thang đo trình độ được mơ tả
Mức 5
2

Mức 4

1

Mức 3
0

Mức 2
-1

Mức 1

Dưới Mức
1

-2

-3

|
|
X|
|
X|
XX|
XX|7
XX|
XXX|34
XXX|19
XXXX|23
XXXXXX|12
XXXXXX|

XXXXX|11 22
XXXXXX|26 27 33
XXXXXXX|10 14 30 32
XXXXXXX|2 5 20
XXXXXXXX|1 4 6 21 29
XXXXXXXXXX|8 16
XXXXXXX|9 31
XXXXXXXXX|3
XXXXXXXX|18 25
XXXXXXXX|13
XXXXXXX|15
XXXXXXXX|
XXXXXX|
XXXXXXX|
XXXX|24
XXXX|
XXXXX|
XXX|28
XX|17
XX|
XX|
X|
X|
X|
X|
|

SESDP

Mô tả mức 4

Description
item
Trình
độ học sinh of
ở mức
4 có thể xxx và xxx và xxxx và
Description
of
item
xxx . xxx và xxx và xxxx và xxx ... xxx và xxx và xxxx và
Description
of và
item
xxx ... xxx
và xxx và xxxxof
xxx ... xxx và xxx và xxxx và
Description
item
xxx ... ..


Thang đo năng lực Toán học 2003

SESDP


Tổng quan về mục tiêu học tập
và các thành tựu đạt được
Australian Council for Educational
Research

August 2012


Mục tiêu tập huấn

SESDP

 Hiểu về tầm quan trọng của khung đánh giá
đối với xây dựng đề thi và báo cáo
 Học tập về cách lựa chọn phần dẫn tốt
 Hiểu biết về các dạng câu hỏi khác nhau, sử
dụng chúng khi nào và tại sao.
 Thực hành viết và lọc những câu hỏi trong
những hình thức khác nhau.
 Học tập về quy trình xây dựng đề thi.
 Học tập về cách xây dựng thang đo năng lực
được mô tả.


Phản hồi về Tốn học

SESDP

• Thách thức quan trọng nhất bắt đầu ngay từ việc phần
dẫn phải mang tính xác thực và phải làm sao cho nó có
khả năng đánh giá, đủ đơn giản để học sinh có thể đọc
và diễn giải (và để kiểm tra tư duy toán học tốt).
• Câu hỏi cần phải có cấu trúc tốt với hướng dẫn rõ ràng,
khơng mập mờ.
• Nếu đó là một câu trả lời số, cố gắng đơn giản hoá để

mã hố dễ dàng.
• Hãy cẩn thận với các câu hỏi rộng và sẽ khó để mã hố.


Phản hồi về Toán học

SESDP

 Hãy suy nghĩ về tư duy toán học mà bạn đang đánh giá
và câu trả lời mà bạn đang tìm kiếm. Khơng trộn lẫn
q nhiều khái niệm và quy trình.
 Việc soạn mục đích câu hỏi là rất quan trọng – vừa để
đưa ra mục đích câu hỏi, vừa phục vụ cho việc mã hố.
 Hãy chắc chắn là bạn đã lường trước được lối tư duy,
câu trả lời khác nhau của học sinh.
 Rất khó để viết được những câu hỏi trắc nghiệm khách
quan tốt – vì vậy hãy suy nghĩ cẩn thận về cách để tạo
ra những phương án nhiễu tốt.