Một Số Phương Pháp Và Kỹ Thuật Trong Tự Đánh Giá

MỘT SỐ PHƯƠNG PHÁP VÀ KỸ
THUẬT TRONG TỰ ĐÁNH GIÁ
Cục Khảo thí và Kiểm định chất lượng giáo dục
Bộ Giáo dục và Đào tạo
ĐT: 04 39747108
Fax: 04 39747109
Email:

1


NỘI DUNG CHÍNH
• Kỹ thuật nghiên cứu văn bản, hồ sơ
• Kỹ thuật quan sát
• Kỹ thuật phỏng vấn
• Kỹ thuật thảo luận nhóm
• Kỹ thuật thiết kế công cụ điều tra khảo sát
• Kỹ thuật xử lý và phân tích số liệu
• Kỹ thuật thiết lập dữ liệu thống kê
2


I. Kỹ thuật nghiên cứu văn bản, hồ sơ
• Trong NC Liên ngành: Là PP phân tích tài liệu
thứ cấp, tên khác- Literature review (đọc các tài
liệu đã có), nghĩa là phải đọc/tóm tắt/ tổng hợp
theo chủ đề
• Trong TĐG: Một phương pháp quan trọng,
thường xuyên được sử dụng; Là sự xem xét có
hệ thống các tài liệu dưới dạng văn bản viết; Để
cung cấp thông tin cho quá trình tự đánh giá

3


Nghiên cứu văn bản/hồ sơ nhằm:

• Phân loại/ sắp xếp/ đánh giá/lựa chọn
thông tin phù hợp với nội hàm các tiêu chí
• Trích dẫn, bình luận phục vụ trực tiếp mục
đích tự đánh giá.

4


Vài điều cần lưu ý
Văn bản/hồ sơ hứa hẹn là minh chứng tốt
cho một tiêu chí
Nhưng:
Văn bản/hồ sơ mới chỉ xác nhận về một sự
tồn tại, chưa chắc đã là minh chứng.

5


Vì thế, cần thiết phải:

• Xem xét mức độ đáp ứng yêu cầu từng
tiêu chí của văn bản đó
• Có thêm sự thẩm định của các chuyên
gia và những người làm việc trực tiếp
• Luôn cân đối giữa văn bản và thực tế.

Để:
Có phương pháp thu thập tư liệu tối ưu
6


Các thao tác cần thiết khi nghiên
cứu văn bản/hồ sơ
Cần:
• Bám sát
• Nắm vững
Nội hàm/Các chỉ báo/Các từ khóa chỉ nội
hàm của từng tiêu chí.
Để:
• Xác định mức độ đáp ứng yêu cầu là một
minh chứng tốt của văn bản
7


Những câu hỏi hướng dẫn xem xét phân
tích văn bản/hồ sơ
• Loại văn bản? Nguồn?
• Đối tượng của văn
bản?
• Đáp ứng nội hàm
một/những tiêu chí
nào?  Thao tác này
cần xác định rõ- đầy đủ
từ đầu để phân loại
theo hộp minh chứng
cho thuận tiện.

• Mức độ đáp ứng từng
nội dung cụ thể trong
nội hàm của tiêu chí;
• Mức độ đáp ứng tốt
cho những tiêu chí nào
 liệt kê đủ.

8


II. Kỹ thuật quan sát
Định nghĩa :
“Quan sát” – xem xét tận
mắt (cơ sở vật chất, điều
kiện, môi trường, sự
tương tác, một hoạt
động cụ thể…);
Trong TĐG, sẽ quan sát:
- Cơ sở vật chất;
- Dự giờ…

Phân loại:
• Tham gia hoàn toàn người quan sát ẩn;
• Quan sát và tham giaQuan sát là chính;
• Tham gia và quan sát
– Quan sát là phụ;
• Quan sát hoàn toàn.
(Theo Creswell, 2000)
9

Ưu điểm và hạn chế của quan sát
• “Trăm nghe không bằng một
thấy”…
• Các số liệu, thông tin điển hình
liên quan đến tình huống được
phơi bày tương đối sáng rõ;
• Giúp thẩm tra lại minh
chứng/chứng cứ, giúp hiểu rõ
tình trạng, kết quả hoạt động…
• Hạn chế tiêu biểu: tính chủ quan
cao phiến diện và dễ bị can
10
thiệp.


Thực hành dự giờ giảng/semina
•
•
•
•
•

Sự chuẩn bị của giảng viên;
Cách tổ chức giờ trên lớp;
Tương tác giữa người dạy – người học;
Phương pháp phản hồi, đánh giá;
Mức độ tích cực/chủ động của người
học…

Hiệu quả cao nếu kết hợp với các
phương pháp khác (nghiên cứu hồ sơ,
phỏng vấn).

11


III. Kỹ thuật phỏng vấn trong
tự đánh giá
• Một phương pháp (PP) lấy tin quan trọng
trong TĐG  PV giảng viên, sinh viên về
hiệu quả môn học, về mức độ phù hợp,
mức độ cập nhật của chương trình…);
• Phỏng vấn định tính  dùng câu hỏi mở
 lấy tin từ cá nhân/nhóm  thu thập
minh chứng cho quá trình TĐG.
VD: Pv Hiệu trưởng về chiến lược phát triển
trường; Pv Trưởng phòng tổ chức về quy
trình tuyển nhân sự; Pv Trưởng phòng
12
đào tạo về chương trình…


Ưu điểm
• Dùng nhiều, có khi là phương pháp duy nhất để
lấy tin và hiểu sâu về quan điểm một cá nhân.
VD: Hỏi về chương trình của 1 môn học thông
qua các giảng viên dạy môn học đó;
Và hạn chế:
• Dễ mang tính chủ quan, phiến diện (nếu đối

tượng phức tạp hoặc không chuẩn);
• Không thực hiện được trên nhiều đối tượng
cùng thời điểm như điều tra bảng hỏi;
• Chỉ hiệu quả cao khi kết hợp với nghiên cứu VB,
13
điều tra, quan sát.


Quy trình
• Chuẩn bị: Chọn đối tượng/hình thức/mục
tiêu/nội dung/các câu hỏi/địa điểm/thời gian/các
phương tiện hỗ trợ;
• Tiến hành: Khởi động (để tạo niềm tin và sự an
tâm với đối tượng) / Phỏng vấn (tập trung, ghi
tay tóm lược tin chính và ghi âm) / Khai thác
sâu khi cần / Chính xác hóa các tóm tắt và các
thông tin quan trọng / Kết thúc.
• Sau phỏng vấn: Chuẩn hóa lại thông tin với
người trả lời một lần nữa/ Khẳng định cam kết
tính bí mật của thông tin/ Gỡ băng, làm tư liệu
tổng hợp.

14


IV. Kỹ thuật thảo luận nhóm (TLN)
• PP quan trọng trong TĐG chương trình
đào tạo/chất lượng giáo dục của trường.
VD: TLN giảng viên về đổi mới PPDH;
TLN sinh viên về hiệu quả môn học…

• Sử dụng câu hỏi mở để lấy tin từ một
nhóm đối tượng thẩm định, thu thập
thông tin cho 1 tiêu chí/1 tiêu chuẩn;
• Ưu điểm: Lấy tin nhanh, nắm được quan
điểm chung của một nhóm;
15


• Hạn chế:
- Dễ chủ quan, dễ chịu áp lực của một vài
cá nhân chi phối nhóm;
- Nếu chọn nhóm không tinh tế, dễ xảy ra
tình trạng không thực hiện được phỏng
vấn sâu/vỡ hệ thống câu hỏi mở/thiếu
quan điểm cá nhân.

16


Quy trình thảo luận nhóm
• Chuẩn bị: Chọn đối tượng/mục tiêu/nội
dung/các câu hỏi/thời gian/địa
điểm/phương tiện hỗ trợ…
• Tiến hành: Khởi động, nêu vấn đề/Xin
phép ghi âm/Thảo luận chính: ghi chép và
ghi âm/Khai thác sâu khi cần/Chính xác
hóa thông tin/Kết thúc;
• Sau thảo luận: Kiểm tra thông tin/Phân
tách công khai quan điểm chung-riêng của
từng nhóm/Khẳng định lại mục đích sử

17
dụng thông tin…


Các bước tiến hành thảo luận nhóm
• Tương tự phỏng vấn;
• Lưu ý: Người điều hành thảo luận các
nhóm cần có khả năng quan sát tốt, nắm
bắt nhanh tình huống để ứng phó và quyết
đoán kịp thời.
• PP chỉ thực sự phát huy hiệu quả khi kết
hợp với khảo sát, PV sâu, quan sát.

18


V. Kỹ thuật thiết kế các công cụ
điều tra khảo sát (ĐTKS)
• Dùng nhiều trong TĐG chương trình ĐT,
hiệu quả hoạt động của trường;
• ĐTKS bằng bảng hỏi: thiết lập hệ thống
câu hỏi ở dạng văn bản viết, có sẵn mức
độ đánh giá, hướng dẫn, cách xử lý phân
tích số liệu…
• Ưu điểm: Phù hợp để hỏi qua văn bản về
nhận thức, ý kiến, quan điểm của người
khác;
19

• Hạn chế:
Không biết người khác thực sự nghĩ/cư
xử/hành động như thế nào
mức độ tin cậy chỉ trong một phạm vi
nhất định.

20


Các nguyên tắc thiết kế công cụ đo

• Hình thức thiết kế: phiếu hỏi/bảng kiểm
kê/các thang đo chuẩn – trắc nghiệm
chuẩn;
• Nguyên tắc: đảm bảo đặc tính thiết kế
(mục tiêu, đối tượng, nội dung, thủ tục cho
điểm…); đảm bảo đặc tính đo lường (độ
tin cậy, độ phân biệt, độ khó, độ hiệu
lực…); đảm bảo tính đại diện của mẫu
thống kê.
21


Quy trình thiết kế công cụ ĐTKS
•
•
•
•
•
•

•
•

Bước 1: Mục tiêu đo lường;
Bước 2: Đối tượng đo, cá nhân/nhóm;
Bước 3: Công cụ đo;
Bước 4: Nội dung cần đo (hiểu biết/kỹ
năng/thái độ/hứng thú nào?)
Bước 5: Câu hỏi cho từng nội dung;
Bước 6: Các thủ tục cho điểm/lượng hóa;
Bước 7: Thử nghiệm trên mẫu nhỏ, nhập số
liệu và loại bỏ những câu chất lượng kém;
Bước 8: Hoàn thiện bộ công cụ và sử dụng.
22


VI. Kỹ thuật xử lý và phân tích số liệu
• Giúp cho dữ liệu “biết nói”  TĐG chất
lượng chương trình ĐT, TĐG hiệu quả hoạt
động của nhà trường.
• Là sự thiết lập mô hình, quy trình; sử dụng hệ
thống thủ tục/ thao tác/câu lệnh được lập
trình trong các phần mềm
 định lượng/phát hiện/so sánh/lí giải/kiểm
tra/chứng minh các giả thiết
cung cấp thông tin có giá trị khoa học cho
TĐG (tỷ lệ % SV hài lòng về chương
trình/hiệu quả môn học…)
23

Ưu điểm

• Được hỗ trợ bởi các phần mềm chuyên
dụng (SPSS, Conquest), mô hình Raschkĩ thuật phân tích số liệu tiên tiến - phân
tích độ tin cậy/độ khó/độ phân biệt của
các câu hỏi (item)/phương sai/ hồi qui đơn
biến,đa biến…  tăng độ tin cậy/giá trị
khoa học của các số liệu khảo sát (thay vì
xử lí đơn giản như tính tỉ lệ % bằng phần
mềm Excel, xử lí bằng tay).
24


Và hạn chế

• Người sử dụng: chưa thạo phần mềm
hoặc kĩ thuật xử lý phần mềm.
• Cần qua đào tạo khoảng 2 tuần, thực
hành nhiều.

25