Tải bản đầy đủ (.pdf) (129 trang)

đánh giá mức độ đáp ứng mục tiêu đào tạo của học viên cao học khóa i - khóa ii chuyên ngành đo lường và đánh giá trong giáo dục viện đảm bảo chất lượng giáo dục

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (10.63 MB, 129 trang )

ĐẠI HỌC QUỐC GIA HÀ NỘI
VIỆN ĐẢM BẢO CHẤT LƢỢNG GIÁO DỤC
  


LÊ THỊ THANH THỦY



ĐÁNH GIÁ MỨC ĐỘ ĐÁP ỨNG MỤC TIÊU ĐÀO TẠO
CỦA HỌC VIÊN CAO HỌC KHÓA I - KHÓA II
CHUYÊN NGÀNH ĐO LƢỜNG VÀ ĐÁNH GIÁ TRONG GIÁO DỤC
– VIỆN ĐẢM BẢO CHẤT LƢỢNG GIÁO DỤC (INFEQA)







LUẬN VĂN THẠC SỸ









Hà Nội - Năm 2012





ĐẠI HỌC QUỐC GIA HÀ NỘI
VIỆN ĐẢM BẢO CHẤT LƢỢNG GIÁO DỤC
  


LÊ THỊ THANH THỦY



ĐÁNH GIÁ MỨC ĐỘ ĐÁP ỨNG MỤC TIÊU ĐÀO TẠO
CỦA HỌC VIÊN CAO HỌC KHÓA I - KHÓA II
CHUYÊN NGÀNH ĐO LƢỜNG VÀ ĐÁNH GIÁ TRONG GIÁO DỤC –
VIỆN ĐẢM BẢO CHẤT LƢỢNG GIÁO DỤC (INFEQA)


Chuyên ngành: Đo lƣờng và Đánh giá trong Giáo dục
(Chuyên ngành đào tạo thí điểm)

LUẬN VĂN THẠC SỸ


Ngƣời hƣớng dẫn khoa học: PGS. TS. LÊ ĐỨC NGỌC









Hà Nội – Năm 2012



LỜI CAM ĐOAN

Tôi xin cam đoan đây là phần nghiên cứu do tôi thực hiện.
Các số liệu, kết luận nghiên cứu trình bày trong luận văn này chưa hề được công bố
ở các nghiên cứu khác.
Tôi xin chịu trách nhiệm về nghiên cứu của mình!


Học viên



Lê Thị Thanh Thủy




LỜI CÁM ƠN

Trước tiên, tôi xin dành lời cám ơn sâu sắc tới PGS.TS Lê Đức Ngọc đã luôn
động viên, tận tình hướng dẫn, chỉ dạy và hỗ trợ tôi trong suốt quá trình làm luận
văn.


Tôi xin chân thành cảm ơn Ban lãnh đạo Viện Đảm bảo chất lượng giáo dục
đã tạo điều kiện để tôi hoàn thành khoá học và được trình bày luận văn này.

Tôi cũng xin gửi lời cám ơn tới các học viên Khóa I, Khóa II đã tốt nghiệp
chương trình đạo tạo Thạc sỹ Đo lường và Đánh giá trong giáo dục của Viện và
người quản lý, đồng nghiệp của họ tại cơ quan đã nhiệt tình trả lời Phiếu xin ý kiến
và các cuộc phỏng vấn để tôi có cơ sở phân tích và đưa ra các kết luận trong luận
văn.

Cuối cùng, xin dành lời cám ơn đặc biệt tới gia đình, đặc biệt là chồng tôi đã
hỗ trợ tinh thần cũng như vật chất để tôi hoàn thành tốt khóa học này.

Tác giả rất mong nhận được sự hướng dẫn, đóng góp ý kiến của Quý thày cô
để hoàn thiện luận văn và rút kinh nghiệm cho những lần nghiên cứu sau này.

Xin trân trọng cám ơn!.



MỤC LỤC
MỞ ĐẦU 8
1. Lý do chọn đề tài 8
2. Mục đích nghiên cứu 10
3. Giới hạn nghiên cứu 10
4. Câu hỏi nghiên cứu 10
5. Giả thuyết nghiên cứu 11
6. Đối tƣợng nghiên cứu 11
7. Khách thể nghiên cứu 11
8. Phạm vi nghiên cứu 11
NỘI DUNG 12

CHƢƠNG 1. TỔNG QUAN VÀ CƠ SỞ LÍ LUẬN 12
1.1. Tổng quan các công trình nghiên cứu trong và ngoài nƣớc 12
1.1.1. Các công trình nghiên cứu ở nước ngoài 12
1.1.2. Các công trình nghiên cứu trong nước 16
1.2. Cơ sở lí luận 18
1.2.1. Mục tiêu đào tạo 18
1.2.1.1. Khái niệm mục tiêu đào tạo 18
1.2.1.2. Các cấp độ của mục tiêu đào tạo 18
1.2.1.3. Vai trò của mục tiêu đào tạo 21
1.2.2. Khái niệm đáp ứng và đáp ứng mục tiêu đào tạo 24
1.2.3. Khái niệm năng lực 24
1.2.4. Đánh giá trong giáo dục và đánh giá mức độ đạt được mục tiêu 25
1.2.5. Chất lượng đào tạo và đánh giá chất lượng đào tạo 26
1.2.6. Mục tiêu đào tạo và chuẩn đầu ra 28
CHƢƠNG 2. TỔ CHỨC VÀ PHƢƠNG PHÁP NGHIÊN CỨU 31
2.1. Mẫu nghiên cứu 31



2.2. Công cụ thu thập thông tin 31
2.3. Nội dung và tiến trình nghiên cứu 36
2.3.1. Nội dung nghiên cứu 36
2.3.2. Tiến trình nghiên cứu 36
2.4. Phƣơng pháp nghiên cứu 37
2.4.1. Nghiên cứu tài liệu 37
2.4.2. Khảo sát 37
2.4.3. Phỏng vấn sâu 38
2.5. Thu thập, xử lý dữ liệu và kết quả 38
2.5.1. Quá trình thu thập thông tin và kết quả thu được 38
2.5.2. Quá trình xử lí dữ liệu và kết quả thu được 39

CHƢƠNG 3. THỰC TRẠNG MỨC ĐỘ ĐÁP ỨNG MỤC TIÊU ĐÀO TẠO
CỦA HỌC VIÊN CAO HỌC KHÓA I, KHÓA II – VIỆN ĐẢM BẢO CHẤT
LƢỢNG GIÁO DỤC 40
3.1. Mô tả về chƣơng trình đào tạo Thạc sỹ Đo lƣờng và đánh giá của Viện
Đảm bảo chất lƣợng giáo dục 40
3.1.1 Mục tiêu chương trình 40
3.1.2 Khung chương trình 41
3.2. Mô tả về các học viên Khóa I, Khóa II – Viện Đảm bảo chất lƣợng giáo dục
43
3.2.1. Phân bố học viên theo độ tuổi 43
3.2.2. Phân bố học viên theo tuổi và giới 43
3.2.3. Phân bố học viên theo địa bàn công tác 44
3.2.4. Phân bố học viên theo cơ quan công tác 44
3.2.5. Phân bố học viên theo lĩnh vực công tác 45
3.2.6. Phân bố học viên theo chức vụ 45
3.2.7. Sự thay đổi vị trí công tác và lĩnh vực công tác của học viên 46
3.2.8. Thời gian công tác trong lĩnh vực ĐLĐG 47
3.2.9. Phân bố học viên theo nhu cầu tham gia khóa học 47



3.3. Thực trạng mức độ đáp ứng mục tiêu đào tạo của các học viên Khóa I,
Khóa II 48
3.3.1. Mức độ đáp ứng mục tiêu về kiến thức 50
3.3.2. Mức độ đáp ứng mục tiêu về kỹ năng 59
3.3.3. Mức độ đáp ứng mục tiêu về năng lực 67
3.3.4. Mức độ đáp ứng mục tiêu về phẩm chất, tư cách đạo đức 78
3.3.5. Đánh giá chung về chương trình đào tạo 81
KẾT LUẬN VÀ KHUYẾN NGHỊ 94
1. Kết luận 94

2. Khuyến nghị 94
3. Những hạn chế của luận văn và hƣớng nghiên cứu tiếp theo 95
TÀI LIỆU THAM KHẢO 97
PHỤ LỤC 103
PHỤ LỤC 1 104
PHỤ LỤC 2 113
PHỤ LỤC 3 118
PHỤ LỤC 4 119
PHỤ LỤC 5 120
PHỤ LỤC 6 123

4

DANH MỤC CÁC TỪ NGỮ VIẾT TẮT

APQN
Asia-Pacific Quality Network (Mạng lưới chất lượng
các nước Châu Á - Thái Bình Dương)
AUN
Asian University Network (Mạng lưới các trường đại
học khu vực Đông Nam Á)
BGDĐT/BGD&ĐT
Bộ Giáo dục và Đào tạo
CTĐT
Chương trình đào tạo
ĐBCL
Đảm bảo chất lượng
ĐBCLGD
Đảm bảo chất lượng giáo dục
ĐBCLĐT & NCPTGD

Đảm bảo chất lượng đào tạo và nghiên cứu phát triển
giáo dục
ĐH
Đại học
ĐHQG
Đại học Quốc gia
ĐL&ĐG
Đo lường và Đánh giá
GDĐH
Giáo dục Đại học
HV
Học viên
HCM
Hồ Chí Minh
INFEQA
Viện Đảm bảo chất lượng giáo dục
INQAAHE
International Network for Quality Assurance Agencies
in Higher Education (Mạng lưới Các tổ chức Kiểm định
chất lượng Giáo dục đại học)
KĐCL
Kiểm định chất lượng
KT&KĐCLGD
Khảo thí và Kiểm định chất lượng giáo dục
PGS.TS
Phó Giáo sư, Tiến sỹ
TC
Tín chỉ






5

DANH MỤC CÁC BẢNG
Bảng
Nội dung
Trang
Bảng 3.1
Phân bố học viên Khóa I, Khóa II theo tuổi và giới
43
Bảng 3.2
Phân bố học viên theo địa bàn công tác
44
Bảng 3.3
Phân bố học viên theo cơ quan công tác
44
Bảng 3.4
Phân bố học viên theo lĩnh vực công tác
45
Bảng 3.5
Sự thay đổi vị trí công tác của học viên
46
Bảng 3.6
Sự thay đổi lĩnh vực công tác của học viên
46
Bảng 3.7
Thống kê về kinh phí tham gia khóa học của học viên
47

Bảng 3.8
Mô tả điểm tổng kết khóa học của học viên
49
Bảng 3.9
Tỉ lệ học viên đạt điểm A và B
49
Bảng 3.10
Mô tả điểm bảo vệ luận văn của học viên
50
Bảng 3.11
Mức độ nắm vững kiến thức môn học trong chương trình của
các học viên
51
Bảng 3.12
Mức độ am hiểu kiến thức chuyên môn của học viên Khóa I,
Khóa II trước khóa học
53
Bảng 3.13
Mức độ am hiểu kiến thức chuyên môn của học viên Khóa I,
Khóa II sau khóa học
54
Bảng 3.14
Mô tả nhận định của cán bộ quản lý và đồng nghiệp về mức độ
am hiểu kiến thức chuyên môn của học viên
56
Bảng 3.15
So sánh mức độ đáp ứng mục tiêu về kiến thức của học viên
58
Bảng 3.16
Mô tả nhận định của học viên về mức độ thành thạo trong việc

sử dụng kỹ năng chuyên môn để thực hiện luận văn
60
Bảng 3.17
Mức độ thành thạo kỹ năng chuyên môn trước khóa học của học
viên
61
Bảng 3.18
Mức độ thành thạo kỹ năng chuyên môn sau khóa học của học
viên
62
Bảng 3.19
Mô tả nhận định của cán bộ quản lý và đồng nghiệp về mức độ
64

6

thành thạo kỹ năng chuyên môn của học viên
Bảng 3.20
Bảng so sánh mức độ đáp ứng mục tiêu về kỹ năng của học viên
66
Bảng 3.21
Các công việc về ĐLĐG học viên cho rằng có thể thực hiện
được sau khi tham gia khóa học
68
Bảng 3.22
Mức độ độc lập trong việc vận dụng kiến thức, kỹ năng được
trang bị trong CTĐT để thực hiện các công việc về ĐLĐG tại cơ
quan công tác
69
Bảng 3.23

Nhận định của cán bộ quản lý và đồng nghiệp của học viên về
những công việc học viên có thể thực hiện và mức độ độc lập
của họ
71
Bảng 3.24
So sánh nhận định của cán bộ quản lý/đồng nghiệp của
học viên và học viên về khả năng thực hiện công việc về ĐLĐG
73
Bảng 3.25
Mức độ độc lập trong việc vận dụng kiến thức, kỹ năng được
trang bị trong chương trình đào tạo để thực hiện các công việc
về ĐLĐG tại các cơ quan/tổ chức/chương trình/dự án khác
75
Bảng 3.26
So sánh mức độ đáp ứng mục tiêu về năng lực chuyên sâu của
học viên
77
Bảng 3.27
Dự định/mong muốn tìm hiểu sâu hơn/học lên bậc học cao hơn
về ĐLĐG của các học viên Khóa I, Khóa II
78
Bảng 3.28
Dự định/mong muốn gắn bó với công việc trong lĩnh vực
ĐLĐGcủa các học viên
79
Bảng 3.29
Các thay đổi trong mức độ quan tâm đến nghề của học viên sau
khi tham gia khóa học
80
Bảng 3.30

Bảng so sánh mức độ đáp ứng mục tiêu về phẩm chất, tư cách
đạo đức của học viên
81
Bảng 3.31
Mô tả mức độ hữu ích của kiến thức chuyên môn được trang bị
trong khóa học với công việc thực tế của học viên
82
Bảng 3.32
Mô tả mức độ hữu ích của kỹ năng chuyên môn được trang bị
82

7

trong khóa học với công việc thực tế của học viên
Bảng 3.33
Mô tả nhận định của cán bộ quản lý và đồng nghiệp của học
viên về mức độ hữu ích của kiến thức chuyên môn
83
Bảng 3.34
Mô tả nhận định của cán bộ quản lý và đồng nghiệp của học
viên về mức độ hữu ích của kỹ năng chuyên môn
84
Bảng 3.35
Mức độ đóng góp của chương trình đào tạo trong việc cải thiện
năng lực làm việc của học viên
85
Bảng 3.36
Đánh giá của cán bộ quản lý và đồng nghiệp của học viên về
mức độ đáp ứng yêu cầu công việc của học viên tại cơ quan
đang công tác

87
Bảng 3.37
So sánh nhận định của học viên với nhận định của CBQL và
đồng nghiệp của họ về mức độ hữu ích của chương trình đào tạo
88
Bảng 3.38
Nhận định của học viên về đóng góp của chương trình đào tạo
trong việc trang bị năng lực cần thiết để đảm đương nhiệm vụ
được giao
89




8

MỞ ĐẦU
1. Lý do chọn đề tài
Trong những năm gần đây, giáo dục đại học (GDĐH) của nước ta đã có
nhiều biến đổi và đang phát triển mạnh cả về quy mô, loại hình đào tạo, từng bước
hội nhập với các nước trong khu vực và trên thế giới. Mặc dù đã có nhiều chuyển
biến mạnh mẽ, nhưng GDĐH nước ta vẫn còn tồn tại nhiều yếu kém và bất cập.
Chất lượng đào tạo còn thấp so với yêu cầu phát triển kinh tế, xã hội của đất nước
và chưa sánh ngang tầm với nhiều trường đại học trong khu vực và trên thế giới.
Nâng cao chất lượng đào tạo được xác định là yêu cầu cấp bách và cần được
quan tâm hàng đầu đối với GDĐH ở nước ta hiện nay nhằm đáp ứng đòi hỏi của sự
nghiệp công nghiệp hóa, hiện đại hóa đất nước, vươn lên ngang tầm khu vực và tiến
tới trình độ GDĐH của thế giới. Chính vì vậy, sự ra đời của các bộ phận Đảm bảo
chất lượng được coi là minh chứng cho đòi hỏi duy trì và cải thiện chất lượng giáo
dục.

Trong Quy định về tiêu chuẩn đánh giá chất lượng giáo dục trường Đại học
(ban hành kèm theo Quyết định số 65/2007/QĐ-BGDĐT ngày 01 tháng 11 năm
2007), BGDĐT chỉ đạo các trường đại học phải “có tổ chức đảm bảo chất lượng
giáo dục đại học, bao gồm trung tâm hoặc bộ phận chuyên trách; có đội ngũ cán bộ
có năng lực để triển khai các hoạt động đánh giá nhằm duy trì, nâng cao các hoạt
động của nhà trường”. [13]. Chính vì vậy, việc đào tạo/tuyển dụng đội ngũ cán bộ
có năng lực thực hiện công tác đảm bảo chất lượng (ĐBCL) đã và đang là một trong
những nhiệm vụ được ưu tiên hàng đầu đối với các đơn vị đào tạo.
Nắm bắt trước được yêu cầu này, ngày 2 tháng 3 năm 1995, Giám đốc Đại
học Quốc gia (ĐHQG) Hà Nội đã kí quyết định số 57/TCCB thành lập Trung tâm
đảm bảo chất lượng đào tạo và nghiên cứu phát triển giáo dục - CEQARD nay là
Viện Đảm bảo chất lượng giáo dục (ĐBCLGD) – INFEQA với sứ mạng là thực
hiện các nghiên cứu khoa học, đào tạo nguồn nhân lực, chuyển giao công nghệ
trong lĩnh vực quản trị đại học, đảm bảo và kiểm định chất lượng giáo dục theo quy
chuẩn quốc tế.

9

Không chỉ đóng vai trò là cơ quan chuyên trách của ĐHQGHN, Viện
ĐBCLGD còn là cái nôi đầu tiên trên cả nước đào tạo Thạc sỹ chuyên ngành Đo
lường và Đánh giá (ĐL&ĐG) trong giáo dục với mục tiêu “đào tạo các chuyên gia
có phẩm chất, tư cách đạo đức tốt, có kiến thức, kỹ năng và năng lực chuyên sâu về
ĐL&ĐG để thực hiện hiệu quả các chương trình ĐLĐG trong giáo dục phổ thông,
giáo dục đại học và trong các chương trình/dự án nghiên cứu có liên quan đến giáo
dục, dân sinh và dân trí cũng như quản lý v.v… góp phần nâng cao chất lượng và
hiệu quả cho các hoạt động giáo dục, quản lý, điều hành và đầu tư phát triển”
(CEQARD, 2008).
Với yêu cầu của công tác đảm bảo chất lượng hiện nay, các học viên của
Viện được kì vọng sẽ là lực lượng nòng cốt đáp ứng yêu cầu về nhân lực có trình độ
chuyên môn cho các phòng, ban chuyên trách tại các cơ sở đào tạo.

Điều 7 của Quy định về tiêu chuẩn đánh giá chất lượng giáo dục trường Đại
học (ban hành kèm theo Quyết định số 65/2007/QĐ-BGDĐT ngày 01 tháng 11 năm
2007) còn đề cập rõ việc “các trường đại học phải có kế hoạch đánh giá chất lượng
đào tạo đối với người học sau khi ra trường và kế hoạch điều chỉnh hoạt động đào
tạo cho phù hợp với yêu cầu của xã hội” như là một tiêu chuẩn để đánh giá chất
lượng hoạt động đào tạo. [13]
Như vậy, có thể nói việc đánh giá chất lượng người học sau khi ra trường đã
trở thành yêu cầu đối với các đơn vị đào tạo nhằm không ngừng đổi mới, cải tiến,
hoàn thiện hơn nữa chương trình, chất lượng đào tạo và Viện ĐBCLGD cũng không
nằm ngoài phạm vi đó.
Câu hỏi đặt ra ở đây là: Các học viên cao học chuyên ngành ĐL&ĐG trong
giáo dục của Viện đáp ứng tới mức độ nào so với các mục tiêu đào tạo đã đề ra?
Đây chính là lý do tôi chọn Đánh giá mức độ đáp ứng mục tiêu đào tạo của học
viên cao học Khóa I - Khóa II chuyên ngành Đo lƣờng và Đánh giá trong giáo
dục - Viện Đảm bảo chất lƣợng giáo dục (INFEQA) làm đề tài cho luận văn tốt
nghiệp.

10

2. Mục đích nghiên cứu
Đề tài nhằm đánh giá mức độ đáp ứng mục tiêu đào tạo của học viên cao học
Khóa I và Khóa II chuyên ngành ĐL&ĐG trong giáo dục của Viện ĐBCLGD. Từ
đó, đề xuất những khuyến nghị nhằm hoàn thiện hơn nữa chương trình đào tạo Thạc
sỹ ĐL&ĐG của Viện.
3. Giới hạn nghiên cứu
Trong đề tài nghiên cứu này, tác giả thực hiện đánh giá mức độ đáp ứng mục
tiêu đào tạo của sản phẩm đào tạo (ở đây là các học viên Khóa I, Khóa II đã hoàn
thành chương trình đào tạo Thạc sỹ chuyên ngành ĐL&ĐG trong giáo dục của
Viện).
Các mục tiêu ở đây chính là các mục tiêu mà chương trình đào tạo Thạc sỹ

ĐL&ĐG của Viện ĐBCLGD đề ra. Đó là các mục tiêu về phẩm chất tư cách đạo
đức, kiến thức, kỹ năng, năng lực chuyên sâu về đo lường và đánh giá.
Những thông tin được thu thập và phân tích chủ yếu dựa trên nhận định chủ
quan của học viên và cán bộ quản lý, đồng nghiệp nơi học viên công tác.
4. Câu hỏi nghiên cứu
Các học viên Khóa I, Khóa II chuyên ngành ĐL&ĐG trong giáo dục của
Viện ĐBCLGD đáp ứng được tới mức nào so với các mục tiêu đào tạo đã đề ra ở
khía cạnh phẩm chất, tư cách đạo đức?
Các học viên Khóa I, Khóa II chuyên ngành ĐL&ĐG trong giáo dục của
Viện ĐBCLGD đáp ứng được tới mức nào so với các mục tiêu đào tạo đã đề ra ở
khía cạnh kiến thức?
Các học viên Khóa I, Khóa II chuyên ngành ĐL&ĐG trong giáo dục của
Viện ĐBCLGD đáp ứng được tới mức nào so với các mục tiêu đào tạo đã đề ra ở
khía cạnh kỹ năng?
Các học viên Khóa I, Khóa II chuyên ngành ĐL&ĐG trong giáo dục của
Viện ĐBCLGD đáp ứng được tới mức nào so với các mục tiêu đào tạo đã đề ra ở
khía cạnh năng lực chuyên sâu về đo lường và đánh giá?

11

5. Giả thuyết nghiên cứu
Các học viên Khóa I và Khóa II chuyên ngành ĐL&ĐG trong giáo dục của
Viện ĐBCLGD đáp ứng tốt mục tiêu về kiến thức, kỹ năng, năng lực chuyên sâu và
phẩm chất, tư cách đạo đức.
6. Đối tƣợng nghiên cứu
Mức độ đáp ứng mục tiêu đào tạo.
7. Khách thể nghiên cứu
Các học viên Khóa I, Khóa II đã tốt nghiệp chương trình đào tạo Thạc sỹ
chuyên ngành ĐL&ĐG trong giáo dục của Viện ĐBCLGD, gồm 20 học viên.
Người quản lý và đồng nghiệp tại nơi làm việc của các học viên Khóa I,

Khóa II đã tốt nghiệp và hiện đang công tác trong lĩnh vực ĐLĐG.
8. Phạm vi nghiên cứu
Nghiên cứu được thực hiện với các học viên Khóa I, Khóa II đã tốt nghiệp
chương trình đào tạo Thạc sỹ ngành ĐL&ĐG của Viện ĐBCLGD tính đến hết
tháng 2 năm 2011.
Để có ý kiến đánh giá khách quan về mức độ đáp ứng yêu cầu công việc của
học viên, nghiên cứu được tiến hành với cán bộ quản lý và đồng nghiệp tại nơi làm
việc của họ. Do nội dung của đề tài chủ yếu nhằm khai thác mức độ đáp ứng mục
tiêu thuộc chuyên ngành ĐLĐG mà học viên đã được đào tạo nên nghiên cứu chỉ
tập trung vào các đối tượng là cán bộ quản lý và đồng nghiệp của các học viên hiện
đang công tác trong lĩnh vực ĐLĐG.
Thời gian thực hiện nghiên cứu: từ tháng 7/2010 đến tháng 6/2011.

12

NỘI DUNG
CHƢƠNG 1. TỔNG QUAN VÀ CƠ SỞ LÍ LUẬN
1.1. Tổng quan các công trình nghiên cứu trong và ngoài nƣớc
1.1.1. Các công trình nghiên cứu ở nƣớc ngoài
Trên thế giới, các công trình nghiên cứu liên quan đến đề tài dù được thực
hiện bằng các cách thức khác nhau nhưng đều có điểm chung là đánh giá mức độ
đáp ứng mục tiêu đào tạo nhằm cải thiện chất lượng/hiệu quả đào tạo. Việc đánh giá
mức độ đáp ứng mục tiêu đào tạo có ba xu hướng chủ yếu: thứ nhất là dựa trên kết
quả học tập của người học, thứ hai là dựa trên kết quả tại nơi học viên công tác và
thứ ba là kết hợp cả đánh giá kết quả của người học trong quá trình học và kết quả
tại nơi làm việc.
Liên quan đến xu hướng thứ nhất, có thể kể đến công trình nghiên cứu của
Ủy ban giáo dục Đại học các bang miền Trung, Hoa Kỳ. Nghiên cứu này xác định
đánh giá kết quả học tập của sinh viên là bước thứ ba trong một chu trình gồm bốn
bước nhằm đánh giá việc dạy và học tương ứng với chu trình đánh giá việc lập kế

hoạch của cơ sở đào tạo. Trong đó, bước thứ nhất là đưa ra các mục tiêu học tập rõ
ràng bao gồm mục tiêu về kiến thức, kỹ năng, năng lực mà sinh viên được trông đợi
là sẽ đạt được sau khi hoàn thành thành công một khóa học, một chương trình đào
tạo, một yêu cầu giáo dục nói chung, hay các trải nghiệm cụ thể khác. Bước thứ hai
là triển khai các khóa học, các chương trình và các trải nghiệm, cung cấp cho sinh
viên cơ hội để đạt được các mục tiêu học tập này. Bước thứ ba là đánh giá việc đạt
được các mục tiêu học tập của sinh viên. Bước cuối cùng là sử dụng kết quả của các
đánh giá này nhằm cải thiện việc dạy và học đồng thời đưa ra các quyết định phân
bổ nguồn lực và lập kế hoạch. Các tác giả của nghiên cứu này cũng nhấn mạnh “Do
kết quả học tập của sinh viên là thành phần cơ bản trong sứ mệnh của hầu hết các cơ
sở giáo dục đại học nên việc đánh giá kết quả học tập của sinh viên là một thành tố
cần thiết trong quá trình đánh giá hiệu quả của cơ sở đào tạo”. [38]
Cùng chung hướng nghiên cứu này, các tác giả Rebecca Cartwright, Ken
Weiner và Samantha Streamer – Veneruso trong nghiên cứu về Đánh giá kết quả

13

học tập của sinh viên tại trường Đại học Montgomery đã xác định: “Đánh giá kết
quả học tập của sinh viên là quá trình thu thập thông tin nhằm khẳng định các dịch
vụ, các hoạt động và các trải nghiệm mà cơ sở đào tạo cung cấp có mang lại tác
động mong muốn cho các sinh viên hay không. Nói cách khác là liệu cơ sở đào tạo
có mang lại sự khác biệt trong cuộc đời của các sinh viên?”. Theo đó, các tác giả đã
phân chia việc đánh giá kết quả học tập thành ba giai đoạn: (1) Xác định các mục
tiêu quan trọng nhất mà các sinh viên cần đạt được như là kết quả của việc tham gia
vào một trải nghiệm học tập; (2) Đánh giá xem liệu các sinh viên thực sự đạt được
các mục tiêu này đến mức độ nào; (3) Sử dụng các kết quả đánh giá để cải thiện trải
nghiệm học tập. [32]
Trong nghiên cứu này, đánh giá kết quả học tập của sinh viên tập trung vào
đo lường việc học của sinh viên, cụ thể là kiến thức, kỹ năng mà sinh viên thu được;
khả năng, năng lực mà sinh viên đạt được cũng như sự thay đổi trong thái độ của

sinh viên.
Liên quan đến xu hướng thứ hai, phải kể đến nghiên cứu của Tiến sỹ Diana
K. Kelly. Trong một nghiên cứu có tiêu đề Outcomes Approach to Higher
Education Quality Assessment (tạm dịch là Cách tiếp cận dựa trên kết quả nhằm
nâng cao chất lượng GDĐH), tác giả đã đề cập đến xu hướng tập trung mạnh mẽ
hơn vào đánh giá kết quả đầu ra thay vì đánh giá đầu vào trong giáo dục như trước
đây. Xu hướng này được thể hiện rõ ở các trường đại học ở châu Âu (Anh, Na Uy)
và ở Mỹ. Trong số các kết quả đầu ra được đo lường mà tác giả đề cập tới là các kỹ
năng nghề nghiệp bao gồm: kiến thức, kỹ năng liên quan đến nghề và các kỹ năng
tại nơi làm việc. [37]
Ngoài ra, một nghiên cứu khác của Đại học Đông Nam bang Indiana, Hoa
Kỳ đã cung cấp gợi ý cụ thể về các phương pháp đánh giá kết quả học tập trong đó
đề cập đến việc khảo sát học viên và người tuyển dụng nhằm thu thập thông tin
phục vụ đánh giá mức độ đạt được mục tiêu học tập. [36]
Cùng chung hướng nghiên cứu này là công trình nghiên cứu của tác giả
G.Gallavara và các cộng sự thuộc Hiệp hội đảm bảo chất lượng GDĐH Châu Âu

14

trong cuốn sách nhan đề Learning outcome: Common framework - different
approaches to evaluation of learning outcome in the Nordic countries (tạm dịch là
Kết quả học tập: Khuôn khổ chung – các cách tiếp cận khác nhau đối với việc đánh
giá kết quả học tập tại các nước Bắc Âu). Cuốn sách trình bày những kinh nghiệm
cụ thể của việc đánh giá kết quả học tập được thực hiện tại các quốc gia này. Đó là
các kinh nghiệm về: sử dụng khảo sát và phỏng vấn sinh viên tốt nghiệp; sử dụng
khảo sát và phỏng vấn người tuyển dụng nhằm khai thác mức độ đạt các mục tiêu
giáo dục. Từ đó, các tác giả còn đưa ra khuyến nghị về việc áp dụng đánh giá kết
quả học tập trong tương lai như sử dụng trong kiểm toán chất lượng giáo dục; trong
đánh giá các chương trình học. [35]
Liên quan đến xu hướng thứ ba, trước hết phải kể đến công trình nghiên cứu

về Đánh giá kết quả học tập của các học giả Hoa Kỳ đó là tiến sỹ Heidi M.
Anderson (Đại học Kentucky), thạc sỹ Deborah L. Moore (Đại học Kentucky), tiến
sỹ Guadalupe Anaya (Đại học California) và
thạc sỹ Eleanora Bird (Đại học Kentucky)
[29]. Theo đó, các tác giả đã phân biệt các
dạng mục tiêu cụ thể bao gồm mục tiêu về
nhận thức, về thái độ, về tâm lí, về hành vi,
các kết quả trong thời gian học và kết quả
sau khi ra trường. Từ đó chỉ ra rằng, các cơ
sở giáo dục cần chỉ rõ họ sẽ đo lường mục
tiêu cụ thể nào trong kết quả học tập của học
sinh tham gia chương trình đào tạo. Nghiên cứu cũng chỉ ra rằng có thể đo lường
kết quả học tập của học viên trong thời gian học và kết quả sau khi ra trường để
đánh giá mức độ đạt được mục tiêu khóa học, qua đó đánh giá được hiệu quả của
chương trình đào tạo.
Nghiên cứu của tác giả Ronald A. Berk, Đại học John Hopkins, Hoa Kỳ đã
đưa ra 12 chiến lược đánh giá/12 nguồn thu thập thông tin để đánh giá chất
lượng/hiệu quả đào tạo. Đó là đánh giá của học viên, đánh giá của đồng nghiệp, tự
Mô hình 4 cấp độ đánh giá
của Kirkpatrick
Mức độ tiếp thu
Học tập
Hành vi
Kết quả

15

đánh giá, đánh giá thông qua băng hình, phỏng vấn học viên, đánh giá của các cựu
học viên, đánh giá của người tuyển dụng, đánh giá của cán bộ hành chính, đánh giá
thông qua học bổng giảng dạy, thông qua các giải thưởng, đánh giá thông qua đo

lường kết quả học tập và thông qua hồ sơ giảng dạy. Mặc dù đây là các hình thức
thu thập thông tin để đánh giá hiệu quả giảng dạy, nhưng sau khi tiến hành phân
tích những thông tin thu thập được này có thể đưa ra các quyết định liên quan đến
việc nâng cao hiệu quả giảng dạy và chương trình đào tạo. Đánh giá của người
tuyển dụng sẽ phản ánh mức độ đạt được mục tiêu đào tạo hay mục tiêu/chất lượng
giảng dạy và ngược lại. [31]
Các cách thức đánh giá nói trên có thể được tìm thấy trong mô hình đánh giá
chất lượng/hiệu quả đào tạo của Donald L. Kirkpatrick.[34,41] Mô hình đánh giá
này gồm 4 cấp độ: Cấp độ 1: Đánh giá mức độ tiếp thu (Reactions) - đo mức độ tiếp
thu của các học viên. Theo đó, tất cả các chương trình đào tạo tối thiểu cần được
đánh giá ở cấp độ này để trả lời các câu hỏi về nhận thức của học viên đạt đến mức
độ nào và biện pháp nào để cải thiện chất lượng đào tạo. Việc đánh giá ở cấp độ này
cũng cho biết liệu các học viên có yêu thích chương trình đào tạo hay không và liệu
chương trình đào tạo có phù hợp với công việc của họ hay không. Cấp độ 2: Đánh
giá việc học (Learning) - đo những gì học viên học được từ khóa đào tạo. Đánh giá
ở cấp độ này được tiến hành trước khi diễn ra khóa đào tạo (pre-test) và sau khi kết
thúc khóa đào tạo (post-test) nhằm đo mức độ học viên đạt được tiến bộ trong kiến
thức, kỹ năng hay thái độ. Cấp độ 3: Đánh giá hành vi (Behavior) - đo việc học viên
áp dụng được gì trong công việc. Đánh giá ở cấp độ này thường được tiến hành sau
khi kết thúc khóa học 3 đến 6 tháng. Đánh giá này được cho là phản ánh trung thực
nhất hiệu quả của chương trình đào tạo. Cấp độ 4: Đánh giá kết quả (Results) - đo
các kết quả đào tạo đạt được tới mức độ nào. Đánh giá này nhằm đo sự thành công
của một chương trình đào tạo liên quan đến việc cải thiện chất lượng, hiệu quả, hiệu
suất ở nơi làm việc. Tuy nhiên, việc đánh giá ở cấp độ này khó thực hiện cũng như
khó có thể khẳng định sự liên hệ của việc cải thiện nói trên với khóa đào tạo.

16

Như vậy, tuy mới dừng ở lí thuyết nhưng các nghiên cứu trên đã khẳng định
tính hợp lí, khả thi và khoa học của việc đánh giá chất lượng đào tạo dựa trên việc

đánh giá mức độ đạt được mục tiêu khóa học của học viên thể hiện ở mức độ đáp
ứng mục tiêu trong quá trình học (kết quả học tập trong quá trình học, sự thay đổi
của học viên trước và sau khóa học) và mức độ đáp ứng yêu cầu công việc (kết quả
của học viên sau quá trình học, những gì học viên có thể thực hiện trong công việc
thực tế).
1.1.2. Các công trình nghiên cứu trong nƣớc
Ở trong nước, việc khảo sát cựu sinh viên được khá nhiều trường đại học
thực hiện. Các nghiên cứu này chủ yếu tìm lại các sinh viên đã ra trường nhằm đánh
giá tình hình việc làm của họ sau khi tốt nghiệp và thông qua đó, đề xuất một số
khuyến nghị để nâng cao chất lượng đào tạo của trường. Đó là Khảo sát sinh viên
tốt nghiệp trường Đại học nông nghiệp [25]; Khảo sát sinh viên sau tốt nghiệp Học
viện tài chính [7]; Khảo sát sinh viên tốt nghiệp Đại học Luật hệ chính quy [23];
Khảo sát tình hình việc làm của sinh viên sau khi tốt nghiệp Viện Đại học Mở Hà
Nội [27]; Khảo sát tình hình việc làm của sinh viên tốt nghiệp trường Đại học Hùng
Vương thành phố HCM [22]; Điều tra tình hình việc làm của sinh viên sau khi tốt
nghiệp Học viện ngoại giao [6]; Khảo sát cựu sinh viên Đại học Đà Lạt [3]. Tuy các
nghiên cứu này đều lấy cựu sinh viên làm đối tượng khảo sát nhưng chủ yếu nhằm
đánh giá tỉ lệ sinh viên có được việc làm và có việc làm đúng ngành nghề đào tạo,
lĩnh vực công tác, chức vụ, thu nhập … của họ sau khi tốt nghiệp hay nói cách khác
là chú trọng tới đánh giá thành tích đào tạo chứ không nhằm xác định rõ sự liên hệ
giữa chương trình đào tạo với nghề nghiệp của học viên.
Ngoài ra, việc đo lường chất lượng sản phẩm đào tạo trên cơ sở đánh giá từ
phía người sử dụng lao động đã được một số đơn vị đào tạo thực hiện. Đó là Khảo
sát của trường Đại học Bách khoa thành phố HCM [2]. Nghiên cứu này chủ yếu
nhằm thu thập ý kiến đánh giá của người được hỏi về sự thích ứng của sinh viên tốt
nghiệp đối với yêu cầu công việc đồng thời xác định yêu cầu thực tế của các cơ
quan, doanh nghiệp, thông qua đó nhằm điều chỉnh chương trình đào tạo. Ngoài ra,

17


còn có nghiên cứu của trường Đại học Nha Trang [24] nhằm đánh giá chất lượng
sinh viên tốt nghiệp và sự thích ứng của họ với yêu cầu của doanh nghiệp. Tuy
nhiên, một phần quan trọng khác của nghiên cứu này là để xác định nhu cầu tuyển
dụng của doanh nghiệp đối với các ngành nhà trường đào tạo. Nhìn chung, các
nghiên cứu trên đều nhằm xác định yêu cầu thực tế của các cơ quan, doanh nghiệp
và nhu cầu tuyển dụng của các doanh nghiệp nên các tiêu chí đánh giá chất lượng
sinh viên tốt nghiệp tuy có được đưa ra nhưng còn chưa được quan tâm nhiều.
Ngoài ra, cũng có một số nghiên cứu được thực hiện trên đối tượng sinh viên
mới ra trường để tìm hiểu mức độ thích ứng nghề nghiệp của họ đồng thời nhằm đề
xuất một số giải pháp giúp sinh viên có khả năng thích ứng cao hơn với ngành học,
nghề nghiệp tương lai của mình. Chẳng hạn, đề tài Đánh giá mức độ thích ứng nghề
nghiệp của sinh viên trường cao đẳng sư phạm Sơn La của học viên Nguyễn Thị
Hoa, Viện ĐBCL giáo dục thực hiện năm 2009 [15] hay đề tài Nghiên cứu đánh giá
mức độ đáp ứng với công việc của sinh viên tốt nghiệp ngành kinh tế giai đoạn
2000 - 2005 thông qua ý kiến người sử dụng lao động của một số doanh nghiệp trên
địa bàn Hà Nội của học viên Ngô Thị Thanh Tùng, Viện ĐBCL giáo dục thực hiện
năm 2009 [16].
Tóm lại, các công trình nghiên cứu trên đều được thực hiện trực tiếp với đối
tượng sinh viên đã ra trường và/hoặc với người sử dụng lao động nhưng với các
mục đích khác nhau: hoặc để tìm hiểu nhu cầu tuyển dụng sinh viên ở các ngành, cơ
sở đào tạo cụ thể; hoặc để xác định sự thích ứng của họ với thị trường lao động, với
yêu cầu của công việc nhằm tìm ra các giải pháp hợp tác giữa các cơ sở đào tạo
nghề và cơ sở sử dụng lao động; hoặc để đề xuất các giải pháp giúp sinh viên có khả
năng thích ứng cao hơn với ngành học, nghề nghiệp tương lai của mình.
Trong nghiên cứu này, khách thể nghiên cứu là các học viên cao học ngành
ĐL&ĐG trong giáo dục. Họ được kì vọng là đội ngũ nhân lực chủ chốt cho các
phòng/ban/cơ sở đào tạo trong công tác khảo thí, đảm bảo chất lượng. Mục đích của
nghiên cứu là đánh giá mức độ đáp ứng mục tiêu đào tạo của học viên từ đó đưa ra
những kết luận về chất lượng/hiệu quả của cơ sở đào tạo và đề xuất những giải pháp


18

để điều chỉnh, cải thiện chương trình đào tạo. Tác giả mong muốn sẽ cung cấp một
bằng chứng hữu hiệu về việc có thể tiến hành đánh giá mức độ đạt được mục tiêu
khóa học của học viên từ đó làm cơ sở hữu ích để cải thiện chương trình đào tạo
nhằm nâng cao chất lượng/hiệu quả đào tạo của một cơ sở giáo dục.
1.2. Cơ sở lí luận
1.2.1. Mục tiêu đào tạo
1.2.1.1. Khái niệm mục tiêu đào tạo
Có rất nhiều định nghĩa về mục tiêu đào tạo:
“Mục tiêu đào tạo mô tả những gì học viên biết hoặc có thể thực hiện vào
cuối khóa học mà trước đó họ chưa biết và chưa thể thực hiện được”. [48]
“Mục tiêu đào tạo là kiến thức, kỹ năng hay thái độ cụ thể mà một học viên
sẽ thu được như là kết quả của hoạt động đào tạo”. [47]
“Mục tiêu đào tạo là tuyên bố ngắn gọn, rõ ràng, cụ thể về những gì học
viên có thể thể hiện sau khi kết thúc các hoạt động giảng dạy”. [45]
“Mục tiêu đào tạo là tuyên bố cụ thể về những gì học viên sẽ biết hoặc có thể
thực hiện được sau khi kết thúc hoạt động đào tạo”. [28]
“Mục tiêu đào tạo thường được coi là các tiêu chí về mặt hành vi giúp xác
định liệu các sinh viên có đạt được những mục tiêu giáo dục của chương trình và
cuối cùng là giúp xác định liệu đã đạt được mục đích tổng thể của chương trình”.
[42]
Tóm lại, mục tiêu đào tạo là một tuyên bố về kết quả đào tạo hay nói cách
khác là một tuyên bố về những gì học viên đạt được sau khóa đào tạo (về kiến thức,
kỹ năng, thái độ, ).
1.2.1.2. Các cấp độ của mục tiêu đào tạo
Benjamin Bloom và các cộng sự đã phân biệt ba khía cạnh của hoạt động
giáo dục, bao gồm Cung cấp nhận thức: các kỹ năng trí tuệ (Kiến thức); Tác động
thái độ: sự phát triển trong các lĩnh vực tình cảm hoặc cảm xúc (Thái độ); Hình
thành kỹ năng: các kỹ năng thuộc về chân tay hay thể chất (Kỹ năng). Các lĩnh vực

kiến thức, kỹ năng, thái độ này cũng chính là mục tiêu của quá trình đào tạo. Có

19

nghĩa là, sau một chương trình đào tạo, các học viên cần thu được những kiến thức,
kỹ năng và/hoặc thái độ mới. [30;39]
Về nhận thức: Khía cạnh nhận thức bao gồm kiến thức và sự phát triển
các kỹ năng thuộc về trí tuệ. Đó là các kỹ năng: hồi tưởng hoặc nhận biết
các thực tế, các mô hình và các khái niệm cụ thể, góp phần vào sự phát
triển các kỹ năng, khả năng trí tuệ. Các kỹ năng này được phân chia
thành sáu loại chính được liệt kê theo trình tự cấp độ nhận thức từ thấp
đến cao (theo độ khó) như sau:

Về thái độ: bao gồm hành vi mà ở đó chúng ta giải quyết mọi chuyện
trên cơ sở tình cảm, chẳng hạn như cảm xúc, các giá trị, sự trân trọng,
lòng nhiệt tình, động lực và thái độ. Năm lĩnh vực hoạt động chính được
liệt kê bắt nguồn từ hành vi đơn giản nhất tới phức tạp nhất:

Biết
Hiểu
Áp dụng
Phân tích
Tổng hợp
Đánh giá
Các cấp độ nhận thức
Các cấp độ tình cảm/thái độ
Đón nhận
Phản hồi
Đánh giá
Tổ chức

Tiếp thu các giá trị

20

Về kỹ năng: bao gồm cử động thể chất, sự hợp tác và sử dụng các lĩnh
vực thuộc kỹ năng động cơ. Sự phát triển các kỹ năng này đòi hỏi phải
có sự thực hành và được đo lường trên khía cạnh tốc độ, sự chính xác,
khoảng cách, quy trình hoặc các kĩ thuật thực hiện. Năm hạng mục chính
được liệt kê từ hành vi đơn giản nhất tới hành vi phức tạp nhất:

Trong công trình nghiên cứu của mình, tác giả Nguyễn Khánh Đức – Đại học
Quốc gia Hà Nội [11] đã đề cập đến việc Bloom và các cộng sự của ông đã xây
dựng nên các cấp độ của các mục tiêu giáo dục cụ thể, trong đó lĩnh vực nhận thức
được chia thành các mức độ hành vi từ đơn giản nhất đến phức tạp nhất:
- Biết (Knowledge): được định nghĩa là sự nhớ lại các dữ liệu đã học
được trước đây. Điều đó có nghĩa là một người có thể nhắc lại một loạt
dữ liệu, từ các sự kiện đơn giản đến các lý thuyết phức tạp, tái hiện trong
trí nhớ những thông tin cần thiết. Đây là cấp độ thấp nhất của kết quả học
tập trong lĩnh vực nhận thức.
- Hiểu (Comprehention): được định nghĩa là khả năng nắm được ý nghĩa
của tài liệu. Điều đó có thể thể hiện bằng việc chuyển tài liệu từ dạng này
sang dạng khác (từ các từ sang số liệu), bằng cách giải thích tài liệu (giải
thích hoặc tóm tắt) và bằng cách ước lượng xu hướng tương lai (dự báo
các hệ quả ảnh hưởng). Kết quả học tập ở cấp độ này cao hơn so với nhớ
và là mức thấp nhất của việc thấu hiểu sự vật.

Các cấp độ
kỹ năng
Sự bắt chước


Sự thao tác
Sự chính xác
Sự ăn khớp
Sự tự nhiên hóa

21

- Áp dụng (Application): được định nghĩa là khả năng sử dụng các tài
liệu đã học vào một hoàn cảnh cụ thể mới. Điều đó có thể bao gồm việc
áp dụng các quy tắc, phương pháp, khái niệm, nguyên lý, định luật và lý
thuyết. Kết quả học tập trong lĩnh vực này đòi hỏi cấp độ thấu hiểu cao
hơn so với cấp độ hiểu trên đây.
- Phân tích (Analysis): được định nghĩa là khả năng phân chia một tài
liệu ra thành các phần sao cho có thể hiểu được các cấu trúc tổ chức của
nó. Điều đó có thể bao gồm việc chỉ ra đúng các bộ phận, phân tích mối
quan hệ giữa các bộ phận và nhận biết được các nguyên lý tổ chức được
bao hàm. Kết quả học tập ở đây thể hiện một mức độ trí tuệ cao hơn so
với mức hiểu và áp dụng vì nó đòi hỏi một sự thấu hiểu cả nội dung và
hình thái cấu trúc của tài liệu.
- Tổng hợp (Synthesis): được định nghĩa là khả năng sắp xếp các bộ
phận lại với nhau để hình thành một tổng thể mới. Điều đó có thể bao
gồm việc tạo ra một cuộc giao tiếp đơn nhất (chủ đề hoặc bài phát biểu),
một kế hoạch hành động (dự án nghiên cứu), hoặc một mạng lưới các
quan hệ trừu tượng (sơ đồ để phân lớp thông tin). Kết quả học tập trong
lĩnh vực này nhấn mạnh các hành vi sáng tạo, đặc biệt tập trung chủ yếu
vào việc hình thành các mô hình hoăc cấu trúc mới.
- Đánh giá (Evaluation): là khả năng xác định giá trị của tài liệu (tuyên
bố, tiểu thuyết, thơ, báo cáo nghiên cứu). Việc đánh giá dựa trên các tiêu
chí nhất định. Đó có thể là các tiêu chí bên trong (các tổ chức) hoặc các
tiêu chí bên ngoài (phù hợp với mục đích), và người đánh giá phải tự xác

định hoặc được cung cấp các tiêu chí. Kết quả học tập trong lĩnh vực này
là cao nhất trong các cấp bậc nhận thức vì nó chứa các yếu tố của mọi
cấp bậc khác.
1.2.1.3. Vai trò của mục tiêu đào tạo
Bất kì một hoạt động đào tạo nào đều cần có mục tiêu. Theo UNESCO [43],
mục tiêu đào tạo giúp:

×