quản lý kiểm định chất lượng giáo dục trường trung học phổ thông tại thành phố hồ chí minh

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH
----------------------------------

Đặng Thị Thùy Linh

QUẢN LÝ KIỂM ĐỊNH CHẤT LƯỢNG GIÁO DỤC
TRƯỜNG TRUNG HỌC PHỔ THÔNG
TẠI THÀNH PHỐ HỒ CHÍ MINH

Chuyên ngành : QUẢN LÝ GIÁO DỤC
Mã số

: 62.14.01.14

LUẬN ÁN TIẾN SĨ KHOA HỌC GIÁO DỤC
NGƯỜI HƯỚNG DẪN KHOA HỌC:
1. GS.TS. Nguyễn Lộc
2. PGS.TS. Trần Tuấn Lộ

Thành phố Hồ Chí Minh - 2014


LỜI CAM ĐOAN

Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi.
Các số liệu, kết quả nghiên cứu trong luận án là trung thực và
chưa từng được ai công bố trong bất kỳ công trình nào khác.
Tác giả

ĐẶNG THỊ THÙY LINH

1


LỜI CẢM ƠN
Về những người thầy kính yêu, tôi xin bày tỏ lòng biết ơn chân thành đến
GS.TS NGUYỄN LỘC và PGS.TS TRẦN TUẤN LỘ đã tận tình hướng dẫn tôi
trong suốt quá trình thực hiện luận án. Tôi cũng xin cảm tạ đến các thầy cô trường
Đại học Sư Phạm Thành phố Hồ Chí Minh đã tận tình giúp đỡ, hỗ trợ tôi trong quá
trình học tập, nghiên cứu và hoàn thành luận án này.
Xin cảm ơn Sở Giáo dục và Đào tạo Thành phố Hồ Chí Minh, Cục Khảo thí và
Kiểm định Chất lượng Giáo dục, Đại học Quốc Gia Thành phố Hồ Chí Minh đã
cung cấp tư liệu, khích lệ và tạo điều kiện thuận lợi cho tôi hoàn thành luận án.
Chân thành cảm ơn hiệu trưởng các trường THPT Thành phố Hồ Chí Minh đã
giúp tôi trong suốt quá trình khảo sát, lấy dữ liệu và cung cấp thông tin.
Luận án này có được cũng nhờ sự giúp đỡ và hỗ trợ quý báu của những người
thân trong gia đình và bạn bè đồng nghiệp. Tôi đã nhận và xin cảm ơn ý kiến tư
vấn, sự giúp đỡ lớn lao của các cơ quan và các cá nhân đã hỗ trợ giúp đỡ tôi trong
thời gian qua.
Luận án không sao tránh khỏi những sơ sót, khiếm khuyết khi nghiên cứu và
biên tập. Kính mong được sự chỉ dẫn và hỗ trợ tiếp tục của quý thầy cô, và quý
đồng nghiệp.

2


MỤC LỤC

LỜI CAM ĐOAN ......................................................................................................1
LỜI CẢM ƠN ............................................................................................................2

MỤC LỤC ..................................................................................................................3
DANH MỤC CỤM TỪ VIẾT TẮT .........................................................................8
DANH MỤC CÁC BẢNG ........................................................................................9
DANH MỤC CÁC SƠ ĐỒ - HÌNH .......................................................................11
MỞ ĐẦU ..................................................................................................................12
1. Lý do chọn đề tài ..............................................................................................12
2. Mục đích nghiên cứu ........................................................................................14
3. Khách thể và đối tượng nghiên cứu ..................................................................14
4. Giả thuyết nghiên cứu .......................................................................................14
5. Nhiệm vụ nghiên cứu ........................................................................................15
6. Giới hạn phạm vi nghiên cứu............................................................................15
7. Phương pháp nghiên cứu ..................................................................................15
8. Ý nghĩa khoa học và ý nghĩa thực tiễn của luận án ..........................................20
9. Cấu trúc luận án ................................................................................................22
CHƯƠNG 1: CƠ SỞ LÝ LUẬN VỀ QUẢN LÝ KIỂM ĐỊNH CHẤT LƯỢNG
GIÁO DỤC TRƯỜNG THPT ................................................................................23
1.1.Tổng quan nghiên cứu ....................................................................................23
1.1.1. Những nghiên cứu ngoài nước ...............................................................23
1.1.2. Những nghiên cứu trong nước ................................................................30

3


1.2. Các khái niệm cơ bản .....................................................................................37
1.2.1. Chất lượng, chất lượng giáo dục, chất lượng giáo dục trường trung .....37
học phổ thông ...................................................................................................37
1.2.2. Kiểm định, kiểm định chất lượng giáo dục, kiểm định chất lượng giáo 44
dục trường THPT..............................................................................................45
1.2.3. Quản lý, quản lý giáo dục, quản lý chất lượng giáo dục ........................49
1.2.4. Quản lý kiểm định chất lượng giáo dục trường trung học phổ thông ....53

1.3. Kiểm định chất lượng giáo dục trường trung học phổ thông ........................54
1.3.1. Cơ sở pháp lý về kiểm định chất lượng giáo dục trường THPT ............54
1.3.2. Mục đích và nguyên tắc kiểm định chất lượng giáo dục trường trung ..59
học phổ thông ...................................................................................................59
1.3.3. Quy trình và chu kỳ kiểm định chất lượng giáo dục trường trung học ..60
phổ thông ..........................................................................................................60
1.3.4. Tiêu chuẩn, tiêu chí, chỉ số trong đánh giá chất lượng trường trung học
phổ thông ..........................................................................................................65
1.3.5. Tiêu chuẩn đánh giá chất lượng trường trung học phổ thông của Bộ ....66
Giáo dục và Đào tạo .........................................................................................66
1.3.6. Kiểm định viên .......................................................................................68
1.4. Quản lý kiểm định chất lượng giáo dục trường trung học phổ thông............69
1.4.1. Phân cấp quản lý giáo dục ......................................................................69
1.4.2. Phân cấp quản lý và nội dung quản lý kiểm định chất lượng giáo dục
trường trung học phổ thông ..............................................................................69
1.4.3. Chức năng quản lý kiểm định chất lượng giáo dục trường THPT .........71

4


1.5. Một số yếu tố cơ bản ảnh hưởng đến kiểm định chất lượng giáo dục trường
trung học phổ thông ..............................................................................................76
1.5.1. Chương trình giáo dục bậc trung học phổ thông ....................................76
1.5.2. Nghị quyết 29 của Ban chấp hành Trung ương Đảng khóa XI về đổi mới
căn bản toàn diện giáo dục ...............................................................................77
KẾT LUẬN CHƯƠNG 1 .....................................................................................80
CHƯƠNG 2: THỰC TRẠNG KIỂM ĐỊNH CHẤT LƯỢNG GIÁO DỤC VÀ
QUẢN LÝ KIỂM ĐỊNH CHẤT LƯỢNG GIÁO DỤC TRƯỜNG THPT TẠI
THÀNH PHỐ HỒ CHÍ MINH GIAI ĐOẠN 2010-2014 .....................................81
2.1. Tổng quan trường trung học phổ thông tại Thành phố Hồ Chí Minh ...........81

2.2. Mẫu khảo sát xử lý số và qui ước cách thức liệu...........................................87
2.2.1. Mẫu khảo sát ..........................................................................................87
2.2.2. Qui ước cách thức xử lý số liệu ..............................................................89
2.3. Thực trạng kiểm định chất lượng giáo dục trường trung học phổ thông tại
Thành phố Hồ Chí Minh .......................................................................................89
2.3.1. Thực trạng hoạt động tự đánh giá trường trung học phổ thông theo tiêu
chuẩn.................................................................................................................89
2.3.2. Thực trạng hoạt động đánh giá ngoài trường THPT theo tiêu chuẩn.....96
2.3.3. Thực trạng về việc duy trì và cải tiến chất lượng sau đánh giá ngoài ..111
2.4. Thực trạng quản lý kiểm định chất lượng giáo dục trường trung học phổ
thông tại Thành phố Hồ Chí Minh .....................................................................112
2.4.1. Lập kế hoạch tự đánh giá và đánh giá ngoài ........................................112
2.4.2. Tổ chức thực hiện tự đánh giá và đánh giá ngoài.................................114
2.4.3. Chỉ đạo thực hiện tự đánh giá và đánh giá ngoài .................................115
2.4.4. Kiểm tra đánh giá việc thực hiện tự đánh giá và đánh giá ngoài .........116
5


2.5. Tập huấn chuyên môn về kiểm định chất lượng giáo dục trường trung học
phổ thông ............................................................................................................118
2.5.1. Thực trạng tập huấn tự đánh giá và đánh giá ngoài .............................118
2.5.2. Nhu cầu bồi dưỡng chuyên môn trong lĩnh vực kiểm định chất lượng
giáo dục phổ thông .........................................................................................120
2.6. Đánh giá tác động của kiểm định chất lượng giáo dục trường trung học phổ
thông đến việc cải tiến chất lượng giáo dục .......................................................122
2.7. Đánh giá chung về những ưu điểm và hạn chế của quản lý kiểm định chất
lượng giáo dục trường trung học phổ thông tại Thành phố Hồ Chí Minh..........123
2.7.1. Những ưu điểm .....................................................................................123
2.7.2. Những hạn chế ......................................................................................124
KẾT LUẬN CHƯƠNG 2 ...................................................................................127

CHƯƠNG 3: CÁC GIẢI PHÁP QUẢN LÝ KIỂM ĐỊNH CHẤT LƯỢNG
GIÁO DỤC TRƯỜNG TRUNG HỌC PHỔ THÔNG TẠI THÀNH PHỐ HỒ
CHÍ MINH .............................................................................................................128
3.1. Định hướng phát triển kiểm định chất lượng giáo dục trường trung học phổ
thông tại Thành phố Hồ Chí Minh đến năm 2020 ..............................................128
3.2. Nguyên tắc đề xuất các giải pháp ................................................................129
3.2.1. Tính cần thiết ........................................................................................129
3.2.2. Tính khả thi...........................................................................................129
3.2.3. Tính phù hợp ........................................................................................130
3.2.4. Tính kế thừa ..........................................................................................130
3.2.5. Tính hiệu quả ........................................................................................130
3.3. Nội dung các giải pháp quản lý kiểm định chất lượng giáo dục trường trung
học phổ thông Thành phố Hồ Chí Minh .............................................................130
6


3.3.1. Nhóm giải pháp 1. Xây dựng chuyên đề bồi dưỡng và tổ chức bồi dưỡng
kiểm định viên cho hoạt động tự đánh giá và đánh giá ngoài ........................130
3.3.2. Nhóm giải pháp 2. Quản lý hoạt động tự đánh giá ..............................134
3.3.3. Nhóm giải pháp 3. Quản lý hoạt động đánh giá ngoài .........................144
3.3.4. Nhóm giải pháp 4. Ứng dụng công nghệ thông tin và xây dựng các
chính sách hỗ trợ kiểm định chất lượng giáo dục trường THPT tại Tp.HCM.
........................................................................................................................146
3.4. Khảo nghiệm tính cần thiết và tính khả thi của các giải pháp .....................149
3.5. Thực nghiệm nhóm giải pháp 1: Xây dựng chuyên đề bồi dưỡng và tổ chức
bồi dưỡng kiểm định viên chất lượng giáo dục phổ thông .................................151
3.5.1. Mục tiêu thực nghiệm...........................................................................151
3.5.2. Nội dung thực nghiệm ..........................................................................152
3.5.3. Tổ chức thực nghiệm ............................................................................152
3.5.4. Tiến hành thực nghiệm dạy học qua 3 giai đoạn ..................................153

KẾT LUẬN CHƯƠNG 3 ...................................................................................163
KẾT LUẬN VÀ KHUYẾN NGHỊ .......................................................................164
1. Kết luận ...........................................................................................................164
2. Khuyến nghị ....................................................................................................166
NHỮNG CÔNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN ĐẾN
LUẬN ÁN ...............................................................................................................168
TÀI LIỆU THAM KHẢO ....................................................................................169
PHỤ LỤC ...............................................................................................................180

7


DANH MỤC CỤM TỪ VIẾT TẮT
Chữ viết tắt

Đọc là

AUN

Asean University Net Work (Mạng lưới
các trường Đại học Đông Nam Á)

CBQL

Cán bộ quản lý

CB

Cán bộ

CHXHCN

Cộng hòa xã hội chủ nghĩa

CL

Công lập

CSVC

Cơ sở vật chất

ĐTB

Điểm trung bình

ĐGN

Đánh giá ngoài

KĐCLGD

Kiểm định chất lượng giáo dục

GD

Giáo dục

GV

Giáo viên

GD và ĐT

Giáo dục và Đào tạo

NCKH

Nghiên cứu khoa học

NV

Nhân viên

THPT

Trung học phổ thông

TĐG

Tự đánh giá

THCS

Trung học cơ sở

TCCN

Trung cấp chuyên nghiệp

Tp.HCM

Thành phố Hồ Chí Minh

UNESCO

United Nations Educational
Scientific and Cultural Organization (Tổ
chức Văn hóa Khoa học Giáo dục Liên
hiệp quốc)

XHCN

Xã hội chủ nghĩa

8


DANH MỤC CÁC BẢNG
Bảng 1.1. Kết quả phân tích các chỉ số trong tiêu chuẩn đánh giá chất lượng trường
THPT của Bộ GD và ĐT ............................................................................................56
Bảng 2.1.Tổng hợp số liệu về số học sinh, số lớp, số trường, số giáo viên ...............70
Bảng 2.2. Thông tin về hiệu trưởng trường THPT ....................................................71
Bảng 2.3.Trình độ giáo viên THPT năm học 2012-1013...........................................72
Bảng 2.4. Cơ sở vật chất trường THPT theo thống kê năm 2013 ..............................73
Bảng 2.5. Kết quả học tập của học sinh THPT .........................................................74
Bảng 2.6. Kết quả hạnh kiểm học sinh THPT ...........................................................74
Bảng 2.7. Kết quả thi tốt nghiệp THPT trong 3 năm gần đây ...................................74
Bảng 2.8. Số lượng mẫu khảo sát...............................................................................76
Bảng 2.9. Khảo sát việc tổ chức thực hiện tự đánh giá trong trường THPT .............79

Bảng 2.10. Khảo sát việc tổ chức thực hiện nhiệm vụ của trưởng đoàn đánh giá
ngoài. ..........................................................................................................................88
Bảng 2.11. Bảng khảo sát năng lực làm việc của đoàn đánh giá ngoài (do thành viên
hội đồng tự đánh giá nhận xét) ..................................................................................94
Bảng 2.12. Bảng khảo sát năng lực làm việc của đoàn đánh giá ngoài (do thành viên
đoàn đánh giá ngoài tự nhận xét) ..............................................................................95
Bảng 2.13. Kết quả đánh giá ngoài của 13 trường THPT áp dụng bộ tiêu chuẩn theo
Quyết định số 80/2008/QĐ-BGDĐT ngày 30/12/2008. ............................................97
Bảng 2.14. Kết quả đánh giá ngoài của 3 trường THPT áp dụng bộ tiêu chuẩn theo
Thông tư số 42/2012/TT-BGDĐT ngày 23/11/2012. ...............................................99
Bảng 2.15. So sánh một số chỉ số quan trọng giữa các trường THPT. ...................100
Bảng 2.16. Khảo sát việc lập kế hoạch tự đánh giá và đánh giá ngoài trường THPT ...
..................................................................................................................................102
Bảng 2.17. Khảo sát việc tổ chức thực hiện tự đánh giá và đánh giá ngoài trường
THPT .......................................................................................................................103

9


Bảng 2.18. Khảo sát việc chỉ đạo thực hiện tự đánh giá và đánh giá ngoài trường
THPT .......................................................................................................................104
Bảng 2.19. Khảo sát việc kiểm tra, đánh giá tự đánh giá và đánh giá ngoài trường
THPT ........................................................................................................................106
Bảng 2.20. Nhu cầu bồi dưỡng chuyên môn trong lĩnh vực KĐCLGD .................110
Bảng 2.21. Tác động của KĐCLGD trường THPT đến việc cải tiến và nâng cao
chất lượng giáo dục. .................................................................................................113
Bảng 3.1. Tổng hợp về tính cần thiết và tính khả thi của các giải pháp ..................140
Bảng 3.2. Kết quả khảo sát thực nghiệm đầu vào ....................................................144
Bảng 3.3. Kết quả khảo sát lý thuyết quá trình ........................................................145
Bảng 3.4. Kết quả bài thực hành quá trình về viết báo cáo tự đánh giá tiêu chuẩn 4 ....

..................................................................................................................................146
Bảng 3.5. Kết quả khảo sát lý thuyết đầu ra ............................................................147
Bảng 3.6. Kết quả khảo sát thực hành đầu ra ..........................................................147
Bảng 3.7. Lấy ý kiến về tính khả thi và tính cần thiết của nội dung chuyên đề đào
tạo kiểm định viên cho hoạt động tự đánh giá và hoạt động đánh giá ngoài ...........148

10


DANH MỤC CÁC SƠ ĐỒ - HÌNH
Sơ đồ 1.1. Chất lượng giáo dục theo đầu vào - quá trình - đầu ra của Mỹ. ............. 30
Sơ đồ 1.2. Các thành phần chất lượng cơ bản của trường phổ thông. ..................... 33
Sơ đồ 1.3. Qui trình kiểm định chất lượng giáo dục trường THPT với chu kỳ 5 năm.
................................................................................................................................... 50
Sơ đồ 1.4. Qui trình tự đánh giá trường THPT theo tiêu chuẩn của Bộ GD và ĐT . 52
Sơ đồ 1.5. Qui trình đánh giá ngoài trường THPT theo tiêu chuẩn của Bộ GD và
ĐT.............................................................................................................................. 53
Sơ đồ 1.6. Cấu trúc hệ thống tiêu chuẩn, tiêu chí, chỉ số. ......................................... 55
Sơ đồ 1.7. Phân cấp quản lý và nội dung quản lý KĐCLGD trường THPT
.................................................................................................................................. 61
Sơ đồ 1.8. Các chức năng quản lý. ............................................................................ 62
Sơ đồ 2.1. Qui trình thực hiện đánh giá ngoài trường THPT. .................................. 90
Sơ đồ 3.1. Qui trình kỹ thuật viết báo cáo tự đánh giá. .......................................... 125
Sơ đồ 3.2. Qui trình thẩm định kết quả đánh giá ngoài. ......................................... 136
Sơ đồ 3.3. Sơ đồ phần mềm quản lý KĐCLGD phổ thông. .................................. 138
Hình 1.1. Các cấp độ quản lý chất lượng theo Sallis (1993). ................................... 40
Hình 1.2. Quy trình quản lý kiểm định chất lượng giáo dục trường THPT .............. 68

11

MỞ ĐẦU
1. Lý do chọn đề tài
Kiểm định chất lượng trong giáo dục và đào tạo nói chung và giáo dục phổ
thông nói riêng có một vị trí quan trọng trong công tác đảm bảo chất lượng giáo
dục. Vì vậy, kiểm định chất lượng giáo dục được xem là một trong các công cụ
quan trọng của việc đảm bảo chất lượng, góp phần nâng cao chất lượng giáo dục,
tăng cường trách nhiệm giải trình của cơ sở giáo dục với các cơ quan có thẩm quyền
và với xã hội về hiệu quả, sự minh bạch nguồn lực mà cơ sở giáo dục đó sử dụng để
cung ứng dịch vụ giáo dục. Trong bối cảnh đất nước vận hành nền kinh tế thị trường
theo định hướng xã hội chủ nghĩa và hội nhập quốc tế về giáo dục ngày càng sâu
rộng, kiểm định chất lượng được xem là một công cụ góp phần hoàn thiện thể chế
thị trường định hướng XHCN trong lĩnh vực quản lý giáo dục và đào tạo. Nhờ có
thông tin kiểm định chất lượng giáo dục chân thực, khách quan được cung cấp minh
bạch mà học sinh, gia đình học sinh, các cơ quan, tổ chức xã hội biết được năng lực
đảm bảo chất lượng của một cơ sở giáo dục để đặt lòng tin lựa chọn vào học tập ở
cơ sở giáo dục chất lượng tốt, sẵn sàng trả tiền học phí tương ứng với chất lượng
giáo dục được cung cấp.
Trong nhiều năm qua, công tác kiểm định chất lượng giáo dục được triển khai
ở một số địa phương kể từ khi Luật Giáo dục 2005 có hiệu lực, nhưng vấn đề quản
lý nhà nước đối với hoạt động kiểm định chất lượng vẫn chưa đáp ứng được đòi hỏi
từ thực tiễn. Tp.HCM là nơi đi đầu cả nước về công tác xã hội hóa giáo dục với sự
có mặt của nhiều trường phổ thông dân lập, tư thục cùng cung cấp các dịch vụ giáo
dục với các trường công lập. Tuy nhiên, công tác quản lý kiểm định chất lượng giáo
dục nói chung và quản lý kiểm định chất lượng giáo dục trường THPT nói riêng còn
nhiều hạn chế trên các bình diện về chính sách kiểm định, cơ chế, phát triển đội ngũ
chuyên gia, sự đồng thuận của các cơ sở giáo dục và của xã hội đối với công tác
kiểm định chất lượng giáo dục. Tình hình chung này, trong kết luận số 51- KL/TW
ngày 29/10/2012 của Hội nghị lần thứ 6 Ban chấp hành Trung ương Đảng khóa XI

12


đã đánh giá “Chất lượng giáo dục và đào tạo chưa đáp ứng yêu cầu phát triển kinh
tế - xã hội. Chưa giải quyết tốt mối quan hệ giữa tăng quy mô và nâng cao chất
lượng đào tạo” [5].
Đánh giá cao vai trò của quản lý giáo dục trong việc nâng cao chất lượng giáo
dục, Nghị quyết Hội nghị lần 8 của Ban chấp hành Trung ương Đảng khóa XI về
đổi mới căn bản toàn diện đã có giải pháp “Thực hiện đánh giá chất lượng giáo
dục, đào tạo ở cấp độ quốc gia, địa phương, từng cơ sở giáo dục, đào tạo và đánh
giá theo chương trình của quốc tế để làm căn cứ đề xuất chính sách, giải pháp cải
thiện chất lượng giáo dục, đào tạo. Hoàn thiện hệ thống kiểm định chất lượng giáo
dục. Định kỳ kiểm định chất lượng các cơ sở giáo dục, đào tạo và các chương trình
đào tạo; công khai kết quả kiểm định.” [6].
Lý luận về quản lý chất lượng giáo dục cùng kinh nghiệm quốc tế và thực tiễn
triển khai công tác kiểm định chất lượng giáo dục ở Tp.HCM trong những năm qua
cho thấy công tác kiểm định chất lượng giáo dục chỉ có thể được thực hiện tốt và có
hiệu quả khi đáp ứng các điều kiện bảo đảm chất lượng ở cấp hệ thống và cấp
trường (từng cơ sở GD và ĐT). Hơn nữa, phân quyền (phân cấp - phi Trung ương
hóa quản lý) trong quản lý giáo dục đến các cơ sở giáo dục đã đặt ra yêu cầu về
trách nhiệm giải trình của cơ sở giáo dục về chất lượng giáo dục và đòi hỏi quản lý
nhà nước phải tập trung nhiệm vụ hàng đầu là quản lý chất lượng. Ngoài ra, nhu cầu
từ phía cha mẹ, học sinh về chất lượng giáo dục cũng là một trong những thách thức
lớn của nhà trường. Sự cạnh tranh nguồn lực từ các phía (kể cả ngân sách nhà nước)
cũng thúc bách các cơ sở giáo dục xem chất lượng là yếu tố quyết định hàng đầu.
Nói chung, chất lượng giáo dục luôn là mối quan tâm của tất cả các ngành, các cấp.
Từ năm 2009, Bộ Giáo dục và Đào tạo đã ban hành và triển khai các qui định
về thực hiện KĐCLGD trường THPT. Tại Tp.HCM đã triển khai hoạt động
KĐCLGD trường THPT theo chỉ đạo của Bộ GD và ĐT cũng đã đạt được một số
kết quả đáng kể. Tuy nhiên, hoạt động này vẫn còn gặp nhiều khó khăn. Cụ thể, tính

đến thời điểm tháng 4 năm 2013, Tp.HCM có 186 trường THPT, trong đó có 102
trường THPT công lập. Theo báo cáo sơ kết hoạt động kiểm định chất lượng giáo

13


dục của Sở GD và ĐT Tp.HCM, chỉ có 50% các trường THPT công lập hoàn thành
tự đánh giá và 3,2% các trường THPT công lập hoàn thành đánh giá ngoài. Đây là
tỷ lệ khá khiêm tốn so với yêu cầu đặt ra.
Việc nghiên cứu nhằm nâng cao chất lượng giáo dục nói chung và giáo dục
trung học phổ thông nói riêng trở thành nhu cầu hết sức cấp thiết. Trong thời gian
qua, tuy đã có nhiều công trình nghiên cứu về quản lý chất lượng giáo dục, bảo đảm
chất lượng giáo dục, nhưng chủ yếu tập trung ở lĩnh vực giáo dục đại học song chưa
có công trình nghiên cứu chuyên sâu về kiểm định chất lượng giáo dục trường
THPT cũng như việc quản lý công tác này tại Tp.HCM.
Vì vậy, đề tài “Quản lý kiểm định chất lượng giáo dục trường trung học
phổ thông tại Thành phố Hồ Chí Minh“ được chọn để nghiên cứu trong khuôn
khổ luận án tiến sĩ chuyên ngành về quản lý giáo dục.

2. Mục đích nghiên cứu
Trên cơ sở nghiên cứu lý luận và đánh giá thực tiễn về quản lý KĐCLGD
trường THPT, từ đó xây dựng các giải pháp quản lý nhằm nâng cao chất lượng hoạt
động KĐCLGD trường THPT ở Tp.HCM.

3. Khách thể và đối tượng nghiên cứu
3.1. Khách thể nghiên cứu: Quản lý chất lượng giáo dục trường THPT.
3.2. Đối tượng nghiên cứu: Quản lý KĐCLGD trường THPT ở Tp.HCM.

4. Giả thuyết nghiên cứu
Quản lý KĐCLGD trường THPT tại Tp.HCM còn một số hạn chế như việc lập

kế hoạch, tổ chức, chỉ đạo thực hiện cũng như kiểm tra đánh giá hoạt động
KĐCLGD chưa thường xuyên, chưa đồng bộ, kiểm định viên chưa được đào tạo
chuyên nghiệp. Nếu xây dựng các giải pháp quản lý hoạt động này khả thi, phù hợp
với cơ sở khoa học và thực tiễn về quản lý chất lượng giáo dục sẽ cải tiến được chất
lượng hoạt động KĐCLGD trường THPT tại Tp.HCM.

14


5. Nhiệm vụ nghiên cứu
5.1. Nghiên cứu cơ sở lý luận về KĐCLGD và quản lý KĐCLGD trường
THPT.
5.2. Khảo sát và đánh giá thực trạng KĐCLGD và quản lý KĐCLGD trường
THPT tại Tp.HCM.
5.3. Xây dựng các giải pháp quản lý KĐCLGD trường THPT tại Tp.HCM.
5.4. Thực nghiệm 1 giải pháp và khảo nghiệm tính cần thiết và tính khả thi
của các giải pháp quản lý KĐCLGD trường THPT tại Tp.HCM đã đề xuất.

6. Giới hạn phạm vi nghiên cứu
- Về loại hình trường THPT: Theo số liệu của Sở GD và ĐT Tp.HCM năm
2013, Tp.HCM có 186 trường THPT trong đó có 102 trường THPT công lập và 84
trường THPT ngoài công lập. Luận án này chỉ nghiên cứu thực trạng KĐCLGD và
quản lý KĐCLGD, đồng thời xây dựng các giải pháp quản lý KĐCLGD trường
THPT công lập trên địa bàn Tp.HCM thuộc Sở GD và ĐT Tp.HCM quản lý,
không tính đến các trường THPT ngoài công lập, trường THPT có yếu tố nước
ngoài (trường THPT dạy, học và thi theo chương trình nước ngoài).
- Về nội dung các giải pháp: Luận án chỉ tập trung nghiên cứu các giải pháp
quản lý KĐCLGD trường THPT ở cấp Tp.HCM (Sở GD và ĐT, trường THPT),
không tính đến các giải pháp cấp quốc gia (Bộ GD và ĐT, Trung ương).
- Về phạm vi thực nghiệm: Thực nghiệm tính khả thi và tính cần thiết của giải

pháp xây dựng chuyên đề bồi dưỡng và tổ chức tập huấn bồi dưỡng kiểm định viên
cho hoạt động tự đánh giá và đánh giá ngoài trường THPT.
- Về thời gian: Từ năm 2010 đến 2014.

7. Phương pháp nghiên cứu
7.1. Phương pháp luận
7.1.1. Quan điểm hệ thống
Luận án tiếp cận theo quan điểm hệ thống để nghiên cứu về KĐCLGD và quản
lý KĐCLGD trường THPT. Hoạt động KĐCLGD là một thành tố trong hệ thống
15


quản lý giáo dục nói chung và hệ thống giáo dục phổ thông nói riêng. Hoạt động
KĐCLGD có mối liên hệ chặt chẽ với các hoạt động giáo dục khác, và cùng góp
phần để quản lý chất lượng trường THPT.
7.1.2. Quan điểm thực tiễn
Luận án tiếp cận theo quan điểm thực tiễn để nghiên cứu về KĐCLGD và quản
lý KĐCLGD trường THPT. Nhu cầu thực tiễn trong đời sống xã hội, văn hóa, các
hoạt động khác đều có liên quan đến giáo dục. Chất lượng giáo dục theo quan điểm
thực tiễn là thỏa mãn các nhu cầu của người người học, vì vậy KĐCLGD phải trên
cơ sở các nhu cầu của người học để xây dựng các tiêu chuẩn đánh giá chất lượng.
7.1.3. Quan điểm lịch sử- logic
Luận án tiếp cận theo quan điểm lịch sử-logic. Mọi hoạt động trong tổng thể
quá trình KĐCLGD trường THPT luôn vận động và phát triển không ngừng trong
điều kiện và bối cảnh lịch sử chung của đất nước và của hệ thống giáo dục Việt
Nam. Do vậy, khi xây dựng các giải pháp quản lý hoạt động KĐCLGD trường
THPT tại Tp.HCM phải đặt hoạt động KĐCLGD trong sự định hướng phát triển
chung của thành phố và định hướng phát triển giáo dục của cả quốc gia.
7.1.4. Quan điểm tiếp cận mục tiêu

Luận án tiếp cận theo quan điểm mục tiêu. Các hoạt động trong nghiên cứu
luận án này đều hướng đến mục tiêu cụ thể là nghiên cứu lý luận và đánh giá thực
tiễn về quản lý KĐCLGD trường THPT, từ đó xây dựng các giải pháp quản lý nhằm
nâng cao chất lượng hoạt động KĐCLGD trường THPT ở Tp.HCM.
7.2. Phương pháp nghiên cứu cụ thể
7.2.1. Phương pháp nghiên cứu lý luận
Phân tích, tổng hợp các nghiên cứu về quản lý chất lượng, đánh giá chất
lượng, kiểm định chất lượng giáo dục nói chung cũng như chất lượng giáo dục phổ
thông nói riêng.
Nghiên cứu, phân tích lý luận về quản lý giáo dục và quản lý kiểm định chất
lượng giáo dục trường THPT.
Phân tích bộ tiêu chuẩn đánh giá chất lượng giáo dục trường THPT hiện nay.

16


Nghiên cứu cơ sở lý luận thông qua việc hệ thống hóa, phân tích và tổng hợp
các công trình nghiên cứu liên quan đến đề tài.
7.2.2. Phương pháp điều tra bằng các phiếu khảo sát
Mục đích khảo sát
Nhằm rút ra được các số liệu, các nhận định, đánh giá mang tính khách quan,
chính xác, tin cậy về thực trạng KĐCLGD và thực trạng quản lý KĐCLGD trường
THPT tại Tp.HCM.
Nội dung khảo sát gồm
Khảo sát thực trạng hoạt động tự đánh giá và thực trạng hoạt động đánh giá
ngoài trường THPT.
Khảo sát thực trạng quản lý các hoạt động tự đánh giá và quản lý hoạt động
đánh giá ngoài thông qua việc lập kế hoạch, tổ chức thực hiện, chỉ đạo và kiểm tra
các hoạt động tự đánh giá và đánh giá ngoài trường THPT của cấp Sở GD và ĐT.
Khảo sát nhu cầu bồi dưỡng trong chuyên môn kiểm định chất lượng giáo dục

và đánh giá tác động của hoạt động KĐCLGD đến việc cải tiến và nâng cao chất
lượng giáo dục trường THPT.
Khảo sát tính cần thiết và tính khả thi của nội dung chuyên đề bồi dưỡng kiểm
định viên phổ thông, đồng thời khảo sát tính cần thiết và tính khả thi của các giải
pháp.
Đối tượng và công cụ khảo sát
Đối tượng khảo sát là CBQL cấp Sở; CBQL, GV của trường THPT; thành
viên đoàn đánh giá ngoài trường THPT.
Công cụ khảo sát là phiếu khảo sát thực trạng KĐCLGD và quản lý KĐCLGD
trường THPT tại Tp.HCM (Phụ lục 1).
7.2.3. Phương pháp phỏng vấn
Mục đích phỏng vấn
Nhằm thu thập thêm thông tin về việc hoạt động KĐCLGD cũng như thực
trạng tổ chức quản lý hoạt động KĐCLGD trường THPT.
Nội dung phỏng vấn

17


Phỏng vấn hiệu trưởng trường THPT, CBQL cấp Sở về chỉ đạo, triển khai tổ
chức thực hiện, giám sát đánh giá hoạt động KĐCLGD trường THPT tại Tp.HCM.
Phỏng vấn về những khó khăn và thuận lợi trong quá trình thực hiện KĐCLGD
trường THPT.
Đối tượng và công cụ phỏng vấn
Đối tượng phỏng vấn là cán bộ quản lý trường THPT.
Công cụ phỏng vấn là phiếu phỏng vấn hiệu trưởng trường THPT (Phụ lục 2).
7.2.4. Phương pháp nghiên cứu sản phẩm hoạt động
Mục đích nghiên cứu sản phẩm hoạt động
Nhằm tìm hiểu về những hoạt động quản lý cấp Bộ, cấp Sở, cấp Trường về
KĐCLGD phổ thông thông qua các văn bản chỉ đạo.

Nội dung nghiên cứu sản phẩm hoạt động
Nghiên cứu, phân tích, tổng hợp một số văn bản qui phạm pháp luật chỉ đạo từ
các cơ quan quản lý về KĐCLGD phổ thông (Phụ lục 11 và Phụ lục 12).
Nghiên cứu, phân tích, đánh giá, tổng hợp các hồ sơ tự đánh giá, đánh giá
ngoài và công nhận mức chất lượng giáo dục của trường THPT tại Tp.HCM.
Nghiên cứu, phân tích, đánh giá, tổng hợp các báo cáo tổng kết năm học, tổng
kết ngành về hoạt động giáo dục, tài chính, ngoại khóa,... của trường THPT.
7.2.5. Phương pháp chuyên gia
Mục đích Nhằm thu thập ý kiến của các chuyên gia trong lĩnh vực quản lý
giáo dục, quản lý chất lượng giáo dục, đặc biệt là các chuyên gia trong lĩnh vực
kiểm định chất lượng giáo dục phổ thông.
Nội dung Trao đổi để xin ý kiến về bộ tiêu chuẩn, quy trình tổ chức
KĐCLGD, về tổ chức các hoạt động tự đánh giá và đánh giá ngoài về KĐCLGD
trường THPT.
Đối tượng và công cụ
Đối tượng 3 chuyên gia về kiểm định chất lượng giáo dục và 9 chuyên gia về
quản lý giáo dục.

18


Công cụ Trao đổi trực tiếp để lấy ý kiến theo các nội dung phiếu phỏng vấn
chuyên gia (Phụ lục 3).
7.2.6. Phương pháp tổng kết kinh nghiệm
Mục đích Nhằm tìm hiểu kinh nghiệm của các tỉnh, thành khác về tổ chức
quản lý KĐCLGD trường THPT và tìm hiểu kinh nghiệm một số nước trên thế giới
về KĐCLGD và quản lý KĐCLGD.
Nội dung Trao đổi kinh nghiệm quản lý KĐCLGD trường THPT của Sở GD
và ĐT tại một số tỉnh thành khác trong cả nước. Học tập kinh nghiệm quốc tế về
KĐCLGD thông qua việc tham dự các hội thảo khoa học quốc tế trong và ngoài

nước.
Đối tượng và công cụ
Đối tượng là một số kinh nghiệm quản lý KĐCLGD trường THPT của Thành
phố Hà Nội, Tỉnh Sóc Trăng, Tỉnh Tây Ninh.
Công cụ là trao đổi và quan sát trực tiếp thông qua các nội dung được trình bày
cụ thể ở Phụ lục 9.
7.2.7. Phương pháp thực nghiệm
Mục đích Luận án đã sử dụng phương pháp thực nghiệm để chứng minh rằng
giải pháp được xây dựng là phù hợp với cơ sở lý luận và thực tiễn về KĐCLGD
trường THPT tại Tp.HCM. Ngoài ra, thông qua thực nghiệm để làm sáng tỏ giả
thuyết khoa học của luận án là nếu xây dựng và thực hiện được các giải pháp khả
thi phù hợp về quản lý KĐCLGD thì sẽ nâng cao được chất lượng của hoạt động
KĐCLGD trường THPT tại Tp.HCM.
Nội dung Tiến hành tổ chức thực nghiệm giải pháp Xây dựng chuyên đề đào
tạo bồi dưỡng và tổ chức đào tạo bồi dưỡng kiểm định viên phổ thông.
Đối tượng và công cụ
Đối tượng là một số CBQL, GV của trường THPT tại Tp.HCM.
Công cụ là xây dựng nội dung chuyên đề và tổ chức bồi dưỡng theo chuyên
đề. Tổ chức đo lường đánh giá thành quả học tập của người học về kiến thức, kỹ

19


năng, thái độ trước, trong và sau khi bồi dưỡng thông qua các tiêu chí đánh giá ở
Phụ lục 5 và Phụ lục 6.
Ngoài ra, luận án đã tổ chức khảo nghiệm tính cần thiết và tính khả thi của nội
dung bồi dưỡng kiểm định viên giáo dục phổ thông và các giải pháp khác thông qua
việc lấy ý kiến chuyên gia, CBQL, GV trường THPT.
7.2.8. Sử dụng toán học để xử lý số liệu
Luận án sử dụng kỹ thuật thống kê toán học để thống kê, phân tích số liệu

trong các bảng hỏi, và các số liệu, thông tin thu thập được từ các phương pháp
nghiên cứu khoa học đã sử dụng trong luận án.
Luận án đã sử dụng phương pháp tính giá trị trung bình theo công thức:
Điểm trung bình (ĐTB)
ĐTB =

x=

1
N

4

∑x n
i =1

i i

Trong đó, x 1 là điểm được cho ứng với từng mức độ, x 1 ∈{1,2,3,4}.
n 1 là số người cho điểm ứng với từng mức độ x 1 .
N là tổng số người cho trả lời cho từng câu hỏi.

8. Ý nghĩa khoa học và ý nghĩa thực tiễn của luận án
8.1. Về lý luận
Góp phần phát triển lý luận về KĐCLGD nói chung và quản lý KĐCLGD
trường THPT nói riêng. Luận án đã hình thành các khái niệm cốt lõi, đó là: Chất
lượng, chất lượng giáo dục, chất lượng giáo dục trường THPT; Kiểm định,
KĐCLGD, KĐCLGD trường THPT; Quản lý, quản lý giáo dục, quản lý chất lượng
và Quản lý KĐCLGD trường THPT. Các khái niệm này quan hệ mật thiết với nhau,
tác động qua lại nhau, tạo ra những nền tảng lý luận cơ bản để tác giả đi sâu phân

tích các đặc trưng nội dung KĐCLGD trường THPT mà trong đó qui trình tổng thể
5 bước chiếm vị trí trọng tâm trong hoạt động KĐCLGD là: 1.Tự đánh giá;
2.Đăng ký đánh giá ngoài;

3.Đánh giá ngoài;

20

4.Công nhận mức chất lượng;


5.Duy trì, khắc phục và cải tiến chất lượng sau đánh giá ngoài. Các bước của quy
trình trên phải thực hiện dựa trên bộ tiêu chuẩn đánh giá chất lượng trường THPT.
Trên cơ sở tiếp cận theo mục tiêu quản lý và chức năng quản lý, tác giả đã đi sâu
phân tích mục tiêu và chức năng quản lý KĐCLGD trường THPT thông qua các
khâu lập kế hoạch, tổ chức thực hiện, chỉ đạo thực hiện và kiểm tra đánh giá việc
thực hiện hoạt động KĐCLGD trường THPT.
8.2. Về thực tiễn
Vận dụng lý luận trên vào đánh giá vấn đề cơ bản của thực trạng là: thực trạng
KĐCLGD trường THPT qua các khâu tự đánh giá và đánh giá ngoài theo tiêu chuẩn
và thực trạng quản lý KĐCLGD tại Tp.HCM qua các khâu: lập kế hoạch - tổ chức chỉ đạo - kiểm tra. Trong đó khâu tổ chức tập huấn chuyên môn về KĐCLGD là yếu
tố quan trọng của công tác tổ chức. Ngoài ra, luận án còn phân tích đánh giá chuyên
sâu thực trạng về nội dung đào tạo kiểm định viên cũng như năng lực kiểm định
viên phổ thông hiện nay. Luận án đã rút ra được những nhận định về thực trạng
quản lý KĐCLGD thông qua yếu tố như về phân cấp quản lý, nhận thức, kiểm định
viên, tiêu chuẩn, chính sách,…
8.3. Về giải pháp
Nhằm khắc phục những hạn chế về quản lý KĐCLGD trường THPT tại
Tp.HCM ở phần thực trạng, đồng thời căn cứ trên lý luận tác giả đề xuất 4 nhóm
giải pháp. Đó là: 1. Xây dựng chuyên đề bồi dưỡng và tổ chức bồi dưỡng đánh giá

viên cho hoạt động tự đánh giá và đánh giá ngoài; 2. Quản lý hoạt động tự đánh
giá; 3. Quản lý hoạt động đánh giá ngoài. 4. Ứng dụng công nghệ thông tin và
xây dựng các chính sách hỗ trợ cho hoạt động KĐCLGD trường THPT. Hoạt
động tự đánh giá và đánh giá ngoài chỉ có thể thành công như mong muốn khi khắc
phục được những khó khăn mà người đánh giá viên gặp phải trong quá trình làm
việc. Rõ ràng đánh giá viên giữ vai trò chủ đạo nâng cao hiệu quả của hoạt động tự
đánh giá và đánh giá ngoài. Kiểm định viên được đào tạo bồi dưỡng với chuyên
môn phù hợp, thực hiện cả công việc tự đánh giá trong trường của mình và tham gia

21


đánh giá ngoài thì giải pháp kiểm định viên sẽ đáp ứng cùng lúc với 2 mục đích: tự
đánh giá và đánh giá ngoài.
Ba ý nghĩa về lý luận, thực tiễn, giải pháp nêu trên sẽ góp phần làm phong phú
thêm lý luận và thực tiễn KĐCLGD trường THPT nói riêng và KĐCLGD trong
toàn bộ hệ thống giáo dục Việt Nam nói chung.

9. Cấu trúc luận án
Mở đầu
Chương 1. Cơ sở lý luận về quản lý KĐCLGD trường THPT.
Chương 2. Thực trạng KĐCLGD và thực trạng quản lý KĐCLGD trường
THPT tại Tp.HCM giai đoạn 2010-2014.
Chương 3. Các giải pháp quản lý KĐCLGD trường THPT tại Tp.HCM.
Kết luận, khuyến nghị
Công trình khoa học của tác giả liên quan đến luận án
Tài liệu tham khảo
Phụ lục

22

CHƯƠNG 1: CƠ SỞ LÝ LUẬN VỀ QUẢN LÝ KIỂM ĐỊNH
CHẤT LƯỢNG GIÁO DỤC TRƯỜNG THPT
1.1.Tổng quan nghiên cứu
1.1.1. Những nghiên cứu ngoài nước
1.1.1.1. Nghiên cứu về qui trình kiểm định chất lượng giáo dục trường THPT
Có rất nhiều nghiên cứu của các tác giả trên thế giới, đặc biệt các công trình
thuộc các nước phát triển sớm về KĐCLGD như Mỹ, Úc, Anh và các nước Châu Á
như Ấn Độ, Philipin đã đề cập về nhiều khía cạnh khác nhau của KĐCLGD.
Elain El Khawas (2001) - Kiểm định chất lượng ở Mỹ: Nguồn gốc, sự diễn
biến và triển vọng cho tương lai (Accreditation in the USA: Origin, developments
and future prospect). Nghiên cứu đã nêu ra được một cách rõ ràng và chi tiết tiến
trình kiểm định bắt đầu từ định nghĩa về kiểm định chất lượng, các hình thức kiểm
định như kiểm định cơ sở đào tạo, kiểm định chương trình đào tạo, sự phát triển của
hệ thống kiểm định chất lượng giáo dục của Mỹ trong những năm gần đây, cách
thức tiến hành quá trình kiểm định bao gồm thực hiện báo cáo tự đánh giá, đánh giá
ngoài và công nhận mức độ đáp ứng của nhà trường hay chương trình đào tạo theo
tiêu chuẩn. Đặc biệt, công trình đã nêu lên được những cơ hội và thách thức cho
lĩnh vực KĐCLGD, những tác động của kiểm định chất lượng đến việc nâng cao
chất lượng của nhà trường, cũng như rút ra được những bài học cho lĩnh vực này.
Tuy nhiên, nội dung công trình phần lớn nói về KĐCLGD đại học, chỉ phân tích
một phần nhỏ về kiểm định chất lượng trường phổ thông [96].
Nhóm tác giả LazrVLSCEANU, Laura GRÜNBERG, và DanPÂRLEA
(UNESCO 2007) - Những thuật ngữ và định nghĩa cơ bản trong đảm bảo chất
lượng và kiểm định chất lượng giáo dục (Quality Assurance and Accreditation: A
Glossary of BasicTerms and Definition). Nghiên cứu này đã tổng hợp một cách đầy
đủ các thuật ngữ, định nghĩa chuyên dùng trong lĩnh vực KĐCLGD, và giải thích
cách sử dụng các khái niệm này một cách cụ thể thông qua các hoạt động thực tiễn
trong lĩnh vực này. Chẳng hạn, các thuật ngữ về kiểm định chất lượng, kiểm định cơ

23


sở giáo dục, kiểm định chương trình giáo dục, kiểm định vùng, kiểm toán, đánh giá
chất lượng, tự đánh giá, đánh giá ngoài, đối sánh, tiêu chuẩn, tiêu chí, chỉ số, xếp
hạng hay công nhận cơ sở giáo dục đạt chuẩn mực... Cùng với việc giải thích từ
ngữ, nghiên cứu cũng chỉ rõ cho người đọc hiểu được nội dung và tiến trình hoạt
động của KĐCLGD. Đồng thời, nghiên cứu cũng đã nêu lên được những tranh luận
đối lập hiện nay trong việc quan niệm và sử dụng các thuật ngữ này trên thế giới
[127].
Nhóm các tác giả Janet Fairman, Brendra Peirce và Walter Harris (2009) với
công trình “Kiểm định chất lượng giáo dục trường THPT tại Maine: Nhận thức về
chi phí và lợi phí” (High school accreditation in Maine: Perception of cost and
benefits) thuộc trung tâm Nghiên cứu và Đánh giá giáo dục và Phát triển con người
thuộc Đại học Maine – Mỹ. Với công trình này, nhóm tác giả đã trình bày rất rõ quy
trình kiểm định chất lượng giáo dục trường THPT tại Mỹ, gồm tự đánh giá, đánh
giá ngoài theo bộ tiêu chuẩn và công nhận kiểm định chất lượng thông qua các
nghiên cứu điển hình, thực tế từ 40 trường THPT được kiểm định bởi NEASC (The
New England Association of School and Colleges). Công trình đã rút ra những kinh
nghiệm thực tiễn rất giá trị trong quá trình KĐCLGD trường THPT và đề ra các giải
pháp quan trọng để nâng cao chất lượng hoạt động KĐCLGD trường THPT [101].
Judith S. Eaton (2011) - Kiểm định chất lượng giáo dục ở Mỹ: Đáp ứng với
thách thức của việc giải trình trách nhiệm và thành quả của sinh viên
(U.S.Accreditation: Meeting the Challenges of Accountability and Student
Achievement). Nghiên cứu này đã chỉ rõ ra được những thách thức lớn đối với kiểm
định chất lượng các trường đại học Mỹ hiện nay là kết quả của KĐCLGD có tác
động như thế nào đến thành quả của người học trong nhà trường. Bởi lẽ, KĐCLGD
của Mỹ hiện nay được cho là có lịch sử lâu đời với sự phân quyền, đa dạng và phức
tạp cùng với cách thức, qui trình, tổ chức quản lý. Ngoài ra bài báo cũng nêu lên
được cơ cấu tổ chức phức tạp giữa các tổ chức KĐCLGD và chính quyền liên bang

[102].

24