Tải bản đầy đủ (.pdf) (87 trang)

Nghiên cứu đánh giá hiệu quả hoạt động nghiên cứu khoa học và phát triển công nghệ tại viện khoa học và kỹ thuật hạt nhân

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (1.28 MB, 87 trang )

VIỆN HÀN LÂM

BỘ KHOA HỌC VÀ CÔNG NGHỆ

KHOA HỌC XÃ HỘI VIỆT NAM

VIỆN CHIẾN LƯỢC VÀ CHÍNH SÁCH

HỌC VIỆN KHOA HỌC XÃ HỘI

KHOA HỌC VÀ CÔNG NGHỆ

NGUYỄN ĐỨC TÂM

NGHIÊN CỨU ĐÁNH GIÁ HIỆU QUẢ HOẠT ĐỘNG
NGHIÊN CỨU KHOA HỌC VÀ PHÁT TRIỂN CÔNG NGHỆ
TẠI VIỆN KHOA HỌC VÀ KỸ THUẬT HẠT NHÂN

LUẬN VĂN THẠC SĨ QUẢN LÝ KHOA HỌC VÀ CÔNG NGHỆ

HÀ NỘI, 2016


VIỆN HÀN LÂM

BỘ KHOA HỌC VÀ CÔNG NGHỆ

KHOA HỌC XÃ HỘI VIỆT NAM

VIỆN CHIẾN LƯỢC VÀ CHÍNH SÁCH


HỌC VIỆN KHOA HỌC XÃ HỘI

KHOA HỌC VÀ CÔNG NGHỆ

NGUYỄN ĐỨC TÂM

NGHIÊN CỨU ĐÁNH GIÁ HIỆU QUẢ HOẠT ĐỘNG
NGHIÊN CỨU KHOA HỌC VÀ PHÁT TRIỂN CÔNG NGHỆ
TẠI VIỆN KHOA HỌC VÀ KỸ THUẬT HẠT NHÂN
Chuyên ngành: Quản lý Khoa học và Công nghệ
Mã số: 60.34.04.12

LUẬN VĂN THẠC SĨ QUẢN LÝ KHOA HỌC VÀ CÔNG NGHỆ
NGƯỜI HƯỚNG DẪN KHOA HỌC
TS. NGUYỄN ĐÌNH BÌNH

HÀ NỘI - 2016


LỜI CAM ĐOAN
Tôi xin cam đoan luận văn này do chính tôi thực hiện dưới sự hướng
dẫn khoa học của TS. Nguyễn Đình Bình.
Mọi tham khảo dùng trong luận văn đều được trích dẫn rõ ràng, có độ
chính xác cao nhất trong phạm vi hiểu biết của tôi.
Tôi xin chịu trách nhiệm về nghiên cứu của mình./.
Hà Nội, ngày

tháng
Học viên


Nguyễn Đức Tâm

năm 2016


MỤC LỤC
MỞ ĐẦU ....................................................................................................................1
Chương 1: CƠ SỞ LÝ LUẬN VỀ ĐÁNH GIÁ HIỆU QUẢ HOẠT ĐỘNG
NGHIÊN CỨU KHOA HỌC VÀ PHÁT TRIỂN CÔNG NGHỆ .........................6

1.1. Tổng quan về hoạt động NCKH&PTCN ................................................... 6
1.2. Tổng quan về Đánh giá hiệu quả hoạt động nghiên cứu khoa học và phát
triển công nghệ .................................................................................................. 8
1.3. Kinh nghiệm quốc tế ................................................................................ 13
1.4. Bài học kinh nghiệm................................................................................. 29
Kết luận chương 1 ........................................................................................... 32
Chương 2: XÂY DỰNG PHƯƠNG PHÁP ĐÁNH GIÁ HIỆU QUẢ HOẠT
ĐỘNG NGHIÊN CỨU KHOA HỌC VÀ PHÁT TRIỂN CÔNG NGHỆ ..........33

2.1. Mục đích và đối tượng đánh giá .............................................................. 33
2.2. Phương pháp luận đánh giá hiệu quả hoạt động NCKH&PTCN ........... 33
2.3. Quy trình đánh giá .................................................................................... 39
2.4. Tiêu chí đánh giá hiệu quả hoạt động NCKH&PTCN ............................ 44
Chương 3: ĐÁNH GIÁ HIỆU QUẢ HOẠT ĐỘNG ............................................49
NGHIÊN CỨU KHOA HỌC VÀ PHÁT TRIỂN CÔNG NGHỆ .......................49
TẠI VIỆN KHOA HỌC VÀ KỸ THUẬT HẠT NHÂN ......................................49

3.1. Thực trạng hoạt động NCKH&PTCN tại Viện KH&KTHN .................. 49
3.2. Đánh giá hoạt động nghiên cứu khoa học và phát triển công nghệ tại Viện
Khoa học và Kỹ thuật hạt nhân ....................................................................... 51

3.3. Một số đề xuất nâng cao hiệu quả hoạt động nghiên cứu khoa học và phát
triển công nghệ của Viện Khoa học và Kỹ thuật hạt nhân.............................. 75
Kết luận chương 3 ........................................................................................... 76
KẾT LUẬN VÀ KIẾN NGHỊ ................................................................................77
DANH MỤC TÀI LIỆU THAM KHẢO ...............................................................79


DANH MỤC TỪ VIẾT TẮT
Chữ viết tắt

Chữ viết đầy đủ

ISI

(Institute for Scientific Information, ISI, Hoa Kỳ): Cơ quan
xét chọn chất lượng tạp chí.
Danh mục tạp chí khoa học (SCI, SCIe, SSCI, AJCI)

KH&CN

Khoa học và Công nghệ

NCKH&PTCN Nghiên cứu khoa học và phát triển công nghệ
KH&KTHN

Viện Khoa học và Kỹ thuật hạt nhân

NCCB

Nghiên cứu cơ bản


KQNC

Kết quả nghiên cứu

NCKH&PTCN Nghiên cứu khoa học và phát triển công nghệ
KHCN&MT

Khoa học công nghệ và môi trường

NCUD

Nghiên cứu ứng dụng

TK

Triển khai

AD

Áp dụng

ATBX

An toàn bức xạ

NDT

(Non-Destructive Testing) Kiểm tra không phá hủy



MỤC LỤC BẢNG BIỂU
Bảng 2 : Các nhóm tiêu chí đánh giá hiệu quả..........................................................48
Bảng 3: Tổng hợp các công trình khoa học được công bố .......................................50
Bảng 4: Nhóm các tiêu chí lớn và tiêu chí nhỏ .........................................................52
Bảng 5: Kết quả thăm dò về hiệu quả kỹ thuật công nghệ từ NCKH&PTCN .........59
Bảng 6: Kết quả thăm dò về hiệu quả thông tin từ ...................................................61
NCKH&PTCN ..........................................................................................................61
Bảng 8: Kết quả thăm dò về hiệu quả xã hội từ NCKH&PTCN ..............................63
Bảng 9: Kết quả thăm dò về hiệu quả đào tạo từ NCKH&PTCN ............................64
Bảng 10: Tổng hợp kết quả thăm dò hiệu quả bằng tiêu chí đánh giá ......................65

Hình 1: Hiệu quả kỹ thuật công nghệ từ NCKH&PTCN .........................................68
Hình 2: Hiệu quả đào tạo từ NCKH&PTCN ............................................................69
Hình 3: Hiệu quả thông tin từ NCKH&PTCN ..........................................................70
Hình 4: Hiệu quả xã hội từ NCKH&PTCN ..............................................................71
Hình 5: Hiệu quả kinh tế từ NCKH&PTCN .............................................................72


MỞ ĐẦU
1 .Tình cấp thiết của đề tài
Đánh giá hoạt động khoa học và công nghệ là một chức năng, nhiệm vụ
cơ bản của công tác tổ chức khoa học và công nghệ ở mọi cấp quản lý. Thông
qua đánh giá có thể nhận biết được giá trị khoa học đích thực, ý nghĩa ứng
dụng của kết quả, hiệu quả nghiên cứu khoa học và phát triển công nghệ đối
với sự tăng trưởng kinh tế và phát triển đất nước.
Ở các nước phát triển, vấn đề đánh giá hoạt động khoa học và công
nghệ được công chúng nhận thức cao, do đó áp lực đòi hỏi chính phủ phải
tăng cường công tác đánh giá. Công chúng là những người đóng thuế cho
ngân sách quốc gia, họ yêu cầu cơ quan quản lý đánh giá nhiệm vụ khoa học

và công nghệ để giải thích rõ hiệu quả sử dụng nguồn vốn đã đầu tư. Chính vì
vậy, ở các nước này đánh giá hoạt động khoa học và công nghệ trở thành hoạt
động thường xuyên và là nhu cầu không thể thiếu trong quản lý cũng như
trong hoạch định chính sách phát triển khoa học và công nghệ.
Đối với nước ta, trong điều kiện nền kinh tế còn ở trình độ thấp, vốn
đầu tư thiếu và hạn chế, thì việc đánh giá hoạt động khoa học và công nghệ để
tạo điều kiện sử dụng tiết kiệm và có hiệu quả các nguồn lực là vấn đề hết sức
cần thiết. Những năm gần đây, thuật ngữ “đánh giá” được nhắc đến nhiều và
sử dụng khá rộng rãi. Nhiều hoạt động được coi là “đánh giá” và cũng có
nhiều cách hiểu về đánh giá. Cùng một sự việc, một sự kiện, đối với mỗi
người đánh giá, tùy theo quyền lợi và vị thế xã hội của họ, việc đánh giá tốt
xấu là có thể khác nhau, khó đồng nhất với nhau.
Đối tượng đánh giá khoa học và công nghệ rất đa dạng, từ tổ chức khoa
học công nghệ, các cá nhân và tổ chức thực hiện nhiệm vụ khoa học và công
nghệ, các chính sách đầu tư cho khoa học và công nghệ,… đến việc thực hiện
nhiệm vụ khoa học và công nghệ. Tuy nhiên trong khuôn khổ của một luận
văn thạc sĩ khoa học luận, luận văn này chỉ tập trung vào giới thiệu một số
1


vấn đề về đánh giá hiệu quả hoạt động nghiên cứu khoa học và phát triển
công nghệ tại Viện Khoa học và Kỹ thuật hạt nhân. Nhưng theo ý kiến của
nhiều chuyên gia, các nhà quản lý thì đây là một chủ đề rất khó.
Thực tiễn quản lý nhà nước về hoạt động khoa học và công nghệ nhiều
năm qua cho thấy, đánh giá hiệu quả ở các đơn vị hoạt động NCKH&PTCN
còn nhiều hạn chế. Những hạn chế thể hiện rõ nhất ở sự mâu thuẫn giữa các
kết quả của hoạt động đánh giá với giá trị thực tiễn của kết quả nghiên cứu.
Hiện nay, việc đánh giá hiệu quả nghiên cứu được thực hiện dựa trên
thanh điểm “xuất sắc”, “khá”, “đạt”, và “không đạt”. Trong khi đó, tiêu chí để
xem xét đánh giá công trình nghiên cứu lại không thực sự rõ ràng.

Nhiều năm qua, Viện Khoa học và Kỹ thuật hạt nhân đã triển khai hàng
trăm đề tài nghiên cứu khoa học. Tuy nhiên, một trong những vấn đề đã trở
nên bức xúc trong quản lý cũng như trong dư luận xã hội là chất lượng đánh
giá hiệu quả hoạt động NCKH&PTCN còn hạn chế.
Biểu hiện của những hạn chế này là các kết quả đánh giá nghiên cứu
được xếp loại “xuất sắc”, trong khi chất lượng nghiên cứu, hiệu quả của đề tài
dự án trên thực tế đang bị chậm lại.
Nguyên nhân của những hạn chế trên có thể là:
- Không có phương pháp hay quy trình đánh giá các nghiên cứu khoa học và
phát triển công nghệ
- Không có tiêu chí để đánh giá, chỉ dựa vào đánh giá định tính và thiên vị về
định tính hơn định lượng
Thực trạng trên đòi hỏi phải có nghiên cứu các luận cứ khoa học, xây
dựng các chuẩn mực quy trình đánh giá và đề xuất các giải pháp, tiêu chí đánh
giá nhằm tìm ra điểm mạnh điểm yếu trong hoạt động nghiên cứu khoa học và
phát triển công nghệ của Viện Khoa học và Kỹ thuật hạt nhân, tư vấn cho các
nhà quản lý cụ thể là lãnh đạo các cấp, Viện trưởng Viện KH&KTHN biết rõ

2


để tìm ra giải pháp nâng cao chất lượng các kết quả nghiên cứu khoa học và
phát triển công nghệ của Viện Khoa học và Kỹ thuật hạt nhân.
Tuy nhiên trong khuôn khổ của một luận văn thạc sĩ khoa học luận
cộng thêm căn cứ vào tính chất của loại hình hoạt động NCKH&PTCN tại
Viện KH&KTHN, tác giả xin giới hạn nghiên cứu các luận cứ khoa học, xây
dựng phương pháp luận, tiêu chí đánh giá hiệu quả để có cơ sở đánh giá hiệu
quả hoạt động NCKH&PTCN tại Viện KH&KTHN. Từ đó đề xuất các giải
pháp nhằm nâng cao hoạt động NCKH&PTCN tại Viện.
2. Tình hình nghiên cứu đề tài

Có một số tác giả từ góc độ quản lý, nghiên cứu viên đã đề cập đến lĩnh
vực liên quan đến đánh giá NCKH&PTCN như:
+ Vũ Cao Đàm ( 2005): Đánh giá nghiên cứu khoa học, Nxb Khoa học
và Kỹ thuật, Hà Nội[14]
+ Vũ Cao Đàm (2005): Phương pháp luận Nghiên cứu Khoa học, Nxb.
Khoa học và Kỹ thuật, Hà Nội. (Xuất bản lần thứ mười)[15]
+ Vũ Cao Đàm, Phạm Thị Bích Hà (2002): Đánh giá kết quả và hiệu
quả của nghiên cứu khoa học, Báo cáo đề tài của Bộ Giáo dục và Đào tạo,
Viện nghiên cứu Phát triển Giáo dục
+ Phan Xuân Dũng (2006): Một số vấn đề lý luận và thực tiễn về đánh
giá nhiệm vụ khoa học và công nghệ ở Việt Nam, Nxb Chính trị Quốc gia[11]
+ Trần Chí Đức (2002): Phương pháp luận đánh giá các tổ chức R&D,
Báo cáo khoa học của đề tài, Viện nghiên cứu Chiến lược và Chính sách Khoa
học và Công nghệ, Bộ KHCN&MT nay được gọi là Bộ KH&CN[12]
Nhìn chung, các kết quả của các công trình nghiên cứu trên đều có
những đóng góp quan trọng đối với việc đánh giá hiệu quả NCKH&PTCN.
Tuy nhiên các nghiên cứu chuyên sâu liên quan đến đánh giá hiệu quả
NCKH&PTCN vẫn chưa hoàn chỉnh, chưa được đề cập đầy đủ, rõ ràng, đặc
biệt là chưa có nghiên cứu cụ thể nào trong việc đánh giá hiệu quả hoạt động
3


NCKH&PTCN cho một Viện nghiên cứu trong ngành Năng lượng nguyên tử
tại Việt Nam. Vậy tính mới của đề tài sẽ tập trung vào nghiên cứu đánh giá
hiệu quả hoạt động nghiên cứu khoa học và phát triển công nghệ tại Viện
Khoa học và Kỹ thuật hạt nhân.
3. Mục đích và nhiệm vụ nghiên cứu
Mục đích:
Xây dựng phương pháp, tiêu chí đánh giá hiệu quả hoạt động nghiên
cứu khoa học và phát triển công nghệ tại Viện Khoa học và Kỹ thuật hạt nhân

Nhiệm vụ nghiên cứu:
- Nghiên cứu cơ sở lý luận về đánh giá hiệu quả hoạt động nghiên cứu
khoa học và phát triển công nghệ
- Xây dựng phương pháp, tiêu chí đánh giá hiệu quả hoạt động nghiên
cứu khoa học và phát triển công nghệ cho tổ chức nghiên cứu khoa học và
phát triển công nghệ
- Đánh giá hiệu quả hoạt động nghiên cứu khoa học và phát triển công
nghệ tại Viện Khoa học và Kỹ thuật hạt nhân
4. Đối tượng và phạm vi nghiên cứu
- Đối tượng nghiên cứu: Nghiên cứu tập trung vào các kết quả của hoạt
động khoa học và công nghệ (chủ yếu là hoạt động NCKH&PTCN của Viện
Khoa học và Kỹ thuật hạt nhân trong 5 năm gần đây)
- Phạm vi nghiên cứu: Tập trung vào phương pháp, tiêu chí đánh giá
hiệu quả hoạt động khoa học và phát triển công nghệ, nghiên cứu, khảo sát và
xây dựng các tiêu chí đánh giá hiệu quả hoạt động của các đơn vị nghiên cứu
khoa học thuộc Viện Khoa học và Kỹ thuật hạt nhân
5. Phương pháp luận và phương pháp nghiên cứu
Một số phương pháp luận và phương pháp nghiên cứu có thể được lựa
chọn trong nghiên cứu của đề tài này gồm:

4


- Phương pháp phân tích tài liệu: phân tích và tổng kết các tài liệu liên
quan đến nội dung của đề tài (cơ sở lý thuyết liên quan, các báo cáo tổng kết
đề tài, báo cáo tổng hợp về công tác đánh giá NCKH&PTCN
- Phương pháp quan sát: khảo sát, quan sát hiệu quả hoạt động
NCKH&PTCN
- Phương pháp phỏng vấn: phỏng vấn một số chuyên gia về đánh giá
hiệu quả hoạt động NCKH&PTCN

- Phương pháp thu thập số liệu bằng phiếu điều tra với các đối tượng cụ
thể: các cán bộ khoa học, quản lý khoa học
6. Ý nghĩa luận văn
- Trên cơ sở phân tích logic và kết hợp vận dụng các kiến thức sẵn có
để làm rõ được phương pháp, tiêu chí đánh giá hiệu quả hoạt động
NCKH&PTCN, từ đó có những căn cứ lý thuyết quan trọng luận giải cho việc
đánh giá hiệu quả NCKH&PTCN tại Viện KH&KTHN
- Làm rõ được bức tranh thực trạng hoạt động nghiên cứu khoa học và
công nghệ, đánh giá hiệu quả và xây dựng bộ tiêu chí đánh giá hiệu quả cho
Viện KH&KTHN từ đó làm tiền để các nghiên cứu tiếp tục được phát triển
phục vụ cho ngành năng lượng nguyên tử Việt Nam
7. Cơ cấu của luận văn
Ngoài phần mở đầu và kết luận, luận văn được kết cấu thành 3 chương
như sau:
Chương 1. Cơ sở lý luận về đánh giá hiệu quả hoạt động nghiên cứu
khoa học và phát triển công nghệ
Chương 2. Xây dựng phương pháp đánh giá hiệu quả nghiên cứu khoa
học và phát triển công nghệ
Chương 3. Đánh giá hiệu quả hoạt động nghiên cứu khoa học và phát
triển công nghệ tại Viện KH&KTHN

5


Chương 1
CƠ SỞ LÝ LUẬN VỀ ĐÁNH GIÁ HIỆU QUẢ HOẠT ĐỘNG NGHIÊN
CỨU KHOA HỌC VÀ PHÁT TRIỂN CÔNG NGHỆ
Nhiều quốc gia ở các trình độ phát triển khác nhau trên thế giới từ mấy
thập kỷ gần đây đã có những thay đổi tư duy, quan điểm và cách tiếp cận
đánh giá hiệu quả hoạt động nghiên cứu khoa học và phát triển công nghệ

trong bối cảnh quốc tế hóa và toàn cầu hóa. Vậy đánh giá hiệu quả hoạt động
nghiên cứu khoa học và phát triển công nghệ được hiểu như thế nào? và cách
tiếp cận ra sao? hay dùng phương pháp gì đều cần phải tìm hiểu và làm rõ.
Việc thống nhất các khái niệm trong chương này là cần thiết để có cơ sở trao
đổi những nội dung tiếp sau đó.
1.1. Tổng quan về hoạt động NCKH&PTCN
Theo Luật Khoa học và Công nghệ đã định nghĩa một số khái niệm như
sau [19]:
- Khoa học là hệ thống tri thức về bản chất, quy luật tồn tại và phát
triển của sự vật, hiện tượng tự nhiên, xã hội và tư duy
- Công nghệ là giải pháp, quy trình, bí quyết kỹ thuật có kèm theo hoặc
không kèm theo công cụ, phương tiện dùng để biến đổi nguồn lực thành sản
phẩm. [19]
Hoạt động Khoa học và Công nghệ là hoạt động nghiên cứu khoa học,
nghiên cứu và triển khai thực nghiệm, phát triển công nghệ, ứng dụng công
nghệ, dịch vụ khoa học và công nghệ, phát huy sáng kiến và hoạt động sáng
tạo khác nhằm phát triển khoa học và công nghệ
Theo UNESCO[14], hoạt động khoa học và công nghệ (scientific and
technological activities) được định nghĩa là "các hoạt động có hệ thống liên
quan chặt chẽ với việc sản xuất, nâng cao, truyền bá và ứng dụng các tri thức
khoa học và kỹ thuật (scientific and technologies knowledge) trong mọi lĩnh

6


vực của khoa học và công nghệ, là các khoa học tự nhiên và công nghệ, các
khoa học y học và nông nghiệp, cũng như các khoa học xã hội và nhân văn".
Định nghĩa này được đặc trưng bởi hai khía cạnh cơ bản: Khía cạnh thứ
nhất liên quan tới bản chất của các hoạt động KH&CN; chúng tập trung và
gắn chặt với việc sản xuất, phân bố và sử dụng các kiến thức khoa học kỹ

thuật. Chính trong phạm vi hoạt động KH&CN mà các kiến thức khoa học và
kỹ thuật được tạo ra, truyền bá, thu thập, sửa đổi, cải biến, làm cho phù hợp
với nhu cầu và được sử dụng. Khía cạnh thứ hai liên quan tới các lĩnh vực
được các hoạt động này bao quát.
Hoạt động KH&CN theo nghĩa này bao gồm:
- Hoạt động dịch vụ nghiên cứu khoa học và công nghệ
- Hoạt động chuyển giao công nghệ
Theo hệ phân loại này của UNESCO[14], những hoạt động sau đây
không được kể vào hoạt động KH&CN: giáo dục phổ thông và công tác đào
tạo không chính quy trong công nghiệp (học việc, vừa học vừa làm, v.v.); các
hoạt động thường nhật của các nhà xuất bản, các cơ quan phát thanh và truyền
hình; các dịch vụ y tế; sản xuất công nghiệp và phân phối hàng hóa và dịch vụ
(bao gồm cả sản xuất thử sau khi thử nghiệm thành công các vật mẫu –
prototype). Họ cho rằng sản xuất các vật mẫu là thuộc chức năng của sản
xuất.
Trên đây là quan điểm của UNESCO[14] trình bày vào giữa những
năm 1970 và đặt trong khuôn khổ quan niệm "hoạt động KH&CN" ở Châu
Âu. Nhưng trên thực tế ở nhiều quốc gia và ngay cả ở nước ta, hoạt động sản
xuất các prototype trong các xưởng pilot vẫn được xếp trong phạm trù của
giai đoạn cuối cùng của nghiên cứu và triển khai.
Cũng trong những năm 1970, UNESCO không xem hoạt động "Triển
khai" có mặt trong các khoa học xã hội, nhưng các tài liệu về sau này, cộng
đồng nghiên cứu đã công nhận, trong khoa học xã hội cũng có hoạt động
7


"Triển khai", ví dụ triển khai một mô hình thí điểm về tổ chức và quản lý, về
một phương pháp giảng dạy mới, v.v...
Trong khuôn khổ luận văn này, tác giả không bàn một cách toàn diện
việc đánh giá hoạt động KH&CN, mà chỉ giới hạn trong phạm vi các hoạt

động nghiên cứu khoa học và phát triển công nghệ[19].
- Nghiên cứu Khoa học là hoạt động khám phá, phát hiện, tìm hiểu bản
chất, quy luật của sự vật, hiện tượng tự nhiên, xã hội và tư duy; sáng tạo giải
phápnhằm ứng dụng vào thực tiễn.
- Phát triển Công nghệ là hoạt động sử dụng kết quả nghiên cứu cơ
bản, nghiên cứu ứng dụng, thông qua việc triển khai thực nghiệm và sản xuất
thử nghiệm để hoàn thiện công nghệ hiện có, tạo ra công nghệ mới.
1.2. Tổng quan về Đánh giá hiệu quả hoạt động nghiên cứu khoa học và
phát triển công nghệ
1.2.1. Khái niệm Hiệu quả và Phân loại hiệu quả
Hiệu quả
Hiệu quả của nghiên cứu khoa học và phát triển công nghệ
(NCKH&PTCN) là lợi ích thu được sau khi áp dụng kết quả nghiên cứu
(KQNC) khoa học[14].
Như vậy, một KQNC có thể đưa lại hiệu quả sau khi áp dụng, và sẽ
không đưa lại hiệu quả gì nếu không đưa vào áp dụng.
Tuy nhiên, người ta có thể tính trước được những hiệu quả dự kiến nếu
như một KQNC được áp dụng trong tương lai. Người ta gọi đó là hiệu quả
tiềm năng.
Phân loại hiệu quả
Tùy thuộc hiệu quả NCKH&PTCN được xem xét trên góc độ nào mà
chúng ta có các loại hiệu quả NCKH&PTCN khác nhau:
- Hiệu quả tri thức là những đóng góp của KQNC làm tăng thêm những
hiểu biết mới của con người với tự nhiên và xã hội
8


- Hiệu quả đào tạo là những đóng góp của KQNC vào việc phát triển
nội dung và phương pháp đào tạo
- Hiệu quả công nghệ là những đóng góp của KQNC vào sự phát triển

những công nghệ mới
- Hiệu quả môi trường là những đóng góp của KQNC vào việc chống ô
nhiễm môi trường, làm sạch môi trường, phát triển một nền sản xuất không
gây ô nhiễm môi trường
- Hiệu quả kinh tế là sự đóng góp của KQNC vào sự phát triển sản xuất,
phát triển kinh tế, đưa lại lợi nhuận cho nhà kinh doanh, biến đổi cơ cấu kinh
tế theo hướng tiến bộ xã hội
- Hiệu quả xã hội là sự đóng góp của KQNC vào những biến đổi xã hội
với một nghĩa rộng nhất; bao gồm sự nâng cao dân trí, phát triển văn hóa,
tăng cường an ninh quốc phòng, v.v...
- Tiêu chí đánh giá [20] là tiêu chí được thiết lập để đánh giá kết quả
đạt được so với mục tiêu đã đề ra trong định hướng và kế hoạch của tổ chức
khoa học và công nghệ thông qua việc so sánh điểm mạnh và điểm yếu.
1.2.2. Đánh giá hiệu quả
Khái niệm “Đánh giá hiệu quả”[14]
Đánh giá hiệu quả nghiên cứu khoa học và phát triển công nghệ là sự
so sánh lợi ích thu được trước và sau khi áp dụng KQNC.
Phương pháp thông dụng nhất và cũng được xem là tiến bộ nhất hiện
nay là sử dụng phương pháp đánh giá tương quan Cost/Benefit, thông qua
việc xác định quan hệ Cost/Benefit Analysis.
Tuy nhiên, trong khoa học không phải hiệu quả nào cũng có thể đánh
giá bằng chỉ tiêu này mà chỉ có thể đánh giá định tính.
Mục đích đánh giá hiệu quả
Đánh giá hiệu quả NCKH&PTCN là nhằm đưa ra những nhận dạng
mức độ hiệu quả của mỗi phương án đầu tư vào nghiên cứu khoa học và phát
9


triển công nghệ, xem đầu tư vào hướng nào thì đạt được hiệu quả như thế nào,
từ đó có thể so sánh hiệu quả của những phương án đầu tư khác nhau, để cuối

cùng đưa ra được những quyết định chính sách đầu tư có hiệu quả nhất.
Quan điểm đánh giá hiệu quả
Hiệu quả của NCKH&PTCN là một phạm trù phức tạp, thậm chí rất
phức tạp, không dễ đặt một con số về đầu tư và NCKH&PTCN nói chung và
mọi chi phí để dẫn đến KQNC lên bàn để tính toán hiệu quả.
Lý do của những khó khăn này khá đa dạng, nhưng có thể nêu vài điểm
như sau:
- Không phải mọi KQNC đều đưa đến hiệu quả kinh tế
Đây là một đặc điểm rất quan trọng của khoa học. Như chúng ta đều
biết, không phải mọi KQNC đều đưa đến hiệu quả kinh tế. Ví dụ: những
KQNC cơ bản đưa ra những lý thuyết có giá trị bước ngoặt cách mạng trong
khoa học, kể cả trong khoa học tự nhiên và khoa học xã hội, những nghiên
cứu về văn hóa, về đạo đức, về xã hội, về chính trị, v.v..
Ngược lại, trong hàng loạt trường hợp, những hiệu quả không thể tính
thành tiền này lại có những ảnh hưởng gấp bội so với những hiệu quả có thể
tính được bằng tiền. Chẳng hạn: lý thuyết tương đối của Einstein, Tư bản của
Marx, Lý thuyết tiến hóa của Darwine.
- Không phải mọi hiệu quả kinh tế đều thấy được ngay
Ngay trong trường hợp các KQNC đưa đến hiệu quả kinh tế, thì cũng
không phải mọi KQNC có thể cho ta hiệu quả kinh tế thấy được ngay mà còn
có một độ trễ nhất định.
Tuy nhiên, một khó khăn nữa lại xuất hiện, đó là không dễ gì xác định
độ trễ. Bởi vì trong thực tế tồn tại rất nhiều nguyên nhân dẫn đến độ trễ trong
áp dụng KQNC như là:
Mong muốn của nơi áp dụng. Người ta có muốn áp dụng hay không?

10


Ngay cả khi đã có ý định áp dụng, vẫn còn một loại yếu tố cần xem xét,

chẳng hạn có đủ để đầu tư không? Có đủ những nguyên liệu cần thiết để sản
xuất sản phẩm theo yêu cầu mới hay không? Có thị trường tiêu thụ hay
không? Sản xuất có đưa lại hiệu quả kinh tế hay không?...
Ngay cả khi đã thỏa mãn tất cả các yếu tố trên đây, vẫn còn tồn tại vấn
đề môi trường. Sản xuất sản phẩm này có gây những tác hại tới môi trường
hay không?
Khi điều kiện môi trường thỏa mãn, thì vẫn còn cần xem xét hàng loạt
thiết chế xã hội có cho phép áp dụng hay không? Ví dụ: đưa ra một phương
pháp phòng chống sự cố an toàn bức xạ trong khu dân cư trong khi dân ở đó
không hiểu rõ về sự cố bức xạ mà có hành vi gây cản trở nhân viên an toàn.
Ngay cả khi các thiết chế xã hội thuận lợi, vẫn còn yếu tố năng lực của
hạ tầng công nghiệp. Hạ tầng công nghiệp có đủ năng lực sản xuất những sản
phẩm theo những yêu cầu mới hay không?
1.2.3. Các hướng tiếp cận đánh giá hiệu quả
Tiếp cận thông tin[14]
Theo cách tiếp cận thông tin, chúng ta có thể đánh giá hiệu quả
NCKH&PTCN của một chương trình, của một đề tài, của một đơn vị tổ chức
nghiên cứu khoa học và triển khai kỹ thuật, và của cơ quan khoa học bởi
“Hiệu quả thông tin”. Hiệu quả thông tin là kết quả đóng góp vào sự tăng
lượng thông tin trong lĩnh vực nghiên cứu được xem xét. Như chúng ta thấy,
hiệu quả này chỉ có thể đánh giá định tính.
Tiếp cận công nghệ
Theo cách tiếp cận công nghệ, chúng ta có thể đánh giá hiệu quả
NCKH&PTCN của một chương trình, của một đề tài, của một tổ chức nghiên
cứu khoa học và triển khai kỹ thuật, và của cơ quan khoa học bởi “Hiệu quả
công nghệ”. Hiệu quả công nghệ là kết quả đóng góp vào sự xuất hiện một

11



công nghệ mới trong lĩnh vực nghiên cứu được xem xét. Như chúng ta thấy,
hiệu quả này cũng chỉ có thể đánh giá định tính.
Tiếp cận kinh tế
Theo cách tiếp cận kinh tế, chúng ta có thể đánh giá hiệu quả
NCKH&PTCN của một chương trình, của một đề tài, của một tổ chức nghiên
cứu khoa học và triển khai kỹ thuật, và của cơ quan khoa học bởi “Hiệu quả
kinh tế”. Hiệu quả kinh tế là kết quả tính bằng tiền sau khi áp dụng KQNC.
Như chúng ta thấy, hiệu quả này cũng có thể đánh giá cả bằng định tính, cả
bằng định lượng. Tuy nhiên, khó khăn trong đánh giá là khó bóc tách các yếu
tố cùng tham gia và cùng có ảnh hưởng đến hiệu quả kinh tế.
Tiếp cận môi trường
Theo cách tiếp cận môi trường, chúng ta có thể đánh giá hiệu quả
NCKH&PTCN của một chương trình, của một đề tài, của một tổ chức nghiên
cứu khoa học và triển khai kỹ thuật, và của cơ quan khoa học bởi “Hiệu quả
môi trường”. Hiệu quả môi trường là xét đến tác động của KQNC vào điều
kiện môi trường sau khi áp dụng KQNC. Hiệu quả này trong hàng loạt trường
hợp chúng ta có thể đánh giá cả bằng định tính, cả bằng định lượng.
Tuy nhiên, khi đánh giá “Hiệu quả môi trường” chúng ta đụng chạm tới
rất nhiều quan điểm đánh giá khác nhau thuộc các cách tiếp cận nghiên cứu
khác nhau về bản thân môi trường: tiếp cận dịch tễ học môi trường, tiếp cận
độc học môi trường, tiếp cận công nghệ học môi trường, tiếp cận sinh thái học
môi trường và tiếp cận xã hội học môi trường.
Tiếp cận xã hội
Theo cách tiếp cận xã hội, chúng ta có thể đánh giá hiệu quả
NCKH&PTCN của một chương trình, của một đề tài, của một tổ chức nghiên
cứu khoa học và triển khai kỹ thuật, và của cơ quan khoa học bởi “Hiệu quả
xã hội”. Hiệu quả xã hội là xét đến tác động của KQNC vào những biến đổi
xã hội, tốt lên hoặc xấu đi sau khi áp dụng KQNC. Hiệu quả xã hội bao quát
12



một giải rất rộng, có thể là văn hóa, lối sống, an ninh, quốc phòng, v.v... Hiệu
quả này trong một số trường hợp chúng ta có thể đánh giá cả bằng định tính,
cả bằng định lượng nhưng chủ yếu và trước hết là đánh giá định tính.
Mỗi cách tiếp cận có những chuẩn mực riêng để đánh giá. Tuy nhiên,
như đã phân tích ở trên, hiện nay trên thế giới chưa có những phương pháp
định lượng thỏa mãn yêu cầu đánh giá hiệu quả. Việc đánh giá chủ yếu vẫn
dựa trên các chuẩn mực định tính.
Việc đánh giá hiệu quả hoạt động nghiên cứu khoa học và phát triển
công nghệ của tổ chức được thực hiện trên cơ sở kết hợp hai phương pháp:
Đánh giá định tính và đánh giá định lượng. Trong đó:
Đánh giá định tính là phương pháp tiếp cận nhằm mô tả và phân tích
đặc điểm của đối tượng, phân tích những điểm mạnh, điểm yếu và đề xuất
những kiến nghị để cải thiện hoạt động của tổ chức. Chuyên gia đánh giá đưa
ra những nhận định đánh giá định tính theo từng tiêu chí đánh giá để hỗ trợ
đánh giá định lượng.
Đánh giá định lượng là phương pháp chấm điểm đánh giá trên cơ sở
xác định trọng số, mức đánh giá và tổng hợp điểm đánh giá theo mỗi tiêu chí,
nhóm tiêu chí đánh giá. Việc xác định trọng số phù hợp cho mỗi nhóm tiêu
chí và cho từng tiêu chí đánh giá trong mỗi nhóm phải căn cứ vào đặc trưng
hoạt động chủ yếu của tổ chức nghiên cứu khoa học và phát triển công nghệ
được đánh giá.
1.3. Kinh nghiệm quốc tế
Trong phần này tác giả đưa ra một số kinh nghiệm đánh giá hoạt động
nghiên cứu khoa học và phát triển công nghệ của một số nước phát triển
1.3.1. Kinh nghiệm của Úc
Các loại hình đánh giá hiệu quả nghiên cứu khoa học và phát triển công
nghệ thông qua các dự án nghiên cứu ở Úc

13



Năm 2003, Hội đồng nghiên cứu của Úc đã công bố kết quả nghiên cứu
về tác động của các nghiên cứu được tài trợ công, trong đó họ đã xem xét lại
các tài liệu và kiểm tra nhiều đối tượng cụ thể nhằm mục đích xác định những
tác động tích cực của các nghiên cứu đó. Các tác động cơ bản được xác định
bao gồm:
+) Đối với các dự án nghiên cứu cơ bản, theo quan điểm của Úc, mục
tiêu của nghiên cứu cơ bản không phải là trực tiếp tạo ra các sản phẩm thương
mại mà là cung cấp những hỗ trợ cần thiết cho các nghiên cứu khác mang tính
ứng dụng hơn. Ngoài vai trò phổ biến đó, nghiên cứu cơ bản còn có vai trò
quan trọng chính giúp cho việc cải tiến thành công. Như vậy, tác động của các
dự án nghiên cứu cơ bản bao gồm:
- Đào tạo những nhà nghiên cứu, họ sẽ làm việc trong các ngành công
nghiệp hoặc làm việc cho Chính phủ và tác động của việc đào tạo các nhà
nghiên cứu có thể được thể hiện dựa trên những tác động của họ tới năng
suất lao động,…
- Tạo ra một “kho dữ liệu tri thức”, nhờ đó phát triển hiệu quả của các
hoạt động nghiên cứu công nghệ;
- Cho phép gia nhập thành viên của những mạng lưới nghiên cứu và
phát triển, đạt được sự tiếp cận tới một hệ tri thức từ khắp mọi miền;
- Phát triển kỹ thuật nghiên cứu mới và công cụ mới (nâng cao những
kỹ năng cơ bản);
+) Đối với các dự án nghiên cứu ứng dụng và phát triển công nghệ, tác
động từ các dự án có thể được bao gồm cả các tác động giống như của
nghiên cứu cơ bản và kèm thêm các tác động sau:
- Các đóng góp cho sự tăng trưởng kinh tế (sự hình thành sản phẩm trí
tuệ có khả năng thương mại);
- Đóng góp cho sự phát triển xã hội (lợi ích mang lại từ việc hình thành
những chính sách tốt hơn; sức khỏe; văn hóa; …);

14


- Đóng góp cho việc bảo vệ môi trường, hệ sinh thái.
Đánh giá hiệu quả các dự án nghiên cứu khoa học và phát triển công nghệ
vào thực tế
Hiệu quả kinh tế
Ở Úc, giá trị kinh tế của việc cải thiện sức khỏe đang thu hút nhiều sự
quan tâm. Ảnh hưởng kinh tế của việc cải thiện sức khỏe con người vẫn đang
được nghiên cứu thông qua việc xem xét các khía cạnh sau:
- Tiền tiết kiệm trực tiếp trong hệ thống chăm sóc sức khỏe, bao gồm
giảm chi phí khám chữa bệnh tại bệnh viện, hạn chế phẫu thuật, giảm sự phụ
thuộc vào chăm sóc y tế tại nhà;
- Tiết kiệm gián tiếp dựa vào tăng cường sức khỏe dân số, bao gồm tăng
năng suất lao động, giảm số lượng ngày ốm đau và gia tăng tỉ lệ người có việc
làm.
Tương tự, một loạt chương trình đã được thực hiện ở Úc nhằm xác định
và đánh giá tác động của nghiên cứu tạo ra từ những kênh lợi ích về kinh tế có
thể đánh giá được. Cụ thể, những chương trình này cố gắng tạo ra mối liên hệ
giữa các nghiên cứu được thực hiện với những kết quả hoặc quy trình mới
hay vừa được cải tiến trong công nghiệp. Chi phí cho nghiên cứu khi đó được
so sánh với giá trị của các kết quả, quy trình mới vừa được cải tiến trong công
nghiệp. Có lẽ những ví dụ điển hình nhất về chi phí – lợi ích được đề cập tại
lĩnh vực nghiên cứu về nông nghiệp. Tại Úc, Liên doanh phát triển nông thôn
đã có một quá trình dài nghiên cứu về đề tài này. Năm 2001 CSIRO đã công
bố một nghiên cứu về mối liên hệ giữa những lợi ích kinh tế với số lượng
những dự án nghiên cứu.
Hiệu quả phi kinh tế
Giá trị cuộc sống và chất lượng cuộc sống chính là mục đích sự tính
toán. Cách tiếp cận này đã đưa đến nỗ lực nhằm chuyển hoá giá trị phi tiền

bạc (tinh thần) sang những giá trị bằng tiền (vật chất). Sử dụng một phương
15


pháp tương tự đã được áp dụng trong nghiên cứu của Mỹ, nghiên cứu được uỷ
nhiệm bởi Hiệp hội nghiên cứu y học của Úc đã chỉ ra những tác động rất lớn
của sự đầu tư vào nghiên cứu và phát triển sức khoẻ. Đó là:
- Đầu tư vào nghiên cứu và phát triển thuộc lĩnh vực sức khoẻ chỉ ra
rằng để chất lượng cuộc sống tăng lên gấp rưỡi trong vòng 40 năm, với tuổi
thọ được kéo dài 8 năm kể từ năm 1960 cùng với việc nâng cao sức khoẻ thì
người Úc đã chi mất 5,4 nghìn tỷ $Úc.
- Những thành quả trong xử lý các bệnh về tim mạch có giá trị 1,7
nghìn tỷ $Úc;
- Nghiên cứu và phát triển về sức khoẻ đã làm giảm 20% số người chết
vì ung thư, có giá trị 184 tỷ $Úc.
Tiêu chí đánh giá hiệu quả
Tác giả của những chương trình đánh giá tác động các dự án nghiên
cứu và triển khai ở Úc đã xác định những chỉ số tác động lên vật chất, con
người, môi trường và xã hội đối với các dự án thuộc các lĩnh vực cụ thể. Ví
dụ, những chỉ số về công bố, phổ biến trong khoa học thể chất và sinh học có
thể liên quan đến các tác động như:
- Số lượng những bài báo đã xuất bản được trích dẫn cao;
- Sốlượng những bài báo được đăng ở những tạp chí có chất lượng cao;
- Số lượng những bằng phát minh được trích dẫn cao;
- Tỷ lệ thành công để đảm bảo việc tài trợ cho nghiên cứu được phân
bổ một cách cạnh tranh;
- Lời mời tham gia hoạt động tại các Ban Tư vấn Chính phủ;
- Giá trị của sự đóng góp vào quỹ nghiên cứu từ khu vựccông nghiệp;
- Giá trị của những hợp đồng tài trợ cho nghiên cứu từ khu vực công
nghiệp.

Trong khoa học xã hội và nhân văn, những chỉ số chỉ chất lượng có thể
liên quan đến các tác động như:
16


- Số lượng những cuốn sách được xuất bản tại nhà xuất bản lớn;
- Số lượng những bài báo xuất bản được trích dẫn cao;
- Số lượng bài báo được đăng trên những tạp chí chất lượng cao;
- Tỷ lệ thành công để đảm bảo việc tài trợ cho nghiên cứu được phân
bổ một cách cạnh tranh;
- Lời mời tham gia hoạt động ở các Ban Tư vấn Chính phủ;
- Giá trị những hợp đồng nghiên cứu từ khu vực công nghiệp và Chính
phủ;
- Số lần trích dẫn của những bài báo được đăng trên những tạp chí chất
lượng cao.
Trong khoa học thể chất và sinh học, những chỉ số chỉ sự phổ biến có
thể liên quan đến những tác động sau:
- Các bài trình bày tại hội thảo được tài trợ từ khu vực công nghiệp;
- Các bài trình bày tại hội thảo được tài trợ từ trường đại học;
- Các bài trình bày tại những tầng lớp xã hội uyên bác;
- Việc cung cấp những bản tin nghiên cứu cho các chủ thể (đối tượng)
thuộc khu vực công nghiệp;
- Những hội thảo có sự tham gia của những người sử dụng có tiềm
năng đến từ khu vực công nghiệp;
- Kết quả từ những cuộc điều tra của những nhà quản lý nghiên cứu từ
Chính phủ và khu vực công nghiệp, cũng như những người quan tâm kiểu các
nhà nghiên cứu học thuật “tác động cao”;
- Số lượng sinh viên tham gia nghiên cứu và sau đó làm việc tại các
doanh nghiệp.
Trong khoa học xã hội và nhân văn, những chỉ số chỉ sự phổ biến có thể

liên quan đến những tác động, bao gồm:
- Các bài trình bày tại những tầng lớp xã hội có tri thức;
- Các bài trình bày tại những hội nghị học thuật;
17


- Các bản đệ trình theo yêu cầu của Chính phủ;
- Các trích dẫn của nghiên cứu trong các bài báo về chính sách của
chính phủ;
- Những bài báo được đăng trên các báo nổi tiếng;
- Nghiên cứu được trích dẫn trong các bài báo đăng trên báo nối tiếng;
- Kết quả từ những cuộc điều tra của người đứng đầu bộ phận chính
sách trong các cơ quan Chính phủ, cũng như những người quan tâm kiểu các
nhà nghiên cứu học thuật “tác động cao”;
- Số lượng những sinh viên làm nghiên cứu, sau đó tiếp tục làm việc
cho những cơ quan Chính phủ, các Bộ và khu vực công nghiệp.
1.3.2. Kinh nghiệm của Pháp
Tổng quan về hoạt động đánh giá hoạt động nghiên cứu khoa học
và phát triển công nghệ
Hiện nay tại Pháp cũng như trên thế giới, có 03 dạng đánh giá chương
trình/dự án mà mỗi cái có liên hệ mật thiết với vòng đời của Chương trình/dự
án như:
- Đánh giá đầu vào được thực hiện trong thời điểm thiết kế một
chương trình/dự án. Đây là hoạt động đánh giá để phục vụ cho việc chuẩn bị
và xác định một đề xuất có thực sự tốt của một chương trình mới trước khi
nó được đưa vào triển khai. Nhiệm vụ của hoạt động đánh giá này là xác
định sự đầy đủ của các mục tiêu thông qua các báo cáo được yêu cầu, các
vấn đề cần giải quyết (sự phù hợp). Đối với Cộng đồng Châu Âu và nhiều
quốc gia Châu Âu thì việc đánh giá đầu vào là bắt buộc trước khi một
Chương trình/dự án mới được đưa ra.

- Đánh giá giữa kỳ có thể được thực hiện để xác định, ở giữa vòng đời
của chương trình/dự án, nếu có yêu cầu được đặt ra, nếu việc quản lý chương
trình/dự án tiến hành như đã dự kiến hoặc cần thiết có sự thay đổi, và để
phân tích có thể có những tác động đầu tiên của Chương trình/dự án. Một ví
18


dụ cho việc đánh giá giữa kỳ đã được thực hiện vào năm 1999 cho Chương
trình liên bộ về nghiên cứu, phát triển và đổi mới trong lĩnh vực giao thông
đường bộ tại Pháp. Đánh giá đã cho phép có rất nhiều điều chỉnh cho chương
trình này như sự hợp tác tốt hơn giữa các nhóm thực hiện trước các sự phân
nhóm và phân vùng trách nhiệm.
- Đánh giá kết thúc chương trình/dự án hoặc đánh giá hậu chương
trình/dự án, hai dạng đánh giá khác nhau, thiên về lĩnh vực quản lý được thực
hiện với mục đích về chính sách, tính toán những đóng góp của chương
trình/dự án mang lại.
Kinh nghiệm của Pháp trong việc xây dựng phương pháp luận
đánh giá hiệu quả hoạt động NCKH&PTCN
Đặc thù nghiên cứu dựa vào chính sách công của Pháp. Cách tiếp cận
theo hướng này được đề xuất bởi Cơ quan giám sát khoa học và công nghệ
Pháp (OST). Trong tổ chức này, một nhóm công tác nghiên cứu hai mục
liên quan đến vấn đề đặt ra là:
- Nghiên cứu và phát triển các phương pháp đối với cơ quan giám sát
các chính sách công
- Các dự án nghiên cứu đã chính thức kết thúc
Các nghiên cứu và phát triển các phương pháp cho cơ quan giám sát
các chính sách công đề cập đến những nghiên cứu tác động thực tiễn lên
người sử dụng, những nghiên cứu tác động lên các quyết định của những cơ
quan quyền lực công, những nghiên cứu đánh giá sự thỏa mãn của người sử
dụng đối với các chính sách công.

Đánh giá tác động/hiệu quả các dự án nghiên cứu đã chính thức kết
thúc gồm các công trình nghiên cứu được dành cho các mục đích cụ thể trong
các lĩnh vực trực tiếp liên quan đến quyền lực công, như giao thông, y tế hay
môi trường v.v. Những dự án nghiên cứu này có thể được trợ cấp vốn hoặc
không. Những dự án này có thể là kết quả của một công trình dự báo của tổ
19


×