January 2010
QUY TRÌNH THEO DÕI VÀ ĐÁNH GIÁ
PHIÊN BẢN 3
Chương trình hợp tác Nông nghiệp và Phát triển nông thôn
Việt Nam
Tháng 01/2010
January 2010
MỤC LỤC
Tóm tắt
1 KHUNG M&E CỦA CARD 1
1.1 Giới thiệu 1
1.2 Tổng quan 1
1.3 M&E cấp Dự án 2
1.4 M&E tại cấp độ Chương trình 2
1.5 M&E cấp độ thể chế 3
1.6 Sự phù hợp của M & E trong chu trình dự án CARD 3
1.7 Mục đích của tài liệu này 3
2 NGUYÊN TẮC CƠ BẢN THEO DÕI VÀ ĐÁNH GIÁ 4
2.1 Tổng quan 4
2.2 Năm câu hỏi chính 4
2.3 Dự án khác nhau, cách tiếp cận khác nhau 5
3 M&E TRONG CHƯƠNG TRÌNH CARD 6
3.1 Tổng quan 6
3.2 Phương pháp Khung Logic (Logframe) 6
3.3 Kết quả / tác động trung gian và cu
ối cùng 7
3.4 Thiết kế đối với tác động 8
3.5 Khi nào Theo dõi và Đánh giá? 8
4 KỸ THUẬT M & E VÀ ĐÁNH GIÁ TÁC ĐỘNG 9
4.1 Các tiêu chí kết quả 10
4.2 Các nguồn thông tin và thời điểm của Tác động 11
4.3 Sử dụng những phát hiện tiêu cực 12
4.4 Thông tin cơ bản 12
4.5 Tùy chọn cho so sánh 14
4.6 Phân tích Đóng góp 14
4.7 Những công cụ M&E đặc biệt 15
4.8 Những tác động được đánh giá 17
4.9 Giám sát môi trường 18
4.10 Đánh giá thành công của dự án 18
5 PHÂN TÍCH LỢI ÍCH CHI PHÍ TRONG M & E 19
5.1 Tổng quan 19
5.2 Xác đị
nh lợi ích và chi phí 19
5.3 Khái niệm nông trại đại diện 21
5.4 Ngân sách trang trại 21
5.5 So sánh Chi phí và Lợi nhuận 22
6 KẾ HOẠCH ĐÁNH GIÁ CHƯƠNG TRÌNH CARD 23
6.1 Tổng quan 23
6.2 Đánh giá giữa kỳ 23
6.3 Đánh giá dự án và đánh giá hoàn thành Chương trình 23
6.4 Đánh giá sau dự án 24
6.5 Nhu cầu đào tạo thêm 25
6.6 Kết luận 25
Phụ lục 1: Thuật ngữ và các định nghĩa
Phụ lục 2: Quy trình và Mô tả nhiệm vụ cho Đánh giá giữa kỳ
Phụ lục 3: Quy trình và Mô tả
nhiệm vụ cho Đánh giá hoàn thành dự án
Phụ lục 4: Các Mẫu phân tích tài chính doanh nghiệp
CARD – M&E Procedures
January 2010
2
NHỮNG CHỮ VIẾT TẮT
AMC Nhà thầu quản lý của Úc
APR Báo cáo tiến độ hàng năm
AusAID Cơ quan phát triển quốc tế của Úc
BCA Phân tích Lợi nhuận/Chi phí
BCR Tỷ số Lợi nhuận/Chi phí
CARD Chương trình Hợp tác NN và PTNT
EIA Đánh giá Tác động môi trường
EMP Kế hoạch quản lý môi trường
EOI Thư bày tỏ quan tâm
IFAD Quỹ Phát triển NN quốc tế
M&E Giám sát và Đánh giá
MARD Bộ NN và PTNT
MTR Đánh giá giữa kỳ
PCC Ban Đ
iều hành Chương trình
PCE Đánh giá hoàn thành dự án
PCR Báo cáo hoàn thành dự án
PMU Ban Quản lý Chương trình
STED Vụ KHCN và Môi trường (thuộc Bộ NN và PTNT)
TAP Ban Tư vấn kỹ thuật
TOR Bản mô tả chức năng nhiệm vụ
LỜI CẢM ƠN
Kế hoạch và thủ tục M & E CARD được mô tả trong tài liệu này dựa trên khuyến nghị của
AusAID về theo dõi và đánh giá dự án như mô tả trong AusGuide được tải về từ
www.ausaid.gov.au / ausguide. Tài liệu cũng có từ "Hướng dẫn M & E cho các dự án" của
Quỹ Quốc tế về Phát triển Nông nghiệp (IFAD) và tải về từ www.ifad.org/evaluation/guide
CARD – M&E Procedures
January 2010
1
KHUNG GIÁM SÁT VÀ ĐÁNH GIÁ CHƯƠNG TRÌNH CARD
DỰ ÁN CHƯƠNG TRÌNH BỘ NN&PTNT
CÁC VIỆN NGHIÊN CỨU
Thông tin cơ
sở
Tự đánh giá.
Nghiên cứu trường
hợp
PMU ĐÓNG
GÓP CỦA
DỰ ÁN
THỰC HIỆN
CHƯƠNG
TRÌNH
THỂ CHẾ
ĐÁNH
GIÁ ĐẦU
VÀO
ĐỀ XUẤT DỰ
ÁN/BÁO CÁO
KHỞI ĐẦU
Tự đánh giá.
Phân tích các bên
tham gia lúc bắt
đầu
Đánh
giá tiến
độ theo
mục tiêu
Tham quan
thực địa và
báo cáo
Đầu vào
Khung Logic
và đánh giá
hoạt động
Đánh giá hoạt động nội bộ
trong phạm vi Khung logic
Đánh giá năng lực/thái độ lúc
bắt đầu dự án
ĐÁNH
GIÁ ĐẦU
RA
BÁO CÁO
TIẾN ĐỘ DỰ
ÁN
Báo cáo
đánh giá
tiến độ
Tham quan
thực địa và
báo cáo
Tỷ số định
tính để đánh
giá thành
công của dự
án
Đánh giá hoạt động bên ngoài
với tư vấn của Bô
NN&PTNT.
Đánh giá năng lực/thái độ lúc
kết thúc dự án
ĐÁNH
GIÁ TÁC
ĐỘNG
ĐÁNH GIÁ
KẾT THÚC
DỰ ÁN
Tự đánh giá lúc
kết thúc.
Nghiên cứu trường
hợp lực chọn
Báo cáo
kết thúc
dự án
Tham quan
thực địa và
cho điểm
tác động
Đánh giá
Chương trình
Đánh giá PMU và đánh giá
tác động của CARD đến Bộ
NN&PTNT.
Đánh giá năng lực/thái độ lúc
kết thúc dự án
ĐÁNH GIÁ TÁC ĐỘNG TỔNG THỂ
CARD – M&E Procedures
January 2010
i
Các hoạt động EOI Thư bày tỏ sự quan tâmt
Phản hồi và bài học kinh nghiệm TAP Ban Tư vấn Kỹ thuật
PCC Ban Điều hành Chương trình CARD
Các giai đoạn M&E
PCR Báo cáo hoàn thành Dự án
Đánh giá trước dự án
Bắt đầu từ đây
Và tiếp tục suốt quá trình
thiết kế dự án
Hợp đồng xác định các kết quả,
thành quả và các điểm mốc
Giám sát tiếp tục suốt giai đoạn thực hiện
Đánh giá khởi đầu được thực hiện
lúc hoàn thành dự án
Đánh giá sau Dự án được thực hiện
một thời gian sau
Các đánh giá dự án được t
ổ
ng hợp lại
để đánh giá toàn bộ chương trình
Số liệu giám sát được sử
dụng cho quá trình đánh giá
GIÁM SÁT VÀ ĐÁNH GIÁ TRONG CHU TRÌNH DỰ ÁN CARD
Các Cơ quan
chủ trì dự án xác định
ý tưởng Dự án
Chuẩn bị Thư bày tỏ
quan tâm (EOI), nộp CARD
Ban Trợ giúp KT (TAP)
Đánh giá EOI
Chủ trì Dự án viêt Thuyết
minh dự án và Nộp cho
thẩm định độc lập
Sửa lại Thuyết minh dự
án nếu cần và nộp TAP
TAP đánh giá Thuyết
minh DA
Kiến nghị của TAP gửi
Ban Điều hành CARD (PCC)
Thẩm định lần cuối và
PCC phê duyệt
Thỏa thuận hợp đồng và
chi trả theo Điểm mốc
giữa CARD và Dự án
Thực hiện Dự án
Do chủ trì dự án thực
hiện và tự Giám sát
Đ
ánh giá hoàn thành
dự án độc lập
Đánh giá sau Dự án
độc lập
Các báo cáo đánh giá
- Tính thiết thực
- Hiệu quả
- Hiệu suất
- Tác động
- Bền vững
- Bài học kinh nghiệm
Báo cáo Giám sát
- Nghiên cứu tình hình thực tế
- Các báo cáo 6 tháng
- Các báo cáo kết quả
- Các báo cáo Kỹ thuật
- PCR
Bài học kinh nghiệm
Cho các vòng tài trợ
sau về thiết kế và
thực hiện Dự án
Đánh giá độc lập t
ổ
ng
thể danh mục R&D
của CARD-MARD
PCC xem xét EOIs và
đưa ra danh sách ngắn
Kiến nghị của TAP gửi cho PCC
Phản hồi
của PCC
Sửa và nộp lại
EOI
Phản hồi
của PCC
Phản hồi
của thẩm định
CARD – M&E Procedures
January 2010
ii
TÓM TẮT
Một trong những mục tiêu chính của CARD là tăng cường năng lực của Bộ NN & PTNT
trong việc quản lý các chương trình phát triển kỹ thuật và kiến thức nông nghiệp. Quản lý tốt
các chương trình đó phụ thuộc vào việc có thể giám sát và đánh giá chương trình về tính Phù
hợp, Hiệu quả, Hiệu suất, Tác động và Tính bền vững. Điều này cho thấy nghiên cứu và phát
triển (R & D) là một đầu tư
cần phải được đánh giá cùng với cơ hội đầu tư khác, để đảm bảo
các khoản đầu tư tốt nhất được lựa chọn từ những thay thế rất khác nhau. CARD đang trong
quá trình xây dựng năng lực cho Bộ NN & PTNT để thực hiện M & E cho các dự án R & D,
bắt đầu thực hiện với các dự án hiện đang được CARD hỗ trợ. Là một phần của quá trình này
CARD thuê chuyên gia M & E thực hi
ện tập huấn và thực hiện dịch vụ cho một nhóm cán bộ
của Bộ NN & PTNT và các Viện nghiên cứu liên quan. Vòng tập huấn đầu tiên đã hoàn thành
vào tháng 4/2007, vòng hai được thực hiện trong tháng 9 -10/2008, và một hội thảo đánh giá
M & E đã được tiến hành vào tháng 01/2010.
Khung M & E của CARD phục vụ cho yêu cầu M & E ở cấp dự án cũng như thể chế của quy
trình CARD trong Bộ NN & PTNT. Các yếu tố chính của nó là:
• M & E dự án nhằm đánh giá tiế
n độ và tác động của dự án hợp tác nghiên cứu về nâng cao
năng suất và khả năng cạnh tranh của hộ sản xuất nhỏ;
• M & E Chương trình CARD nhằm đánh giá tiến độ và tác động của toàn bộ Chương trình,
cả về lợi ích đối với người sản xuất nhỏ và nâng cao năng lực của các tổ chức nghiên cứu, để
thực hiện hiệu quả các dự án nghiên cứu;
• M & E ở cấp thể chế Bộ NN & PTNT trong việc đánh giá cải thiện năng lực trong Bộ NN &
PTNT (STED) trong tổ chức và quản lý Chương trình nghiên cứu của Bộ NN & PTNT
Chương trình CARD đã tập trung vào việc giám sát ở cấp độ dự án riêng rẽ thông qua các báo
cáo Điểm mốc và được đưa lên trang web. Trong năm 2008 và 2009 CARD bắt đầu đánh giá
8 Dự án đang thực hiện và 14 dự án đã kết thúc thông qua Đánh giá giữa kỳ (MTRs) và Đ
ánh
giá hoàn thành Dự án (PCEs) đã được cung cấp trong phiên bản trước đây của tài liệu này.
Báo cáo này là bước đầu tiên hướng tới đánh giá tổng thể Chương trình CARD.
Tài liệu này đưa ra các phương pháp tiếp cận đề xuất và thủ tục đánh giá dự án riêng rẽ dựa
trên các dữ liệu giám sát đã được tích lũy, và sau đó tập hợp những đánh giá này để đánh giá
cấp độ chương trình và cuối cùng đến cấ
p độ thể chế. Tài liệu đã được soạn thảo song song
với một chương trình đào tạo một nhóm cán bộ Bộ NN & PTNT và các tổ chức nghiên cứu
liên quan trong 3 buổi hội thảo và 21 nghiên cứu trường hợp. Chương trình đào tạo cho thấy
sự tiến bộ đáng kể trong việc phát triển một nhóm đánh giá có khả năng bước đầu đánh giá tất
cả các dự án CARD, và sau đó được t
ăng cường đánh giá cho toàn bộ danh mục đầu tư R&D
của Bộ NN & PTNT.
CARD đang đến giai đoạn cuối của thời hạn bảy năm và vì thế đây là thời gian thích hợp để
thực hiện nhiều PCE. Tài liệu này đưa ra một lịch trình để tiến hành những đánh giá này trong
thời gian còn lại của Chương trình. CARD sẽ hỗ trợ cung cấp huấn luyện và hướng dẫn cho
các nhóm đ
ánh giá hợp đồng cũng như đào tạo trên công việc về phương pháp đánh giá.
Những lợi ích sẽ là cải thiện thiết kế dự án, xác định các lĩnh vực có lợi nhuận đầu tư cao
(thấp), cải thiện tính phù hợp và tác động của dự án, và cải tiến tính rõ ràng, minh bạch trong
phân bổ nguồn lực cho nông nghiệp và phát triển nông thôn
January 2010
1 KHUNG M&E CỦA CARD
1.1 Giới thiệu
Một trong những mục tiêu chính của CARD là tăng cường năng lực của Bộ NN & PTNT về
quản lý chương trình phát triển kiến thức và kỹ thuật nông nghiệp và. Quản lý tốt các chương
trình đó phụ thuộc vào việc có thể giám sát và đánh giá chương trình về tính Phù hợp, Hiệu
quả, Hiệu suất, Tác động và Tính bền vững. CARD đang trong quá trình xây dựng năng lực
cho Bộ NN & PTNT để thực hiện M & E cho các dự án R & D, bắt đầu với các dự án hiện
đang được CARD hỗ trợ. Là một phần của quá trình này CARD thuê chuyên gia M & E để
thực hiện đào tạo và thực hiện dịch vụ cho một nhóm cán bộ của Bộ NN & PTNT và các Viện
nghiên cứu liên quan
1.2 Tổng quan
Mục đích của M & E là để học để có những can thiệp phát triển trong tương lai có thể có hiệu
quả
hơn. M & E không phải là một kiểm tra hoặc thực nghiệm. Nó không phải là kiểm toán.
Những kết quả tiêu cực có giá trị cung cấp để chúng tôi học hỏi. Quá trình học tập chủ yếu là
nội bộ CARD và các đơn vị thành viên tham gia CARD. Tuy nhiên nhu cầu học tập nội bộ
phải được cân bằng với trách nhiệm bên ngoài. Các dự án có trách nhiệm với các bên liên
quan nói riêng và và xã hội Việt Nam nói chung tới tài khoản cho các chi tiêu, hoạt động, đầu
ra và tác động.
Có một tổng quan về M & E cấp dự án về phát triển nông nghiệp mà chủ yếu hướng tới những
tác động lâu dài của dự án đầu tư lớn như những viện trợ của Ngân hàng Thế giới, ADB và
IFAD. CARD bao gồm một bộ các dự án tương đối nhỏ có ý định tạo ra lợi ích cho các bên
liên quan cả ngắn hạn và dài hạn. Về vấn đề này, CARD cần một cách tiếp cận M & E hơi
khác v
ới các mô hình sách giáo khoa tiêu chuẩn, và đó chắc chắn là rẻ hơn và ít phức tạp.
Khung M & E CARD (xem sơ đồ trên trong tài liệu này) yêu cầu cách tiếp cận đáp ứng yêu
cầu cho M & E ở cấp dự án, cấp Chương trình cũng như các thể chế của các quá trình CARD
trong Bộ NN & PTNT. Các yếu tố chính của nó là:
• M & E các Dự án nghiên cứu dự án nhằm đánh giá tiến độ và tác động của dự án hợp tác
nghiên cứu về nâng cao năng suất và khả
năng cạnh tranh của hộ sản xuất nhỏ;
• M & E Chương trình CARD nhằm đánh giá tiến độ và tác động của toàn bộ Chương trình,
cả về lợi ích đối với người sản xuất nhỏ và nâng cao năng lực của các tổ chức nghiên cứu, để
thực hiện hiệu quả các dự án nghiên cứu- đây là hiệu quả tổng của tất cả các hiệu quả thực
hiên t
ừng dự án; và
• M & E ở cấp thể chế Bộ NN & PTNT trong việc đánh giá cải thiện năng lực trong Bộ NN &
PTNT (STED) trong tổ chức và quản lý Chương trình nghiên cứu của Bộ NN & PTNT
Mục đích của Khung M&E đối với chương trình là để:
• Tạo thông tin có sẵn kịp thời và phù hợp để hỗ trợ các quyết định quản lý hiệu quả của
Ban QLDA, Ban điều phối Chương trình (PCC), AMC và AusAID.
• Đánh giá tiến độ của dự án và xác định những vấn đề để việc quản lý có thể có những
hành động cần thiết; và
• Cung cấp thông tin cho quản lý nội bộ và báo cáo bên ngoài
CARD – M&E Procedures
January 2010
2
1.3 M&E cấp Dự án
Chiến lược M & E ở cấp dự án xoay quanh việc phát triển một khung đơn giản hóa cho từng
dự án, và từ đó phát triển các mốc đầu ra và kết quả và giao nộp sản phẩm đối với mỗi hợp
đồng dự án. Các điểm mốc là báo cáo tiến độ sáu tháng ghi nhận những kết quả so với các
hoạt động khung và xác định những điểm nổi bậ
t và các vấn đề trong thực hiện dự án. Các
điểm mốc đầu ra tập trung vào tác động ở cấp nông hộ nhỏ và thể chế. Một cột mốc quan
trọng cho mỗi dự án là thiết lập các thông tin cơ bản về thực trạng, mức sản xuất và lợi nhuận.
Các điểm mốc cuối cùng của mỗi dự án xác nhận về tác động của dự án liên quan đến thông
tin cơ
bản về thực trạng và viết Báo cáo hoàn thành dự án.
Báo cáo Dự án gồm việc kết hợp các thành tích do các tổ chức tự đánh giá so với các biện
pháp thực hiện cụ thể của họ, được chi tiết trong khung logic và mốc dự án. CB đánh giá của
Ban QLDA theo dõi các dự án thông qua thẩm định các mốc kết quả đầu ra của Dự án. Một
khi dự án hoàn thành, các nghiên cứu trường hợp độc lập của các dự án được ch
ọn sẽ được
đưa vào để đánh giá tác động tiềm năng về kinh tế, xã hội và môi trường.
Ở cấp dự án báo cáo điểm mốc đầu ra gồm báo cáo tiến độ 6 tháng và Báo cáo hàng năm
(APR) và Báo cáo hoàn thành Dự án (PCR). Báo cáo hàng năm và cuối của dự án so với kết
quả các biện pháp thực hiện đã được quy định. Việc gửi báo cáo và thanh toán các mốc thực
hiện được theo dõi trên cơ sở dữ liệu củ
a Ban QLDA và bất cứ vấn đề có trong quá trình thực
hiện đều được giải quyết thông qua các cuộc thảo luận giữa Ban QLDA và các Cơ quan
nghiên cứu cộng tác.
Báo cáo điểm mốc kết quả gồm đánh giá tác động ở quy mô nông hộ nhỏ và mức độ năng lực
thể chế. Sử dụng dữ liệu thực trạng về kiến thức, kỹ năng và thực hành; và hoạt động th
ể chất
và tài chính cấp nông hộ nhỏ, tất cả các dự án được yêu cầu phải đánh giá kết quả dự án của
họ trong Bao cáo hoàn thành của dự án.
1.4 M&E tại cấp độ Chương trình
Ở cấp độ chương trình chiến lược M & E là đánh giá tác động tổng hợp của các dự án và đánh
giá những thay đổi về năng lực cơ quan nghiên cứu về chuẩn bị và thực hiệ
n các dự án R & D
chất lượng cao. Một cột mốc kết quả quan trọng cho tất cả các dự án gồm đánh giá các cải tiến
về mức độ năng lực của CB nghiên cứu và khuyến nông. Ban quản lý dự án thăm các điểm
nghiên cứu để đánh giá việc thực hiện và đánh giá tác động bằng cách sử dụng định dạng tiêu
chuẩn được tổng hợp hợp với nh
ững đợt thăm và đánh giá của TAP để đánh giá chất lượng
các dự án.
Ở cấp độ chương trình Ban QLDA chuẩn bị một báo cáo hàng năm theo năm tài chính (từ
tháng 7- tháng 6 năm sau) để trình bày trong các cuộc họp PCC vào tháng 3 để quyết toán
trước 30 tháng 6 mỗi năm. Báo cáo hàng năm cung cấp bối cảnh cho sự phát triển của Kế
hoạch hàng năm tiếp theo và cho phép các PMU / Điều phối viên kỹ thuật đưa vào bất kỳ sự
can thiệp đáng kể để cải thiện quyền sở hữu của CARD trong Bộ và thông qua sự bền vững
của CARD đó. Bằng cách này, M & E là một phần của quá trình lập kế hoạch và dự kiến đạt
được kết quả trong tiếp tục cải tiến thực hiện Chương trình CARD. Báo cáo hàng năm bao
gồm:
• Những điểm thực hiện chính, những vấn đề và lựa ch
ọn.
• Nhiều Dự án đã bắt đầu và tình hình thực hiện của từng Dự án trog mỗi năm.
• Những kết quả đầu ra có ý nghĩa từ những dự án đã kết thúc.
• Báo cáo tóm tắt dự án nghiên cứu gồm mục tiêu và các mốc sự kiện quan trọng và
chấp nhận và thanh toán cho ácc các mốc dự án.
CARD – M&E Procedures
January 2010
3
• Tác động có ý nghĩa đáng kể của các kết quả nghiên cứu và xây dựng năng lực phát
sinh từ Chương trình được tổ chức nghiên cứu tự đánh giá tính theo tự, nghiên cứu
trường hợp và Báo cáo tiến độ của PMU.
• Tóm tắt các nguồn lực đầu vào và các hoạt động đạt được so với dự toán khung logic
cũng như tỷ lệ chất lượng được tính toán từ việc phân tích hoạt
động (thành tích so với
các hoạt động trong khung Chương trình CARD.
• Tóm lược xây dựng năng lực thể chế tăng lên từ phân tích từ các hoạt động nội bộ và
bên ngoài liên quan đến Bộ NN & PTNT.
• Các vấn đề, những khó khăn và đề xuất.
1.5 M&E cấp độ thể chế
Ở cấp độ tổ chức một loạt các chỉ số hoạt động đã được thành lập
để giám sát và đánh giá các
thể chế về cơ cấu quản trị và quản lý và quy trình trong Bộ NN & PTNT. Một khía cạnh quan
trọng của việc này là để đo lường sự thay đổi trong thái độ, niềm tin, hành vi và thực hành
trong Bộ NN & PTNT (STED) liên quan đến chính sách, tổ chức và quản lý R & D. Một cuộc
khảo sát được tiến hành sớm khi bắt đầu Chương trình để thiết lập thực trạng về năng lực thể
chế. Cu
ộc khảo sát này sẽ được lặp lại trong nửa sau của năm 2010 để đánh giá mức độ thể
chế hóa hệ thống, thủ tục và thực hành quản lý của CARD vào Bộ NN & PTNT và các tổ
chức liên quan.
1.6 Sự phù hợp của M & E trong chu trình dự án CARD
Các dự án CARD được thiết kế và thực hiện theo một trình tự các bước có thể được mô tả như
là "Chu trình Dự án CARD". Phần 2 của Sơ đồ
ở phía trên của tài liệu này đã chi tiết các bước
trong chu trình. M & E bắt đầu sớm trong quá trình thiết kế, nơi các khung logic dự án xác
định các tiêu chí về thành tích và các phương tiện xác minh. Dự án cũng được đánh giá độc
lập ở giai đoạn Thư bày tỏ sự quan tâm (EOI), và một lần nữa ở giai đoạn đề nxuất dự án, để
đánh giá kết quả đầu ra và tác động. Trong quá trình thực hiện, dự án dự kiến s
ẽ thu thập
thông tin cơ bản và tự giám sát hoạt động của mình để cung cấp các dữ liệu cần thiết cho đánh
giá tiếp theo. Đánh giá giữa kỳ (MTRs) có thể được thực hiện khi khoảng một nửa các mốc sự
kiện quan trọng đã đạt được. Thẩm định hoàn thành dự án (PCE) độc lập diễn ra vào giai đoạn
cuối của quá trình thực hiện dự án, và đánh giá hậu dự
án được thực hiện một thời gian sau
khi các tác động đầy đủ của dự án có thể rõ ràng. Các báo cáo M & E khác nhau được viết
trong quá trình này để có sẵn cho thực hiện đánh giá tổng thể Chương trình.
1.7 Mục đích của tài liệu này
Cho đến nay Chương trình CARD đã tập trung vào việc giám sát ở cấp độ dự án. Giám sát
đang được thực hiện với việc nộp và thẩm định báo cáo mốc sự kiện các chuyế
n làm làm việc
tại thực địa. MTRs và PCEs đã được thực hiện trong năm 2008 và 2009. MTRs sẽ không tiếp
tục được thực hiện, nhưng một số PCEs sẽ được thực hiện trong năm 2010 là năm cuối cùng
của Chương trình. Điều này sẽ cho phép kết hợp tác động của từng dự án vào cấp độ chương
trình. Tài liệu này đưa ra các phương pháp tiếp cận đề xuất, thủ tục
đề nghị cho thực hiện
đánh giá dự án riêng rẽ dựa trên các dữ liệu giám sát đã được tích lũy trong quá trình thực
hiện, và sau đó tập hợp những đánh giá này lên đến cấp độ chương trình và cuối cùng đến cấp
thể chế.
CARD – M&E Procedures
January 2010
4
2 NGUYÊN TẮC CƠ BẢN THEO DÕI VÀ ĐÁNH GIÁ
2.1 Tổng quan
M & E là một công cụ thiết yếu trong việc quản lý các chương trình và dự án nghiên cứu và
phát triển nông nghiệp và là một phần quan trọng trong khung khổ thực hiện CARD. Phần này
mô tả các nguyên tắc cơ bản của M & E khi áp dụng trong chương trình CARD và theo sau là
một phần mô tả các kỹ thuật có thể được sử dụng.
Giám sát
được định nghĩa là việ
c thu thập và phân tích thường xuyên thông tin để hỗ trợ ra
quyết định kịp thời và cung cấp cơ sở để đánh giá và học tập. Nó là một chức năng liên tục tạo
ra dữ liệu để cung cấp cho quản lý dự án và các bên liên quan với các tiêu chí ban đầu của tiến
độ và việc đạt được các mục tiêu.
Giám sát cung cấp dữ liệu để tạo ra những hiểu biết về tác động như là một phầ
n của quá trình
đánh giá. Giám sát chính quy liên quan đến việc thu thập dữ liệu về các tiêu chí được lựa chọn
và các biện pháp thực hiện. Tuy nhiên giám sát chính quy liên quan đến định giá và chia sẻ
những ấn tượng cũng là một thành phần quan trọng của quá trình. Không thể có đánh giá mà
thiếu một hình thức giám sát
Đánh giá
được định nghĩa là một hệ thống (và khách quan nhất có thể) kiểm tra một dự án đã
hoạch định, đang diễn ra ho
ặc đã hoàn thành. Nó nhằm mục đích trả lời câu hỏi quản lý cụ thể
và đánh giá giá trị tổng thể của dự án và đưa ra các bài học kinh nghiệm để cải thiện kế hoạch
hoạch và ra quyết định trong tương lai.
2.2 Năm câu hỏi chính
Đánh giá thường tìm cách xác định mức độ phù hợp, hiệu quả, hiệu suất, tác động và tính bền
vững của dự án (xem Hộp 1 d
ưới đây). Đánh giá cần cung cấp thông tin đáng tin cậy và hữu
ích và đưa ra các bài học cụ thể kinh nghiệm để giúp các đối tác và cơ quan tài trợ ra quyết
định tốt hơn.
Hộp 1: Năm câu hỏi đánh giá chính
1. Tính Phù hợp:
mức độ mà các mục tiêu của một dự án phù hợp với các ưu tiên của nhóm
mục tiêu và các chính sách của Chính phủ.
• Các mục tiêu có rõ ràng, thực tế và đo lường được?
• Thiết kế dự án phù hợp để đạt được các mục tiêu?
2. Hiệu quả:
thước đo mức độ mà một dự án đạt được, hoặc dự kiến sẽ đạt được, những mụ
c
tiêu một cách bền vững.
• Tiến bộ trong việc đạt được mục tiêu
• Chất lượng đầu ra
• Mức độ lợi ích cho người dân mục tiêu
3. Hiệu suất:
xác định cách mà các đầu vào được chuyển đổi vào đầu ra một cách kinh tế.
CARD – M&E Procedures
January 2010
5
• Tính kịp thời và phù hợp của thiết kế dự án và quy trình thực hiện
• Hiệu quả thực hiện của các nhà thầu/hợp đồng.
• Sức mạnh hỗ trợ của đối tác và giá trị của cuộc đối thoại.
• Chất lượng quản lý CARD và hỗ trợ của Ban QLDA
4. Tác động:
Sự thay đổi trong cuộc sống của người dân nông thôn, được họ và các đối tác
của họ cảm nh
ận tại thời điểm đánh giá, cộng với thay đổi-tăng cường tính bền vững trong
môi trường của họ mà dự án đã đóng góp. Việc đánh giá tác động là một phần đặc biệt quan
trọng của quá trình M & E vì tác động là mục tiêu cuối cùng của bất cứ một sự khởi động R &
D nông nghiệp nào.
• Các tác động có thể về xã hội, tài chính, thể chế, công nghệ, hoặc môi trường tự
nhiên.
• Có thể tiến hành phân tích chi phí lợi ích để ước tính độ lớn của lợi ích tài chính.
• Tác động có thể về chính sách cần được nhấn mạnh.
5. Tính bền vững: khả năng tác động tích cực của dự án (chẳng hạn như tài sản, kỹ năng,
trang thiết bị, dịch vụ được cải thiện) sẽ kéo dài một thời gian dài sau khi dự án hoàn thành
.
• Tính bền vững của lợi ích.
• Cầ
n cho các chi phí liên tục tái phát hoặc đầu tư thêm.
• Tính bền vững của năng lực thể chế.
Đánh giá phải giải quyết tất cả các năm câu hỏi quan trọng để xác định bài học kinh nghiệm.
Bài học kinh nghiệm:
kiến thức tạo ra bởi phản ánh về kinh nghiệm, mà có tiềm năng để cải
thiện các hành động trong tương lai. Bài học kinh nghiệm bao gồm ý nghĩa rộng lớn hơn các
kết quả đánh giá trong quan hệ với chính sách ngành và thiết kế dự án trong tương lai và
phương thức thực hiện với việc tập trung vào điểm mạnh và điểm yếu trong thiết kế và thực
hiện dự án mà ảnh hưởng đến việc đạt được các mục tiêu.
Năm câu hỏi đánh giá chính thường được cho điểm từ 1-5 trong đó 1 là kém nhất và 5 là tốt
nhất. Cùng các câu hỏi được sử dụng cho cả MTR và PCE. Hướng dẫn áp dụng hệ thống
chấm điểm được trình bày trong Phụ lục 2 (MTR) và Phụ lục 3 (PCE).
M & E thực chất là một quá trình học tập nội bộ dựa vào thái độ xây dựng và đặt câu hỏi -
nhưng nó cũng giúp đảm bảo trách nhiệm bên ngoài cho các c
ơ quan tài trợ và các bên liên
quan khác. Nó thường là một bài tập có mục tiêu vì những khó khăn của quyền hạn, nghĩa là
xác định khả năng các mối quan hệ nhân quả giữa đầu vào và đầu ra của dự án. Nó kêu gọi áp
dụng các quan sát sâu sắc và ý thức phổ biến trong việc kể một câu chuyện đáng tin cậy về
việc tại sao các hoạt động cụ thể tạo ra các kết quả cụ thể. M & E dựa trên logic thi
ết kế trong
đó xác định các mối quan hệ nhân quả giữa đầu vào và đầu ra của dự án. Nếu logic thiết kế
của dự án là yếu hoặc không chắc chắn, nó thường cho thấy để theo dõi và đánh giá.
2.3 Dự án khác nhau, cách tiếp cận khác nhau
Các dự án khác nhau phải được đánh giá theo những cách khác nhau bởi vì bản chất của hoạt
động dự án và những lợi ích và chi phí là khác nhau. Vì vậy không thể đưa ra một bộ tiêu
chuẩ
n hóa thủ tục đánh giá. Bắt đầu mỗi bài tập đánh giá người đánh giá phải suy nghĩ cẩn
thận về những thông tin họ sẽ cần và làm thế nào họ có thể có được nó tốt nhất. Các biện pháp
CARD – M&E Procedures
January 2010
6
gián tiếp hoặc ủy nhiệm đôi khi được sử dụng khi việc minh chứng đo lường trực tiếp không
thể thực hiện được.
Bước đầu tiên trong bất kỳ bài tập đánh giá nào là quá trình lập kế hoạch gồm các câu hỏi,
danh sách kiểm tra và định dạng phân tích. Điều này sẽ khác nhau ví dụ giữa các dự án xây
dựng năng lực và dự án phổ biến công nghệ, giữa các hoạt độ
ng sản xuất cây hàng năm và cây
lâu năm, giữa các cây lương thực và cây công nghiệp, hoặc giữa các dự án về đào tạo chuyên
sâu cho các nhóm nông dân lựa chọn và dự án phổ biến thông tin thông qua các phương tiện
truyền thông đại chúng
3 M&E TRONG CHƯƠNG TRÌNH CARD
3.1 Tổng quan
Trong Chương trình CARD, đánh giá tác động sẽ được sử dụng để đánh giá các dự án riêng rẽ
do CARD tài trợ cũng như là đánh giá toàn bộ Chương trình CARD để xác định lý do thành
công hoặc thất bại và các bài học kinh nghiệm. Điều này sẽ giúp quyết định có nên mở rộng
hoặc lặp lại các tiếp cận của CARD cho R&D đối với toàn bộ danh mục đầu tư R&D của Bộ
NN và PTNT không.
Các hoạt động của dự án CARD nói chung là tự theo dõi của những người chủ trì hộ dự án
thông qua hệ thống báo cáo tiến độ và báo cáo các mốc sự kiện quan trọng được quy định
trong h
ợp đồng giữa CARD và những người chủ trì dự án. Việc tự giám sát được hỗ trợ bởi
các chuyến thăm thực địa và các báo cáo tiến độ chính thức của các đối tác hợp tác. Khi các
dự án CARD hoàn thành nó là thích hợp để bắt đầu quá trình đánh giá. Điều này sẽ được thực
hiện với sự giúp đỡ của bên ngoài bằng cách sử dụng các đánh giá viên đã được đào tạo. Mặc
dù đ
ánh giá phải là một quá trình có sự tham gia, sự hỗ trợ bên ngoài là quan trọng để đảm
bảo khách quan và đạt được những hiểu biết có thể không được rõ ràng cho những người đã
gắn liền với các hoạt động dự án
3.2 Phương pháp Khung Logic (Logframe)
Khung logic là phương tiện mô tả việc thiết kế các dự án và hình thành cơ sở để theo dõi và
đánh giá tiếp theo. Các dự án CARD sử dụng một phiên bản đơn giản củ
a phương pháp khung
logic có cấu trúc như sau:
tường thuật Hiệu suất Hiệu suất
Mô tả Thông tin yêu
cầu
Các chỉ số thực
hiện
Biện pháp thực
hiện
Giả định và rủi
ro
Mục tiêu
Kết quả đầu ra
Hoạt động
Đầu vào
Các yếu tố chính của các khung logic đơn giản của CARD được thể hiện trong Hộp 2:
Hộp 2
: Các yếu tố chính của các khung logic đơn giản của CARD
Các mục tiêu: trình bày chi tiết những kết quả mong muốn của một dự án ở các cấp độ khác
nhau (ngắn và dài hạn). Mục tiêu nên được định hướng theo tác động (hiệu quả), có thể đo
CARD – M&E Procedures
January 2010
7
lường, thời gian ràng buộc, cụ thể và thiết thực.
Các kết quả đầu ra: kết quả cụ thể, có thể đo lường và các kết qủa dự định được tạo ra bởi
việc cung cấp các đầu vào dự án để thực hiện các hoạt động dự án.
Các hoạt động: hành động hoặc công việc được thực hiện trong một dự án để tạo ra các kế
t
quả đầu ra cụ thể bằng cách sử dụng đầu vào như vốn, hỗ trợ kỹ thuật, máy móc và các nguồn
lực khác.
Đầu vào: tài chính, nhân lực và nguồn vật chất cần thiết để tạo ra các kết quả đầu ra.
Kết quả và tác động
được chi tiết theo các chỉ số hoạt động và các cách đo lường này được
mô tả theo các biện pháp Đo lường kết quả ho
ạt động.
Kết quả đầu ra
là số ước lượng hoặc đo lường những thay đổi dự kiến sẽ diễn ra như là kết
quả thực hiện dự án.
Tác động
mô tả sự thay đổi trong cuộc sống của người dân nông thôn được họ và đối tác của
họ cảm nhận tại thời điểm đánh giá, cộng với thay đổi tính tă
ng tính bền vững trong môi
trường của họ mà mà dự án dự kiến sẽ đóng góp.
Xác định các kết nối hợp lý giữa các yếu tố khác nhau của khung logic là chìa khóa để ứng
dụng thành công phương pháp khung logic, và ngụ ý, thành công trong theo dõi và đánh giá.
Sau đây là một ví dụ về thiết kế logic được định nghĩa trong một bối cảnh khung logic:
1.
Mục tiêu:
nâng cao thu nhập, tiêu chuẩn đời sống và dinh dưỡng giữa các nông dân trồng
lúa
2.
Kết quả:
Giới thiệu giống lúa năng suất cao
3.
Hoạt động:
Chương trình lai tạo giống cây trồng để tạo giống mới
4.
Đầu vào
: cán bộ, hạt giống, thiết bị, lô ruộng, phân bón vv
5.
Kết quả
: Cây trồng cải thiện cho năng suất cao trên đồng ruộng nông dân
6.
Tác động
: nông dân có nhiều thóc để ăn và bán dẫn đến có thu nhập và mức sống cao hơn
Mục tiêu, kết quả đầu ra, hoạt động và đầu vào được quy đị
nh trong khung logic và tương đối
dễ ước lượng hoặc đo lường. Tuy nhiên kết quả và tác động rất khó xác định, đo lường và
đánh giá. Điều này thường đòi hỏi một mức độ phán xét về tỷ lệ chấp nhận và mức độ, tính
chất của lợi ích cho các bên liên quan trong tương lai. Tính bền vững cũng là một vấn đề quan
trọng trong việc đánh giá kết quả và tác động. Tại thờ
i điểm đánh giá, thường chúng ta chỉ có
thể suy luận hay đoán trước những tác động gì sắp tới có thể có được sau khi các lợi ích của
dự án đã có thời gian để thể hiện đầy đủ. Điều này có thể là nhiều năm sau khi dự án hoàn
thành và chỉ có thể được thực hiện thông qua đánh giá hậu dự án khách quan và chính thức
(xem dưới đây).
3.3 Kết quả / tác động trung gian và cuố
i cùng
CARD hỗ trợ các dự án nhằm đem lại mục đích lợi cho nông hộ nhỏ nông thôn đông thông
qua nâng cao năng suất, hiệu quả nâng cao và tính bền vững dẫn đến thu nhập của nông dân
CARD – M&E Procedures
January 2010
8
được cải thiện, an ninh lương thực và phúc lợi. Những lợi ích này có thể được xem như là kết
quả và tác động cuối cùng. Do đó M & E phải trực tiếp đo lường hoặc tìm kiếm dấu hiệu về
năng suất, hiệu quả, tính bền vững, an ninh ninh lương thực và phúc lợi được cải thiện trong
thực tế, và những cải thiện như vậy có thể được quy (toàn bộ hoặc m
ột phần) cho từ các sáng
kiến của dự án. CARD cũng hỗ trợ các hoạt động khác như phát triển xây dựng năng lực các
tài liệu khuyến nông, đào tạo giảng viên, vv. Các kết quả phát sinh từ hoạt động đó được xem
là trung gian hơn là kết quả cuối cùng là nâng cao năng lực để có được kết quả và tác động
cuối cùng về các hoạt động sản xuất được thực hiện bở
i các hộ nhỏ. Điều duy nhất mà là vấn
đề đối với nông dân là kết quả cuối cùng, và do đó M & E cần tập trung đánh giá kết quả và
tác động ở cấp độ nông hộ.
3.4 Thiết kế đối với tác động
M & E chỉ có thể là một công cụ hữu ích nếu dự án được thiết kế để đạt được tác động cụ thể
xác định. Thiết kế
cho các tác động là rất quan trọng đến chất lượng của thiết kế dự án và đối
với theo dõi và đánh giá tiếp theo. Tại giai đoạn Thư Bày tỏ sự quan tâm(EOI), việc thiết kế
cho các tác động đòi hỏi chủ trì dự án phải:
• Mô tả đầu ra, lợi ích và tác động mong đợi;
• Chỉ ra khung thời gian cho ứng dụng công nghệ và
• Mô tả làm thế nào kết quả đầu ra / lợi ích sẽ được vữ
ng bền.
Tại giai đoạn Đề xuất dự án, chủ trì Dự án trình bày phân tích các đối tượng hưởng lợi gồm
những xác định:
• lợi ích dự kiến và khoảng thời gian
• nhu cầu thông tin cơ sở;
• quy trình thu thập thông tin cơ sở;
• thủ tục để đo lường lợi ích; và
• thực hiện các chỉ tiêu và biện pháp thực hiện.
Bản Đề xuất Dự án cần thêm:
• mô tả
tác động dự kiến - xã hội, tài chính, môi trường, thể chế, vv;
• mô tả tiến độ và tác động như thế nào sẽ được đánh giá; và
• mô tả làm thế nào dự án sẽ thu thập và phân tích thông tin để đo lường tiến độ và tác động
và giải thích lý do thành công và thất bại
Ở giai đoạn Hợp đồng, hợp đồng giữa CARD và chủ trì dự án làm rõ các mốc thực hiện quan
trọng và kết quả đầu ra và đó là c
ơ sở để giải ngân nguồn vốn CARD cho chủ trì dự án.
3.5 Khi nào Theo dõi và Đánh giá?
Như trong Biểu đồ 2 phía trên của tài liệu này, quá trình bắt đầu trong giai đoạn thiết kế dự
án. Điều này được gọi là đánh giá trước khi thực hiện dự án khi dự án được đánh giá theo
những kết quả và các tác động dự kiến của nó như quy định trong khung logic. Ở giai đoạn
đánh giá EOI chủ y
ếu đánh giá về tính phù hợp và các lợi ích tiềm năng. Ở giai đoạn Đề xuất
dự án, đánh giá tập trung vào tác động, khả năng thành công và tính bền vững và giá trị của
đồng tiền. Quy trình đánh giá giai đoạn này cũng cụ thể các chỉ số thực hiện và các biện pháp
thực hiện sẽ được sử dụng để giám sát, và cuối cùng là đánh giá kết quả và tác động. Đánh giá
Ex ante liên quan đến vi
ệc đánh giá nhóm phát triển dự án từ các tổ chức đề xuất dự án cũng
CARD – M&E Procedures
January 2010
9
như nhóm tư vấn kỹ thuật Panel (TAP), thẩm định độc lập và Ban Điều hành Chương trình
CARD (PCC) – nơi ra quyết định cuối cùng về danh sách dự án được tài trợ thực hiện.
Giám sát
diễn ra trong thời gian thực hiện dự án (thường 2-3 năm) và thường bao gồm một
cuộc khảo sát cơ sở để xác định tình hình trước khi hoạt động dự án bắt đầu. báo cáo giám sát
bao gồm một số hoặ
c tất cả các báo cáo sau đây: điều tra cơ bản, báo cáo tiến độ sáu tháng,
báo cáo kết quả cột mốc quan trọng, báo cáo kỹ thuật, và báo cáo hoàn thành dự án (PCR).
Cùng với các báo cáo đó, là việc cung cấp cho Ban Quản lý Chương trình CARD (PMU) và
người quản lý của dự án các thông tin thường xuyên về việc các dự án đang tiến hành thế nào
để hướng tới các mục tiêu đã đề ra. Nếu giám sát thường xuyên cho thấy cần thay đổi thiết kế
dự án thì s
ự thay đổi có thể được thực hiện ở bất kỳ giai đoạn với sự chấp thuận của Ban
QLDA.
Đánh giá giữa kỳ (MTR) là một công cụ hữu ích trong việc giám sát dự án nó có thể bao gồm
những nỗ lực ban đầu để thực hiện thẩm định và đánh giá tác động sơ bộ. MTR cần được thực
hiện như là một bài tập hợp tác gồm các nhà thẩ
m định bên ngoài làm việc hợp tác với nhóm
dự án. Một định dạng đề xuất, danh sách kiểm tra và các thuật ngữ tham chiếu chuẩn để thực
hiện MTR được trình bày trong Phụ lục 2.
MTR là một thủ tục hỗ trợ thực hiện gồm đánh giá tạm thời dự án để đánh giá tiến độ thực
hiện các hoạt động và các kết quả đầu ra, xác định các vấn đề và đề xu
ất giải pháp. Trong một
số trường hợp có thể đề xuất những thay đổi trong thiết kế dự án và ngân sách để đáp ứng với
hoàn cảnh thay đổi và bài học kinh nghiệm cho đến nay, hoặc để khắc phục thiếu sót trong
thiết kế ban đầu.
MTR nên đánh giá các khía cạnh hoạt động như quản lý dự án và các hoạt động thực hiện, và
mức độ mà các mục tiêu có khả năng đạt
được. Nó nên tập trung vào hành động khắc phục
cần thiết cho dự án để đạt được tác động, nhưng nói chung sẽ được tiến hành trước khi tác
động xuất hiện rõ ràng. Đánh giá giữa kỳ cũng cần đánh giá kế hoạch để đánh giá tác động tại
cuối dự án và các nguồn lực sẵn có để thực hiện nó.
Đánh giá giữa kỳ cũng sẽ giúp xác định "các dự án có vấn đề"
ở giai đoạn đầu- chỗ nào công
việc không thực hiện theo kế hoạch, và chỗ nào hành động kém được xác nhận. Trong trường
hợp đặc biệt thể hiện rõ ràng rằng mục tiêu sẽ không thể đạt được, có thể khuyến cáo việc
sớm chấm dứt dự án.
Đánh giá dự án diễn ra vào giai đoạn cuối của việc thực hiện dự án, được gọi là đánh giá hoàn
thành dự án (PCE), và c
ần một thời gian nữa sau khi dự án hoàn thành các kết quả và tác động
của dự án đã có thời gian để phát triển đầy đủ. Điều này được gọi là đánh giá hậu dự án và
thường mất vài năm nữa sau khi hoàn thành dự án
4 KỸ THUẬT M & E VÀ ĐÁNH GIÁ TÁC ĐỘNG
Phần này của tài liệu cung cấp một mô tả về các công cụ kỹ thuật chính và cách áp dụng cho
dự án CARD, và cuối cùng để
đánh giá tổng thể Chương trình CARD. Có một loạt các công
cụ và kỹ thuật cho M & E và đánh giá tác động. Chúng được mô tả rộng rãi trong tài liệu rất
dễ tiếp cận. Mô tả toàn diện nhất về các công cụ và kỹ thuật có thể áp dụng cho các dự án phát
triển nông nghiệp và nông thôn là tài liệu "Hướng dẫn sử dụng Giám sát và đánh giá" của
IFAD.
CARD – M&E Procedures
January 2010
10
4.1 Các tiêu chí kết quả
Khung tiêu chuẩn CARD phải ghi rõ các tiêu chí kết quả và các phương cách được sử dụng để
đo lường. Tiêu chí kết quả là những yếu tố định tính hay định lượng / thông số cung cấp một
cơ sở đơn giản và đáng tin cậy để đánh giá thành tích, thay đổi hoặc việc thực thi. Mỗi một
mục tiêu, kết quả đầu ra, và trong khung logic phải có chỉ số hoạt động để
được theo dõi và
đánh giá thành công. Các chỉ số hoạt động cho phép quản lý theo dõi tiến trình, trình diễn kết
quả và có hành động khắc phục; và cho phép cán bộ đánh giá đánh giá được tác động.
Nếu có thể, các bên liên quan chính cần được tư vấn trong việc lựa chọn các chỉ số để đảm
bảo rằng hệ thống giám sát và đánh giá (M&E) đo lường được những vấn đề quan trọng. Để
hạn chế thờ
i gian và nỗ lực cần thiết để có được thông tin về chỉ số, nên lựa chọn các chỉ số
mà có thể đo được từ các nguồn dữ liệu hiện có hoặc từ dữ liệu theo dõi dự án thường xuyên.
Sự lôi cuốn để có quá nhiều tiêu chí nên được chống lại bằng cách áp dụng các "cần biết"
trong Hộp 3 dưới đây
Hộp 3: Nguyên tắc “cần biết”
Nhiều hệ thống M & E dự án quá phức tạp và đắt tiền và thu thập rất nhiều thông tin
không cần thiết và không bao giờ được sử dụng và thậm chí có thể che giấu mất những
điều thực sự quan trọng. Các nguyên tắc "cần biết" phân biệt giữa những gì là thực sự
cần thiết, những gì chỉ đáp ứng sự quan tâm hoặc chỉ là thông tin. Sau đây là một số
hướ
ng dẫn hữu ích
• Số tiêu chí hoạt động càng ít càng tốt.
• Tập trung vào những điều thiết yếu phải biết để theo dõi và đánh giá dự án.
• Điều chỉnh kết quả/nỗ lực M & E theo quy mô của dự án: dự án nhỏ = kết quả M & E
nhỏ.
• Càng đơn giản càng tốt.
• Tập trung vào nông dân và họ bị ảnh hưởng bởi dự án như thế nào
Các dạng khác nhau của các tiêu chí được sử dụng trong M & E bao gồm:
• Định lượng đơn giản, ví dụ: Không có người được đào tạo, năng suất cây trồng trung bình.
• Định lượng phức tạp, ví dụ: thực phẩm tiêu thụ/hộ gia đình, tổng thu nhập mùa vụ.
• Hệ số, ví dụ: hệ số mùa vụ.
• Chỉ số Proxy, ví dụ: % Hộ gia đình sở hữu xe gắn máy.
• Chất lượng k
ết thúc mở, ví dụ: các bên liên quan suy nghĩ gì về kết quả / thực hiện
• Chất lượng hội tụ/tập trung, ví dụ: chấp nhận một công nghệ cụ thể
Một lỗi phổ biến trong việc lựa chọn tiêu chí thực hiện là nhầm lẫn giữa các tiêu chí về kết
quả/thực hiện với các cách thức
giải thích
. Các chỉ số kết quả thì đo lường hiệ
u suất thực tế,
trong khi các biện pháp giải thích cung cấp lời giải thích hoặc hiểu biết về lý do tại sao đạt
được hiệu suất ở một mức độ nào đấy. Các chỉ số thực hiện phải đo lường kết quả và tác động
cuối cùng, hoặc ít nhất là biện pháp proxy (tư cách) của chúng. Các chỉ số giải thích thường
về kết quả và các tác động trung gian. Một ví dụ về
sự khác biệt giữa chỉ số thực hiện và các
biện pháp giải thích là:
• Chỉ số hiệu suất: Tổng số sữa sản xuất mỗi trang trại
CARD – M&E Procedures
January 2010
11
• Đo lường giải thích: Số lượng bò / trang trại, sản lượng mỗi con bò sữa, cung cấp thức ăn gia
súc, tiêm phòng bảo hiểm vv
Không có gì sai trong việc thu thập thông tin về các đo lường tác động có tính giải thích nếu
nó cung cấp các chỉ số hoạt động thực sự cần và cung cấp các nỗ lực được sử dụng trong việc
thu thập thông tin giải thích mà không làm giảm khả năng đo lường các chỉ số kế
t quả.
4.2 Các nguồn thông tin và thời điểm của Tác động
Nguồn thông tin: càng xa càng tôt, các hoạt động giám sát nên được giới hạn để thu thập,
phân tích và báo cáo về thông tin cần thiết cho quản lý dự án và Chương trình CARD theo
cách thức có hiệu quả và hiệu suất. Đánh giá phải dựa trên cùng một tập hợp thông tin, nhưng
đôi khi cần có được thông tin bổ sung vượt quá yêu cầu cho quản lý dự án/chương trình.
Trong trường hợp tốt nh
ất, hệ thống báo cáo thường xuyên và thông tin quản lý sẽ tạo ra
thông tin đầy đủ để đánh giá. Tuy nhiên, phổ biến hơn, một số phát hiện thực tế bổ sung là cần
thiết để xác minh các hoạt động được thực hiện và các tác động đã được tạo ra. Đối với dự án
mà người nông dân trực tiếp tham gia, thu thập dữ liệu sơ khởi trong đó có điều tra nông dân
thường cần thiế
t như là một phần của quá trình đánh giá.
Thời gian tác động: Trong một vài trường hợp tác động của dự án vào đối tượng mục tiêu
được quan sát và đo lường trước khi kết thúc dự án. Tuy nhiên, thường sẽ chỉ có những tiêu
chí sơ bộ của tác động xuất hiện trong thời gian thực hiện, và trong nhiều trường hợp tác động
vào đối tượng sẽ không được rõ ràng hoặc có thể đo lường cho đến sau này.
Việc xem xét cả nguồn thông tin và thời gian của tác động dự án CARD có thể được phân loại
theo cách dễ dàng và đơn giản của M & E, và theo đó là số lượng nguồn lực cần thiết cho
công việc. Như được thể hiện trong biểu đồ sau đây, các dự án nằm trong ô A1 của hộp là dễ
theo dõi, đánh giá nhất và những dự án thuộc ô C3 là những khó khăn nhất. Như với tất cả các
dự án R & D dự
kiến mang lại lợi ích cho nông dân sản xuất nhỏ, phần lớn các dự án CARD
hướng tới đích cuối khó khăn về cả yêu cầu thông tin và thời gian tác động. Kết quả đánh giá
được thực hiện vào lúc dự án hoàn thành thường liên quan đến dự toán các lợi ích có khả năng
đạt được hơn là các tác động được đo lường thực tế.
Thời gian của tác động
Nguồn thông tin s
1. Tác động đến các
đối tượng mục tiêu
có thể quan sát và đo
lường được trước khi
kết thúc dự án
2. Tiêu chí sơ bộ của
tác động xẩy ra trong
quá trình thực hiện
3. Tác động đến các
đối tượng hưởng lợi
sẽ không được rõ
ràng hoặc có thể đo
lường sau này
A. Hệ thống báo cáo
và quản lý thường
xuyên cung cấp
thông tin đầy đủ để
đánh giá
• Không cần thu
thập dữ liệu bổ
sung
• Đánh giá tại thời
điểm hoàn thành
là phù hợp
• Không cần thu
thập dữ liệu bổ
sung
• Theo dõi đánh giá
sau khi dự án
hoàn thành là cần
thiết
• Không cần thu
thập dữ liệu bổ
sung
• Đánh giá đầ
uy đủ
hậu dự án là điều
cần thiết
B. Một số phát hiện
thực tế bổ sung là cần
• Một số phát hiện • Một số phát hiện • Một số phát hiện
CARD – M&E Procedures
January 2010
12
thiết để xác minh các
hoạt động được thực
hiện và các tác động
thực tế bổ sung là
cần thiết
• Đánh giá tại thời
điểm hoàn thành
là phù hợp
thực tế bổ sung là
cần thiết
• Đánh giá sau khi
dự án hoàn thành
là cần thiết
thực tế bổ sung là
cần thiết
• Đánh giá đầuy đủ
hậu dự án là điều
cầ
n thiết
C.Thu thập dữ liệu cơ
sở gồm điều tra nông
dân được yêu cầu để
đánh giá tác động.
• Thu thập dữ liệu
cơ sở là cần thiết
• Đánh giá tại thời
điểm hoàn thành
là phù hợp
• Thu thập dữ liệu
cơ sở là cần thiết
• Đánh giá sau khi
dự án hoàn thành
là cần thiết
• Thu thập dữ liệu
cơ sở là cần thiết
• Đánh giá đầuy đủ
hậu dự án là điều
cần thiết
Một ví dụ 1 dự án CARD rơi vào ô C3 là 055/04 dự án "Tăng cường tiếp cận của người sản
xuất nhỏ với các dịch vụ kinh doanh nông nghiệp ở miền Trung của Việt Nam". Dự án này
bao gồm việc xây dựng năng lực giữa các nhà cung cấp dịch vụ kinh doanh nông nghiệp,
trong đó tác động vào nông dân không thể dự kiến được vì cần có thời gian sau khi dự án
hoàn thành. Thu thập dữ liệu điều tra cơ
sở gồm điều tra nông dân sẽ được yêu cầu để đánh
giá tác động. Một dự án có thể rơi vào đâu đó gần phần trái của hộp là 04/01 dự án "Chẩn
đoán và kiểm soát bệnh tiêu chảy ở lợn sữa". Dự án này đang chuẩn bị các thử nghiệm chẩn
đoán và vắc xin để thử nghiệm và trình diễn trong đàn lợn của nông dân. Kết quả sẽ được hiể
n
thị và có thể đo lường được trong vòng một vài tuần cho phép đánh giá tự tin hợp lý của khả
năng tác động về lợi nhuận của các nông hộ chăn nuôi lợn.
4.3 Sử dụng những phát hiện tiêu cực
Bất cứ khi nào việc đánh giá dự án được thực hiện chặt chẽ, khách quan có sẽ xác định thất
bại cũng như thành công. Nhưng ít khi thất bại hoàn toàn và th
ường có một số lợi ích được tạo
ra về bài học kinh nghiệm và hiểu biết những gì không thực hiện. Điều này đặc biệt đúng
trong dự án R & D như CARD nơi mà công nghệ mới đang được thử nghiệm và đánh giá. Thủ
tục đánh giá do đó cần chắt lọc càng nhiều lợi ích càng tốt từ những cái gọi là thất bại cũng
như thu hút sự chú ý đến nhữ
ng kết quả tích cực trong sự thành công. Việc đánh giá cần
hướng tới tương lai và xây dựng. Nơi những sai lầm đã xảy ra hoặc kếy quả hoạt động đáng
thất vọng đó là điều quan trọng để xác định nguyên nhân tại sao và rút những bài học kinh
nghiệm.
4.4 Thông tin cơ bản
Mục đích của nghiên cứu cơ bản là cung cấp một cơ sở thông tin dự
a vào đó để theo dõi và
đánh giá tiến độ trong quá trình thực hiện và sau khi dự án hoàn thành. Những nghiên cứu cơ
sở là những bước đầu tiên trong M & E và tập trung vào các chỉ tiêu và các biện pháp thực
hiện được chi tiết trong khung logic. Đánh giá giữa kỳ, cuối kỳ và đánh giá đánh giá tiến độ
chủ yếu bằng cách so sánh với các dữ liệu cơ bản.
Thông tin cơ bản bao gồm các dữ kiện và số liệu thu thập trong giai đo
ạn đầu của một dự án
cung cấp một điểm chuẩn để đo lường tiến bộ trong việc đạt được mục tiêu dự án. Hầu hết
hợp đồng CARD yêu cầu chủ trì dự án tiến hành một cuộc điều tra cơ bản hoặc sử dụng cơ sở
dữ liệu hiện có để cung cấp một cơ sở thực tế cho
đánh giá dự án sau này. Khía cạnh quan
trọng nhất của việc thu thập dữ liệu cơ bản là việc quyết định những thông tin nào cần thu
thập. Thông tin cơ bản tốt là tương đối hiếm, vì có thể không thu thập được hoặn không thu
thập được tất cả, mất thời gian, hoặc bởi vì sử dụng các câu hỏi sai.
CARD – M&E Procedures
January 2010
13
Khung logic cần được sử dụng để xác định thông tin cơ sở được thu thập. Hai cột chi tiết về
Các chỉ số Hiệu suất và Đo lường hoạt động cho thấy những gì cần thiết được ghi vào dữ liệu
cơ sở. Các thông tin khác có thể được thu thập tại cùng một thời điểm, đặc biệt là nếu điều
này cho thấy rõ lý do cơ bản dẫn đến thành công và th
ất bại, nhưng điều này chỉ nên được
thực hiện nếu nó không ảnh hưởng, hoặc làm chệch hướng chú ý đến các chỉ số hoạt động và
các biện pháp trọng điểm.
Số liệu cơ bản hữu ích đôi khi có thể được tìm thấy từ các nguồn hiện có, nhưng thường cần
phải tiến hành thu thập dữ liệu chính được đặt ra trước để chính xác d
ữ liệu cần của dự án.
Nghiên cứu cơ bản phải được tiến hành càng sớm càng tốt trong thời gian dự án, nhưng không
phải trước khi mục tiêu dự án và các hoạt động cũng như nhóm cư dân mục tiêu được xác
định rõ. Nghiên cứu cơ sở tiến hành trong quá trình thiết kế dự án có nguy cơ hỏi những câu
hỏi sai.
Nghiên cứu cơ sở có thể được sử dụng để đo nhữ
ng thay đổi do các can thiệp dự án theo hai
cách: (i) so sánh "trước và sau khi", và (ii) so sánh "có và không có" dự án. Hai phương pháp
tiếp cận có lợi thế và bất lợi như sau:
So sánh Trước và Sau So sánh Có và Không có
Ưu điểm
• Cần thu thập dữ liệu chỉ từ khu vực dự án,
do đó cần ít nguồn lực hơn.
• Cho phép kết hợp các chức năng giám sát
và đánh giá
• Cung cấp một động lực mạnh mẽ hơn cho
giám sát và đánh giá có sự tham gia của
người dân
Ưu điểm
• Tăng khả năng xác định các yếu tố nhân
quả trong s
ự thay đổi.
• Cho phép một sự đo lường rõ ràng hơn về
số lượng thay đổi
Nhược điểm
• Khó khăn hơn trong việc xác định các yếu
tố nhân quả trong sự thay đổi, đặc biệt nơi
mà các hoạt động khác đang được thực
hiện tại cùng một vị trí
• Giả sử thay đổi sẽ là một quy trình tuyến
tính.
• Chỉ cung cấp hai bức ảnh chụp trong 1
thời gian, một ở thời gian đầu và một ở
cuố
i, và bỏ qua những gì xảy ra ở giữa.
Nhược điểm
• Người dân ở địa điểm không tham gia dự
án có thể không có hưởng lợi ích từ dự án.
• Khó khăn để tìm thấy các khu vực thực sự
tương đương về mặt sinh thái nông
nghiệp và điều kiện kinh tế xã hội.
• Có thể bị ảnh hưởng bởi các hoạt động
củ
a các nhà tài trợ khác, chính quyền địa
phương và các tổ chức cộng đồng trong
khu vực "không có".
• Yêu cầu kỹ năng thống kê và phần mềm
cao hơn.
• Tốn kém hơn.
• Không cung cấp thông tin hữu ích trong
việc theo dõi.
• Người dân ở khu vực "không có" có thể
phản đối bỏ lỡ những lợi ích.
Điều gì xảy ra nếu, tại thời điểm hoàn thành dự án, đánh giá hậu dự án, các số liệu cơ bản đã
có lại thiếu hoặc không đầy đủ? Trước hết, điều này làm giảm nghiêm trọng sự chặt chẽ và giá
trị của quá trình đánh giá, nhưng thường có cách để cứu vãn một số giá trị từ bài tập. Ví dụ,
CARD – M&E Procedures
January 2010
14
nếu thiếu dữ liệu cơ bản làm để so sánh "trước và sau khi", thì so sánh "có” và "không có” dự
án có thể hữu ích nếu các cặp cá nhân, nhóm hoặc khu vực có thể được so sánh. Trong khi đó
sẽ luôn là vấn đề về sự khác biệt với các can thiệp dự án, điều này áp dụng chung cho so sánh
"trước và sau khi". Tương tự như vậy thống kê chính thức đôi khi có thể bù đắp cho sự thiếu
dữ liệu cơ bản cho cả hai so sánh "trước và sau khi" và "có và không có". Tiêu chí Proxy
đôi
khi có thể thu được thu thập để bù đắp cho sự thiếu dữ liệu cơ bản. Nếu vẫn thất bại, luôn luôn
có bằng chứng dựa trên những gì mà các bên liên quan và quan sát viên ghi nhớ về tình hình
trước dự án.
4.5 Tùy chọn cho so sánh
Quá trình đánh giá luôn luôn gồm việc so sánh, từ việc đánh giá kết quả và tác động cố gắng
xác định các thay đổi có thể do dự án can thiệp. Có ba loại so sánh chính có thể được sử dụ
ng:
• “Trước và sau” – điều này đòi hỏi việc thu thập và lưu trữ các dữ liệu cơ bản chính xác
về các chỉ số thực hiện được quy định tại khung logic tiếp theo là thu thập thông tin về
cùng tiêu chí lúc dự án hoàn thành hoặc sau khi dự án hoàn thành
• "Có và không có" - điều này liên quan đến việc so sánh các khu vực dự án và không
dự án có đặc điểm sinh thái nông nghiệp và kinh tế xã hội tương tự. Sự so sánh làm
sáng tỏ câu h
ỏi "điều gì sẽ xảy ra trong vùng dự án nếu không có mặt của dự án" và
cộng thêm sức nặng của các lợi ích do sự can thiệp của dự án.
• "Những người tham gia và không tham gia" - điều này liên quan đến việc so sánh
các hộ gia đình tham gia và không tham gia trong khu vực dự án để tìm kiếm bằng
chứng rằng các can thiệp của dự án trên thực tế đã làm thay đổi đáng kể cuộc sống của
người dân. Tuy nhiên, trong một số trường hợp, phương pháp này có thể dưới lợi ích
của dự án ước tính nếu đã có "rò rỉ" các lợi ích tới nông hộ không mục tiêu, như có xu
hướng xảy ra với các kỹ thuật được phổ biến dễ dàng và thông thường như giống cây
trồng được cải thiện.
Việc đánh giá sẽ có thêm sự tín nhiệm nếu có hơn một loại hình so sánh được sử dụ
ng tạo ra
những phát hiện tương tự.
4.6 Phân tích Đóng góp
In the usual event that there is no rigorous means of linking cause and higher level effects it is
necessary to resort to contribution analysis (see Box 4),
Các phương pháp tiêu chuẩn cho M & E đã được phát triển cho các dự án đầu tư, nơi thường
liên quan đến quan hệ nhân quả chặt chẽ giữa việc đầu tư và kết quả mong muốn có thể được
trình bày tiền dự án như là một phần của tính khả thi/quá trình thiết kế, và hậu dự án như là
một ph
ần của đánh giá. Trong khi những khái niệm cơ bản về M & E áp dụng chung cho R &
D và các loại đầu tư khác, một số biến thể trong cách tiếp cận này là cần thiết. Thứ nhất, với
các đầu tư R & D, thường không chắc chắn về kết quả bởi vì cả kết quả biết và không biết của
nghiên cứu, và vì nhiều yếu tố khác diễn ra trong việc chuyển kết quả nghiên cứu vào kết qu
ả
sản xuất nông nghiệp, và cuối cùng là tác động đến cuộc sống của người dân. Ngoài ra, kết
quả ở thực tế và mức độ tác động luôn luôn cần một thời gian, thường là nhiều năm qua, để
nổi lên và trở nên đo lường được. Vì những điều không chắc chắn đó và vì thời gian luôn luôn
là vấn đề trong việc theo dõi và đánh giá R & D. Trong trường hợp thông thường không có
CARD – M&E Procedures
January 2010
15
phương cách khắt khe về liên kết nguyên nhân và những ảnh hưởng mức độ cao hơn, cần phải
sử dụng đến phân tích sự đóng góp (xem Hộp 4), thừa nhận thực tế rằng tác động thường có
nhiều nguyên nhân mà không thể làm sáng tỏ được.
Hộp 4: Đóng góp phân tích
Phân tích đóng góp được sử dụng nơi các mối quan hệ nhân-quả là khuếch tán hoặc gián
tiếp và nơi khóa học đặc biệt của hành
động góp phần vào việc đạt được các kết quả nhất
định, nhưng không phải tự nó đủ để cung cấp các kết quả. Người ta nhận ra rằng trong
bối cảnh phát triển nhất có đa ảnh hưởng đến việc đạt được các kết quả và mối liên hệ
nhân quả trực tiếp hiếm khi có thể chứng minh được. Phân tích đóng góp nhằm mục đích
giảm mức độ không ch
ắc chắn về sự đóng góp, bằng cách đưa ra việc giải thích đáng tin
cậy và hợp lý của nguyên nhân và hiệu quả. Các yếu tố thiết yếu của phương pháp này
bao gồm:
• Nhận thức và chấp nhận các vấn đề quyền hạn.
• Trình bày logic (thường ở dạng biểu đồ) để giải thích tại sao hành động nhất định nào
đó ảnh hưởng đến kết quả.
• Xác định và tài li
ệu hóa những thay đổi mà chúng cung cấp bằng chứng về đóng góp.
• Sử dụng các chỉ số hoạt động phù hợp với bản chất của các kết quả mong đợi.
• Theo dõi kết quả theo thời gian hoặc so sánh kết quả giữa các địa điểm.
• Thừa nhận và thử nghiệm những giải thích khác.
• Thu thập thêm bằng chứng như ý kiến chuyên gia và các nghiên cứu trường hợp.
• Nhắm vào việc trình bày câu chuy
ện đáng tin cậy mà nó có thể cung cấp bằng chứng,
hơn là chứng cứ tuyệt đối.
4.7 Những công cụ M&E đặc biệt
Các tài liệu về M & E đưa ra hơn 30 công cụ có thể được sử dụng để theo dõi và đánh giá dự
án phát triển nông nghiệp và nông thôn. Công cụ tốt nhất, hoặc kết hợp các công cụ, thay đổi
tùy từng dự án, và tùy theo thời gian và nguồn lực sẵn có. Bất cứ phương pháp được lựa chọn
chúng cần phải thích hợp cho cả thực hiện dự án để cung cấ
p thông tin có giá trị cho quản lý,
và để hoàn thành dự án tiếp theo hoặc đánh giá hậu dự án. Một số trong những công cụ có thể
hữu ích trong việc đánh giá các dự án R & D tại Việt Nam được thảo luận dưới đây.
• Đánh giá Tài liệu: Bước đầu tiên trong việc đánh giá bất kỳ dự án CARD cho mục
đích giữa kỳ, hoàn thành dự án, hoặc đánh giá hậu dự án nên nghiên cứu các tài liệu
hiện có tại vă
n phòng CARD và các tổ chức thực hiện. Nếu dự án đã được thiết kế tốt
và được theo dõi tốt, nhiều thông tin cần thiết sẽ được lấy từ các tài liệu hiện có. Quá
trình này cũng giúp đoàn đánh giá hiểu dự án bao gồm những gì để tìm và nơi để tìm
bằng chứng về kết quả và tác động.
• Phương pháp Khảo sát mẫu: Bao gồm việc lựa chọn những mẫu
đầu tiên , sau đó thiết
kế câu hỏi khảo sát hoặc danh sách cần kiểm tra. Mẫu có thể là một mẫu ngẫu nhiên,
một mẫu phân tầng ngẫu nhiên, hoặc một mẫu không ngẫu nhiên/có chủ định trước.
Các câu hỏi điều tra cần được diễn đạt cẩn thận và thử nghiệm để đảm bảo mọi người
đều hiểu chính xác và các câu hỏi tự chúng không làm sai lệch kết quả. Đi
ều tra mẫu
là một kỹ năng chuyên ngành và chuyên gia trong lĩnh vực này nên được tư vấn trước
khi tiến hành. Các nguyên tắc "cần biết" cần được áp dụng một cách kiên quyết ở đây.
• Quan sát trực tiếp: Đây là một phương pháp đánh giá kết quả và tác động cơ bản mà
hiệu quả nên luôn được sử dụng để kiểm tra chéo hoặc xác minh các nguồn thông tin
khác. Ảnh chụp mang thêm ý nghĩa đố
i với giá trị và hấp dẫn cho các báo cáo M & E.
CARD – M&E Procedures
January 2010
16
Tuy nhiên, các nhóm đánh giá nên cẩn thận để tránh thiên lệch trong quán như chỉ
quan sát các trang trại dễ dàng đi đến hoặc thành công hơn.
• Structured interviews with such persons should always form part of the evaluation
process. This also adds to the participatory nature of the evaluation.
• Phỏng vấn không chính thức: Trong bất kỳ bối cảnh nào của dự án luôn có những cá
nhân có kiến thức hoặc ý kiến đặc biệt có giá trị. Những người này có thể là thành viên
của các cơ quan thực hiện / chủ trì dự án, những đối tượng hưởng lợi, hoặ
c các bên
liên quan khác hay đơn giản là những quan sát viên có am hiểu. Phỏng vấn có cấu trúc
với người đó phải luôn luôn là một phần của quá trình đánh giá. Điều này cũng là một
phần của bản chất việc đánh giá có sự tham gia của người dân.
• Các đo lường vật lý sinh học: Trong một số trường hợp, các chỉ số hoạt động quan
trọng có thể được thể hiện bằng các thu
ật ngữ sinh học vật lý như năng suất cây trồng,
số đất bậc thang, số động vật tiêm vác xin …. Vấn đề chính ở đây là sử dụng các
phương cách đơn giản nhưng chính xác để chúng có thể được so sánh dữ liệu điều tra
cơ bản nhằm cung cấp bằng chứng vững chắc của nguyên nhân và hiệu quả.
• Phân tích chi phí lợi nhuận (BCA): Phương pháp này dựa trên thông tin thu được qua
các phương tiện khác để so sánh lợi ích tổng số và chi phí của dự án. Cụ thể về BCA
được đưa ra trong mục 5.
• Phỏng vấn bán cấu trúc: Đây là phỏng vấn mặt đối mặt với các bên liên quan cá nhân
hoặc những nhóm nhỏ bằng cách sử dụng một loạt các câu hỏi mở và các chủ đề để
hướng dẫn các hội thoại. Các cuộc phỏng vấn như vậy là quan trọng trong việ
c đạt
được sự hiểu biết sâu sắc về lý do tại sao những điều đó xảy ra (hoặc không xảy ra), và
những gì mọi người cảm thấy về tính phù hợp và tác động của dự án. Đôi khi các cuộc
phỏng vấn sẽ xác định các kết quả và tác động của dự án các mà trước đây không ai
nghĩ tới hoặc mong đợi.
• Nghiên cứu tình huống: Đây là những đ
ánh giá chi tiết các cá nhân hoặc nhóm được
lựa chọn để điển hình hoặc đại diện cho một nhóm lớn hơn. Nghiên cứu trường hợp cụ
thể có thể tiết lộ những hiểu biết sâu sắc hơn về kết quả và các tác động của dự án,
nhưng phải luôn luôn được sử dụng kết hợp với các phương pháp mà có thể tương tác
với một khu vực các bên liên quan lớn h
ơn.
• Các nhóm trọng tâm: Đây là những nhóm dân nhỏ (5-10 người) đã được lựa chọn trên
cơ sở kiến thức hoặc hiểu biết đặc biệt của họ và họ được gắn với nhau để thảo luận có
sự điều khiển về các kết quả và tác động của dự án. Các nhóm trọng tâm chủ yếu có
nhiều ý kiến hoặc quan điểm hơn là các thông tin xác th
ực cụ thể. Một vấn đề với
nhóm trọng tâm là những đại biểu to tiếng với ý kiến mạnh mẽ có thể thống trị các
nghi thức và đưa ra hiển thị sai lệch. Việc điều khiển khôn khéo là cần thiết để đảm
bảo tất cả các quan điểm đều được thể hiện.
• Phân tích SWOT thực hiện trong các nhóm: Đây là một kỹ thuật d
ễ dàng áp dụng để
xác định những điểm mạnh của một dự án (những điều đã được thực hiện tốt), những
điểm yếu (những điều đã không được thực hiện tốt), các cơ hội (để xây dựng các điểm
mạnh và khắc phục điểm yếu), và các nguy cơ (từ lực lượng bên ngoài) có thể gây hại
k
ết quả trong tương lai. Phân tích SWOT rất hữu ích trong việc xác định các bài học
kinh nghiệm.
CARD – M&E Procedures
January 2010
17
• Đánh giá nhanh nông thôn (RRA): Điều này thực tế và cách tiếp cận M & E chứ không phải
là một công cụ cụ thể, do các kết hợp khác nhau của các phương pháp trên có thể được sử
dụng. RRA trình bày một cách nhanh chi phí thấp để thu thập thông tin từ các bên liên quan
và liên quan đến các cuộc phỏng vấn quan trọng cung cấp thông tin, các nhóm tập trung,
phỏng vấn bán cấu trúc, quan sát trực tiếp, khảo sát nhỏ vv. Bởi vì RRA là một quy trình
nhanh nó có thể cung cấp thông tin hữu ích cho việc ra các quyết đị
nh quản lý và gắn chặt chẽ
hơn với các đối tượng. Tuy nhiên phương pháp này ít hiệu lực và chính xác hơn so với cuộc
điều tra chính thức và những yêu cầu phát triển kỹ năng tốt về điều khiển nhóm, quan sát và
phỏng vấn không định hướng trước. Về mặt tích cực, RRA có sự tham gia mạnh mẽ và tích
cực của các bên liên quan trong quá trình đánh giá.
4.8 Những tác động được đánh giá
Mục
đích cuối cùng của đánh giá dự án là đánh giá kết quả (những thay đổi đã diễn ra), và các
tác động (những thay đổi như vậy đã ảnh hưởng đến cuộc sống của người dân như thế nào).
Các dự án CARD đem lại ba loại tác động đến đối tượng hưởng lợi mục tiêu và các bên liên
quan:
• Tác động tài chính: những điều cải thiện thu nhập hoặc tài sản của nông dân thông qua t
ăng
doanh thu và / hoặc giảm chi phí. Giá trị của sản xuất được nông hộ sử dụng được tính trong
dự toán doanh thu và giá trị của lao động gia đình không được trả tiền công được xem là một
chi phí. Cách đánh giá tác động tài chính bao gồm:
- phân tích chi phí lợi nhuận dựa trên thông tin nông dân cung cấp
- Các khảo sát thu nhập và chi phí của hộ gia đình
- Proxy biện pháp an sinh tài chính: ví dụ: kích thước nhà ở, quyền sở hữu xe máy
- Nghiên cứu trường hợp và các câu chuyện
Tác độ
ng tài chính tích cực rất quan trọng cho sự bền vững và việc phổ biến rộng rãi hơn các
kỹ thuật nông nghiệp hoặc đổi mới. Nếu không có sự rõ ràng lợi thế tài chính các hộ nhỏ sẽ
không chấp nhận thay đổi hoặc thậm chí duy trì sự thay đổi đã diễn ra. Điều này làm cho tác
động tài chính có tầm quan trọng trong đánh giá tác động.
• Tác động xã hội: những điều không thể đ
o lường được về mặt tài chính nhưng có ảnh
hưởng đến chất lượng cuộc sống của người dân. Đánh giá tác động xã hội đòi hỏi phải xem
xét cẩn thận các vấn đề này, như sau:
- Dự án ảnh hưởng đến cuộc sống của người dân như thế nào? ví dụ cải thiện dinh
dưỡng / an ninh lương thực, giảm đầu tư lao động, sức khỏe tốt h
ơn (thực phẩm an
toàn), vv
- Những người hưởng lợi là ai? Nam / nữ, hộ gia đình giàu/nghèo?
- Ai là những đối tượng được hưởng lợi và làm họ đã được hưởng lợi?
- Kỹ thuật có thể sử dụng/giá cả phải chăng?
- Có bằng chứng về "chụp ưu tú" hoặc loại trừ? Is there evidence of “elite capture”
or exclusion?
• Tác động môi trường: đó là hậu quả môi trường tích cực hay tiêu cực c
ủa dự án cần được
xác định trong quá trình thiết kế, giám sát dự án trong thời gian dự án, và đánh giá ở giai
đoạn cuối dự án. Ví dụ về tác động môi trường tích cực bao gồm giảm sử dụng thuốc trừ
sâu và phương pháp canh tác cải tiến làm giảm xói mòn đất. Tác động môi trường tiêu cự
CARD – M&E Procedures
January 2010
18
của các dự án nông nghiệp có thể bao gồm những điều như ô nhiễm nước từ chất thải
động vật và giảm đa dạng sinh học từ rừng trồng. Chi tiết về giám sát và đánh giá môi
trường được trình bày trong phần sau.
Xác định những tác động trong lĩnh vực này dễ dàng hơn nhiều nếu chúng ta biết cần tìm
kiếm điều gì. Đây là lý do tại sao quan trọng là phải có ít nhất m
ột chuyên gia kỹ thuật trong
từng nhóm thẩm định dự án, người có thể tóm tắt cho thành viên khác về các chỉ số chính của
sự thành công cho một doanh nghiệp nông nghiệp cụ thể. Việc quan sát trực tiếp cây trồng
hay vật nuôi có thể cho biết nhiều về năng suất của chúng đối với người có chuyên môn kỹ
thuật yêu cầu. Những người khác có kỹ năng trong việc đánh giá thái độ và sự nhiệt tình của
nông dân,
đó là chỉ số hữu ích của tính bền vững.
4.9 Giám sát môi trường
Đề xuất Dự án yêu cầu người chủ trì đánh giá tác động tích cực và tiêu cực đến môi trường tại
giai đoạn Thư bày tỏ sự quan tâm (EOI). Đánh giá môi trường ban đầu ở giai đoạn này nên
phân loại dự án theo mức độ rủi ro môi trường bằng cách sử dụng hệ thống đánh giá quốc tế
đã được ch
ấp nhận A / B / C:
• Loại A gồm dự án có thể có hậu quả nghiêm trọng đối với môi trường. Dự án này
sẽ phải chịu đánh giá tác động môi trường (EIA) trước khi phê duyệt và quy trình
giám sát và bảo vệ cần thiết trong Kế hoạch Quản lý Môi trường (EMP).
• Loại B gồm dự án có hậu quả có thể đến môi trường nhưng có thể dễ quản lý bằng
việc sử dụng m
ột số biện pháp bảo vệ đơn giản.
• Loại C gồm các dự án được dự kiến không có hậu quả đến môi trường.
Rất ít tác động tiêu cực về môi trường được dự kiến trong các dự án CARD và kỳ vọng này
đã được xác minh với các đề xuất dự án được nộp để xin kinh phí. Hầu hết dự án được phân
loại nằm trong loại B hoặc C. Tuy nhiên tất cả các d
ự án cần được theo dõi và đánh giá từ
góc độ môi trường để xác định và mô tả hậu quả tiêu cực và tích cực thực tế đối với môi
trường. Trong hầu hết các trường hợp, quan sát sẽ là công cụ hiệu quả nhất để đánh giá tác
động môi trường nhưng trong một số trường hợp, những đo lường (ví dụ chất lượng nước, dư
lượng thuốc trừ sâu,) có thể c
ần thiết.
Giám sát thực địa thông qua thăm điểm thực hiện dự án được thực hiện bởi Ban QLDA nên
xem lại EIA và EMPs. Ngoài ra, báo cáo tiến độ dự án nên báo cáo so sánh với các chỉ số thể
hiện về môi trường trong các báo cáo tiến độ và PCRs. Các báo cáo của Ban quản lý CARD ở
cấp chương trình và sẽ tăng bất kỳ vấn đề môi trường bất lợi với Bộ NN & PTNT và PCC.
4.10 Đánh giá thành công của dự án
Vấn đề chính trong đánh giá thành công là mức độ mà dự án đạt được mục tiêu và mức độ mà
kết quả có thể sẽ được duy trì. Các vấn đề như mức độ lợi nhuận tài chính, tác động giảm
nghèo, tính bền vững của lợi ích, và các tác động đối với ngân sách chính phủ cũng cần phải
được mô tả và đánh giá, cùng với tác động xã hội và môi trường.
Đối với dự án được thiết kế
để thúc đẩy sản xuất nông nghiệp hoặc giá cả, ảnh hưởng lâu dài
đến nền kinh tế quốc gia là cơ sở quan trọng để đánh giá hiệu quả và thành công. Hiệu quả
CARD – M&E Procedures
January 2010
19
này có thể được định lượng và thể hiện bằng Tỷ số Lợi ích/Chi phí tài chính (BCR). Trong
trường hợp phân tích tài chính chi tiết chưa được làm trong khi thiết kế hoặc tại lúc dự án
hoàn thành, nó thường không khả thi cho nhóm đánh giá thực hiện phân tích tài chính chi tiết.
Tuy nhiên, có thể tiến hành đánh giá tài chính của một hoặc nhiều hợp phần quan trọng và để
thực hiện một đánh giá chung về tác động tài chính tổng thể.
Nhiều dự án CARD t
ập trung vào tăng cường thể chế. Trong những trường hợp này, đánh giá
mục tiêu một cách định lượng có thể khó khăn, trừ khi điều tra cơ bản đã được tiến hành, cơ
sở để so sánh được thiết lập và các chỉ số hiệu quả rõ ràng đã có. Trong trường hợp này, đánh
giá cần thực hiện từ hình thức và nội dung thông tin được sử dụng để đánh giá kết qu
ả.
5 PHÂN TÍCH LỢI ÍCH CHI PHÍ TRONG M & E
5.1 Tổng quan
Phân tích chi phí lợi nhuận (BCA) là một công cụ hỗ trợ quyết định được sử dụng cùng với
các biện pháp khác về tác động của dự án. Nó là một công cụ quan trọng trong việc giải thích
tính logic cơ bản của dự án. BCA có thể được áp dụng ở các cấp độ khác nhau bao gồm chính
sách, chiến lược ngành, chương trình, dự án và các thành phần của dự án. BCA được sử
dụng
rộng rãi của các cơ quan hỗ trợ phát triển quốc tế như là một tiêu chí quan trọng để phân bổ
nguồn lực. Một trong những mục tiêu của CARD là giúp Bộ NN & PTNT cải thiện việc phân
bổ các nguồn lực giữa các danh mục đầu tư của các chương trình R & D. BCA được xem là
công cụ giá trị trong việc hỗ trợ các quyết định phân bổ tốt hơn.
BCA là sự so sánh các lợi ích tài chính hoặc tác
động (trực tiếp và gián tiếp) của dự án có thể
mang lại với việc đầu tư và chi phí thường xuyên để thực hiện nó. BCA là công cụ phân tích
cơ bản để đánh giá tác động tài chính (và ý nghĩa, kinh tế) của dự án CARD, và cuối cùng là
toàn bộ danh mục đầu tư của Chương trình CARD. BCA có thể được thực hiện trước, trong
hoặc sau khi dự án được thực hiện với một mức độ dần dầ
n tăng độ chính xác. BCA trước dự
án được dựa trên mong đợi lớn nhất của lợi ích và chi phí. BCA sau dự án được dựa trên các
ước tính tốt nhất có sẵn hoặc các đo lường các lợi ích thực tế và chi phí thực tế. Nó có thể
được áp dụng ở cấp vi mô liên quan đến từng đối tượng hưởng lợi, hoặc ở cấp độ vĩ mô liên
quan đến toàn bộ dự án. Trong mọi trường hợp, mục tiêu là
để ước tính tỷ số chi phí lợi
nhuận (BCR) – đưa ra một đo lường định lượng của tác động tài chính của dự án.
• Lợi ích Dự án là hệ quả tích cực về tài chính, môi trường và xã hội mà có thể có được
do việc đầu tư dự án. Trong BCA chúng ta chỉ quan tâm đến lợi ích tài chính.
• Chi phí Dự án là tổng giá trị tài nguyên được sử dụng trong việc tạo ra lợi ích, bao
gồm cả giá trị của lao
động gia đình.
• BCR = (tổng các lợi ích) ÷ (tổng chi phí); thể hiện là một tỷ lệ (ví dụ: 1.4:1)
BCR đưa ra một ước tính con số duy nhất để so sánh các dự án về tác động tài chính. Nó cho
thấy giá trị được tạo ra cho mỗi đồng vốn đầu tư là bao nhiêu. BCR >1,0 cho thấy việc đầu tư
là đáng giá, và giữa các lựa chọn thay thế, dự án có BCR cao nhất sẽ cho thấy sự đầu tư là tốt
nhất.
5.2 Xác định lợi ích và chi phí
Đây là bước đầu tiên trong việc đánh giá tác động tài chính. Một số lợi ích và chi phí có thể dễ
dàng đo lường và định lượng – một số lợiisch khác chỉ có thể được mô tả. Đánh giá tác động
thường không nhận ra tất cả các lợi ích và chi phí và điều này có thể tạo ra kết quả sai lệch.