Bài giảng Đánh giá chính sách - Bài 10: Chuẩn bị một kế hoạch nghiên cứu sơ bộ (PAP)

Nội dung text: Bài giảng Đánh giá chính sách - Bài 10: Chuẩn bị một kế hoạch nghiên cứu sơ bộ (PAP)

1. Lecture 10: Chuẩn bị một kế hoạch nghiên cứu sơ bộ (PAP) Edmund Malesky, Ph.D. July 16, 2018 Duke University 1
2. Kế hoạch nghiên cứu sơ bộ (PAP) là gì? • PAP, còn được gọi là một giao thức nghiên cứu, là một tài liệu diễn giải các nội dung kỹ thuật của một nghiên cứu – Thực hiện trước khi chính thức nghiên cứu – Bao gồm: hình thức nghiên cứu, nguồn dữ liệu, các biến số sử dụng, các vấn đề có thể gặp phải trong quá trình nghiên cứu, và hình thức xử lý. 2
3. Tại sao PAP lại cần thiết? • Tăng tính tin cậy của một nghiên cứu. • PAP tăng độ tin cậy, đặc biệt đối với các nghiên cứu mà người thực hiện muốn kiểm nghiệm một giả thuyết cho trước thay vì chỉ đi tìm các mối quan hệ nhân quả tiềm ẩn. • Do ràng buộc đặt trước, các kết quả sẽ không phải do nhiễu thông tin thống kê do nhà nghiên cứu gây ra. 3
4. Khi nào thì chúng ta cần một kế hoạch nghiên cứu sơ bộ? • Phải hoàn thiện và đăng ký PAP trước khi bắt đầu thực hiện các can thiệp theo chương trình nghiên cứu, do đó đảm bảo tính minh bạch và công khai của các giả thuyết trước khi quan sát được dữ liệu. 4
5. 1. Trang 1 • Tên đề tài • Người thực hiện: tất cả các nhà nghiên cứu và tổ chức làm việc. • Đối tác bên ngoài: (nếu có) • Mâu thuẫn quyền lợi: liệt kê tất cả các mâu thuẫn quyền lợi liên quan đến tất cả các tác giả • Tóm tắt dự án, mục đích và động cơ thực hiện nghiên cứu này. 5
6. 2. Giải thích vấn đề chính sách • Vấn đề trọng yếu gì cần phải có can thiệp hay cải thiện chính sách? – Biến kết quả mà chúng ta muốn thay đổi. – Các nghiên cứu trước về cùng vấn đề này. – Các quan điểm trái chiều về vấn đề này 6
7. 3. Bối cảnh nghiên cứu • Xác định các khuyến nghị chính sách khác nhau. • Thảo luận các cơ sở lý thuyết nền tảng. • Nghiên cứu này nằm ở đâu? • Thảo luận các nghiên cứu trước về cùng vấn đề này ở Việt Nam và ở các bối cảnh khác. 7
8. 4. Lý thuyết về sự thay đổi • Nhận diện các giả thuyết căn bản phải kiểm nghiệm. – Giả thuyết là các nhận định có thể kiểm định được về các mối quan hệ thực nghiệm giữa nguyên nhân và kết quả. • Xác định rõ đơn vị so sánh • Kỳ vọng liên quan đến biến số nào • Xu hướng của mối quan hệ đó • Nêu rõ các nội dung nghiên cứu theo nhóm và kỳ vọng về các tác động khác biệt 8
9. Lý thuyết về sự thay đổi Phát thẻ Giả định về mẫu: Việc phát thẻ Raskin cho các đối thành công, không có việc phát tượng hưởng bừa bãi. lợi Giả định về mẫu: Đối tượng hưởng lợi Nhận hiểu việc sử dụng, sử dụng thẻ, và không thẻ lẫn lộn giữa với các thẻ Raskin đã có Raskin Đối Giả định về mẫu: Đối tượng hưởng lợi tượng yêu cầu mua gạo giảm giá, và bộ phận hưởng phụ trách tại mỗi làng trong tham gia lợi nhận chương trình Raskin tiếp nhận đề nghị, thêm và có quyền quyết định trợ cấp Raskin Tăng hiệu Giả định về mẫu : Các hình lực của thức phân phát công bằng hơn các chương được bảo tồn, chương trình 9 povertyactionlab.org trình bảo hiệu quả thấp do thiếu minh trợ xã hội bạch
10. 5. Khung Logic Đầu vào Hoạt động Đầu ra Kết quả Kết quả cuối cùng - Ngân sách cho - Thiết kế chương - 1000 giảng viên - Giảng viên sử - Tăng cường hiệu chương trình đào trình mới. dạy nghề được dụng giáo trình và quả của nội dung tạo mới. - Giảng viên đào đào tạo chương phần mềm trong giảng dạy. - Nhân sự từ Bộ tạo. trình mới. lớp học. - Nhiều học viên giáo dục, giáo - Phát triển và in ấn - 100,000 cuốn - Học viên học theo hơn được tuyển viên dạy nghề các nội dung sách giáo trình và chương trình mới. dụng bởi các - Cơ sở thiết bị dạy chương trình. phần mềm cung - Học viên có kết doanh nghiệp. nghề (phòng học, - Phát triển phần cấp cho lớp học. quả tốt hơn sau - Tỷ lệ có việc làm máy tính) mềm. khi kết thúc kỳ thi cao hơn. cuối môn. - Năng suất lao động của doanh nghiệp tăng lên. Thực hiện (phía cung) Kết quả (cung và cầu)
11. 6. THIẾT KẾ NGHIÊN CỨU 11
12. 6.1. Lựa chọn thiết kế chính 1. Thử nghiệm ngẫu nhiên có kiểm soát (RCT) • Loại hình • Nghiên cứu Y tế • Đăng ký vượt quá • Ngẫu nhiên hóa trình tự thực hiện • Thiết kế khuyến khích • Thiết kế lan tỏa/bão hòa • Số lượng can thiệp • Can thiệp đơn • Can thiệp bội • Thiết kế kếp hợp (Factorial design), nhận diện nhóm hưởng lợi 12
13. Tiếp cận dạng cấu trúc 13
14. Tiếp cận dạng bảng biểu Standard Enhanced Card Variations socialization Socialization Coupon Group 1 Group 2 Price All No Coupon Group 3 Group 4 beneficiary Coupon Group 5 Group 6 No Price No Coupon Group 7 Group 8 Coupon Group 9 Group 10 Price No Coupon Group 11 Group 12 Bottom 10% Coupon Group 13 Group 14 No Price No Coupon Group 15 Group 16 Control (No card, no socialization) 14
15. 6.1. Lựa chọn thiết kế chính 2. Thử nghiệm tự nhiên • Loại hình • Hồi quy gián đoạn • Diff-in-Diff • Ghép cặp • Biến công cụ • Kết hợp 15
16. Thiết kế Sử dụng khi nào Ưu điểm Nhược điểm Ngẫu nhiên hóa Bất cứ khi nào có thể Tiêu chuẩn vàng Không phải lúc nào cũng Khi có sự biến động ở Mạnh nhất thực hiện được cấp độ cá nhân hay làng Vấn đề đạo đức xã Thiết kế ngẫu nhiên Khi can thiệp được áp Tạo ra biến động ngoại Chỉ áp dụng đối với nhóm hóa khuyến khích dụng phổ quát sinh đối với một nhóm hưởng lợi, không phải toàn hưởng lợi bộ quần thể Mức độ đáp ứng với khuyến khích chỉ biết được sau khi hoàn thành chương trình Hồi quy gián đoạn Nếu một can thiệp được Nhóm hưởng lợi phải Chỉ áp dụng với nhóm thực hiện theo một tiêu đáp ứng được các tiêu mẫu nhỏ, không áp dụng chí được xác lập rõ ràng chí đã đặt trước cho toàn bộ quần thể Quy tắc phân bổ thường không được tuân thủ chặt chẽ trên thực tế Diff-in-Diff Nếu hai nhóm có xu Loại bỏ tác động cố Có thể bị chệch nếu xu hướng thay đổi giống định không tương quan hướng thay đổi nhau với tình trạng hưởng lợi Tốt nhất nên có dữ liệu Có dữ liệu tham chiếu của 2 kỳ trước khi thực và sau khi thực hiện hiện chương trình chương trình Ghép cặp Khi các phương pháp Xử lý được các khác Giả định không có sự khác không thực hiện biệt giữa nhóm hưởng lợi khác biệt không quan sát được và đối chứng được (thường không khả thi)
17. 6.2. Thiết kế nghiên cứu và quy trình • Khu vực địa lý • Quần thể nghiên cứu • Khung mẫu • Tiêu chí lựa chọn/loại trừ (với lý do rõ ràng) • Đơn vị phân tích và định nghĩa về nhóm (nếu có) • Tiêu chí rơi rớt mẫu áp dụng cho cá nhân tham gia • Tiêu chí ngưng thực hiện dự án sớm (vd. can thiệp quá hiệu quả do đó chấm dứt dự án sớm để cho tất cả các đối tượng được tham gia) • Thời gian thực hiện kỳ vọng, bao gồm cả các diễn giải chi tiết về thời gian thực hiện can thiệp và thu thập dữ liệu 17
18. Biểu đồ về thực hiện chương trình can thiệp 18
19. 6.3. Mô tả chi tiết hình thức can thiệp • Nếu can thiệp có sử dụng công nghệ hay can thiệp y tế, cần cung cấp chi tiết thông tin kỹ thuật về vận hành. • Cung cấp chi tiết can thiệp diễn ra như thế nào giữa nhóm tham gia và đối chứng, hoặc giữa các nhóm dựa trên các đặc tính cụ thể (nếu có). • Nếu có đồng thời nhiều can thiệp, mô tả chi tiết sự khác nhau giữa các can thiệp và với nhóm đối chứng. • Nặc danh: – Đơn: Đối tượng không biết tình trạng tham gia/hưởng lợi – Kép: Người thu thập dữ liệu cũng không biết tình trạng tham gia/hưởng lợi – Bậc ba: Ngay cả nhà phân tích cũng không biết tình trạng tham gia/hưởng lợi 19
20. 6.4. Giả định • RCT – Độc lập có điều kiện, không có yếu tố nhiễu (Contamination) • Thử nghiệm tự nhiên (Natural Experiments) – Cần giả định “coi như là ngẫu nhiên” • Hồi quy gián đoạn – Không có lựa chọn mẫu, cân bằng, cấu trúc hàm, vững với kiểm định đối chứng giả • Diff-in-Diff – Giả định song song, vững với kiểm định đối chứng giả • Propensity Score Matching – Độc lập có điều kiện; vùng hỗ trợ chung • Biến công cụ – Độc lập có điều kiện; điều kiện loại trừ, độ mạnh của biến công cụ 20
21. 6.5 Dữ liệu • Nguồn gốc dữ liệu là gì? • Khung mẫu là gì? • Dữ liệu được thu thập như thế nào? (vd. qua phỏng vấn cá nhân)? • Cung cấp lý do cho hình thức thu thập dữ liệu được lựa chọn. • Nếu có dữ liệu sử dụng trong nghiên cứu nhưng không được thu thập bởi nhóm nghiên cứu (v.d. dữ liệu hành chính của bên thứ ba), mô tả nguồn dữ liệu. 21
22. 6.6. Ngẫu nhiên hóa • Nếu nghiên cứu là RCT, định nghĩa quy trình ngẫu nhiên hóa ngay từ đầu. • Thực hiện như thế nào? (excel? Bốc thăm? STATA?). Nếu đó là quá trình lựa chọn bốc thăm, làm thế nào để đảm bảo không có can thiệp vào quá trình chọn ngẫu nhiên? • Đơn vị ngẫu nhiên hóa là gì? (e.g. cá nhân, nhóm)? Cung cấp lý do. • Biến dùng để phân tầng là gì (nếu có)? 22
23. 6.7 Phép tính sức mạnh thống kê • Nếu chưa rõ ngân sách và nhà nghiên cứu cần lập kế hoạch tài chính thì cần tính cỡ mẫu tối thiểu hợp lý.  2 N 2 1 ETE t+ t ( 12− ) pp(1− ) • Nếu ngân sách biết, tính tác động tối thiểu có thể phát hiện được. 1  2 MDE +( t12− t ) p(1− p ) N • Đối với thiết kế nhóm, cần tính đến tác động của việc phân nhóm. 11− MDE ( t12− + t )  + p(1− p ) J n 24
24. 6.7 Phép tính sức mạnh thống kê • Sử dụng cách tính của EGAP và hiển thị MDE tại các mức khác nhau. 25
25. 7. Phân tích • Nếu biến được xây dựng (vd. biến chỉ số), giải thích chúng được xây dựng như thế nào? • Cấu trúc mô hình chính là gì? Đưa nội dung này vào PAP. • Nếu kiểm định giả thuyết bội, giải thích sẽ thực hiện như thế nào? 26
26. 7.1. Cân bằng thống kê • Sử dụng dữ liệu mô phỏng hay dữ liệu tham chiếu để kiểm chứng các kiểm định cân bằng thống kê (trình bày bảng biểu hay đồ thị) 27
27. 7.2. Chuẩn bị phân tích thông kê mô tả • Sử dụng dữ liệu mô phỏng để tạo bảng biểu hay đồ thị. 28
28. 7.3. Phân tích kinh tế lượng • Viết mô hình và chuẩn bị bảng biểu mô phỏng 29
29. 8. Kết luận • Các hạn chế tiềm tàng – Dự báo trước và diễn giải chúng sẽ được sử lý như thế nào. • Mở rộng quy mô nghiên cứu – Điều gì nếu thử nghiệm ban đầu thành công • Hàm ý chính sách – Mô tả phân tích chi phí lợi ích dựa trên nghiên cứu tác động tối thiểu có thể phát hiện được. 32