Bài giảng Đánh giá chính sách - Bài 4: Thiết kế và thực hiện một thử nghiệm ngẫu nhiên có kiểm soát (RCT)

Nội dung text: Bài giảng Đánh giá chính sách - Bài 4: Thiết kế và thực hiện một thử nghiệm ngẫu nhiên có kiểm soát (RCT)

1. Đánh giá Chính sách Bài 4: Thiết kế và thực hiện một thử nghiệm ngẫu nhiên cĩ kiểm sốt (RCT) Edmund Malesky, Ph.D. June 25, 2018 Duke University 1
2. Các bước để thực hiện phân bổ ngẫu nhiên 1. Xác định các cá nhân/quan sát phù hợp cĩ thể tham gia chương trình 2. Xác định kích cỡ mẫu sử dụng cơng thức tính độ vững và sai số (power calculation) • Cần cỡ mẫu lớn nếu muốn phát hiện tác động nhỏ, tần suất thành cơng của chương trình thấp, hoặc cĩ độ dao động lớn của kết quả, hoặc nếu muốn so sánh sự khác biệt giữa các nhĩm trong mẫu 3. Lựa chọn mẫu, tốt nhất là ngẫu nhiên • Sử dụng các kỹ thuật được dạy ở lớp học 4. Phân bổ nhĩm tham gia và đối chứng sử dụng nguyên tắc minh bạch được xác lập trước khi bắt đầu thử nghiệm: • Tung đồng xu, xúc xắc, bốc thăm, hay lấy số ngẫu nhiên • Ghi lại, hoặc mơ phỏng lại được với mã số tham chiếu (seed) khi mơ phỏng chuỗi ngẫu nhiên 2
3. Bài giảng hơm nay • Các ràng buộc thực tế • Phương pháp ngẫu nhiên hĩa • Các dạng thực hiện đối với thử nghiệm tham gia-đối chứng đơn giản 3
4. Ràng buộc và nguồn lực • Hầu hết các chương trình đều cĩ hạn chế về nguồn lực – Số phiếu khuyến mãi, khơng gian thực hiện chương trình đào tạo, ngân quỹ cho những người hỗ trợ • Dẫn đến cĩ nhiều người muốn tham gia hơn là nguồn lực cho phép • Việc bị hạn chế bởi nguồn lực cũng là cơ hội để đánh giá 4
5. Ràng buộc và tính cơng bằng • Bốc thăm thực hiện khá đơn giản, phổ biến, và minh bạch • Hữu ích khi khơng cĩ các lý do nhãn tiền để phải phân biệt đối xử • Người tham gia biết ai được ai thua • Bốc thăm đơn giản thường được nhìn nhận là cơng bằng 5
6. Ràng buộc: Tác động lan tỏa (contamination/spillover) và băng làn (cross-over) • Nhĩm đối chứng được sử dụng để ước lượng phản thực • Nếu nhĩm đối chứng khác với phản thực thì kết quả ước lượng cĩ thể bị chệch • Xảy ra khi cĩ: – Tác động lan tỏa – Tác động băng làn 6
7. Tác động lan tỏa • Khi cĩ tác động lan tỏa, sự khác biệt đơn thuần giữa nhĩm tham gia và nhĩm kiểm sốt khơng cịn là tác động của chương trình nữa. – Cĩ thể mang tính tích cực hoặc tiêu cực. • Tác động lan tỏa cĩ thể gây rắc rối cho thiết kế nghiên cứu khi mức độ tham gia bị hạn chế, tuy nhiên cĩ thể thiết kế phương pháp xử lý khá dễ dàng để đo lường tác động lan tỏa trực tiếp. 7
8. Ước lượng tác động lan tỏa bằng thửu nghiệm Miguel & Kremer, ‘Worms: Identifying Impacts on Education and Health in the Presence of Treatment Externalities’ (Giun: Nhận diện tác động lên giáo dục và sức khỏe khi xảy ra ngoại tác tham gia chương trình) – Chương trình tẩy giun được áp dụng thử nghiệm ở cấp độ trường học – Kiểm sốt số học sinh trong một khoảng cách nhất định đến những học sinh khơng tham gia chương trình, và nghiên cứu tác động của chương trình lên kết quả đầu ra (giáo dục và sức khẻ) phụ thuộc như thế nào vào số học sinh được tham gia chương trình. – Bởi vì chương trình được thực hiện ngẫu nhiên, cường độ tác động can thiệp cũng là ngẫu nhiên. Baird, McIntosh, & Ưzler, ‘Schooling, Income, & HIV Risk in Malawi’. (Đi học, thu nhập, và rủi ro nhiễm HIV ở Malawi) – Chương trình trợ cấp tiền mặt cĩ điều kiện, được thử nghiệm ngẫu nhiên ở cấp độ làng xã. – Mức độ bão hịa tình trạng tham gia chương trình được thử nghiệm ngẫu nhiên hĩa, do đĩ cho phép so sánh những nữ sinh khơng được tham gia chương trình ở làng xã được chọn tham gia với nhĩm kiểm sốt được thiết lập là một hàm số của tỷ phần nữ sinh được chọn tham gia trong những làng được chọn tham gia. 8
9. Ràng buộc – tổ chức thực hiện • Cần thiết phải nhận diện được các ràng buộc về tổ chức thực hiện trong khâu thiết kế chương trình. – Ví dụ từng nhân viên y tế thực hiện các hoạt động tẩy giun – Cĩ rất nhiều nhiệm vụ khác, khơng chỉ là tẩy giun. • Các nhân viên thực hiện nhiệm vụ với cả ha nhĩm tham gia và đối chứng • Cĩ những nguyên tắc thủ tục khác nhau với các nhĩm khác nhau? 9
10. Ràng buộc – tổ chức thực hiện • Tính dễ nhận diện của việc được tham gia chương trình • Ngẫu nhiên hĩa ở cấp độ trẻ em trong mỗi lớp học • Ngẫu nhiên hĩa lớp học trong mỗi trường học • Ngẫu nhiên hĩa cấp độ thơn bản 10
11. Ràng buộc – Số quan sát • Chương trình chỉ cĩ thể cĩ quy mơ phù hợp với một vài thơn bản • Nhân tố rất quan trọng là khả năng ước lượng (statistical power): Quá ít quan sát thì khĩ cĩ thể đo lường được tác động với độ chính xác cao • Kích cỡ mẫu mong muốn được tính qua cơng thức tính khả năng phát hiện và sai số (power calculation), tuy nhiên khơng đề cập trong mơn học này 11
12. Bài giảng hơm nay • Các ràng buộc thực tế • Phương pháp ngẫu nhiên hĩa • Các dạng thực hiện đối với thử nghiệm tham gia-đối chứng đơn giản 12
13. RCTs | Cấu trúc căn bản Khơng nằm trong chương trình đánh giá Nhĩm tham gia Quần thể mục tiêu Mẫu thuộc Phân bổ chương trình ngẫu nhiên Nhĩm đánh giá so sánh Hiệu lực nội tại Hiệu lực ngoại vi
14. Nhân tố cơ bản của RCT – Đo lường tác động • Yêu cầu dữ liệu – Dữ liệu kết quả của nhĩm tham gia và nhĩm đối chứng – Dữ liệu tham chiếu (Baseline data) nếu cĩ • Tác động – Tác động can thiệp trung bình (Average Treatment Effect) • Thử nghiệm – Phản thực • Trung bình tham gia – Trung bình đối chứng 14 Baseline (depending) and outcome data for control an
15. THỨ TỰ NGẪU NHIÊN CỦA THIẾT KẾ THỬ NGHIỆM THEO GIAI ĐOẠN (PHASE-IN DESIGN) 15
16. Thử nghiệm theo giai đoạn: Tận dụng lợi thế của việc mở rộng chương trình • Vấn đề đạo đức: Cuối cùng thì ai cũng được tham gia • Thực tế: Phương pháp tiếp cận tự nhiên khi mở rộng quy mơ của chương trình trong khi phải đối mặt với các hạn chế về nguồn lực • Ngẫu nhiên hĩa: Nhân tố nào quyết định trường học nào, chi nhánh nào sẽ được tham gia chương trình vào năm nào? 16
17. Đặc tính của thiết kế ngẫu nhiên hĩa theo giai đoạn • Phản thực: – Sau năm 1, những người/địa điểm bắt đầu tham gia chương trình ở năm 2, 3 sẽ được sử dụng làm nhĩm đối chứng. Sau năm 2, những người bắt đầu tham gia chương trình ở năm 3, 4 sẽ được sử dụng làm nhĩm đối chứng • Yêu cầu dữ liệu: – Dữ liệu tham chiếu (tùy thuộc) và kết quả • Cân nhắc: – Theo thời gian, các nhĩm đối chứng sẽ chuyển thành nhĩm tham gia, do đĩ sẽ bị mất đi – Tác động nhiễu do nhĩm những người chưa tham gia hiện nay dự kiến sẽ được tham gia trong tương lai 17
18. Thiết kế theo giai đoạn 3 1 Vịng 1 2 3 2 2 Tham gia: 1/3 2 3 3 2 Đối chứng: 2/3 1 3 3 2 1 1 3 2 Vịng 2 2 1 Tham gia: 2/3 2 3 Đối chứng: 1/3 3 3 3 2 3 2 2 ế 1 1 K t thúc đánh 2 1 giá thử nghiệm 2 1 1 3 3 Vịng 3 3 1 1 2 Tham gia: 3/3 3 3 1 1 Đối chứng: 0 2
19. RCTs | Thiết kế theo giai đoạn Khơng nằm trong chương trình đánh giá Năm 1 Quần Mẫu thể mục thuộc tiêu chương Phân bổ Năm 2 trình ngẫu nhiên đánh giá Năm 3,4
20. Thiết kế theo giai đoạn – Đo lường tác động • Tác động – Sau năm 1: Trung bình của nhĩm tham gia (những người được tham gia năm 1) trừ đi trung bình của nhĩm sẽ tham gia vào năm 2 & 3. – Sau năm 2: Trung bình của nhĩm tham gia năm 1 & 2 trừ đi trung bình của nhĩm sẽ tham gia năm 3 & 4. Baseline (depending) and outcome data for control an 20
21. Thiết kế theo giai đoạn: Ưu và nhược điểm • Ưu điểm – Mọi người cuối cùng sẽ được tham gia nên cĩ động lực để giữ liên hệ • Một số vấn đề – Cĩ thể làm phức tạp vấn đề ước lượng tác động dài hạn – Theo thời gian, cĩ thể mất nhĩm đối chứng – Yêu cầu phải cẩn trọng với các khung thời gian thực hiện theo giai đoạn – Liệu kỳ vọng được tham gia cĩ làm thay đổi hành vi hiện tại khơng? – Cĩ thể bị nhiễu do tác động dự báo của những người sẽ được tham gia trong tương lai. 21
22. THIẾT KẾ KHUYẾN KHÍCH 22
23. Khuyến khích • Phải làm gì khi bạn khơng thể sử dụng phân bổ ngẫu nhiên? – Đơi khi phân bổ ngẫu nhiên là khơng thực tế hay phi đạo đức – Nhưng cĩ rất nhiều chương trình cĩ tỷ lệ chấp nhận tham gia dưới 100% – Cĩ thể ngẫu nhiên hĩa việc khuyến khích tham gia chương trình 23
24. Khuyến khích là gì? • Một thứ gì đĩ làm cho đối tượng cĩ xu hướng chấp nhận đăng ký chương trình đánh giá • Khuyến khích khơng phải là việc được tham gia hay hưởng lợi từ chương trình • Chúng ta ước lượng tác động đối với nhĩm đối tượng nào? • Nghĩ về “ai sẽ phản ứng đối với các khuyến khích?” 24
25. RCTs | Thiết kế khuyến khích • Yêu cầu dữ liệu: – Tham chiếu (nên cĩ) và kết quả đối với nhĩm được nhận khuyến khích và nhĩm khơng • Cân nhắc: – Khuyến khích cần thiết phải được thiết kế sao cho tăng xác suất đăng ký chương trình – Tác động can thiệp trung bình cĩ thể khác giữa nhĩm đăng ký chương trình do được khuyến khích và quần thể hay dân số nĩi chung. 25
26. Thiết kế khuyến khích So sánh nhĩm được Khuyến khích khuyến khích với nhĩm ượ ế Khơng khuyến khơng đ c khuy n khích khích Các nhĩm này tương quan nhau Khơng so sánh nhĩm Đăng ký tham gia tham gia với nhĩm khơng tham gia Khơng tham gia
27. RCTs | Thiết kế khuyến khích Khuyến khích đăng ký Tồn Quần Phân bổ bộ quần thể mục ngẫu nhiên thể tiêu Khơng khuyến khích đăng ký
28. Thiết kế khuyến khích – Đo lường tác động • Tác động EYYD[|_1 _ 0 1 yy ¹ – Trung bình nhĩm tham EC gia (người nhận được khuyến ee khích) trừ đi trung bìnhEC nhĩm khơng được khuyến khích. – Chia cho phần trăm khác biệt về đăng ký chương trình. – Quan trọng: Tác động này gọi là tác động can thiệp với nhĩm muốn tham gia chương trình (intention to treat effect-ITE), khơng phải là tác động can thiệp trung bình (ATE). 28 Baseline (depending) and outcome data for control an
29. Thiết kế khuyến khích Ví dụ tác động • Bạn mở một chương trình đào tạo nghề cho tất cả các đối tượng và phân bổ ngẫu nhiên ở một số khu vực tại đĩ các cá nhân nhận được khuyến khích để tham gia. • Bạn phát hiện ra là ở khu vực nhận được khuyến khích tỷ lệ dân số đăng ký tham gia là 25% cao hơn so với khu vực khác. Sau 1 năm, thu nhập trung bình ở khu vực nhận được khuyến khích là $100, so với khu vực khác là $80. • Tác động can thiệp ước lượng được là: ITE = ($100-$80)/.25 = $25 29
30. Thiết kế khuyến khích/Đề bạt ngẫu nhiên • Thử nghiệm đề bạt ngẫu nhiên để ước lượng tác động của chương trình trong trường hợp khơng thể kiểm sốt được vấn đề tham gia – Mặc dù cĩ thể cĩ ngân sách thực hiện, nhưng khơng khả thi về chính trị hay đạo đức để ngăn cản ai đĩ tham gia – Cĩ thể lựa chọn ngẫu nhiên người được nhận đề bạt/khuyến khích (khơng phải là một can thiệp chính sách, bởi tất cả mọi đối tượng đều cĩ thể tham gia chính sách) • Các chương trình phổ biến thơng tin hay khuyến khích cĩ thể làm tăng mức độ chấp nhận trong nhĩm ngẫu nhiên được lựa từ quân thể. – Dùng để tăng mức độ chấp nhận chương trình, nhưng khơng tác động đến kết quả trực tiếp (do quá tốn kém) – Các chương trình khuyến khích ảnh hưởng đến nhĩm tuân thủ, bất chấp việc luơn cĩ những đối tượng luơn tham gia và khơng bao giờ tham gia – Nhằm tạo ra nhĩm so sánh (việc nhận được khuyến khích là đại diện cho nhĩm hưởng lợi) 30
31. Ngẫu nhiên hĩa khuyến khích 31
32. Ngẫu nhiên hĩa khuyến khích: Chương trình bảo hiểm y tế 32
33. Phương pháp ngẫu nhiên hĩa – Ơn tập Thiết kế Hiệu quả Lợi thế Bất lợi nhất khi Bốc •Nhiều người •Thơng dụng •Nhĩm đối chứng thăm muốn tham gia •Dễ hiểu cĩ thể khơng hợp giản chương trình •Dễ thực hiện tác đơn •Cĩ thể thực hiện cơng •Rơi rớt mẫu giữa các khai nhĩm
34. Phương pháp ngẫu nhiên hĩa – Ơn tập Thiết kế Hiệu quả Lợi thế Bất lợi nhất khi •Chương trình •Dễ hiểu •Kỳ vọng được mở rộng theo •Dễ giải thích các tham gia trong thời gian hạn chế tương lai cĩ thể Theo giai •Sau cùng thì •Nhĩm kiểm sốt ảnh hưởng đến đoạn Sau mọi người tuân thủ do kỳ hành vi hiện tại đều được tham vọng được tham •Khĩ đo lường tác gia gia trong tương lai động dài hạn
35. Phương pháp ngẫu nhiên hĩa – Ơn tập Thiết kế Hiệu quả Lợi thế Bất lợi nhất khi •Chương trình •Cĩ thể ngẫu •Đo lường tác phải để ngỏ nhiên hĩa ở cấp động của chương đối với tất cả độ cá nhân trình đối với nhĩm các đối tượng ngay cả khi phản ứng với Khuyến khích •Khi việc chấp chương trình khuyến khích nhận chương khơng thực hiện •Cần khuyến khích trình cịn thấp, ở cùng cấp độ đủ lớn để cải thiện nhưng cĩ thể đĩ mức độ chấp nhận cải thiện nếu chương trình được khuyến •Khuyến khích tự khích nĩ cĩ thể cĩ tác động trực tiếp lên kết quả
36. Bài giảng hơm nay • Các ràng buộc thực tế • Phương pháp ngẫu nhiên hĩa • Các dạng thực hiện đối với thử nghiệm tham gia-đối chứng đơn giản 36
37. Nhiều can thiệp cùng lúc • Đơi khi câu hỏi trọng tâm là quyết định hình thức can thiệp tối ưu trong các hình thức can thiệp khác nhau cùng lúc • Cĩ thể ngẫu nhiên hĩa các can thiệp đĩ • Liệu điều này cĩ giúp chúng ta biết được tác động của chỉ một can thiệp? • Bạn cĩ nhĩm kiểm sốt khơng? 37
38. Nhiều can thiệp cùng lúc Can thiệp 1 Can thiệp 2 Can thiệp 3
39. RCTs |RCTs với nhiều nhánh Đào tạo nghề tập trung So sánh So sánh của NGO chương chung trình đào NGO và Đào tạo tạo tập Private tập trung trung của nhĩm giữa Tồn bộ quần Mẫu tư nhân NGO và thể những private So sánh những Phân bổ tiêu người đi tìm ngẫu nhiên người đi Đào tạo chuẩn việc NGO và tìm việc tiêu chuẩn So sánh Private của NGO chương trình đào tạo tiêu So sánh Đào tạo tập trung tiêu chuẩn chuẩn Kiểm giữa NGO NGO và của nhĩm Private sốt tư nhân và private
40. Can thiệp cĩ nhiều cấu phần (cross-cutting treatment) • Kiểm định các cấu phần khác nhau của cùng một can thiệp • Kiểm định liệu các cấu phần bổ sung hay thay thế cho nhau • Những cấu phần nào là hiệu quả nhất về mặt chi phí? • Lợi thế: ưu điểm về mặt hoạt động, và giúp trả lời các câu hỏi liên quan, thay vì chỉ hỏi tác động. 40
41. Thiết kế nhân tố kết hợp (Factorial Design) 2 loại can thiệp 1. Chương trình đào tạo cho doanh nhân 2. Chương trình cho vay tín dụng vi mơ Cho vay Khơng cho vay Đào tạo Vay + đào tạo Chỉ đào tạo Khơng đào tạo Chỉ vay Khơng vay hay đào tạo 41
42. Can thiệp với nhiều mức độ • Một số trường học được tham gia chương trình đầy đủ • Tất cả trẻ em đều được uống thuốc • Một số trường học chỉ được tham gia một phần • 50% trẻ được uống thuốc • Kiểm định tác động của trợ cấp và giá cả 42
43. Tổng hợp • Vấn đề thực hiện rất quan trọng • Cĩ rất nhiều phương pháp tiếp cận để xử lý các vấn đề gặp phải khi thực hiện trên thực tế. • Hình thức thiết kế và phân tích cĩ sự khác nhau nhưng khơng nhiều, phụ thuộc vào loại hình thử nghiệm bạn thực hiện. • Chú ý phân biệt các khái niệm ATE, ITE, TET, và LATE. 43