Kinh tế lượng - Chương 06: Đa cộng tuyến

Nội dung text: Kinh tế lượng - Chương 06: Đa cộng tuyến

1. Chương 6 ĐA CỘNG TUYẾN 1
2. NỘI DUNG 1. Bản chất của đa cộng tuy ến 2. Nguồn gốc của đa cộng tuy ến 3. Ước lượng trong tr ường hợp có đa cộng tuy ến 4. Hậu quả của đa cộng tuy ến 5. Cách phát hi ện đa cộng tuy ến 6. Bi ện pháp khắc phục đa cộng tuy ến 2
3. 1. Bản chất của đa cộng tuyến ˆ = βˆ + βˆ + βˆ + + βˆ Yi 1 2 X 2i 3 X 3i k X ki
   Một gi ả thi ết trong mô hình hồi quy bội là gi ữa các bi ến gi ải thích không có hi ện tượng cộng tuy ến, ngh ĩa là các bi ến gi ải thích không có tương quan với nhau.
   Đa cộng tuy ến là sự tồn tại mối quan hệ tuy ến tính “hoàn hảo”/chính xác hay không hoàn hảo gi ữa một số ho ặc tất cả các bi ến gi ải thích trong một mô hình hồi quy. 3
4. 1. Bản chất của đa cộng tuyến (tt)
   Nếu tồn tại các số λ2, λ3, , λk sao cho: λ2X2i + λ3X3i + + λkXki = 0 Với λi (i = 2, 3, , k) không đồ ng th ời bằng 0 thì mô hình xảy ra hi ện tượng đa cộng tuy ến hoàn hảo.
   Nếu λ2X2i + λ3X3i + + λkXki + Vi = 0 Với Vi là sai số ng ẫu nhiên thì mô hình xảy ra hi ện tượng đa cộng tuy ến không hoàn hảo (một bi ến gi ải thích có tương quan tuy ến tính ch ặt ch ẽ với một số bi ến gi ải thích khác).
   Th ực tế th ường xảy ra hi ện tượng đa cộng tuy ến không hoàn hảo. 4
5. Y Y 1 2 X X2 X2 3 X3 (a) Không có đa cộng tuy ến (b) đa c ộng tuy ến th ấp Y Y 2 1 X3 X3 X2 X2 (c) đa c ộng tuy ến cao (d) đa c ộng tuy ến hoàn h ảo 5
6. 1. Bản chất của đa cộng tuyến (tt)
   Xem xét các mối quan hệ sau để “ch ẩn đoán” kh ả năng xảy ra hi ện tượng đa cộng tuy ến: (1) Nhu cầu về café (Y) với giá café (X2) và thu nhập của ng ười dùng café (X3) ở Brasil. (2) Mức lương nhân viên (Y) của một công ty với bậc thợ (X2), độ tuổi (X3) và thâm niên lao động (X4). (3) Giá bán nhà (Y) với di ện tích (X2) và số phòng (X3). (4) Số gi ờ tự học của SV (Y) với số gi ờ rảnh, số gi ờ dành cho các ho ạt độ ng gi ải trí. 6
7. 1. Bản chất của đa cộng tuyến (tt) β β β β Ví dụ: Yi = 1+ 2X2i + 3X3i + 4X4i + Ui Với s ố li ệu c ủa các bi ến độ c lập: X2 10 15 18 24 30 X3 50 75 90 120 150 X4 52 75 97 129 152 Ta có: X3i = 5X2i  có hi ện t ượng c ộng tuy ến hoàn h ảo gi ữa X2 và X3 và r 23 =1 X4i = 5X2i + Vi  có hi ện t ượng c ộng tuy ến không hoàn h ảo gi ữa X2 và X4, tính được r 24 = 0.9959.
8. 2. Nguốn gốc của đa cộng tuyến Montgomery và Peck cho rằng đa cộng tuy ến là do các yếu tố sau:
   Phương pháp thu thập dữ li ệu: vi ệc lấy mẫu ch ỉ gi ới hạn trong 1 ph ạm vi hẹp các giá tr ị của các bi ến gi ải thích trong tổng th ể.
   Gi ới hạn về mô hình hoặc trong tổng thể được lấy mẫu: ví dụ khi hồi quy Mức tiêu th ụ điện (Y) theo thu nh ập (X2) và kích th ước nhà (X3). Có một gi ới hạn trong tổng th ể là gia đình có thu nh ập cao th ường có nhà lớn hơn gia đình có TN th ấp. 8
9. 2. Nguốn gốc của đa cộng tuyến
   An overdetermined model: mô hình có số lượng các bi ến gi ải thích nhi ều hơn số lượng các quan sát.
   Trong dữ li ệu chuỗi thời gian (time series data), khi các bi ến gi ải thích có cùng xu hướng thì cũng th ường xảy ra đa cộng tuy ến. ◦ Ví dụ: Khi hồi quy tiêu dùng theo thu nh ập, sự giàu có và dân số, các bi ến gi ải thích thu nh ập, sự giàu có và dân số có th ể đề u tăng trong kho ảng th ời gian nghiên cứu với tỷ lệ gần gi ống nhau, đư a đế n hi ện tượ ng cộng tuy ến gi ữa các bi ến này. 9
10. 3. Ước lượng khi có đa cộng tuyến 3.1. Tr ường hợp có đa cộng tuy ến hoàn hảo: ° Các hệ số hồi quy không xác đị nh; ph ương sai và các sai số chu ẩn của chúng là vô hạn. ° Không th ể tách riêng ảnh hưởng của từng bi ến gi ải thích lên bi ến ph ụ thu ộc từ một mẫu cho tr ước. ° Không th ể có lời gi ải duy nh ất cho các hệ số hồi quy riêng, ch ỉ có th ể có được lời gi ải duy nh ất cho tổ hợp tuy ến tính của các hệ số này. 10
11. 3. Ước lượng khi có đa cộng tuyến (tt) 3.1. Tr ường hợp có đa cộng tuy ến hoàn hảo β β β Xét mô hình: Yi = 1+ 2X2i + 3X3i + Ui (1) λ λ Gi ả s ử: X3i = X2i  x3i = x2i Theo OLS: ∑ x y ∑ x 2 − ∑ x x ∑ x y βˆ = 2i i 3i 2i 3i 3i i 2 2 2 − 2 ∑x 2i ∑x 3i ( ∑ x 2i x 3i ) ∑x y ∑x 2 − ∑x x ∑ x y βˆ = 3i i 2i 2i 3i 2i i 3 2 2 − 2 ∑x 2i ∑x 3i ( ∑ x 2i x 3i ) 11
12. 3. Ước lượng khi có đa cộng tuyến (tt) 3.1. Tr ường hợp có đa cộng tuy ến hoàn hảo λ Thay x3i = 2x2i vào công th ức: ∑x y (λ2∑x 2 ) −(λ∑x 2 )(λ∑x y ) 0 βˆ = 2i i 2i 2i 2i i = 2 2 2 2 − 2 2 2 ∑x 2i (λ ∑x 2i ) λ ( ∑x 2i ) 0 0 βˆ βˆ Tương tự: β ˆ = ( 2 , 3 : không xác đị nh) 3 0 λ Tuy nhiên n ếu thay X3i = X2i vào hàm h ồi qui (1), ta được: β β β λ Yi = 1+ 2X2i + 3 X2i + Ui β β λβ Hay Yi = 1+ ( 2+ 3) X2i + Ui (2) ˆ ˆ = ˆ + ˆ Ước l ượng (2), ta có: β1, β0 β2 λβ3
13. 3. Ước lượng khi có đa cộng tuyến (tt) 3.1. Tr ường hợp có đa cộng tuy ến hoàn hảo
    Tóm lại, khi có đa cộng tuy ến hoàn hảo thì không th ể ước lượng được các hệ số trong mô hình mà ch ỉ có th ể ước lượng được một tổ hợp tuy ến tính của các hệ số đó. βˆ = βˆ + λβˆ
    Hay có th ể ước lượng được 0 2 3 βˆ βˆ nh ưng không th ể ước lượng2 , 3 với một lời gi ải duy nh ất.
14. 3. Ước lượng khi có đa cộng tuyến (tt) 3.1. Tr ường hợp có đa cộng tuy ến không hoàn hảo  Th ực hi ện tương tự nh ư trong tr ường hợp có đa λ cộng tuy ến hoàn hảo nh ưng với X3i = X2i +Vi  Vẫn có th ể ước lượng được các hệ số trong mô hình.  Dữ li ệu chu ỗi th ời gian th ường xảy ra đa cộng tuy ến không hoàn hảo.
15. 4. Hậu quả của đa cộng tuyến Về mặt lý thuy ết, khi có đa cộng tuy ến gần hoàn hảo (đa cộng tuy ến cao), các ước lượng OLS vẫn th ỏa mãn tính ch ất BLUE, nh ưng hậu qu ả th ực tế của nó gồm: 1. Ph ươ ng sai và hi ệp ph ươ ng sai của các ướ c lượ ng OLS lớn. 2. Kho ảng tin cậy của các hệ số hồi quy rộng hơn. 3. Tỷ số t “không có ý ngh ĩa”. Sai số chu ẩn của các hệ số hồi quy lớn làm cho giá tr ị t nh ỏ đi, từ đó sẽ làm tăng kh ả năng ch ấp nh ận gi ả thi ết H0 4. R2 cao nh ưng tỷ số t ít có ý ngh ĩa Dựa trên cơ sở ki ểm đị nh t, một ho ặc một số hệ số hồi qui riêng không có ý ngh ĩa về mặt th ống kê. Tuy nhiên, R2 lại rất cao (th ườ ng trên 0,9). 15
16. 4. Hậu quả của đa cộng tuyến (tt) 5. Các ước lượng OLS và sai số chu ẩn của chúng tr ở nên rất nh ạy với nh ững thay đổ i nh ỏ trong dữ li ệu. 6. Dấu của các ước lượng của các hệ số hồi qui có th ể sai. Ví dụ khi ướ c lượ ng hồi quy cầu của hàng hóa thông th ườ ng theo thu nh ập, nếu xảy ra hi ện tượ ng đa cộng tuy ến gần hoàn hảo, thì có th ể hệ số của bi ến thu nh ập mang dấu (-), điều này mâu thu ẫn với lý thuy ết kinh tế. 7. Thêm vào hay bớt đi các bi ến cộng tuy ến với các bi ến khác, mô hình sẽ thay đổ i về dấu ho ặc thay đổ i về độ lớn của các ước lượng. Đa cộng tuy ến làm tăng sai số chu ẩn, sai số chu ẩn lớn hơn ph ản ánh sự bi ến thiên của hệ số hồi qui từ mẫu này đế n mẫu khác cao hơn. 16
17. 4. Hậu quả của đa cộng tuyến (tt)
    Thí dụ: 17
18. 4. Hậu quả của đa cộng tuyến (tt)
    Kết quả phân tích hồi quy của 2 mẫu quan sát lần lượt là: 18
19. 5. Cách phát hi ện đa cộng tuyến (1). Hệ số R2 lớn (>0,8) nh ưng rất ít tỷ số t có ý ngh ĩa. (2). Tương quan cặp gi ữa các bi ến gi ải thích cao (hệ số tương quan > 0,8). Lưu ý là có tr ường hợp tương quan cặp không cao nh ưng vẫn xảy ra hi ện tượng đa cộng tuy ến, đặ c bi ệt là khi mô hình có nhi ều hơn 2 bi ến gi ải thích. (3). Sử dụng mô hình hồi quy phụ: Hồi quy 1 bi ến gi ải thích X nào đó theo các bi ến còn lại. Tính R2 và F cho mô hình. 2 Ki ểm đị nh H0:R = 0 bằng ki ểm đị nh F, tức ki ểm đị nh gi ả thi ết bi ến X không tương quan tuy ến tính với các bi ến còn lại. Nếu ch ấp nh ận H0 thì không có hi ện tượng cộng tuy ến. 19
20. 5. Cách phát hi ện đa cộng tuyến (tt) β β β β Xét : Yi = 1+ 2X2i + 3X3i + 4X4i + Ui Cách s ử d ụng mô hình h ồi qui phụ nh ư sau: - Hồi qui mỗi bi ến độ c l ập theo các bi ến độ c l ập còn lại. Tính R2 cho mỗi h ồi qui ph ụ: 2 α α α R Hồi qui X2i = 1 + 2X3i + 3X4i +u2i  2 λ λ λ 2 Hồi qui X3i = 1 + 2X2i + 3X4i +u3i  R3 γ γ γ 2 Hồi qui X4i = 1 + 2X2i + 3X3i +u4i  R 4 - Ki ểm đị nh các gi ả thi ết H : 2 = ∀ = 0 R j 0 j 2 4 -Nếu ch ấp nh ận các gi ả thi ết trên thì không có đa cộng tuy ến gi ữa các bi ến độ c lập.
21. 5. Cách phát hi ện đa cộng tuyến (tt) (4). Sử dụng nhân tử phóng đạ i phương sai (VIF): - Đố i với mô hình có 2 bi ến gi ải thích X2 và X3: 2 VIF = 1/(1-r 23 ) Với r23 là hệ số tương quan gi ữa X2 và X3 Khi r23 =1 thì VIF ti ến đế n vô hạn. Khi không có cộng tuy ến gi ữa X2 và X3 thì VIF=1. 2 - Tr ường hợp có (k-1) bi ến gi ải thích : VIF = 1/(1-R j) 2 2 Với R j là giá tr ị R trong hàm hồi quy của Xj theo (k- 2) bi ến gi ải thích còn lại. Theo quy tắc kinh nghi ệm, 2 nếu VIF của 1 bi ến vượt quá 10 (khi R j>0,9) thì bi ến này được coi là có cộng tuy ến cao. 21
22. 5. Cách phát hi ện đa cộng tuyến (tt) Xét số li ệu thí dụ trang 143. Hãy ki ểm đị nh hi ện tượ ng đa cộng tuy ến bằng cách sử dụng mô hình hồi quy ph ụ
23. 5. Cách phát hi ện đa cộng tuyến (tt) Với mức ý ngh ĩa 5%, tra bảng phân ph ối F: F0,05 (1,10) = ? 23
24. 6. Bi ện pháp khắc phục đa cộng tuyến (1). Sử dụng thông tin tiên nghi ệm Thông tin có th ể có được từ công vi ệc th ực tế tr ước đây ho ặc từ các lý thuy ết trong lĩnh vực nghiên cứu. Ví dụ: Yi = β0 + β1X1i + β2X2i +Ui Trong đó: Y: chi tiêu cho tiêu dùng X1: thu nh ập X2: sự giàu có X1 và X2 có khuynh hướng cộng tuy ến cao. Gi ả sử nghiên cứu th ực nghi ệm tr ước đây cho kết qu ả: β2 = 0,1β1 24
25. 6. Bi ện pháp khắc phục đa cộng tuyến (tt) (1). Sử dụng thông tin tiên nghi ệm (tt) Bi ến đổ i mô hình hồi quy trên, ta được: Yi = β0 + β1Xi + Ui Với Xi = X1i + 0,1X2i ⌢ β Sau khi ước lượng ⌢được tham⌢ số 1 , ta có th ể dễ β β dàng ước lượng2 = 0,1 1 Lưu ý là khi sử dụng thông tin tiên nghi ệm để kh ắc ph ục đa cộng tuy ến thì xem nh ư thông tin tiên nghi ệm này thích hợp với dữ li ệu th ực tế, nh ưng có th ể dữ li ệu này lại không thích hợp. 25
26. 6. Bi ện pháp khắc phục đa cộng tuyến (tt) (2). Loại tr ừ 1 bi ến gi ải thích ra khỏi mô hình - Bước 1: Xem cặp bi ến gi ải thích nào có quan hệ ch ặt ch ẽ dựa vào ma tr ận tương quan (ví dụ X2 và X3) 2 - Bước 2: Tính R đố i với các hàm hồi quy: có mặt cả hai bi ến; không có mặt 1 trong 2 bi ến 2 - Bước 3: Lo ại bi ến mà giá tr ị R tính được khi không có mặt bi ến đó là lớn hơn Bỏ bớt bi ến là cách đơ n gi ản nh ất khi chúng ta ph ải đố i di ện với tình tr ạng đa cộng tuy ến nghiêm tr ọng. 26
27. 6. Bi ện pháp khắc phục đa cộng tuyến (tt) (3). Thu thập thêm số li ệu hoặc lấy mẫu mới Vì đa cộng tuy ến là một đặ c tính của mẫu nên đôi khi ch ỉ cần tăng cỡ mẫu cũng có th ể làm gi ảm bớt vấn đề này (4). Sử dụng sai phân cấp 1 Ta có mô hình hồi quy sau: Yt = β1 + β2X2t + β3X3t + Ut (1) Suy ra: Yt-1 = β1 + β2X2t-1 + β3X3t-1 + Ut-1 (2) (1)-(2): Yt-Yt-1 = β2(X2t-X2t-1) + β3(X3t-X3t-1) + Ut-Ut-1 Hay: yt = β2x2t + β3x3t + Vt (3) 27
28. 6. Bi ện pháp khắc phục đa cộng tuyến (tt) Mô hình hồi quy (3) th ường làm gi ảm tính nghiêm tr ọng của đa cộng tuy ến vì dù X2 và X3 có th ể tương quan cao nh ưng không có lý do tiên nghi ệm nào cho rằng sai phân của chúng cũng tương quan cao. Tuy nhiên sử dụng sai phân bậc nh ất cũng làm nảy sinh một số vấn đề nh ư sai số Vt trong mô hình (3) có th ể không th ỏa mãn gi ả thi ết của mô hình hồi quy tuy ến tính cổ điển là các nhi ễu không tương quan. Xem thí dụ trang 143 về cách phát hi ện và kh ắc ph ục đa cộng tuy ến. 28
29. 6. Bi ện pháp khắc phục đa cộng tuyến (tt) Đa cộng tuyến có thật sự xấu?
    Đa cộng tuy ến không ph ải là vấn đề nghiêm tr ọng nếu mục đích của phân tích hồi quy ch ỉ là dự báo, vì R2 càng cao thì vi ệc dự báo càng chính xác.
    Tuy nhiên, nếu mục đích của phân tích hồi quy còn là để ước lượng giá tr ị tin cậy của các thông số thì đa cộng tuy ến là vấn đề cần xem xét vì sai số chu ẩn của các ước lượng lớn. 29