›
›

Bài giảng Lý thuyết xác suất và thống kê toán học - Chương 8: Lý thuyết tương quan và hồi qui

pdf 61 trang Đức Chiến 05/01/2024 1330
Download
Bạn đang xem 20 trang mẫu của tài liệu "Bài giảng Lý thuyết xác suất và thống kê toán học - Chương 8: Lý thuyết tương quan và hồi qui", để tải tài liệu gốc về máy bạn click vào nút DOWNLOAD ở trên

Tài liệu đính kèm:

  • pdfbai_giang_ly_thuyet_xac_suat_va_thong_ke_toan_hoc_chuong_8_l.pdf

Nội dung text: Bài giảng Lý thuyết xác suất và thống kê toán học - Chương 8: Lý thuyết tương quan và hồi qui

  1. LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC Phan Văn Tân Bộ mô Khí tượng
  2. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.1 Tính độc lập và quan hệ phụ thuộc ngẫu nhiên • Xét hai đại lượng ngẫu nhiên X, Y • Giả sử f(x,y) là phân bố đồng thời của hệ (X,Y) • Khi đó có thể biểu diễn: f(x,y)=f(y/x).f1(x)=f(x/y).f2(y) • Trong đó f(y/x), f(x/y) là các phân bố có điều kiện còn f1(x), f2(y) là các phân bố riêng ∂2F(x, y) f (x, y) = , F(x, y) = P(X < x,Y < y) +∞ ∂x∂y +∞ f (x) f (x, y)dy, f ( y) f (x, y)dx 1 = ∫ 2 = ∫ −∞ f (x, y) −∞ f (x, y) f ( y / x) = +∞ , f (x / y) = +∞ ∫ f (x, y)dy ∫ f (x, y)dx −∞ −∞
  3. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.1 Tính độc lập và quan hệ phụ thuộc ngẫu nhiên • Nếu X và Y độc lập với nhau: • f(y/x)=f2(y), f(x/y)=f1(x) è f(x,y)=f1(x).f2(y) • Tức là sự biến thiên của đại lượng này không ảnh hưởng đến sự biến thiên của đại lượng kia và ngược lại • Nói chính xác hơn, xác suất để Y nhận giá trị nào đó không bị ảnh hưởng bởi việc cho trước giá trị x của X, và ngược lại • Nếu X và Y không độc lập với nhau, khi đó ta nói X và Y phụ thuộc lẫn nhau • Có hai khái niệm phụ thuộc giữa X và Y: – Phụ thuộc hàm – Phụ thuộc tương quan
  4. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.1 Tính độc lập và quan hệ phụ thuộc ngẫu nhiên • Nếu X và Y phụ thuộc hàm với nhau, khi đó có thể biểu diễn: Y = f(X) hoặc X = g(Y) • Điều đó có nghĩa là nếu X nhận giá trị x nào đó thì tương ứng Y nhận giá trị y=f(x), hoặc khi Y nhận giá trị y nào đó thì X nhận giá trị tương ứng x=g(y) • Tuy nhiên, trong thực tế các đại lượng ngẫu nhiên thường phụ thuộc lẫn nhau phức tạp hơn nhiều • Ví dụ: – Quan hệ giữa nhiệt độ và độ ẩm tương đối không khí trong ngày: Qui luật chung là nhiệt độ tăng thì độ ẩm giảm, nhưng đó là mối quan hệ không đơn trị và không phải là quan hệ hàm – Quan hệ giữa chiều cao và cân nặng của cơ thể người –
  5. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.1 Tính độc lập và quan hệ phụ thuộc ngẫu nhiên Minh họa sự phụ thuộc Y giữa Y và X: Ứng với một giá trị x∈X có thể có nhiều giá trị của Y, và ngược lại – Không phải là quan hệ hàm Tập giá trị Y/X=x (hoặc X/Y=y) sẽ tuân theo luật phân bố nào đó mà ta gọi là phân bố có điều kiện: X f(y/x) (hoặc f(x/y) Sự phụ thuộc giữa Y và X trong trường hợp này được gọi là phụ thuộc ngẫu nhiên. Quan hệ giữa Y và X được gọi là quan hệ tương quan
  6. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.2 Hệ số tương quan • Một trong những đặc trưng quan trọng để nghiên cứu mối quan hệ tương quan giữa hai biến ngẫu nhiên là hệ số tương quan • Theo định nghĩa, hệ số tương quan giữa hai đại lượng ngẫu nhiên X, Y là số vô thứ nguyên được xác định bởi: M[(X − M[X ])(Y − M[Y ])] ρ xy ≡ ρ = = M[(X − M[X ])2 ].M[(Y − M[Y ])2 ] M[(X − m )(Y − m )] µ cov( X ,Y ) = x y = xy ≡ 2 2 M[(X − mx ) ].M[(Y − my ) ] Dx Dy Dx Dy • Một số ký hiệu thường gặp ρ xy ≡ ρ ≡ ρ(X ,Y ) = ρ(Y , X ) 2 2 µxy ≡ cov(X ,Y ) = cov(Y , X ) Dx ≡ σ ≡ σ x ≡ var( X )
  7. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.2 Hệ số tương quan Một số tính chất của hệ số tương quan 1) Nếu Z1=aX+b, Z2=cY+d (a,b,c,d là các hằng số, a>0, c>0) thì ρ(Z1,Z2) = ρ(X,Y) 2) Trị số của hệ số tương quan nằm trong khoảng [–1,1]: |ρ| ≤ 1 3) Điều kiện cần và đủ để |ρxy| = 1 là Y và X thực sự có quan hệ hàm tuyến tính, tức Y=aX+b, hoặc X=cY+d. ρxy = 1 khi và chỉ khi a>0, hoặc c>0, ρxy=–1 khi a<0 (c<0) 4) Nếu X và Y độc lập với nhau thì ρxy=0. Điều ngược lại không đúng
  8. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.2 Hệ số tương quan Ý nghĩa của hệ số tương quan • Từ các tính chất của hệ số tương quan suy ra rằng – Hệ số tương quan là đại lượng đặc trưng cho mối quan hệ tuyến tính giữa hai biến ngẫu nhiên X và Y – Hệ số tương quan bằng 0 thì hai biến không có quan hệ tương quan tuyến tính nhưng chưa chắc chúng độc lập với nhau (trừ chúng có phân bố chuẩn) – Hệ số tương quan dương thì hai biến quan hệ đồng biến với nhau, hệ số tương quan âm hai biến quan hệ nghịch biến với nhau
  9. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.3 Hệ số tương quan mẫu • Hệ số tương quan ρ đã xét trên đây là hệ số tương quan lý thuyết giữa hai biến ngẫu nhiên. Nó là một hằng số chưa biết • Xét hai biến ngẫu nhiên (X,Y) và mẫu (X1,Y1), ,(Xn,Yn) • Hệ số tương quan mẫu giữa hai đại lượng ngẫu nhiên X, Y là đại lượng được xác định bởi: 1 n (X X )(Y Y ) ∑ i − i − ~ n µxy Rxy r ≡ r = i=1 = ≡ xy n n ~ ~ 1 1 D D sxsy (X X )2 (Y Y )2 x y ∑ i − ∑ i − n i=1 n i=1 • Khác với hệ số tương quan lý thuyết ρ, hệ số tương quan mẫu r là một đại lượng thống kê nên nó là một biến ngẫu nhiên
  10. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI Ví dụ: Tính hệ số tương quan TT x y x-xtb y-ytb (x-xtb)^2 (y-ytb)^2 (x-xtb)(y-ytb) 1 26 0 1.4 -4.6 1.96 21.16 -6.44 2 25 3 0.4 -1.6 0.16 2.56 -0.64 3 19 9 -5.6 4.4 31.36 19.36 -24.64 4 24 10 -0.6 5.4 0.36 29.16 -3.24 5 24 4 -0.6 -0.6 0.36 0.36 0.36 6 28 2 3.4 -2.6 11.56 6.76 -8.84 7 20 9 -4.6 4.4 21.16 19.36 -20.24 8 29 0 4.4 -4.6 19.36 21.16 -20.24 9 22 4 -2.6 -0.6 6.76 0.36 1.56 10 29 5 4.4 0.4 19.36 0.16 1.76 24.6 4.6 112.4 120.4 -80.6 2 2 2 2 1/2 S x=11.24; S y=12.04; Rxy=-8.06; rxy=Rxy/(S x*S y) =-0.6929
  11. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.3 Hệ số tương quan mẫu • Mật độ phân bố của r có dạng: n−3 n−1 n−4 ∞ i 2 2 2 2 2 n + i −1 2 (2ρr) fn (r) = (1− ρ ) (1− r ) ∑(Γ ( )) πΓ (n − 2) i=0 2 i! hoặc dạng khác n 1 n 4 n − 2 − − 1 xn−2 dx f (r) = (1− ρ 2 ) 2 (1− r2 ) 2 n ∫ n−1 2 π 0 (1− ρrx) 1− x • Phân bố của r chỉ phụ thuộc vào dung lượng mẫu n và hệ số tương quan tổng thể ρ • Khi n = 2 thì fn(r) = 0, phù hợp với sự kiện hệ số tương quan được tính từ tập mẫu chỉ có 2 quan trắc phải bằng ±1 • Kỳ vọng của hệ số tương quan mẫu r: M[r]=ρ • Phương sai của hệ số tương quan mẫu r: 2 ρ µ40 µ04 2µ22 4µ22 4µ31 4µ13 D[r] = ( 2 + 2 + + 2 − − ) 4n µ20 µ02 µ20µ20 µ11 µ11µ20 µ11µ02
  12. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.3 Hệ số tương quan mẫu • Ước lượng khoảng của hệ số tương quan: 1 1+ r 1 1+ ρ Sử dụng phép biến đổi của Fisher: z = log ζ = log 2 1− r 2 1− ρ Khi đó biến z có phân bố xấp xỉ chuẩn với trung bình và phương sai: ρ 1 M[z] = ζ + D[z] = 2(n −1) n − 3 Và khoảng tin cậy của ζ với độ tin cậy 1-α là: ⎛ r 1 r 1 ⎞ ( ˆ , ˆ ) z u , z u ζ1 ζ 2 = ⎜ − − α − + α ⎟ ⎝ 2(n −1) n − 3 2(n −1) n − 3 ⎠ trong đó uα nhận được từ phân bố chuẩn N(0,1): P( u ≥ uα ) = α • Cách xác định: – Cho α tính được uα; từ r tính được z; ˆ ˆ – Từ uα, r, z tính được (ζ 1,ζ 2 ) ⇒(ρˆ1,ρˆ2 ) ⇒(ρˆ1 < ρ < ρˆ2 )
  13. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.3 Hệ số tương quan mẫu • Kiểm nghiệm độ rõ rệt của hệ số tương quan: – Trong thực tế, do độ lớn của mẫu (dung lượng mẫu) bị hạn chế nên có thể xảy ra tình huống mặc dù ρ=0 nhưng r≠0, và ngược lại – Nói cách khác, trong tính toán thực hành nếu nhận được r = 0 thì điều đó không có nghĩa là ρ bằng 0. – Ngược lại, nếu r≠0 thì cũng không hẳn là ρ khác 0 – Khi dung lượng mẫu nhỏ thì mặc dù ρ=0 nhưng giá trị của r lại có thể có ý nghĩa (lớn đáng kể) – Để xác minh xem ρ=0 hay ρ≠0 cần phải kiệm nghiệm độ rõ rệt của r (là ước lượng của ρ)
  14. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.3 Hệ số tương quan mẫu • Kiểm nghiệm độ rõ rệt của hệ số tương quan: – Để kiểm nghiệm, ta đặt giả thiết H0: ρ = 0 – Thay ρ ≈ r, với giới hạn tin cậy ban đầu d thì khi H0 đúng, xác suất phạm sai lầm loại 1 là P( r ≥ d) = α r d Đặt t = tα = 1− r 2 / n − 2 1− r 2 / n − 2 Khi H0 đúng, t có phân bố Student với n–2 bậc tự do: t∈St(n–2) ⇒ P( r ≥ d) = P(t ≥ tα ) = α Từ đó, với α được chọn ta tính được tα từ St(n–2) Và kết luận: • Nếu |t| ≥ tα thì bác bỏ H0 và đưa ra kết luật r lớn rõ rệt • Nếu |t| < tα thì chấp nhận H0 và kết luận r không lớn rõ rệt
  15. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.3 Hệ số tương quan mẫu • Kiểm nghiệm độ rõ rệt của hệ số tương quan: – Ví dụ: Từ tập mẫu {(xt, yt), t=1 11} ta tính được hệ số tương quan rxy=0.76. Hãy cho biết với giá trị nhận được như vậy thì hệ số tương quan có lớn rõ rệt không nếu chọn xác suất phạm sai lầm loại 1 là α=0.01? rxy 0.76 t = 3.51 Giải: Ta có = = 2 1− r 2 / n − 2 1− 0.76 / 11− 2 • Với α=0.01, từ St(11-2) xác định được tα=3.25 < t nên bác bỏ giả thiết Ho và kết luận rxy lớn rõ rệt
  16. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.4 Khái niệm về hồi qui • Xét hai biến ngẫu nhiên (X,Y) • Quan hệ giữa X và Y có thể là: – Quan hệ hàm – Quan hệ tương quan • Khi X và Y có quan hệ tương quan: – Mỗi giá trị x ∈ X tương ứng với một hàm phân bố (hoặc hàm mật độ) có điều kiện F(y/x) (hoặc f(y/x)) của Y, và ngược lại – Nghiên cứu mối phụ thuộc tương quan cần xác định được các phân bố có điều kiện Rất khó, phức f (x, y) f (x, y) f (y / x) = f (x / y) = tạp, và hầu như f1(x) f2 (y) không thể thực hiện được
  17. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.4 Khái niệm về hồi qui • Một cách làm khác: Chỉ giới hạn xét mối quan hệ phụ thuộc giữa X với một số đặc trưng có điều kiện của Y, như kỳ vọng, trung vị, mốt, • Phổ biến hơn cả là xét mối quan hệ giữa X và kỳ vọng có điều kiện của Y: m (x) = M[Y/X=x] y +∞ m (x) M[Y / X x] yf (y / x)dy y = = = ∫ −∞ • Người ta gọi đây là sự phụ thuộc hồi qui: Hồi qui của Y lên X Y=my(X) hay y = my(x) • Hồi qui này được gọi là hồi qui I: y = my(x) có thể là hàm tuyến tính hoặc phi tuyến • Nói chung, y = my(x) là một hàm bất kỳ, phức tạp, và hầu như không biết được dạng giải tích
  18. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.4 Khái niệm về hồi qui (xt,yt) y=my(x)
  19. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.5 Hồi qui bình phương trung bình tuyến tính một biến • Trong thực tế, để nghiên cứu mối quan hệ tương quan giữa Y và X, người ta thường xấp xỉ my(x) bởi một lớp hàm f(x) nào đó đã biết trước dạng giải tích (Chú ý: f(x) là một hàm nào đó, không phải là hàm mật độ của X) m (x) ≈ f (x) ⇒ y ≈ ~y = f (x) y ~ Hay Y ≈ Y = f (X ) • Trong trường hợp này hàm hồi qui được gọi là hồi qui II • Nguyên tắc xác định hàm f(x) là cực tiểu hóa hệ thức: M[(Y − f (X ))2 ] • Điều đó có nghĩa là tìm trong các hàm φ(X) thuộc lớp hàm Φ một hàm f(X) nào đó thỏa mãn M[(Y − f (X ))2 ] = min M[(Y −ϕ(X ))2 ] ϕ (X)∈φ • Hàm hồi qui II được xác định bằng phương pháp này gọi là hồi qui bình phương trung bình
  20. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.5 Hồi qui bình phương trung bình tuyến tính một biến (xt,yt) y=my(x) ~y =f(x)
  21. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.5 Hồi qui bình phương trung bình tuyến tính một biến (xt,yt) y=my(x) ~ y =f(x)=α+βx
  22. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.5 Hồi qui bình phương trung bình tuyến tính một biến • Trường hợp đơn giản nhất của hồi qui bình phương trung bình là hồi qui bình phương trung bình tuyến tính - f(x) là hàm bậc nhất: Y = f(X) = α + βX α, β là các hằng số. (Để đơn giản ta bỏ Hay y = f(x) = α + βx ký hiệu dấu “ngã” phía trên Y và y) • Các hằng số α, β được gọi là các hệ số hồi qui • Từ phương pháp bình phương tối thiểu ta có: R2 = M[(Y − f (X ))2 ] = M[(Y −α − βX )2 ] = = M[(Y − M[Y ]+ M[Y ]−α − βX + βM[X ]− βM[X ])2 ] = M [((Y − M[Y ]) − β (X − M[X ]) + (M[Y ] −α − βM[X ]))2 ] = M [(Y − M[Y ])2 + β 2 (X − M[X ])2 + (M[Y ] −α − βM[X ])2 − − 2β (Y − M[Y ])(X − M[X ]) + 2(Y − M[Y ])(M[Y ] −α − βM[X ]) − − 2β (X − M[X ])(M[Y ] −α − βM[X ])]
  23. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.5 Hồi qui bình phương trung bình tuyến tính một biến R2 = M [(Y − M[Y ])2 + β 2 (X − M[X ])2 + (M[Y ] −α − βM[X ])2 − − 2β (Y − M[Y ])(X − M[X ]) + 2(Y − M[Y ])(M[Y ] −α − βM[X ]) − − 2β (X − M[X ])(M[Y ] −α − βM[X ])] R2 = D[Y ] + β 2D[X ] + (M[Y ] −α − βM[X ])2 − 2β cov(X ,Y ) + + 2M[[Y.M[Y ] −αY − βY.M[X ] − M[Y ]M[Y ] +αM[Y ] + + βM[X ]M[Y ]− βX.M[Y ] + βαX + β 2 X.M[X ] + + βM[X ]M[Y ] − βαM[X ] − β 2M[X ]M[X ]] 2 2 2 R = Dy + β Dx + (my −α − βmx ) − 2β cov( X ,Y ) + 2 2 + 2(my −αmy − βmxmy − my +αmy + βmxmy − 2 2 2 2 − βmxmy +αβmx + β mx + βmxmy −αβmx − β mx 2 2 2 R = Dy + β Dx + (my −α − βmx ) − 2βµ xy
  24. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.5 Hồi qui bình phương trung bình tuyến tính một biến 2 2 2 R = Dy + β Dx + (my −α − βmx ) − 2βµ xy ∂R2 = −2(m −α − βm ) = 0 − 2(my −α − βmx ) = 0 ∂α y x ⇒ α = my − βmx ∂R2 = −2(m −α − βm )m + 2D β − 2µ = 0 ∂β y x x x xy − 2(my −α − βmx )mx + 2Dxβ − 2µxy = 0 µxy Dxβ − µxy = 0 ⇒ β = ⇒ (my − (my − βmx ) − βmx )mx + Dxβ − µxy = 0 Dx µxy cov(X ,Y ) β = , α = my − βmx β = , α = M[Y ]− βM[X ] Dx var( X ) µxy µxy µxy µxy Y = f (X ) = (my − mx ) + X hay y = (my − mx ) + x Dx Dx Dx Dx
  25. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.5 Hồi qui bình phương trung bình tuyến tính một biến µxy µxy µxy µxy Y = f (X ) = (my − mx ) + X, y = (my − mx ) + x Dx Dx Dx Dx µ xy , m m Đây là phương trình đường thẳng β = α = y − β x hồi qui với hệ số góc β Dx µxy µxy µxy σ y µxy σ y σ y σ y β = = 2 = 2 = = ρxy ≡ ρ Dx σ x σ x σ y σ xσ y σ x σ x σ x • Hệ số góc của đường thẳng hồi qui cùng dấu với hệ số tương quan – Hệ số tương quan dương: Đường thẳng hồi qui có hướng “đi lên” từ trái sang phải – Hệ số tương quan âm: Đường thẳng hồi qui có hướng “đi xuống” từ trái sang phải
  26. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.5 Hồi qui bình phương trung bình tuyến tính một biến y y x x
  27. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.5 Hồi qui bình phương trung bình tuyến tính một biến • Sai số của phương pháp 2 2 2 R = M[(Y − f (X )) ] = M[(Y − (α + βX )) ] µxy β = , α = m − βm 2 2 y x = Dy + β Dx + (my −α − βmx ) − 2βµ xy Dx 2 2 2 µxy 2 2 µxy R = σ y + 4 σ x + (my − my + βmx − βmx ) − 2 2 µxy σ x σ x µ 2 µ 2 µ 2 ⎛ µ 2 ⎞ = σ 2 + xy − 2 xy = σ 2 − xy = σ 2 ⎜1− xy ⎟ = σ 2 (1− ρ 2 ) y 2 2 y 2 y ⎜ 2 2 ⎟ y σ x σ x σ x ⎝ σ xσ y ⎠ • Vì |ρ|≤1 nên sai số R2 càng nhỏ khi |ρ| càng gần 1 • Nói cách khác, nếu Y và X quan hệ tuyến tính với nhau càng chặt chẽ thì sai số của phép xấp xỉ my(x) ≈ f(x) càng chính xác • Khi hệ số tương quan |ρ|=1, ứng với trường hợp Y và X có quan hệ hàm tuyến tính, thì R2=0
  28. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.6 Hồi qui bình phương trung bình tuyến tính nhiều biến (hồi qui bội) • Xét mối quan hệ tương quan giữa biến ngẫu nhiên Y với m biến ngẫu nhiên (X1, ,Xm) • Quan hệ giữa Y và (X1, ,Xm) có thể được mô tả bởi các phân bố đồng thời f(y, x1, ,xm) hoặc phân bố có điều kiện f(y/x1, ,xm) • Tuy nhiên, điều đó thường không thực hiện được, và thay cho điều đó người ta xét quan hệ giữa Y với (X1, ,Xm) thông qua các đặc trưng có điều kiện • Ở đây ta xét kỳ vọng có điều kiện: my(x1, ,xm)=M[Y/X1=x1, ,Xm=xm] +∞ y m (x , , x ) yf ( y / x , , x )dy Y m (X , , X ) = y 1 m = ∫ 1 m = y 1 m −∞ • Đây được gọi là mặt hồi qui I giữa Y và (X1, ,Xm) • Tương tự như trường hợp một biến, mặt hồi qui I my(x1, ,xm) là một hàm phức tạp và nói chung không thể xác định được
  29. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.6 Hồi qui bình phương trung bình tuyến tính nhiều biến (hồi qui bội) • Do đó, thay cho hàm hồi qui I người ta xét hồi qui II là một hàm m biến nào đó f(x1, ,xm) được chọn làm xấp xỉ cho kỳ vọng có điều kiện my(x1, ,xm)=M[Y/X1=x1, ,Xm=xm] y = my (x1, , xm ) ≈ f (x1, , xm ) hay Y ≈ f (X1, , X m ) • Trong trường hợp f(x1, ,xm) thuộc lớp hàm tuyến tính ta có: m y f (x , , x ) x ≈ 1 m = β0 + ∑β j j j=1m hay Y f (X , , X ) X ≈ 1 m = β0 + ∑β j j j=1 • Trong đó các βj, j=0 m là các hệ số hằng số, được xác định sao cho 2 ⎡⎛ ⎛ m ⎞⎞ ⎤ R2 = M[(Y − f (X , , X ))2 ] = M ⎢⎜Y − ⎜β + β X ⎟⎟ ⎥ → min 1 m ⎜ ⎜ 0 ∑ j j ⎟⎟ ⎢ j=1 ⎥ ⎣⎝ ⎝ ⎠⎠ ⎦
  30. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.6 Hồi qui bình phương trung bình tuyến tính nhiều biến (hồi qui bội) • Phương trình hồi qui tìm được trong trường hợp này gọi là hồi qui bình phương trung bình tuyến tính nhiều biến • Xác định các hệ số hồi qui: 2 ⎡⎛ ⎛ m ⎞⎞ ⎤ • Từ hệ thức: R2 = M ⎢⎜Y − ⎜β + β X ⎟⎟ ⎥ ⎜ ⎜ 0 ∑ j j ⎟⎟ ⎢ j=1 ⎥ ⎣⎝ ⎝ ⎠⎠ ⎦ • Lần lượt lấy đạo hàm theo βk và cho bằng 0, ta được hệ: ∂R2 ⎡ m ⎤ 2M Y X 0 = − ⎢ − β0 − ∑β j j ⎥ = ∂β0 ⎣ j=1 ⎦ ∂R2 ⎡⎛ m ⎞ ⎤ 2M ⎜Y X ⎟X 0, k 1, ,m = − ⎢⎜ − β0 − ∑β j j ⎟ k ⎥ = = ∂βk ⎣⎢⎝ j=1 ⎠ ⎦⎥
  31. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.6 Hồi qui bình phương trung bình tuyến tính nhiều biến (hồi qui bội) ∂R2 ⎡ m ⎤ 2M Y X 0 = − ⎢ − β0 − ∑β j j ⎥ = ∂β0 ⎣ j=1 ⎦ ∂R2 ⎡⎛ m ⎞ ⎤ 2M ⎜Y X ⎟X 0, k 1, ,m = − ⎢⎜ − β0 − ∑β j j ⎟ k ⎥ = = ∂βk ⎣⎢⎝ j=1 ⎠ ⎦⎥ ⎡ m ⎤ m M Y X 0 M[Y ] M[X ] 0 ⎢ − β0 − ∑β j j ⎥ = ⇒ − β0 − ∑β j j = ⎣ j=1 ⎦ j=1 ⎡⎛ m ⎞ ⎤ m M ⎜Y X ⎟X 0 M[YX ] M[X ] M[X X ] 0 ⎢⎜ − β0 − ∑β j j ⎟ k ⎥ = ⇒ k − β0 k − ∑β j j k = ⎣⎢⎝ j=1 ⎠ ⎦⎥ j=1 (k = 1, ,m) m m M[Y ] M[X ] 0 M[Y ] M[X ] − β0 − ∑β j j = ⇒ β0 = − ∑β j j j=1 j=1
  32. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.6 Hồi qui bình phương trung bình tuyến tính nhiều biến (hồi qui bội) m m M[YX ] M[X ] M[X X ] 0,(k 1, ,m) M[Y ] M[X ] k − β0 k − ∑β j j k = = β0 = − ∑β j j j=1 j=1 m m M[YX ] M[Y ]M[X ] M[X ]M[X ] M[X X ] 0 k − k + ∑β j j k − ∑β j j k = j=1 j=1 (k = 1, ,m) m M[YX ] M[Y ]M[X ] (M[X X ] M[X ]M[X ]) 0 k − k − ∑β j j k − j k = j=1 m Ký hiệu: µ − β µ = 0,(k = 1, ,m) (k = 1, ,m) yxk ∑ j x j xk µyx ≡ µyk j=1 m k β µ = µ ,(k = 1, ,m) µx x ≡ µ jk ∑ j jk yk j k j=1 • Đây là một hệ phương trình đại số tuyến tính m phương trình, m ẩn số è Có nhiều cách giải: Khử Gauss, Crame, nghịch đảo MT,
  33. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.6 Hồi qui bình phương trung bình tuyến tính nhiều biến (hồi qui bội) m m ,(k 1, ,m) M[Y ] M[X ] ∑β j µ jk = µyk = β0 = − ∑β j j j=1 j=1 Có thể kết hợp lại thành hệ đầy đủ Ký hiệu: ⎧µ11β1 + µ12β2 + + µ1mβm = µ y1 ⎪ M[Y ] m ≡ y ⎪µ21β1 + µ22β2 + + µ2mβm = µ y2 ⎪ M[X j ] ≡ m j ⎨ ⎪µ β + µ β + + µ β = µ ⎪ m1 1 m2 2 mm m ym m m m ⎩⎪β0 = y − 1β1 − − mβm
  34. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.6 Hồi qui bình phương trung bình tuyến tính nhiều biến (hồi qui bội) m ⎛1 m1 m2 mm ⎞⎛ β0 ⎞ ⎛ y ⎞ ⎜ ⎟⎜ ⎟ ⎜ ⎟ 0 µ • Dưới dạng ma ⎜ µ11 µ12 µ1m ⎟⎜ β1 ⎟ ⎜ y1 ⎟ ⎜ ⎟ trận ⎜ 0 µ21 µ22 µ2m ⎟⎜ β2 ⎟ = µy2 ⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ 0 µ µ ⎟⎜ ⎟ ⎜ ⎟ ⎝ m1 m2 µmm ⎠⎝βm ⎠ ⎝µym ⎠ Σβ = µ β = Σ−1µ
  35. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.6 Hồi qui bình phương trung bình tuyến tính nhiều biến (hồi qui bội) ⎛ µ11 µ12 µ1m ⎞⎛ β1 ⎞ ⎛ µy1 ⎞ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ µ21 µ22 µ2m ⎟⎜ β2 ⎟ ⎜ µy2 ⎟ • Cách biểu = diễn khác ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎝µm1 µm2 µmm ⎠⎝βm ⎠ ⎝µym ⎠ ∑xx B = ∑ yx −1 T B = ∑xx ∑yx β0 = my − B mx
  36. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.6 Hồi qui bình phương trung bình tuyến tính nhiều biến (hồi qui bội) • Tìm nghiệm theo phương pháp Crame µ11 µ12 µ1m µ11 µ1 j−1 µy1 µ1 j+1 µ1m µ µ µ µ µ2 j 1 µy2 µ2 j 1 µ Δ = det ∑ = 21 22 2m Δ = 21 − + 2m xx j µm1 µm2 µmm µm1 µmj−1 µym µmj+1 µmm Δ β = j , j = 1,2, ,m j Δ m m m β0 = y − ∑β j j j=1
  37. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.6 Hồi qui bình phương trung bình tuyến tính nhiều biến (hồi qui bội) • Sai số của phương pháp 2 m ⎡ m ⎤ 1 2 ⎛ ⎛ ⎞⎞ − R = M ⎢⎜Y − ⎜β + β X ⎟⎟ ⎥ β = m − β m B = ∑xx ∑yx ⎜ ⎜ 0 ∑ j j ⎟⎟ 0 y ∑ j j ⎢ j=1 ⎥ ⎣⎝ ⎝ ⎠⎠ ⎦ j=1 2 ⎡ ⎛ m ⎞ ⎛ m ⎞ ⎤ R2 M ⎢Y 2 2Y ⎜ X ⎟ ⎜ X ⎟ ⎥ = − ⎜ β0 + ∑β j j ⎟ + ⎜ β0 + ∑β j j ⎟ ⎣⎢ ⎝ j=1 ⎠ ⎝ j=1 ⎠ ⎦⎥ ⎡ m m m m ⎤ M Y 2 2 Y 2 YX 2 2 X X X = ⎢ − β0 − ∑β j j + β0 + ∑β0β j j + ∑∑β j βk j k ⎥ ⎣ j=1 j=1 j=1 k=1 ⎦ ⎡ m m m R2 M Y 2 2(m m )Y 2 YX m2 2 m m = ⎢ − y − ∑β j j − ∑β j j + y − ∑β j j y ⎣ j=1 j=1 j=1 m m m m m m ⎤ m m 2 (m m ) X X X + ∑∑β j βk j k + ∑ y − ∑βk k β j j + ∑∑β j βk j k ⎥ j=1 k=1 j=1 k=1 j=1 k=1 ⎦
  38. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.6 Hồi qui bình phương trung bình tuyến tính nhiều biến (hồi qui bội) ⎡ m m m R2 M Y 2 2(m m )Y 2 YX m2 2 m m = ⎢ − y − ∑β j j − ∑β j j + y − ∑β j j y ⎣ j=1 j=1 j=1 m m m m m m ⎤ m m 2 (m m ) X X X + ∑∑β j βk j k + ∑ y − ∑βk k β j j + ∑∑β j βk j k ⎥ j=1 k=1 j=1 k=1 j=1 k=1 ⎦ m m m R2 M[Y 2 ] 2m M[Y ] 2 m M[Y ] 2 M[YX ] m2 2 m m = − y + ∑β j j − ∑β j j + y − ∑β j j y j=1 j=1 j=1 m m m m m m m m m 2 m M[X ] 2 m M[X ] M[X X ] + ∑∑β j βk j k + ∑β j y j − ∑∑βkβ j k j + ∑∑β j βk j k j=1 k=1 j=1 j=1 k=1 j=1 k=1 m m R2 M[Y 2 ] m2 2 M[YX ] 2 m m = − y − ∑β j j + ∑β j y j j=1 j=1 m m m m m m M[X X ] − ∑∑β j βk j k + ∑∑β j βk j k j=1 k=1 j=1 k=1
  39. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.6 Hồi qui bình phương trung bình tuyến tính nhiều biến (hồi qui bội) m m R2 M[Y 2 ] m2 2 M[YX ] 2 m m = − y − ∑β j j + ∑β j y j j=1 j=1 −1 m m m m B = ∑xx ∑yx m m M[X X ] − ∑∑β j βk j k + ∑∑β j βk j k j=1 k=1 j=1 k=1 m m m R2 D 2 = y − ∑β j µyj + ∑∑β j βkµ jk j=1 j=1 k=1 2 −1 T −1 T −1 R = Dy − 2(∑xx ∑yx ) ∑yx +(∑xx ∑yx ) ∑xx (∑xx ∑yx ) 2 −1 T −1 T −1 R = Dy − 2(∑xx ∑yx ) ∑yx +(∑xx ∑yx ) ∑xx ∑xx ∑yx 2 −1 T −1 T R = Dy − 2(∑xx ∑yx ) ∑yx +(∑xx ∑yx ) ∑yx 2 −1 T R = Dy − (∑xx ∑yx ) ∑yx
  40. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.6 Hồi qui bình phương trung bình tuyến tính nhiều biến (hồi qui bội) m • Cách biểu diễn khác β µ = µ ,(k = 1, ,m) m m m ∑ j jk yk R2 D 2 j=1 = y − ∑β j µyj + ∑β j ∑βkµ jk m j=1 j=1 k=1 R2 D = y − ∑β j µyj m µ m µ σ j=1 R2 D (1 yj ) 2 (1 yj j ) = y − ∑β j = σ y − ∑β j j=1 Dy j=1 σ jσ y σ y m σ R2 = σ 2 (1− β j ρ ) Δ j y ∑ j yj β j = , j = 1,2, ,m j=1 σ y Δ m σ m σ Δ • Đại lượng j j j ρ y•12 m = ∑β j ρ yj = ∑ ρ yj j=1 σ y j=1 σ y Δ được gọi là hệ số tương quan bội giữa Y và (X1, ,Xm)
  41. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.7 Hồi qui tuyến tính mẫu • Trường hợp một biến • Xét hai biến ngẫu nhiên (X,Y) và mẫu tương ứng (X1,Y1), ,(Xn,Yn) • Ta cần tìm phương trình hồi qui tuyến tính giữa Y và X trên cơ sở tập mẫu đã có µ • Từ lý thuyết: Y=α + βX, hay y=α + βx với β = xy , α = m − βm D y x • Trên thực tế cả α và β đều chưa biết và ta cần ước lxượng chúng từ tập mẫu • Ký hiệu ước lượng của α và β tương ứng là a và b ta có: Yˆ = a + bX hay yˆ = a + bx • Các hệ số a và b cần thỏa mãn điều kiện: n n R2 (Y Yˆ )2 (Y a bX )2 min = ∑ i − i = ∑ i − − i → i=1 i=1
  42. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.7 Hồi qui tuyến tính mẫu • Trường hợp một biến n n • Xem R2 như là R2 (a,b) (Y Yˆ )2 (Y a bX )2 = ∑ i − i = ∑ i − − i hàm của a và b: i=1 i=1 2 2 2 ∂R (a,b) ∂R (a,b) • Để R →min điều kiện cần và đủ là: = = 0 ∂a ∂b • Từ đó ta có: n ∂R2 (a,b) n 1 (Yi − a − bX i ) = 0 = −2 (Yi − a − bX i ) = 0 ∑ a ∑ n i=1 ∂ i=1 n ∂R2 (a,b) n 1 (Yi X i − aX i − bX i X i ) = 0 = −2 (Yi − a − bX i )Xi = 0 ∑ ∑ n i=1 ∂b i=1 Y − a − bX = 0 a = Y − bX n 1 2 ~ (Y X Y X bX X bX X ) (XY XY ) b(X 2 X ) R bD ∑ i i − i + i − i i = − − − = xy − x n i=1 Rxy Rxy Rxy sy sy sy b = ~ b = 2 = = rxy b = rxy Dx sx sxsy sx sx sx
  43. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.7 Hồi qui tuyến tính mẫu • Trường hợp một biến n n R2 (Y Yˆ )2 (Y a bX )2 • Sai số: = ∑ i − i = ∑ i − − i i=1 i=1 n R2 Y 2 a2 b2 X 2 2aY 2bY X 2abX a Y bX = ∑( i + + i − i − i i + i ) = − i=1 n R2 Y 2 (Y bX )2 b2 X 2 2(Y bX )Y 2bY X 2(Y bX )bX = ∑( i + − + i − − i − i i + − i ) i=1 • Đặt S2 = R2/n 2 2 2 2 S 2 = Y 2 +Y − 2bY X + b2 X + b2 X 2 − 2Y + 2bXY − 2bXY + 2bXY − 2b2 X 2 2 S 2 = Y 2 −Y + b2 X 2 − b2 X + 2bXY − 2bXY 2 ~ 2 ~ sy S = Dy + b Dx − 2bRxy 2 b = rxy 2 2 2 sy 2 sy 2 2 2 sx S = sy + rxy 2 sx − 2rxy rxy sxsy = sy − rxy sy sx sx
  44. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.7 Hồi qui tuyến tính mẫu • Trường hợp một biến 2 2 S 2 = Y 2 −Y + b2 X 2 − b2 X + 2bXY − 2bXY 2 ~ 2 ~ S = Dy + b Dx − 2bRxy 2 2 2 2 sy 2 sy 2 2 2 S = sy + rxy 2 sx − 2rxy rxy sxsy = sy − rxy sy sx sx 2 2 2 S = sy (1− rxy )
  45. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.7 Hồi qui tuyến tính mẫu • Trường hợp một biến n n R2 (Y Yˆ )2 (Y a bX )2 = ∑ i − i = ∑ i − − i i=1 i=1 • là tổng bình phương các độ lệch giữa quan trắc (giá trị mẫu) và ước lượng (tính được từ phương trình hồi qui) của Y 2 2 2 S = sy (1− rxy ) • là trung bình bình phương các độ lệch giữa quan trắc (giá trị mẫu) và ước lượng (tính được từ phương trình hồi qui) của Y • Nó có thể được dùng làm thước đo độ chính xác của phép hồi qui • Rõ ràng: Khi trị tuyệt đối của hệ số tương quan càng lớn (càng gần 1) thì sai số càng nhỏ
  46. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.7 Hồi qui tuyến tính mẫu • Trường hợp một biến • Hãy so sánh µxy σ y β = β = ρ 2 2 2 α = my − βmx R = σ y (1− ρ ) Dx σ x 2 2 2 Rxy sy a = Y − bX S = sy (1− rxy ) b = ~ b = rxy Dx sx • Các hệ số của phương trình hồi qui mẫu, ước lượng của các hệ số hồi qui lý thuyết, được tính qua các đặc trưng mẫu tương ứng là ước lượng của các đặc trưng lý thuyết
  47. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI TT x y (x-xtb) (y-ytb) (x-xtb)^2 (y-ytb)^2 (x-xtb)(y-ytb) 1 22 20 1.3 -2.3 1.69 5.29 -2.99 2 23 28 2.3 5.7 5.29 32.49 13.11 3 30 25 9.3 2.7 86.49 7.29 25.11 4 29 28 8.3 5.7 68.89 32.49 47.31 5 27 25 6.3 2.7 39.69 7.29 17.01 6 14 21 -6.7 -1.3 44.89 1.69 8.71 7 17 22 -3.7 -0.3 13.69 0.09 1.11 8 15 18 -5.7 -4.3 32.49 18.49 24.51 9 19 15 -1.7 -7.3 2.89 53.29 12.41 10 11 21 -9.7 -1.3 94.09 1.69 12.61 20.7 22.3 390.1 160.1 158.9 Dx= 39.01 Dy= 16.01 Rxy= 15.89 rxy= 0.6358 b = Rxy/Dx = 0.41 a = ytb - b*xtb = 13.87 y = 13.87 + 0.41*x
  48. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.7 Hồi qui tuyến tính mẫu • Trường hợp nhiều biến (hồi qui bội) • Xét hồi qui giữa biến ngẫu nhiên Y và m biến ngẫu nhiên (X1, ,Xm) với mẫu tương ứng (Y1,X11, , X1m), ,(Yn,Xn1, , Xnm) • Ta cần tìm hàm hồi qui tuyến tính giữa Y và (X1, ,Xm) dưới dạng Y=β0+ β1X1 + β2X2+ + βmXm hay y=β0+ β1x1 + β2x2+ + βmxm • Vì các βj, j=0,1, ,m đều chưa biết nên ta cần ước lượng chúng từ tập mẫu • Ký hiệu các ước lượng βj, j=0,1, ,m tương ứng là a0, a1, ,am ta có: m m Yˆ a a X hay yˆ a a x = 0 + ∑ j j = 0 + ∑ j j j=1 j=1 • Các hệ số aj, j=0,1, ,m, cần thỏa mãn điều kiện: n n m R2 (Y Yˆ )2 (Y a a X )2 min = ∑ i − i = ∑ i − 0 − ∑ j ij → i=1 i=1 j=1
  49. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.7 Hồi qui tuyến tính mẫu • Trường hợp nhiều biến (hồi qui bội) • Tương tự như trường hợp một biến, ta xem R2 như là hàm của các hệ số hồi qui a , j=0,1, ,m: j n m R2 R2 (a ,a , ,a ) (Y a a X )2 = 0 1 m = ∑ i − 0 − ∑ j ij i=1 j=1 • Điều kiện cần và đủ ∂R2 n m 2 (Y a a X ) 0 để R2 min là: = − ∑ i − 0 − ∑ j ij = → ∂a0 i=1 j=1 ∂R2 n m 2 (Y a a X )X 0,(k 1,2, ,m) = − ∑ i − 0 − ∑ j ij ik = = ∂ak i=1 j=1 n m (Y a a X ) 0 ∑ i − 0 − ∑ j ij = i=1 j=1 n m (Y a a X )X 0,(k 1,2, ,m) ∑ i − 0 − ∑ j ij ik = = i=1 j=1
  50. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.7 Hồi qui tuyến tính mẫu • Trường hợp nhiều biến (hồi qui bội) n m 1 n 1 n m (Y − a − a X ) = 0 Y a a X 0 ∑ i 0 ∑ j ij ∑ i − 0 − ∑∑ j ij = i=1 j=1 n i=1 n i=1 j=1 n m 1 n 1 n m (Y − a − a X )X = 0,(k = 1,2, ,m) a0 = Yi − a j Xij ∑ i 0 ∑ j ij ik n ∑ n ∑∑ i=1 j=1 i=1 i=1 j=1 n m m m (Y −Y + a X − a X )X = 0,(k =1,2, ,m) a Y a X ∑ i ∑ j j ∑ j ij ik 0 = − ∑ j j i=1 j=1 j=1 j=1 1 n m m (Y X −Y X + a X X − a X X ) = 0,(k =1,2, ,m) n ∑ i ik ik ∑ j j ik ∑ j ij ik i=1 m j=1 j=1 (YX Y X ) a (X X X X ) 0,(k 1,2, ,m) k − k − ∑ j j k − j k = = m j=1 m R a R 0,(k 1,2, ,m) a R R ,(k 1,2, ,m) yk − ∑ j jk = = ∑ j jk = yk = j=1 j=1
  51. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.7 Hồi qui tuyến tính mẫu • Trường hợp nhiều biến (hồi qui bội) n m 1 n 1 n m (Y − a − a X ) = 0 Y a a X 0 ∑ i 0 ∑ j ij ∑ i − 0 − ∑∑ j ij = i=1 j=1 n i=1 n i=1 j=1 n m 1 n 1 n m (Y − a − a X )X = 0,(k = 1,2, ,m) a0 = Yi − a j Xij ∑ i 0 ∑ j ij ik n ∑ n ∑∑ i=1 j=1 i=1 i=1 j=1 n m m m (Y −Y + a X − a X )X = 0,(k =1,2, ,m) a Y a X ∑ i ∑ j j ∑ j ij ik 0 = − ∑ j j i=1 j=1 j=1 j=1 1 n m m (Y X −Y X + a X X − a X X ) = 0,(k =1,2, ,m) n ∑ i ik ik ∑ j j ik ∑ j ij ik i=1 m j=1 j=1 (YX Y X ) a (X X X X ) 0,(k 1,2, ,m) k − k − ∑ j j k − j k = = m j=1 m R a R 0,(k 1,2, ,m) a R R ,(k 1,2, ,m) yk − ∑ j jk = = ∑ j jk = yk = j=1 j=1
  52. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.7 Hồi qui tuyến tính mẫu • Trường hợp nhiều biến (hồi qui bội) • Các hệ thức: m m a Y a X a R R ,(k 1,2, ,m) 0 = − ∑ j j ∑ j jk = yk = j=1 j=1 • Lập thành hệ phương trình đại số tuyến tính: R a R a R a R ⎧ 11 1 + 12 2 + + 1m m = y1 • Giải hệ này ta xác định ⎪ R a R a R a R được các hệ số a ,a , ,a ⎪ 21 1 + 22 2 + + 2m m = y2 0 1 m • Có nhiều cách để giải hệ ⎪ ⎨ này: Khử Gauss, Crame, ⎪R a + R a + + R a = R nghịch đảo ma trận, gần ⎪ m1 1 m2 2 mm m ym ⎪ đúng (lặp), ⎩a0 = Y − X1a1 − − X mam
  53. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.7 Hồi qui tuyến tính mẫu • Trường hợp nhiều biến (hồi qui bội) • Phương pháp ⎛ R11 R12 R1m ⎞⎛ a1 ⎞ ⎛ Ry1 ⎞ nghịch đảo ma ⎜ ⎟⎜ ⎟ ⎜ ⎟ trận ⎜ R21 R22 R2m ⎟⎜ a2 ⎟ ⎜ Ry2 ⎟ = ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ R ⎟ ⎝ Rm1 Rm2 Rmm ⎠⎝am ⎠ ⎝ ym ⎠ −1 A = Rxx Ryx Rxx A = Ryx m a Y a X 0 = − ∑ j j j=1
  54. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.7 Hồi qui tuyến tính mẫu • Trường hợp nhiều biến (hồi qui bội) • Phương pháp Crame R11 R12 R1m R11 R1 j−1 Ry1 R1 j+1 R1m R21 R22 R2m R R2 j 1 Ry2 R2 j 1 R D = det R = D = 21 − + 2m xx j Rm1 Rm2 Rmm Rm1 Rmj−1 Rym Rmj+1 Rmm D a = j , j = 1,2, ,m j D m a Y a X 0 = − ∑ j j j=1
  55. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.7 Hồi qui tuyến tính mẫu • Trường hợp nhiều biến (hồi qui bội) • Sai số của ước lượng hồi qui • Tương tự như trường hợp một biến, ta sẽ sử dụng trung bình của tổng bình phương các độ lệch giữa quan trắc (mẫu) và ước lượng (tính được qua phương trình hồi qui) của Y làm thước đo độ chính xác của phương pháp n m R2 (Y a a X )2 là tổng bình phương các độ lệch = ∑ i − 0 − ∑ j ij i=1 j=1 n ⎛ m m m m ⎞ R2 ⎜Y 2 a2 a a X X 2a Y 2 a Y X 2a a X ⎟ = ∑⎜ i + 0 + ∑∑ j k ij ik − 0 i − ∑ j i ij + 0 ∑ j ij ⎟ i=1 ⎝ j=1 k=1 j=1 j=1 ⎠ R2 S 2 = là trung bình của tổng bình phương các độ lệch n
  56. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.7 Hồi qui tuyến tính mẫu m a Y a X • Trường hợp nhiều biến (hồi qui bội) 0 = − ∑ j j • Sai số của ước lượng hồi qui j=1 1 n ⎛ m m m m ⎞ S 2 ⎜Y 2 a2 a a X X 2a Y 2 a Y X 2a a X ⎟ = ∑⎜ i + 0 + ∑∑ j k ij ik − 0 i − ∑ j i ij + 0 ∑ j ij ⎟ n i=1 ⎝ j=1 k=1 j=1 j=1 ⎠ m m m m S 2 Y 2 a2 a a X X 2a Y 2 a YX 2a a X = + 0 + ∑∑ j k j k − 0 − ∑ j j + 0 ∑ j j j=1 k=1 j=1 j=1 m m m m m 2 S 2 Y 2 Y 2 a Y X a a X X a a X X = + − ∑ j j + ∑∑ j k j k + ∑∑ j k j k j=1 j=1 k=1 j=1 k=1 m m m m m 2 2Y 2 a Y X 2 a YX 2 a Y X 2 a a X X − + ∑ j j − ∑ j j + ∑ j j − ∑∑ j k j k j=1 j=1 j=1 j=1 k=1 ~ m m m S 2 D 2 a R a a R = y − ∑ j yj + ∑∑ j k jk j=1 j=1 k=1
  57. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.7 Hồi qui tuyến tính mẫu • Trường hợp nhiều biến (hồi qui bội) • Sai số của ước lượng hồi qui m m m m 2 ~ a R = R ,(k = 1,2, ,m) S = Dy − 2 a j Ryj + a jak Rjk ∑ j jk yk ∑ ∑∑ j 1 j=1 j=1 k=1 = m m m 2 ~ m 2 ~ S = Dy − 2 a j Ryj + a j ak Rjk ∑ ∑ ∑ ⇒ S = Dy − a j Ryj j=1 j=1 k=1 ∑ j=1 m m D ⎛ m D s ⎞ S 2 = s2 − a r s s = s2 − j r s s = s2 ⎜1− j x r ⎟ y ∑ j yj y x y ∑ D yj y x y ⎜ ∑ D s yj ⎟ j=1 j=1 ⎝ j=1 y ⎠ ⎛ m D s ⎞ m D s S 2 = s2 ⎜1− j x r ⎟ r = j x r y ⎜ ∑ D s yj ⎟ y•12 m ∑ yj ⎝ j=1 y ⎠ j=1 D sy
  58. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI 8.7 Hồi qui tuyến tính mẫu • Trường hợp nhiều biến (hồi qui bội) • Các hệ số của • Hãy so sánh phương trình m m hồi qui mẫu, β = M[Y ]− β M[X ] ước lượng β j µ jk = µyk ,(k = 1, ,m) 0 ∑ j j ∑ j=1 j=1 của các hệ số hồi qui lý m m a R = R ,(k = 1,2, ,m) a = Y − a X thuyết, được ∑ j jk yk 0 ∑ j j tính qua các j=1 j=1 đặc trưng m m 2 2 σ j ⎛ D s ⎞ mẫu tương R = σ (1− β ρ ) 2 2 j x y ∑ j yj S = sy ⎜1− ryj ⎟ ứng là ước j=1 σ y ⎜ ∑ D s ⎟ ⎝ j=1 y ⎠ lượng của các đặc trưng lý m m σ j Δ j Dj sx thuyết ρ y•12 m = ρ yj r r ∑ y•12 m = ∑ yj j=1 σ y Δ j=1 D sy
  59. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI TT y x1 x2 y x1 x2 Ma trận tương quan 1 26 17 23 y 39.2 12.5 16.1 2 16 23 10 x1 12.5 34.7 -4.9 34.7 -4.9 3 15 10 20 D = = 968.37 4 19 29 10 x2 16.1 -4.9 28.6 -4.9 28.6 5 27 16 14 12.5 -4.9 6 13 14 18 Dx1 = = 435.36 16.1 28.6 7 18 19 14 8 12 12 16 34.7 12.5 Dx2= =618.18 9 30 18 22 -4.9 16.1 10 27 27 27 a1 = Dx1/D = 0.4496 TB 20.3 18.5 17.4 a2 = Dx2/D = 0.6384 a0 = ytb-a1*x1tb-a2*x2tb = 0.8751 y = a0 + a1*x1 + a2*x2 y = 0.8751 + 0.4496*x1 + 0.6384*x2
  60. CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI TT y x1 x2 y x1 x2 1 26 17 23 y 39.2 12.5 16.1 2 16 23 10 x1 12.5 34.7 -4.9 3 15 10 20 4 19 29 10 x2 16.1 -4.9 28.6 5 27 16 14 Dy Dx1 Dx2 6 13 14 18 39.2 34.7 28.6 7 18 19 14 Sy Sx1 Sx2 8 12 12 16 6.261 5.891 5.348 9 30 18 22 10 27 27 27 y x1 x2 TB 20.3 18.5 17.4 y 1 0.3389 0.4808 x1 0.3389 1 -0.1555 x2 0.4808 -0.1555 1
  61. KẾT THÚC CHƯƠNG TRÌNH