Bài giảng Lý thuyết xác suất và thống kê toán học - Chương 6: Lý thuyết ước lượng

Nội dung text: Bài giảng Lý thuyết xác suất và thống kê toán học - Chương 6: Lý thuyết ước lượng

1. LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC Phan Văn Tân Bộ mô Khí tượng
2. CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG 6.1 Hàm ước lượng của một tham số chưa biết • Bài toán: Cho X là đại lượng ngẫu nhiên có phân bố F(x,θ) (hoặc f(x,θ)), dạng của F(x,θ) đã biết nhưng chưa biết θ. Hãy xác định θ •Thực tế, rất khó hoặc không thể xác định chính xác giá trị θ nên người ta chỉ ước lượng nó thông qua tập mẫu của X •Giả sử có mẫu (X1, X2, , Xn) của X, để thay thế cho θ ta lập đại lượng thống kê ˆ θ (X1, X 2 , , X n ) ˆ • Định nghĩa: Đại lượng thống kê θ (X1, X 2 , , X n ) được chọn dùng để thay thế cho tham số θ được gọi là hàm ước lượng của θ (hay ngắn gọn hơn là ước lượng của θ) • Chú ý: ˆ θ (X1, X 2 , , X n ) là hàm của (X1, ,Xn) Î biến ngẫu nhiên ˆ •Với mỗi (x1, ,xn) thì θ (X1, X 2 , , X n ) là một điểm trên trục số ˆ ⇒ θ (X1, X 2 , , X n ) còn gọi là ước lượng điểm của θ
3. CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG 6.1 Hàm ước lượng của một tham số chưa biết • Ví dụ: Xét đại lượng ngẫu nhiên X với mẫu (X1, X2, , Xn) 2 2 • Khi đó: mx = M[X ], Dx ≡ σ x = D[X ] = M[(X − mx ) ] là các đặc trưng chính xác (các tham số chính xác) của X 1 n là một ước lượng m X = ∑ X i x n i=1 ~ 1 n 2 2 là một ước lượng của D Dx ≡ sx = ∑(X i − X ) x n i=1 • Nói chung, ứng với một tham số θ có thể có nhiều cách ước lượng khác nhau Î Cần chọn ước lượng nào tốt nhất
4. CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG 6.1 Hàm ước lượng của một tham số chưa biết • Định nghĩa: Hàm ước lượng ˆ θ (X1, , X n ) của tham số θ được gọi là ước lượng không chệch nếu: ˆ M[θ (X1, , X n )] = θ • Ví dụ: Kỳ vọng mẫu là ước lượng không chệch của kỳ vọng mx 1 n 1 n 1 n M[X ] = M[ ∑ X i ] = M[∑ X i ] = ∑ M[X i ] = M[X ] = mx n i=1 n i=1 n i=1 •Phương sai mẫu là ước lượng chệch của phương sai Dx n n ~ 2 1 2 1 2 M[Dx ] ≡ M[sx ] = M[ ∑(X i − X ) ] = M[∑(X i − X ) ] n i=1 n i=1 Vì Xi nhận các giá trị của X và có cùng phân bố với X nên M[X i ] = M[X ] = M[X ]
5. CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG 6.1 Hàm ước lượng của một tham số chưa biết n ~ 1 ⎡ 2 ⎤ ⇒ M[Dx ] = M ⎢∑()(X i − M[X i ]) − (X − M[X ]) ⎥ = n i=1 n ⎣ ⎦ 1 ⎡ 2 2 ⎤ = M ⎢∑()(X i − M[X ]) + (X − M[X ]) − 2(X i − M[X ])( X − M[X ]) ⎥ = n ⎣ i=1 ⎦ 1 n 1 n 1 n = M (X − M[X ])2 = D = D = D ∑ []i ∑ xi ∑ x x n i=1 n i=1 n i=1 1 n 1 + M[∑(X − M[X ])2 ] = M[n(X − M[X ])2 ] = M[(X − M[X ])2 ] = D[X ] n i=1 n 2 n 2 n = − M[(X − M[X ]) (X − M[X ])] = − M[∑(X i − M[X ])( X − M[X ])] ∑ i i n i=1 n i=1 2 ~ = − M[(X − M[X ])n(X − M[X ])] = ⇒ M[Dx ] = Dx − D[X ] n = −2M[(X − M[X ])2 ] = −2D[X ]
6. CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG 6.1 Hàm ước lượng của một tham số chưa biết n ~ 1 ⎡ 2 ⎤ ⇒ M[Dx ] = M ⎢∑()(X i − M[X i ]) − (X − M[X ]) ⎥ = n ⎣ i=1 ⎦ ~ M[Dx ] = Dx − D[X ] ⎡1 n ⎤ 1 ⎡ n ⎤ D[X ] = D X = D X ⎢ ∑ i ⎥ 2 ⎢∑ i ⎥ ⎣n i=1 ⎦ n ⎣ i=1 ⎦ Vì các Xi là độc lập, có cùng phân bố với X nên ⎡ n ⎤ n n 1 D X D[X ] D[X ] nD[X ] nD ⎢∑ i ⎥ = ∑ i = ∑ = = x ⇒ D[X ] = Dx ⎣ i=1 ⎦ i=1 i=1 n ~ 1 n −1 M[D ] = D − D = D ≠ D ≡ σ 2 x x n x n x x
7. CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG 6.1 Hàm ước lượng của một tham số chưa biết ~ n −1 n −1 M[D ] = D = σ 2 x n x n n n ~* *2 1 2 ~ 1 •Nếu dùng D = s = (X − X ) thay cho 2 x x ∑ i Dx = ∑(X i − X ) n −1 i=1 n i=1 ~ ~ n ~ n ~ Khi đó: * 2 * (n −1)Dx = nDx = ∑(Xi − X ) ⇒ Dx = Dx i=1 n −1 ~ n ~ n n −1 ⇒ M[D* ] = M[D ] = D = D = σ 2 x n −1 x n −1 n x x n ~* *2 1 2 Tức Dx = sx = ∑(Xi − X ) là ước lượng không chệch của Dx n −1 i=1 ~* Đócũng chính là lý do tại sao người ta thường dùng Dx Tuy nhiên, khi n đủ lớn thì tỷ số (n–1)/n≈1 do đó chúng hầu như không sai khác nhau
8. CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG 6.1 Hàm ước lượng của một tham số chưa biết • Độ chính xác của ước lượng không chệch ˆ •Giả sử θ (X1, , X n ) là ước lượng không chệch của θ, và ˆ 2 D[θ (X1, , X n )] = σθ Từ bất đẳng thức Tchebychev ta có: 2 ˆ σθ 1 P(|θ (X1, , X n ) −θ |< εσθ ) ≥ 1− 2 2 = 1− 2 ε σθ ε 1 •Nếu chọn ε=3 ta có: P(|θˆ(X , , X ) −θ |< 3σ ) ≥ 1− ≈ 0.8889 1 n θ 9 Î Với xác suất khá lớn, chênh lệch giữa θ và ước lượng của nó không vượt quá 3 lần độ lệch chuNn
9. CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.1 Hàm ước lượng của một tham số chưa biết • Định nghĩa: Hàm ước lượng ˆ θ (X1, , X n ) của tham số θ được gọi là ước lượng vững nếu với ∀ε>0 bất kỳ cho trước ta có ˆ lim P(|θ (X1, , X n ) −θ |< ε ) = 1 n→+∞ ˆ • Định lý: N ếu θ (X1, , X n ) là hàm ước lượng của θ sao cho: a) ˆ θ (X1, , X n ) là ước lượng không chệch của θ hoặc ˆ (độ chệch tiến tới 0–không chệch) lim {M[θ (X1, , X n )] −θ} = 0 n→+∞ ˆ b) lim D[θ (X1, , X n )] = 0 n→+∞ thì ˆ θ (X1, , X n ) là ước lượng vững của θ
10. CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.1 Hàm ước lượng của một tham số chưa biết • Chứng minh: • Áp dụng bất đẳng thức Tchebychev: ˆ ˆ ˆ D[θ (X1, , X n )] lim P(|θ (X1, , X n ) − M[θ (X1, , X n )] |< ε ) ≥ 1− n→+∞ ε 2 Viết lại: ˆ ˆ ˆ D[θ(X1, , X n )] lim P(|θ(X1, , X n ) −θ − (M[θ(X1, , X n )]−θ ) |< ε ) ≥ 1− n→+∞ ε 2 ˆ lim {M[θ (X1, , X n )] −θ} = 0 n→+∞ ˆ lim D[θ (X1, , X n )] = 0 ˆ n→+∞ ⇒ lim P(|θ(X1, , X n ) −θ |< ε) ≥ 1 n→+∞ • Ví dụ: Kỳ vọng mẫu là ước lượng vững, vì M[X ] = M[X ] = mx 1 D D[X ] = D[X ] = x → 0 khi n → ∞ n n
11. CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.1 Hàm ước lượng của một tham số chưa biết ˆ • Định nghĩa: N ếu θ (X1, , X n ) là ước lượng không chệch của θ và ˆ D[θ (X1, , X n )] không lớn hơn mọi hàm ước lượng không chệch khác ˆ thì θ (X1, , X n ) được gọi là ước lượng hiệu quả của θ • Định lý: Cho mẫu (X1, ,Xn) của X có phân bố f(x,θ) thỏa mãn ˆ một số điều kiện nhất định và θ (X1, , X n ) là ước lượng không chệch bất kỳ của θ thì: ˆ 1 D[θ (X1, , X n )] ≥ 2 ⎡⎛ ∂ ln f (x,θ ) ⎞ ⎤ n × M ⎢⎜ ⎟ ⎥ ⎣⎢⎝ ∂θ ⎠ ⎦⎥ Người ta gọi đây là bất đẳng thức thông tin hay bất đẳng thức Crame–Rao
12. CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.1 Hàm ước lượng của một tham số chưa biết • Ví dụ: Cho X có phân bố chuNn N (μ,σ). Chứng minh rằng kỳ vọng mẫu X là ước lượng hiệu quả của μ=M[X] 1 x−μ 1 − ( )2 •Giải: Ta có: f (x, μ) = e 2 σ 2πσ 1 x − μ ∂ ln f (x, μ) x − μ ⇒ ln f (x, μ) = −ln 2πσ − ( )2 ⇒ = 2 σ ∂μ σ 2 ⎡ 2 ⎤ 2 ⎛ ∂ ln f (x, μ) ⎞ ⎡⎛ X − μ ⎞ ⎤ 1 2 1 ⇒ M ⎢⎜ ⎟ ⎥ = M ⎢⎜ ⎟ ⎥ = M[(X − μ) ] = ⎜ ∂μ ⎟ σ 2 σ 4 σ 2 ⎣⎢⎝ ⎠ ⎦⎥ ⎣⎢⎝ ⎠ ⎦⎥ 1 1 σ 2 2 = 2 = = D[X ] ⎡⎛ ∂ ln f (x,θ ) ⎞ ⎤ n /σ n n × M ⎢⎜ ⎟ ⎥ ∂θ ⎣⎢⎝ ⎠ ⎦⎥ ⇒ X là ước lượng hiệu quả của μ
13. CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.2 Ước lượng tham số theo phương pháp hợp lý cực đại •Xét đại lượng ngẫu nhiên X có mật độ phân bố f(x,θ) với dạng của f(x,θ) đã biết, còn θ chưa biết và cần phải ước lượng. Giả sử (X1, ,Xn) là một mẫu của X. Khi đó, hàm L(θ ) = f (X1,θ ) × f (X 2 ,θ ) × × f (X n ,θ ) được gọi là hàm hợp lý của mẫu. Gọi ˆ là ước lượng của θ. Cần xác định ˆ θ (X1, , X n ) θ (X1, , X n ) ˆ sao cho: L(θ (X1, , X n )) ≥ L(θ ) víi ∀θ ∈Θ Trong đó Θ là miền giá trị của θ • Vì hàm logarit là hàm đơn điệu nên thay cho L(θ) người ta dùng ˆ hàm H(θ)=lnL(θ), và θ (X1, , X n ) được xác định từ ˆ H (θ (X1, , X n )) ≥ H (θ ) víi ∀θ ∈Θ
14. CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.2 Ước lượng tham số theo phương pháp hợp lý cực đại ˆ • Khi đó, nếu tồn tại đạo hàm thì θ (X1, , X n ) là nghiệm của phương trình dH (θ ) = 0 dθ Phương trình này được gọi là phương trình hợp lý cực đại ˆ N ghiệm θ (X1, , X n ) của phương trình này được gọi là ước lượng hợp lý cực đại của θ • N hư vậy, các bước để tìm ước lượng hợp lý cực đại của θ: – Lập hàm hợp lý L(θ) của mẫu – Tìm hàm H(θ)=ln L(θ) dH (θ ) – Tìm nghiệm phương trình = 0 dθ
15. CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.2 Ước lượng tham số theo phương pháp hợp lý cực đại • Ví dụ 1:Giả sử X∈N (μ,σ) với σ đã biết. Xác định ước lượng hợp lý cực đại của μ, biết (X1, ,Xn) là một mẫu của X • Giải: Lập hàm hợp lý n 1 ⎡ 1 n ⎤ L(μ) = f (X , μ) = exp − (X − μ)2 ∏ i n ⎢ 2 ∑ i ⎥ i=1 ()2πσ ⎣ 2σ i=1 ⎦ n 1 2 ⇒ H (μ) = ln L(μ) = − 2 ∑(X i − μ) − n ln( 2πσ ) 2σ i=1 dH (μ) 1 n n ⇒ = (X − μ) = 0 2 ∑ i ⇒ ∑(X i − μ) = 0 dμ σ i=1 i=1 n n n 1 n ⇒ ∑ X i − ∑ μ = 0 ⇒ nμ = ∑ X i ⇒ μˆ(X1, , X n ) = ∑ X i = X i=1 i=1 i=1 n i=1 d 2H (μ) n = − < 0 ⇒ μˆ là hàm hợp lý đạt giá trị cực đại dμ 2 σ 2
16. CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.2 Ước lượng tham số theo phương pháp hợp lý cực đại • Ví dụ 2:Giả sử X∈N (μ,σ), trong đócả μ và σ đều chưa biết. Tìm ước lượng hợp lý cực đại của μ, σ biết (X1, ,Xn) là một mẫu của X • Giải: Coi θ=(μ,σ). Từ ví dụ trước: n 1 2 H (θ ) = ln L(θ ) = − 2 ∑(X i − μ) − n ln( 2πσ ) 2σ i=1 ∂H (θ ) n = 0 ⇒ ∑ X i − nμ = 0 ∂μ n i=1 n 4σ (X − μ)2 (X − μ)2 ∂H (θ ) ∑ i 2π ∑ i n = i=1 − n = i=1 − = 0 ∂σ 4σ 4 2πσ σ 3 σ Giải ra ta được: n n 1 1 2 μˆ(X1, , X n ) = ∑ X i = X σˆ(X1, , X n ) = ∑(X i − X ) n i=1 n i=1
17. CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.2 Ước lượng tham số theo phương pháp hợp lý cực đại • Nhận xét: –Hàm hợp lý được lập trên cơ sở tập mẫu (X1, ,Xn) trong đó các Xi là độc lập có cùng phân bố với X –Mỗi nghiệm của phương trình hợp lý cực đại là một giá trị cụ thể tính được từ tập mẫu nên ước lượng của tham số được gọi là ước lượng điểm (xác định một điểm trên trục số) – N ếu có nhiều tham số cần được ước lượng (như ví dụ 2), sau khi lập hàm hợp lý cực đại, lấy đạo hàm bậc nhất ứng với từng tham số và cho bằng 0 để nhận được một hệ phương trình –Giải hệ này ta được các ước lượng tương ứng
18. CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.3 Ước lượng tham số bằng khoảng tin cậy ˆ ˆ • Định nghĩa: Khoảng tin cậy (θ1,θ2 ) của tham số θ với độ tin cậy γ ˆ ˆ ˆ ˆ là một khoảng với hai đầu mút θ1 = θ1(X1, , X n ), θ2 = θ2 (X1, , X n ) ˆ ˆ và P(θ1(X1, , X n ) ≤ θ ≤ θ2 (X1, , X n )) = γ • Bài toán: Cho biến ngẫu nhiên X và mẫu (X1, ,Xn) của X. Hãy ˆ ˆ ˆ ˆ xác định θ1 = θ1(X1, , X n ), θ2 = θ2 (X1, , X n ) sao cho: ˆ ˆ P(θ1(X1, , X n ) ≤ θ ≤ θ2 (X1, , X n )) = γ với γ là một hằng số cho trước ˆ ˆ • Nhận xét: Từ định nghĩa ta thấy, nếu γ càng lớn và khoảng (θ1,θ2 ) càng nhỏ thì ước lượng của θ càng chính xác • Giải: Xét một số ví dụ
19. CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.3 Ước lượng tham số bằng khoảng tin cậy • Ví dụ 1: Cho X∈N (μ,σ) với σ đã biết và (X1, ,Xn) là một mẫu của X. Hãy xác định ước lượng khoảng của μ với độ tin cậy γ X − μ • Giải: Xét biến ngẫu nhiên U = Khi đóU∈N (0,1) σ / n uγ 1 Với γ cho 1 − x2 ⇒ P(|U |≤ u ) = P(−u ≤ U ≤ u ) = e 2 dx = γ trước, giải ra γ γ γ 2π ∫ −uγ tìm được uγ X − μ ⎛ σ σ ⎞ ⇒ P(−uγ ≤ ≤ uγ ) = P⎜ X − uγ ≤ μ ≤ X + uγ ⎟ = γ σ / n ⎝ n n ⎠ ⎡ σ σ ⎤ ⇒ μ ∈ ⎢X − uγ , X + uγ ⎥ với độ tin cậy γ ⎣ n n ⎦ γ=0.95 => uγ=1.96; γ=0.99 => uγ=2.58;
20. CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.3 Ước lượng tham số bằng khoảng tin cậy • Ví dụ 2: Cho X∈N (μ,σ) với σ chưa biết và (X1, ,Xn) là một mẫu của X. Hãy xác định ước lượng khoảng của μ với độ tin cậy γ X − μ • Giải: Ở đây ta xét biến ngẫu nhiên t = s* / n n x 2 1 với s* = (X − X )2 x ∑ i Khi đót∈St(n–1) Với γ cho n −1 i=1 tγ trước, giải ra ⇒ P(| t |≤ t ) = P(−t ≤ t ≤ t ) = f (x,n −1)dx = γ γ γ γ ∫ tìm được uγ −tγ X − μ ⎛ s* s* ⎞ ⇒ P(−t ≤ ≤ t ) = P⎜ X − t x ≤ μ ≤ X + t x ⎟ = γ γ * γ ⎜ γ γ ⎟ sx / n ⎝ n n ⎠ * * ⎡ sx sx ⎤ ⇒ μ ∈ ⎢X − tγ , X + tγ ⎥ với độ tin cậy γ ⎣ n n ⎦
21. CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.4 Ước lượng theo phương pháp bình phương tối thiểu • Bài toán: Cho mẫu (Y1, ,Yn) của biến ngẫu nhiên Y. Giả sử đã biết: M [Yi ] = xi1β1 + xi 2 β 2 + + xim β m M [Y ] = Xβ 2 Hay 2 D[Yi ] = σ , (i = 1,2, , n) D[Y ] = Iσ Trong đó: xij (i=1 n, j=1 m) là các hằng số đã biết còn β1, β2, , βm và σ là các tham số chưa biết; X=X(n,m), β=β(m), Y=Y(n). Yêu cầu xác định các ước lượng ˆ ˆ ˆ β1, β 2 , , β m (là các hàm của (Y , ,Y )) sao cho: n 1 n 2 2 R = ∑ (Yi − (xi1β1 + xi 2 β 2 + + xim β m )) đạt giá trị nhỏ nhất i=1 ˆ ˆ ˆ Tức cần tìm β1, β 2 , , β m thỏa mãn 2 2 n ⎛ m ⎞ n ⎛ m ⎞ ⎜ ˆ ⎟ ⎜ ⎟ ∑∑Yi − xij β j = min ∑∑Yi − xij β j ⎜ ⎟ β1 , ,β m ⎜ ⎟ • Giải: i==1 ⎝ j 1 ⎠ i==1 ⎝ j 1 ⎠
22. CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.4 Ước lượng theo phương pháp bình phương tối thiểu 2 2 n m n m ⎛ ˆ ⎞ ⎛ ⎞ Điều kiện cần để thỏa mãn ⎜Yi − xij β j ⎟ = min ⎜Yi − xij β j ⎟ ∑∑⎜ ⎟ β , ,β ∑∑⎜ ⎟ i==1 ⎝ j 1 ⎠ 1 m i==1 ⎝ j 1 ⎠ 2 là đạo hàm R theo các βk phải bằng 0: ∂R 2 n ⎛ m ⎞ = −2 ⎜Y − x β ⎟x = 0, k = 1,2, , m ∑∑⎜ i ij j ⎟ ik ∂β k i==11⎝ j ⎠ Dưới dạng ma trận: ⎛ Y1 ⎞ ⎛ x11 x1m ⎞ ⎛ β1 ⎞ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ Y = ⎜ ⎟, X = ⎜ ⎟, β = ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎝Yn ⎠ ⎝ xn1 xnm ⎠ ⎝ β m ⎠ ∂R 2 ⇒ R 2 = (Y − Xβ )T (Y − Xβ ) ⇒ = −2 X T (Y − Xβ ) = 0 ∂β T T ⇒ X Xβ = X Y ⇒ βˆ = ( X T X )−1 ( X TY ) Phương trình chính tắc
23. CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.4 Ước lượng theo phương pháp bình phương tối thiểu Kỳ vọng và phương sai của ước lượng βˆ βˆ = ( X T X )−1 ( X TY ) M [βˆ] = M [( X T X )−1 ( X TY )] = ( X T X )−1 X T M [Y ] Vì M [Y ] = Xβ ⇒ M [βˆ] = ( X T X )−1 ( X T X )β = β ⇒ βˆ là ước lượng không chệch của β Tương tự, có thể tính được: D[βˆ] = σ 2 ( X T X )−1 HẾT CHƯƠNG 6