Ước lượng Bayes

Trong lý thuyết ước lượng và lý thuyết quyết định, một công cụ ước lượng Bayes là một phép ước lượng hoặc luật quyết định sao cho nó cực tiểu giá trị kì vọng hậu nghiệm của một hàm lỗi (tiếng Anh loss function) (ví dụ, kì vọng sai số hậu nghiệm). Một cách khác để tìm ước lượng trong Thống kê Bayes là Ước lượng cực đại hậu nghiệm.

Định nghĩa

Giả sử một tham số θ chưa biết có phân phối tiên nghiệm $\pi$ . Đặt $\delta =\delta (x)$ là một ước lượng của θ (dựa trên các số đo x), và $L(\theta ,\delta )$ là hàm lỗi, ví dụ như bình phương sai số. Hàm nguy cơ Bayes của $\delta$ được định nghĩa là $E_{\pi }\{L(\theta ,\delta )\}$ : kì vọng của hàm lỗi trên phân phối của $\theta$ . Điều này làm cho hàm nguy cơ trở thành một hàm theo $\delta$ . Một ước lượng $\delta$ được gọi là một ước lương Bayes nếu nó cực tiểu hàm nguy cơ Bayes. Một cách tương đương, ước lượng cực tiểu kì vọng hậu nghiệm của hàm lỗi $E\{L(\theta ,\delta )|x\}$ for each x cũng cực tiểu hàm nguy cơ Bayes và đó là một ước lượng Bayes.^[1]

Các ví dụ

Ước lượng sai số trung bình bình phương cực tiểu

Hàm nguy cơ thông dụng nhất được sử dụng cho ước lượng Bayes là sai số trung bình bình phương (MSE). MSE được xách định bởi

\mathrm {MSE} =E\left[({\widehat {\theta }}(x)-\theta )^{2}\right],

khi giá trị kì vọng được xác định trên phân phối của $\theta$ và $x$ .

Dùng MSE làm hàm nguy cơ, ước lượng Bayes của tham số chưa biết đơn giản là giá trị trung bình của phân phối hậu nghiệm,

{\widehat {\theta }}(x)=E[\theta |x]=\int \theta f(\theta |x)\,d\theta .

Nó còn được gọi là ước lượng sai số trung bình bình phương cực tiểu (MMSE). Hàm nguy cơ Bayes trong trường hợp này là phương sai hậu nghiệm.

Một số hàm nguy cơ khác

Hàm nguy cơ được lựa chọn dựa trên cách người ta xác định khoảng cách giữa giá trị ước lượng và giá trị thật của tham số. MSE là hàm nguy cơ được sử dụng phổ biến nhaast, chủ yếu vì sự đơn giản của nó. Tuy nhiên một số hàm nguy cơ khác cũng được sử dụng tùy lúc. Sau đây là một số ví dụ về chúng. Ta ký hiệu hàm phân phối hậu nghiệm tổng quát là $F$ .

Hàm nguy cơ "tuyến tính" loss function, với $a>0$ , nhận giá trị med hậu nghiệm làm ước lượng Bayes:

L(\theta ,{\widehat {\theta }})=a|\theta -{\widehat {\theta }}|

F({\widehat {\theta }}(x)|X)={\tfrac {1}{2}}.

Chú thích

^ Lehmann and Casella, Theorem 4.1.1

Tham khảo

Lehmann, E. L. (1998). Theory of Point Estimation. Casella, G. Springer. tr. 2nd ed. ISBN 0-387-98502-6.
Berger, James O. (1985). Statistical decision theory and Bayesian Analysis (ấn bản thứ 2). New York: Springer-Verlag. ISBN 0-387-96098-8. MR 0804611.

Liên kết ngoài

Bayesian estimation on cnx.org

[1] Lehmann and Casella, Theorem 4.1.1

[1]