貝氏定理（Bayes Theorem） \[P(A|B)=\frac{P(A \cap ... 相對於之前介紹的MLE是頻率學派的點估計, 其分布的參數是固定值, 貝式學派自成一格, ...貝氏定理（BayesTheorem）\[P(A|B)=\frac{P(A\capB)}{P(B)}=\frac{P(B|A)\timesP(A)}{P(B)}\]其中\(P(A|B)\)是已知\(B\)發生的情況下,\(A\)發生的機率,稱作\(A\)的事後機率或後驗機率(posteriorprobability)而\(P(A)\),\(P(B)\)稱作事前機率或先驗機率(priorprobability)\(P(B|A)\)是已知\(A\)發生的情況下,\(B\)發生的機率,在此稱作概似函數(likelihoodfunction)可以把貝氏定理理解成:\[後驗機率=\frac{{概似函數}\times{先驗機率}}{標準化常量}\]\[P(A|B)=\frac{P(B|A)\timesP(A)}{P(B)}\]貝氏統計相對於之前介紹的MLE是頻率學派的點估計,其分布的參數是固定值,貝式學派自成一格,它將分布的參數視為一個隨機變數,也就是每個參數來自一個機率分布,而非固定值因此貝氏統計中不但可以算樣本統計量的機率,還可以算參數的機率假設\(X\)服從分布pdf為\(P(x|\theta)\),利用貝氏定理寫成連續的形式:\[f_{x|\theta}(\theta)=\frac{f(x_1,...,x_n|\theta)f_{\theta}(\theta)}{\int\f(x_1,...,x_n|\theta)f_{\theta}(\theta)\d\theta}\]其中,\(f_{x|\theta}(\theta)\):後驗機率\(f(x_1,...,x_n|\theta)\):概似函數\(f_{\theta}(\theta)\):先驗機率\(\int\f(x_1,...,x_n|\theta)f_{\theta}(\theta)\d\theta\):標準化常量若假設樣本為常態分佈:\[X_1,X_2,...,X_n\simi.i.d.\N(\mu,\sigma^2)\]假設\(\mu\)未知,\(\sigma^2\)已知試用貝氏統計來估計\(\mu\)假設\(\mu\simN(\mu_{0},\sigma_{0}^2)\)是一個normaldistribution,則\(\mu\)的pdf可以寫成:\[f(\mu)=\frac{1}{\sqrt{2\pi\sigma_{0}^2}}\exp(-\frac{(\mu-\mu_{0})^2}{2\sigma_{0}^2})\]樣本的pdf可以寫成:\[f(x_1,...,x_n|\mu)=\frac{1}{{(2\pi\sigma^2)}^{\frac{n}{2}}}\exp(-\frac{\sum_{i=1}^n(x_i-\mu)^2}{2\sigma^2})\]兩者的jointprobability為:\[f(x_1,...,x_n,\mu)=\frac{1}{{(2\pi\sigma^2)}^{\frac{n}{2}}\sqrt{2\pi\sigma_{0}^2}}\exp(-\frac{\sum_{i=1}^n(x_i-\mu)^2}{2\sigma^2}-\frac{(\mu-\mu_{0})^2}{2\sigma_{0}^2})\]上式經過整理得到:\[f(x_1,...,x_n,\mu)=\frac{1}{\sqrt{2\pi\sigma_{post}^2}}\exp(-\frac{(\mu-\mu_{post})^2}{2\sigma_{post}^2})\h(x_1,...,x_n,\sigma,\mu_0,\sigma_0)\]上式整理過程中,與\(\mu\)沒有相關的函數一律包含進\(h\)函數中因此後驗機率可以得到:\[f(\mu|x_1,...,x_n)=\frac{1}{\sqrt{2\pi\sigma_{post}^2}}\exp(-\frac{(\mu-\mu_{post})^2}{2\sigma_{post}^2})\h'(x_1,...,x_n,\sigma,\mu_0,\sigma_0)\]上式整理過程中,由於\(x_1,...,x_n\)與\(\mu\)沒有相關,\(h\)函數也與\(\mu\)沒有相關,與\(\mu\)沒有相關的函數一律再把它包含進\(h'\)函數中發現假設\(\mu\)的先驗機率為常態分佈下,\(\mu\)的後驗機率也是一個常態分布,其參數為:\[\mu_{post}=\frac{\frac{\sigma^2}{n}\mu_0+\si