[機器學習首部曲] 貝氏分類器Bayesian Classifier | 貝氏分類
貝氏定理描述在一些已知的條件下，某件事情發生的機率。
比方說，如果我們已經知道房價與房子的區域位置有關，那麼使用貝氏定理則可以透過得知房子的位置， ...Skiptocontent貝氏分類器為一基於機率的分類器，並假設各個特徵間相互獨立。
要了解貝氏分類器，我們要先來認識赫赫有名的「貝氏定理」。
貝氏定理Bayes’Theorem貝氏定理描述在一些已知的條件下，某件事情發生的機率。
比方說，如果我們已經知道房價與房子的區域位置有關，那麼使用貝氏定理則可以透過得知房子的位置，更準確地推估房子的價格。
$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$上式意思為若我們想要得知在已知B事件發生下，A事件發生的機率為何?我們可以這樣理解。
首先，在事件B發生之前，我們對事件A會有一個基本的機率判斷，因此我們稱$P(A)$為”事前機率”。
而在事件B發生之後，我們會對事件A發生的機率重新評估，因此我們稱$P(A|B)$為事件A的事後機率。
另一方面，在事件A發生之前，我們也會對事件B有一個基本的機率判斷，我們稱$P(B)$為”事前機率”。
同樣的，在事件A發生之後，我們亦會對事件B的發生機率從新評估，因此我們稱$P(B|A)$為事件B的事後機率。
綜合以上，在機去學習裡面我們可以把此方程式看成:$$P(假設|資料)=\frac{P(資料|假設)\timesP(假設)}{P(資料)}$$在貝氏學習裡，我們想要得到的是，究竟是怎麼樣的假設，比較符合我們觀察到的資料，也就是要找到一個讓$P(假設|資料)$最高的”假設”。
很顯然的，$P(假設|資料)$會隨著$P(資料|假設)$及$P(假設)$上升而上升，但會因$P(資料)$的上升而下降。
到了這邊，可能還是覺得有點似懂非懂，讓我們一起來看個小例子，可能會更為明白!如果有一天你出差回家，在家裡發現了不是自己的內衣褲，究竟伴侶欺騙你的機率有多少?讓我們一起對照著上述公式。
在這個例子中，資料的部分為”發現家裡有非自己內衣褲的事實”，而假設的部分則為”伴侶欺騙了自己”。
(另一個假設則是”伴侶沒有欺騙自己”，我們最後可以用貝氏定理來推估哪一個假設的機率高，在此先只關注其一假設)很顯然的，我們的目標算出$P(假設|資料)$指的就是當我們回家發現家裡有非自己內衣褲的事實，在這樣的情況下，伴侶欺騙我們的機率有多少?要得到這個機率，我們需要三個機率，分別為$P(資料|假設)$、$P(假設)$與$P(資料)$。
在這裡，$P(資料|假設)$指的就是”在伴侶欺騙我們的情況下，我們發現非自己內衣褲在家的機率有多少?我們稱此機率為在假設情況下得到此資料的後驗機率。
”$P(假設)$指的是，不論任何情況(尚無資料的情況下)，伴侶欺騙我們的機率有多少?我們稱此機率為假設的先驗機率。
而$P(資料)$指的是，不論任何情況(無論伴侶有無欺騙)，我發在家發現非自己內衣褲的機率有多少，我們稱此為資料的先驗機率。
綜合以上，我們很快就可以算出當我們回家發現非自己內衣褲的同時，伴侶欺騙我們的機率，也就是$P(假設|資料)$。
因篇幅關係，詳細計算過程歡迎參考影片。
有意思的是，當我們出差回來，”再次”在家中發現非自己內衣褲時，伴侶欺騙我們的機率還會跟原本一樣嗎?相信依照大家的直覺，想當然耳被欺騙的機率肯定會飆高，而在貝氏定理中呢?在第一次事件發生時，我們已經得知了$P(假設|資料)$也就是在我們發現非自己的內衣褲而伴侶欺騙我們的機率。
因此，回到貝氏定理中，因這已經是第二次發現這樣的事情，有了先前的經驗，$P(假設)$亦即伴侶欺騙我們的機率，會跟著更新為$P(假設|資料)$，導致我們最後算出的機率也會有所不同!這就是所謂的貝氏學習!貝氏學習BayesianLearning了解了貝氏定理的原理之後，接下來，我們要探討的是貝氏分類器究竟是如何運作的呢?首先，我們知道在貝氏分類器底下，我們的目標(target)就是要找到一個”假設”讓$P(假設|資料)$為最大。
當$P(假設|資料)$為最大時，我們就會將這個樣本分類到這個假設。
以上例來說，如果我們算出$P(伴侶欺騙|回家發現非自己的內衣褲)=0.3$，$P(伴侶誠實|回家發現非自己的內衣褲)=0.7$，則貝氏分類器會將結果分類到”伴侶誠實”這個假上裡面，因為$P(伴侶誠實|回家發現非自己的內衣褲)=0.7>$$P(伴侶欺騙|回家發現非自己內衣褲)=
比方說，如果我們已經知道房價與房子的區域位置有關，那麼使用貝氏定理則可以透過得知房子的位置， ...Skiptocontent貝氏分類器為一基於機率的分類器，並假設各個特徵間相互獨立。
要了解貝氏分類器，我們要先來認識赫赫有名的「貝氏定理」。
貝氏定理Bayes’Theorem貝氏定理描述在一些已知的條件下，某件事情發生的機率。
比方說，如果我們已經知道房價與房子的區域位置有關，那麼使用貝氏定理則可以透過得知房子的位置，更準確地推估房子的價格。
$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$上式意思為若我們想要得知在已知B事件發生下，A事件發生的機率為何?我們可以這樣理解。
首先，在事件B發生之前，我們對事件A會有一個基本的機率判斷，因此我們稱$P(A)$為”事前機率”。
而在事件B發生之後，我們會對事件A發生的機率重新評估，因此我們稱$P(A|B)$為事件A的事後機率。
另一方面，在事件A發生之前，我們也會對事件B有一個基本的機率判斷，我們稱$P(B)$為”事前機率”。
同樣的，在事件A發生之後，我們亦會對事件B的發生機率從新評估，因此我們稱$P(B|A)$為事件B的事後機率。
綜合以上，在機去學習裡面我們可以把此方程式看成:$$P(假設|資料)=\frac{P(資料|假設)\timesP(假設)}{P(資料)}$$在貝氏學習裡，我們想要得到的是，究竟是怎麼樣的假設，比較符合我們觀察到的資料，也就是要找到一個讓$P(假設|資料)$最高的”假設”。
很顯然的，$P(假設|資料)$會隨著$P(資料|假設)$及$P(假設)$上升而上升，但會因$P(資料)$的上升而下降。
到了這邊，可能還是覺得有點似懂非懂，讓我們一起來看個小例子，可能會更為明白!如果有一天你出差回家，在家裡發現了不是自己的內衣褲，究竟伴侶欺騙你的機率有多少?讓我們一起對照著上述公式。
在這個例子中，資料的部分為”發現家裡有非自己內衣褲的事實”，而假設的部分則為”伴侶欺騙了自己”。
(另一個假設則是”伴侶沒有欺騙自己”，我們最後可以用貝氏定理來推估哪一個假設的機率高，在此先只關注其一假設)很顯然的，我們的目標算出$P(假設|資料)$指的就是當我們回家發現家裡有非自己內衣褲的事實，在這樣的情況下，伴侶欺騙我們的機率有多少?要得到這個機率，我們需要三個機率，分別為$P(資料|假設)$、$P(假設)$與$P(資料)$。
在這裡，$P(資料|假設)$指的就是”在伴侶欺騙我們的情況下，我們發現非自己內衣褲在家的機率有多少?我們稱此機率為在假設情況下得到此資料的後驗機率。
”$P(假設)$指的是，不論任何情況(尚無資料的情況下)，伴侶欺騙我們的機率有多少?我們稱此機率為假設的先驗機率。
而$P(資料)$指的是，不論任何情況(無論伴侶有無欺騙)，我發在家發現非自己內衣褲的機率有多少，我們稱此為資料的先驗機率。
綜合以上，我們很快就可以算出當我們回家發現非自己內衣褲的同時，伴侶欺騙我們的機率，也就是$P(假設|資料)$。
因篇幅關係，詳細計算過程歡迎參考影片。
有意思的是，當我們出差回來，”再次”在家中發現非自己內衣褲時，伴侶欺騙我們的機率還會跟原本一樣嗎?相信依照大家的直覺，想當然耳被欺騙的機率肯定會飆高，而在貝氏定理中呢?在第一次事件發生時，我們已經得知了$P(假設|資料)$也就是在我們發現非自己的內衣褲而伴侶欺騙我們的機率。
因此，回到貝氏定理中，因這已經是第二次發現這樣的事情，有了先前的經驗，$P(假設)$亦即伴侶欺騙我們的機率，會跟著更新為$P(假設|資料)$，導致我們最後算出的機率也會有所不同!這就是所謂的貝氏學習!貝氏學習BayesianLearning了解了貝氏定理的原理之後，接下來，我們要探討的是貝氏分類器究竟是如何運作的呢?首先，我們知道在貝氏分類器底下，我們的目標(target)就是要找到一個”假設”讓$P(假設|資料)$為最大。
當$P(假設|資料)$為最大時，我們就會將這個樣本分類到這個假設。
以上例來說，如果我們算出$P(伴侶欺騙|回家發現非自己的內衣褲)=0.3$，$P(伴侶誠實|回家發現非自己的內衣褲)=0.7$，則貝氏分類器會將結果分類到”伴侶誠實”這個假上裡面，因為$P(伴侶誠實|回家發現非自己的內衣褲)=0.7>$$P(伴侶欺騙|回家發現非自己內衣褲)=