AI | 貝氏分類
樸素貝葉斯分類器是高度可擴展的，因此需要數量與學習問題中的變量成線性關係的參數。
最大似然訓練可以通過評估一個封閉形式的表達式來完成，只需花費線性 ...PagesHomeAboutContactskiptomain|skiptosidebar2015年6月17日星期三AI-Ch15機器學習(3),樸素貝葉斯分類器NaiveBayesclassifier於6/17/201509:22:00下午沒有留言:標籤：ComputerScience-ArtificialIntelligence 樸素貝葉斯機率模型簡介簡單貝氏模型直接假設所有的隨機變數之間具有條件獨立的情況，因此可以直接利用條件機率相乘的方法，計算出聯合機率分布。
$p(X|C)=P(X_1|C)P(X_2|C)...P(X_d|C)$其中$X=[X_1,X_2,...,X_d]$是一個特徵向量，而$C$代表一個特定類別。
這個假設看來似乎過強，一般實際世界的資料似乎無法滿足此假設，但由此假設所產生的單純貝氏分類器(naiveBayesclassifier)卻是相當有實用性，其辨識效能常常不輸給其它更複雜的辨識器。
貝氏分類器在20世紀60年代初引入到文本信息檢索界中，並仍然是文本分類的一種熱門方法，文本分類是以詞頻為特徵判斷文件所屬類別或其他(如垃圾郵件、合法性、體育或政治等)的問題。
通過適當的預處理，它可以與這個領域更先進的方法(如支持向量機)相競爭。
樸素貝葉斯分類器是高度可擴展的，因此需要數量與學習問題中的變量成線性關係的參數。
最大似然訓練可以通過評估一個封閉形式的表達式來完成，只需花費線性時間，而不需要其他很多類型的分類器所使用的費時的疊代逼近。
樸素貝葉斯機率模型推導理論上，機率模型分類器是一個條件機率模型。
$p(C\vertF_1,\dots,F_n)$獨立的類別變量$C$有若干類別，條件依賴於若干特徵變量$F_1,F_2,...,F_n$。
但問題在於，如果特徵數量n較大或者每個特徵能取大量值時，基於機率模型列出機率表變得不現實。
所以我們修改這個模型使之變得可行。
貝葉斯定理有以下式子：$p(C\vertF_1,\dots,F_n)=\frac{p(C)\p(F_1,\dots,F_n\vertC)}{p(F_1,\dots,F_n)}.$用樸素的語言可以表達為：$\mbox{posterior}=\frac{\mbox{prior}\times\mbox{likelihood}}{\mbox{evidence}}$實際中，我們只關心分式中的分子部分，因為分母不依賴於$C$而且特徵$F_i$的值是給定的，於是分母可以認為是一個常數。
這樣分子就等價於聯合分布模型。
$p(C\vertF_1,\dots,F_n)$重複使用鏈式法則，可將該式寫成條件機率的形式，如下所示：$p(C\vertF_1,\dots,F_n)\,$$\varproptop(C)\p(F_1,\dots,F_n\vertC)$$\varproptop(C)\p(F_1\vertC)\p(F_2,\dots,F_n\vertC,F_1)$$\varproptop(C)\p(F_1\vertC)\p(F_2\vertC,F_1)\p(F_3\vertC,F_1,F_2)\p(F_4,\dots,F_n\vertC,F_1,F_2,F_3)$$\varproptop(C)\p(F_1\vertC)\p(F_2\vertC,F_1)\p(F_3\vertC,F_1,F_2)\\dotsp(F_n\vertC,F_1,F_2,F_3,\dots,F_{n-1}).$現在「樸素」的條件獨立假設開始發揮作用:假設每個特徵$F_i$對於其他特徵$F_j,j\neqi$是條件獨立的。
這就意味著$p(F_i\vertC,F_j)=p(F_i\vertC)\,$對於$i\nej$，所以聯合分布模型可以表達為 $\begin{align}p(C\vertF_1,\dots,F_n)&\varproptop(C)\p(F_1\vertC)\p(F_2\vertC)\p(F_3\vertC)\\cdots\,\\&\varproptop(C)\prod_{i=1}^np(F_i\vertC).\,\end{align}$這意味著上述假設下，類變量C的條件分布可以表達為：$p(C\vertF_1,\dots,F_n)=\frac{1}{Z} p(C)\prod_{i=1}^np(F_i\vertC)$
最大似然訓練可以通過評估一個封閉形式的表達式來完成，只需花費線性 ...PagesHomeAboutContactskiptomain|skiptosidebar2015年6月17日星期三AI-Ch15機器學習(3),樸素貝葉斯分類器NaiveBayesclassifier於6/17/201509:22:00下午沒有留言:標籤：ComputerScience-ArtificialIntelligence 樸素貝葉斯機率模型簡介簡單貝氏模型直接假設所有的隨機變數之間具有條件獨立的情況，因此可以直接利用條件機率相乘的方法，計算出聯合機率分布。
$p(X|C)=P(X_1|C)P(X_2|C)...P(X_d|C)$其中$X=[X_1,X_2,...,X_d]$是一個特徵向量，而$C$代表一個特定類別。
這個假設看來似乎過強，一般實際世界的資料似乎無法滿足此假設，但由此假設所產生的單純貝氏分類器(naiveBayesclassifier)卻是相當有實用性，其辨識效能常常不輸給其它更複雜的辨識器。
貝氏分類器在20世紀60年代初引入到文本信息檢索界中，並仍然是文本分類的一種熱門方法，文本分類是以詞頻為特徵判斷文件所屬類別或其他(如垃圾郵件、合法性、體育或政治等)的問題。
通過適當的預處理，它可以與這個領域更先進的方法(如支持向量機)相競爭。
樸素貝葉斯分類器是高度可擴展的，因此需要數量與學習問題中的變量成線性關係的參數。
最大似然訓練可以通過評估一個封閉形式的表達式來完成，只需花費線性時間，而不需要其他很多類型的分類器所使用的費時的疊代逼近。
樸素貝葉斯機率模型推導理論上，機率模型分類器是一個條件機率模型。
$p(C\vertF_1,\dots,F_n)$獨立的類別變量$C$有若干類別，條件依賴於若干特徵變量$F_1,F_2,...,F_n$。
但問題在於，如果特徵數量n較大或者每個特徵能取大量值時，基於機率模型列出機率表變得不現實。
所以我們修改這個模型使之變得可行。
貝葉斯定理有以下式子：$p(C\vertF_1,\dots,F_n)=\frac{p(C)\p(F_1,\dots,F_n\vertC)}{p(F_1,\dots,F_n)}.$用樸素的語言可以表達為：$\mbox{posterior}=\frac{\mbox{prior}\times\mbox{likelihood}}{\mbox{evidence}}$實際中，我們只關心分式中的分子部分，因為分母不依賴於$C$而且特徵$F_i$的值是給定的，於是分母可以認為是一個常數。
這樣分子就等價於聯合分布模型。
$p(C\vertF_1,\dots,F_n)$重複使用鏈式法則，可將該式寫成條件機率的形式，如下所示：$p(C\vertF_1,\dots,F_n)\,$$\varproptop(C)\p(F_1,\dots,F_n\vertC)$$\varproptop(C)\p(F_1\vertC)\p(F_2,\dots,F_n\vertC,F_1)$$\varproptop(C)\p(F_1\vertC)\p(F_2\vertC,F_1)\p(F_3\vertC,F_1,F_2)\p(F_4,\dots,F_n\vertC,F_1,F_2,F_3)$$\varproptop(C)\p(F_1\vertC)\p(F_2\vertC,F_1)\p(F_3\vertC,F_1,F_2)\\dotsp(F_n\vertC,F_1,F_2,F_3,\dots,F_{n-1}).$現在「樸素」的條件獨立假設開始發揮作用:假設每個特徵$F_i$對於其他特徵$F_j,j\neqi$是條件獨立的。
這就意味著$p(F_i\vertC,F_j)=p(F_i\vertC)\,$對於$i\nej$，所以聯合分布模型可以表達為 $\begin{align}p(C\vertF_1,\dots,F_n)&\varproptop(C)\p(F_1\vertC)\p(F_2\vertC)\p(F_3\vertC)\\cdots\,\\&\varproptop(C)\prod_{i=1}^np(F_i\vertC).\,\end{align}$這意味著上述假設下，類變量C的條件分布可以表達為：$p(C\vertF_1,\dots,F_n)=\frac{1}{Z} p(C)\prod_{i=1}^np(F_i\vertC)$