貝氏定理在生活中很有用,可是它到底怎麼算? | 貝氏統計
作者:林澤民、巫俊穎(Photo Credit: Wikipedia) 對於許多上過統計課的學生而言,貝氏定理(Bayes Theorem)是又熟悉又陌生的。
熟悉,是 ...Contents...udn網路城邦林澤民的部落格 (到舊版)文章相簿訪客簿置頂精選貝氏定理在生活中很有用,可是它到底怎麼算?2019/02/1108:52瀏覽33,193迴響0推薦1引用0作者:林澤民、巫俊穎(PhotoCredit:Wikipedia)對於許多上過統計課的學生而言,貝氏定理(BayesTheorem)是又熟悉又陌生的。
熟悉,是因為絕大多數的大學或研究所統計課堂都有教貝式定理;陌生,則是因為許多學生上完統計課之後,對於貝式定理仍然一知半解,甚至視為畏途。
根據我們的觀察,造成此現象的原因有二:首先,一般基本統計學教科書雖然會提到貝氏定理,但絕大多數的教科書仍然只涵蓋以P值檢定為基礎的傳統「次數統計推論」(frequentiststatisticalinference)。
學生即使學了貝氏定理,也只把它當作一個數學公式,不知道它對學習統計學有什麼幫助,更不知道它具備生活實用性。
其次,貝式定理的數學表示式難以背誦;即使一時背了,也容易忘記。
以下是教科書上常見的貝式定理定義:假定事件A和事件B發生的機率分別是 Pr(A) 和 Pr(B),則在事件B已經發生的前提之下,事件A發生的機率是(其中「」在邏輯上為「非」的符號:「A」即「非A」)如果沒有充分理解機率運算的定義和法則,實在難以理解此公式背後的邏輯。
許多學生因此強記上述公式以準備考試,只求能解題而不求理解;公式反而成為學習貝式定理的主要障礙。
本文的主要目的是要破除許多學生對於貝式定理「困難又不實用」的刻板印象。
事實上,我們生活之中有許多情況必須要運用貝式定理的邏輯思考,否則便容易產生偏差甚至陷於謬誤。
舉例來說,每逢有人因車禍不幸橫死,當記者報導死者是孝子,我們常唏噓說為何橫死的都是好人?這樣的想法,其實犯了諾貝爾經濟學獎得主、心理學家 DanielKahneman 所說的「基率謬誤」(baseratefallacy)。
簡單來說,就是沒有把「絕大多數人都是好人」這個「基率」—貝氏定理所謂的先驗機率(priorprobability)—納入考量所致。
因為絕大多數人都是好人,即使老天爺真的大致上賞善罰惡,橫死的人也會大多是好人,更不用說車禍應該跟善惡無關了。
比如我們假設每100人中只有1人(1%)是十惡不赦的「壞人」,其餘99人(99%)都是「好人」。
再假設90%的壞人果然都遭車禍橫死,而只有10%的好人意外橫死。
這樣老天算是有眼了,可是如果今天有人意外橫死,請問他是好人的機率多少呢?用貝氏定理可以算出Pr(好人|橫死)=0.92,也就是橫死的人中有92%會是「好人」,只有8%是壞人!這正是因為大部分人都是好人,出事的當然容易是好人,即使老天有眼也是一樣。
貝氏定理的原理就是在先驗機率的基礎上,納入新事件的資訊來更新先驗機率,這樣算出來的機率便叫做後驗機率(posteriorprobability)。
以前述好人橫死的例子來說,先驗機率的分配是Pr(好人)=0.99及Pr(壞人)=0.01。
在無其他資訊的情況下,我們在街上隨機遇到一個人,此人為好人的機率是0.99。
但現在此人被車子撞死了,根據我們對老天有眼的假設(Pr(橫死|好人)=0.1及Pr(橫死|壞人)=0.9),好人不容易橫死,而此人橫死了,這新事件的資訊可以讓我們用貝氏定理來計算後驗機率Pr(好人|橫死)=0.92,也就是此人為好人的機率變小。
這就是所謂「貝氏更新」(Bayesianupdating):新事件的資訊改變了我們原來的估計。
如果我們沒有把先驗機率納入計算,我們很可能因為相信老天有眼,橫死的應該大多是壞人,就斷此人很可能是壞人。
而若確定此人是好人,我們就唏噓不已,甚至怨罵老天。
這兩種反應的人其實都犯了「基率謬誤」。
當然,如果車禍跟人的好壞無關,也就是不論好人壞人橫死的機率都一樣,則有人橫死的新事件是不會更新我們對他是好人或壞人的基率的。
Kahneman在《快思慢想》一書中舉了一個也是跟車禍有關的「基率謬誤」的例子。
某天夜晚城裡發生了一件車禍,肇事的車子逃逸,但有證人指認那是一輛藍色的計程車。
城裡只有藍色、綠色兩
熟悉,是 ...Contents...udn網路城邦林澤民的部落格 (到舊版)文章相簿訪客簿置頂精選貝氏定理在生活中很有用,可是它到底怎麼算?2019/02/1108:52瀏覽33,193迴響0推薦1引用0作者:林澤民、巫俊穎(PhotoCredit:Wikipedia)對於許多上過統計課的學生而言,貝氏定理(BayesTheorem)是又熟悉又陌生的。
熟悉,是因為絕大多數的大學或研究所統計課堂都有教貝式定理;陌生,則是因為許多學生上完統計課之後,對於貝式定理仍然一知半解,甚至視為畏途。
根據我們的觀察,造成此現象的原因有二:首先,一般基本統計學教科書雖然會提到貝氏定理,但絕大多數的教科書仍然只涵蓋以P值檢定為基礎的傳統「次數統計推論」(frequentiststatisticalinference)。
學生即使學了貝氏定理,也只把它當作一個數學公式,不知道它對學習統計學有什麼幫助,更不知道它具備生活實用性。
其次,貝式定理的數學表示式難以背誦;即使一時背了,也容易忘記。
以下是教科書上常見的貝式定理定義:假定事件A和事件B發生的機率分別是 Pr(A) 和 Pr(B),則在事件B已經發生的前提之下,事件A發生的機率是(其中「」在邏輯上為「非」的符號:「A」即「非A」)如果沒有充分理解機率運算的定義和法則,實在難以理解此公式背後的邏輯。
許多學生因此強記上述公式以準備考試,只求能解題而不求理解;公式反而成為學習貝式定理的主要障礙。
本文的主要目的是要破除許多學生對於貝式定理「困難又不實用」的刻板印象。
事實上,我們生活之中有許多情況必須要運用貝式定理的邏輯思考,否則便容易產生偏差甚至陷於謬誤。
舉例來說,每逢有人因車禍不幸橫死,當記者報導死者是孝子,我們常唏噓說為何橫死的都是好人?這樣的想法,其實犯了諾貝爾經濟學獎得主、心理學家 DanielKahneman 所說的「基率謬誤」(baseratefallacy)。
簡單來說,就是沒有把「絕大多數人都是好人」這個「基率」—貝氏定理所謂的先驗機率(priorprobability)—納入考量所致。
因為絕大多數人都是好人,即使老天爺真的大致上賞善罰惡,橫死的人也會大多是好人,更不用說車禍應該跟善惡無關了。
比如我們假設每100人中只有1人(1%)是十惡不赦的「壞人」,其餘99人(99%)都是「好人」。
再假設90%的壞人果然都遭車禍橫死,而只有10%的好人意外橫死。
這樣老天算是有眼了,可是如果今天有人意外橫死,請問他是好人的機率多少呢?用貝氏定理可以算出Pr(好人|橫死)=0.92,也就是橫死的人中有92%會是「好人」,只有8%是壞人!這正是因為大部分人都是好人,出事的當然容易是好人,即使老天有眼也是一樣。
貝氏定理的原理就是在先驗機率的基礎上,納入新事件的資訊來更新先驗機率,這樣算出來的機率便叫做後驗機率(posteriorprobability)。
以前述好人橫死的例子來說,先驗機率的分配是Pr(好人)=0.99及Pr(壞人)=0.01。
在無其他資訊的情況下,我們在街上隨機遇到一個人,此人為好人的機率是0.99。
但現在此人被車子撞死了,根據我們對老天有眼的假設(Pr(橫死|好人)=0.1及Pr(橫死|壞人)=0.9),好人不容易橫死,而此人橫死了,這新事件的資訊可以讓我們用貝氏定理來計算後驗機率Pr(好人|橫死)=0.92,也就是此人為好人的機率變小。
這就是所謂「貝氏更新」(Bayesianupdating):新事件的資訊改變了我們原來的估計。
如果我們沒有把先驗機率納入計算,我們很可能因為相信老天有眼,橫死的應該大多是壞人,就斷此人很可能是壞人。
而若確定此人是好人,我們就唏噓不已,甚至怨罵老天。
這兩種反應的人其實都犯了「基率謬誤」。
當然,如果車禍跟人的好壞無關,也就是不論好人壞人橫死的機率都一樣,則有人橫死的新事件是不會更新我們對他是好人或壞人的基率的。
Kahneman在《快思慢想》一書中舉了一個也是跟車禍有關的「基率謬誤」的例子。
某天夜晚城裡發生了一件車禍,肇事的車子逃逸,但有證人指認那是一輛藍色的計程車。
城裡只有藍色、綠色兩
常見投資理財問答
簡單到不可思議的貝氏統計學貝氏定理excel貝葉斯統計貝 氏 統計:原理與應用事前機率 事後機率貝氏分類貝氏統計分析統計與機率 從 基礎至 貝 氏 統計貝 氏 統計 PTT貝氏統計 導論古典統計 貝 氏 統計簡單到不可思議的 貝 氏 統計學貝氏統計 書貝氏統計原理與應用貝氏統計ptt貝氏統計:原理與應用貝氏定理機器學習貝氏定理例題貝氏資料分析貝氏估計貝氏統計書貝氏推論古典統計貝氏統計應用 貝 氏 統計分析貝 氏 統計 導論