數學學習筆記--概率論 | 概率論筆記
MdEditor數學學習筆記--概率論語言:CN/TW/HK時間 2020-10-1511:15:48AI演算法筆記主題:掘金稀土Vue.js微信小程式KotlinRxJavaReactNativeWireshark敏捷開發BootstrapOKHttp正則表示式WebGLWebpackDockerMVVM2.概率論2.1概率分佈與隨機變數2.1.1機器學習為什麼要使用概率事件的概率是衡量該事件發生的可能性的量度。
雖然在一次隨機試驗中某個事件的發生是帶有偶然性的，但那些可在相同條件下大量重複的隨機試驗卻往往呈現出明顯的數量規律。
機器學習通常必須處理不確定量，有時候也需要處理隨機量。
幾乎所有的活動都需要一些在不確定性存在的情況下進行推理的能力。
不確定性和隨機性可能來自多個方面，不確定性有3種可能的來源：被建模系統內在的隨機性。
比如紙牌遊戲，假設紙牌被真正混洗成了隨機順序。
不完全觀測。
對於確定的系統，但是如果不能觀測到所有驅動系統行為的變數時，該系統也會呈現隨機性。
比如讓選手選擇三扇門中的一個，並獲得門後的獎品，每個門後的獎品是確定的，但是選手無法觀測到，所以對於選手來說，結果是不確定的。
不完全建模。
當採用一些必須捨棄某些資訊的模型時，捨棄的資訊可能導致模型的預測出現不確定性。
在很多情況下，採用簡單而不確定的規則要比複雜而確定的規則更加的實用。
可以使用概率論來量化不確定性。
用概率來表示一種信任度，概率直接和事件發生的頻率相聯絡的被稱為頻率派概率，比如說某件事發生的概率是p，這表示如果反覆試驗無限次，有p的比例是發生這件事情；而涉及確定性水平的稱為貝葉斯概率，比如說醫生在對一個病人的診斷中判斷其患某個病的概率是p。
概率論在機器學習中扮演著一個核心角色，因為機器學習演算法的設計通常依賴於對資料的概率假設。
例如在機器學習（AndrewNg）的課中，會有一個樸素貝葉斯假設就是條件獨立的一個例子。
該學習演算法對內容做出假設，用來分辨電子郵件是否為垃圾郵件。
假設無論郵件是否為垃圾郵件，單詞x出現在郵件中的概率條件獨立於單詞y。
很明顯這個假設不是不失一般性的，因為某些單詞幾乎總是同時出現。
然而，最終結果是，這個簡單的假設對結果的影響並不大，且無論如何都可以讓我們快速判別垃圾郵件。
2.1.2變數與隨機變數有什麼區別隨機變數（randomvariable）是可以隨機地取不同數值的變數。
它表示隨機現象（在一定條件下，並不總是出現相同結果的現象稱為隨機現象）中各種結果的實值函式（一切可能的樣本點）。
例如某一時間內公共汽車站等車乘客人數，電話交換臺在一定時間內收到的呼叫次數等，都是隨機變數的例項。
隨機變數與模糊變數的不確定性的本質差別在於，後者的測定結果仍具有不確定性，即模糊性。
變數與隨機變數的區別：當變數的取值的概率不是1時,變數就變成了隨機變數；當隨機變數取值的概率為1時,隨機變數就變成了變數。
比如：當變數xxx值為100的概率為1的話,那麼x=100x=100x=100就是確定了的,不會再有變化,除非有進一步運算.當變數xxx的值為100的概率不為1,比如為50的概率是0.5,為100的概率是0.5,那麼這個變數就是會隨不同條件而變化的,是隨機變數,取到50或者100的概率都是0.5,即50%。
2.1.3隨機變數與概率分佈的聯絡一個隨機變數僅僅表示一個可能取得的狀態，還必須給定與之相伴的概率分佈來制定每個狀態的可能性。
用來描述隨機變數或一簇隨機變數的每一個可能的狀態的可能性大小的方法，就是概率分佈(probabilitydistribution)**.隨機變數可以分為離散型隨機變數和連續型隨機變數。
相應的描述其概率分佈的函式是：概率質量函式(ProbabilityMassFunction,PMF):描述離散型隨機變數的概率分佈，通常用大寫字母PPP表示。
概率密度函式(ProbabilityDensityFunction,PDF)：描述連續型隨機變數的概率分佈，通常用小寫字母ppp表示。
2.1.4離散型隨機變數和概率質量函式PMF將隨機變數能夠取得的每個狀態對映到隨機變數取得該狀態的概率。
一般而言，P(x)P(x)P(x)表示時 X=x X=x X=x的概率，概率
雖然在一次隨機試驗中某個事件的發生是帶有偶然性的，但那些可在相同條件下大量重複的隨機試驗卻往往呈現出明顯的數量規律。
機器學習通常必須處理不確定量，有時候也需要處理隨機量。
幾乎所有的活動都需要一些在不確定性存在的情況下進行推理的能力。
不確定性和隨機性可能來自多個方面，不確定性有3種可能的來源：被建模系統內在的隨機性。
比如紙牌遊戲，假設紙牌被真正混洗成了隨機順序。
不完全觀測。
對於確定的系統，但是如果不能觀測到所有驅動系統行為的變數時，該系統也會呈現隨機性。
比如讓選手選擇三扇門中的一個，並獲得門後的獎品，每個門後的獎品是確定的，但是選手無法觀測到，所以對於選手來說，結果是不確定的。
不完全建模。
當採用一些必須捨棄某些資訊的模型時，捨棄的資訊可能導致模型的預測出現不確定性。
在很多情況下，採用簡單而不確定的規則要比複雜而確定的規則更加的實用。
可以使用概率論來量化不確定性。
用概率來表示一種信任度，概率直接和事件發生的頻率相聯絡的被稱為頻率派概率，比如說某件事發生的概率是p，這表示如果反覆試驗無限次，有p的比例是發生這件事情；而涉及確定性水平的稱為貝葉斯概率，比如說醫生在對一個病人的診斷中判斷其患某個病的概率是p。
概率論在機器學習中扮演著一個核心角色，因為機器學習演算法的設計通常依賴於對資料的概率假設。
例如在機器學習（AndrewNg）的課中，會有一個樸素貝葉斯假設就是條件獨立的一個例子。
該學習演算法對內容做出假設，用來分辨電子郵件是否為垃圾郵件。
假設無論郵件是否為垃圾郵件，單詞x出現在郵件中的概率條件獨立於單詞y。
很明顯這個假設不是不失一般性的，因為某些單詞幾乎總是同時出現。
然而，最終結果是，這個簡單的假設對結果的影響並不大，且無論如何都可以讓我們快速判別垃圾郵件。
2.1.2變數與隨機變數有什麼區別隨機變數（randomvariable）是可以隨機地取不同數值的變數。
它表示隨機現象（在一定條件下，並不總是出現相同結果的現象稱為隨機現象）中各種結果的實值函式（一切可能的樣本點）。
例如某一時間內公共汽車站等車乘客人數，電話交換臺在一定時間內收到的呼叫次數等，都是隨機變數的例項。
隨機變數與模糊變數的不確定性的本質差別在於，後者的測定結果仍具有不確定性，即模糊性。
變數與隨機變數的區別：當變數的取值的概率不是1時,變數就變成了隨機變數；當隨機變數取值的概率為1時,隨機變數就變成了變數。
比如：當變數xxx值為100的概率為1的話,那麼x=100x=100x=100就是確定了的,不會再有變化,除非有進一步運算.當變數xxx的值為100的概率不為1,比如為50的概率是0.5,為100的概率是0.5,那麼這個變數就是會隨不同條件而變化的,是隨機變數,取到50或者100的概率都是0.5,即50%。
2.1.3隨機變數與概率分佈的聯絡一個隨機變數僅僅表示一個可能取得的狀態，還必須給定與之相伴的概率分佈來制定每個狀態的可能性。
用來描述隨機變數或一簇隨機變數的每一個可能的狀態的可能性大小的方法，就是概率分佈(probabilitydistribution)**.隨機變數可以分為離散型隨機變數和連續型隨機變數。
相應的描述其概率分佈的函式是：概率質量函式(ProbabilityMassFunction,PMF):描述離散型隨機變數的概率分佈，通常用大寫字母PPP表示。
概率密度函式(ProbabilityDensityFunction,PDF)：描述連續型隨機變數的概率分佈，通常用小寫字母ppp表示。
2.1.4離散型隨機變數和概率質量函式PMF將隨機變數能夠取得的每個狀態對映到隨機變數取得該狀態的概率。
一般而言，P(x)P(x)P(x)表示時 X=x X=x X=x的概率，概率