在介紹常見分佈之前， 先來聊兩個題外的話題：獨立同分布與數據的分佈。

第一個話題就是獨立同分布， 這個詞相信我們不管是教科書還是機器學習的書籍都會碰到吧， 英文名爲：independent and identically distributed， 簡稱i.i.d（這種簡寫要認識喲）。那麼究竟什麼是獨立同分布呢？ 

下面我們就用拋硬幣的例子來解釋獨立和同分佈， 這樣可能會更加清楚：

拋擲一枚硬幣， 記出現正面爲事件, 事件發生的概率爲且爲0.4。

接下來開始做拋擲硬幣實驗，第一次拋擲硬幣出現正面的概率爲 0.4，第二次拋擲硬幣出現正面的概率 也爲 0.4， 第 次正面出現的概率 也爲0.4， 也就是說每次拋擲硬幣得到的結果沒有任何關係， 那麼我們就說這些試驗結果是相互獨立的。而如果拋擲一枚智能硬幣， 如果第 出現反面， 那麼第 次一定是正面， 這樣的就不是獨立的， 後面的結果依賴於前面的實驗結果。

同分布指的是每次拋擲試驗， 我們都使用的同一枚硬幣， 也就是必須保證始終一樣， 不能說我第一次有了正面概率是0.4的硬幣， 第二次換成了正面概率是0.6的硬幣， 這樣就不是同分布了。

第二個話題就是我們爲啥要關心數據的分佈呢？

大部分機器學習算法都是根據已有歷史數據，去學習它們的分佈規律，也就是分佈的參數。一旦學習到分佈的參數後，當再進來新的、未知的數據時，學到的算法模型便會預測或決策出一個結果。這是大部分機器學習的學習過程。

考慮這種情況，如果我們拿訓練使用的數據來評價模型好快時，得分肯定高，但是完全沒有意義，相信也不會有人這麼做，因爲它們已經對模型完全學習到、完全已熟悉。

再考慮另一種情況，如果測試用的數據來自完全不同的數據分佈，模型預測它們的結果得分往往不會好，雖然也會得到一個分數。測試數據集的分佈和訓練數據集的數據分佈差異太大，訓練的模型即便泛化的再好，預測與己分佈差異很大數據時也無能爲力。

基於以上兩種極端情況，我們的希望便是測試數據集要儘可能匹配訓練模型所使用的的數據分佈，在這個前提下，再去優化調參模型才更有意義，努力纔不會白費。

所以如果滿足訓練數據集和測試數據集的分佈近似相同，算法模型才更能發揮威力，這也就是我們爲啥要知道一些基本分佈的原因。

好了， 鋪墊了這麼多， 下面就正式學習常見分佈了：我們先從連續型隨機變量和分佈開始。

一、連續型隨機變量及常見分佈

對於連續型隨機變量，使用概率密度函數（probability density function），簡稱PDF，來描述其分佈情況。

連續型隨機變量的特點在於取任何固定值的概率都爲0，因此討論其在特定值上的概率是沒有意義的，應當討論其在某一個區間範圍內的概率，這就用到了概率密度函數的概念。

假定連續型隨機變量，爲概率密度函數， 對於任意實數範圍如[a,b]，有

對於連續型隨機變量，通常還會用到累積分佈函數 (cumulative distribution function)，簡稱CDF，來描述其性質，在數學上CDF是PDF的積分形式。

分佈函數在點處的函數值表示落在區間內的概率，所以分佈函數就是定義域爲的一個普通函數，因此我們可以把概率問題轉化爲函數問題，從而可以利用普通的函數知識來研究概率問題，增大了概率的研究範圍。

下面介紹常見的連續型分佈：均勻分佈、指數分佈、正態分佈和拉普拉斯分佈

1.1 均勻分佈

均勻分佈指的是一類在定義域內概率密度函數處處相等的統計分佈。若是服從區間上的均勻分佈，則記作。概率密度函數：

分佈函數：

均勻分佈的例子：

• 理想的隨機數生成器

• 一個理想的圓盤以一定力度選擇後靜止時的角度

下面是均勻分佈的python代碼：

1. 生成隨機數

"""生成一組符合均勻分佈的隨機數"""
np.random.rand(10)         # (0-1)的一組均勻分佈的數
np.random.uniform(low=0, high=100, size=10)   # 從一個均勻分佈[low,high)中隨機採樣，注意定義域是左閉右開，即包含low，不包含high
# 生成大小爲1000的符合U(0,1)均勻分佈的樣本集，注意在此方法中邊界值爲左閉右開區間
s = np.random.uniform(low=0,high=1,size=1000)
# Scipy版
stats.uniform.rvs(size=10)

2. 計算統計分佈的PDF和CDF

x = np.linspace(0, 1, 100)
p = stats.uniform.pdf(x, loc=0, scale=1)
c = stats.uniform.cdf(x, loc=0, scale=1)
plt.plot(x, p)
plt.plot(x, c)
stats.uniform.ppf(0.2)

結果如下：

3. 均勻分佈統計可視化

"""均勻分佈統計可視化"""
x=np.linspace(0,1,100)
t= stats.uniform.rvs(0,1,size=10000)
p=stats.uniform.pdf(x, 0, 1)

fig, ax = plt.subplots(1, 1)
sns.distplot(t,bins=10,hist_kws={'density':True}, kde=False,label = 'Distplot from 10000 samples')

sns.lineplot(x,p,color='purple',label='True mass density')
plt.title('Uniforml distribution')
plt.legend(bbox_to_anchor=(1.05, 1))

結果如下：

1.2 正態分佈

正態分佈，也叫做高斯分佈，是最爲常見的統計分佈之一，是一種對稱的分佈，概率密度呈現鐘擺的形狀，其概率密度函數爲

記爲 , 其中 爲正態分佈的均值， 爲正態分佈的標準差

有了一般正態分佈後，可以通過公式變換將其轉變爲標準正態分佈

正態分佈的例子：成人身高， 不同方向氣體分子的運動速度， 測量物體質量時的誤差。

正態分佈在現實生活有着非常多的例子，這一點可以從中心極限定理來解釋，中心極限定理說的是一組獨立同分布的隨機樣本的平均值近似爲正態分佈，無論隨機變量的總體符合何種分佈。

下面看代碼實現：

1. 產生正態分佈的隨機數

# 生成大小爲1000的符合N(0,1)正態分佈的樣本集，可以用normal函數自定義均值，標準差，也可以直接使用standard_normal函數
s = np.random.normal(loc=0,scale=1,size=1000)
s1 = np.random.standard_normal(size=1000)   # 標準正態
plt.subplot(1, 2, 1)
plt.hist(s1)
plt.subplot(1, 2, 2)
plt.hist(s)

# Scipy版本
stats.norm.rvs(0., 1., size=100)

結果如下：

2. 計算pdf和cdf

# 計算正態分佈N(0,1)的PDF
x = np.linspace(-3,3,1000)
p= stats.norm.pdf(x,loc=0, scale=1)
c = stats.norm.cdf(x, loc=0, scale=1)
plt.plot(x, p, label='pdf')
plt.plot(x, c, label='cdf')
plt.legend()

stats.norm.pdf(0)  #pdf也可以直接求某個點的概率密度   0.398
stats.norm.ppf(0.5)   # ppf  可以在累積分佈函數上求y對應的x     0.0

結果如下：

3. 統計可視化

"""統計可視化"""
x=np.linspace(-3,3,100)
t= stats.norm.rvs(0,1,size=10000)
p=stats.norm.pdf(x, 0, 1)

fig, ax = plt.subplots(1, 1)
sns.distplot(t,bins=100,hist_kws={'density':True}, kde=False,label = 'Distplot from 10000 samples')

sns.lineplot(x,p,color='purple',label='True mass density')
plt.title('Normal distribution')
plt.legend(bbox_to_anchor=(1.05, 1))

結果如下：

4. 不同均值和方差組合的正態分佈概率密度函數

"""比價不同的均值和方差組合的正態分佈概率密度函數"""
x=np.linspace(-6,6,100)
p=stats.norm.pdf(x, 0, 1)
fig, ax = plt.subplots()
for  mean, std in [(0,1),(0,2),(3,1)]: 
        p=stats.norm.pdf(x, mean, std)
        sns.lineplot(x,p,label='Mean: '+ str(mean) + ', std: '+ str(std))
plt.title('Normal distribution')
plt.legend(

結果如下：

方差越大，取值越離散，表現出來的形狀就更矮胖。

5. 使用正態分佈生成實驗使用的幾簇數據集，用於做聚類等任務的實驗數據。

# 原理：想生成幾簇數據， 就創建幾條線段， 然後在y上進行高斯平移
plt.figure(figsize=(12, 8))
blob1 = 500
x1 = np.linspace(0.5, 3, blob1)
y1 = 2 * x1 + 10 + stats.norm.rvs(0., 2., size=(blob1,))

blob2 = 800
x2 = np.linspace(5,8,blob2) 
y2 = 2 * x2 - 4 + stats.norm.rvs(0.,3.0,size=(blob2,))

blob3 =300
x3 = np.linspace(2,3,blob3) 
y3 = 2 * x3 -1 + stats.norm.rvs(0.,1.0,size=(blob3,))

plt.scatter(x1,y1,label='cluster0')
plt.scatter(x2,y2,label='cluster1')
plt.scatter(x3,y3,label='cluster2')

plt.legend()
plt.show()

結果如下：

1.3 指數分佈

指數分佈通常被廣泛用在描述一個特定事件發生所需要的時間，在指數分佈隨機變量的分佈中，有着很少的大數值和非常多的小數值。

指數分佈的概率密度函數爲

例子：顧客到達一家店鋪的時間間隔、從現在開始到發生地震的時間間隔、在產線上收到一個問題產品的時間間隔

關於指數分佈還有一個有趣的性質的是指數分佈是無記憶性的，假定在等候事件發生的過程中已經過了一些時間，此時距離下一次事件發生的時間間隔的分佈情況和最開始是完全一樣的，就好像中間等候的那一段時間完全沒有發生一樣，也不會對結果有任何影響，用數學語言來表述是：

下面是代碼實現：

1. 隨機數和計算pdf, cdf

# 生成大小爲1000的符合E(1/2)指數分佈的樣本集，注意該方法中的參數爲指數分佈參數λ的倒數
s = np.random.exponential(scale=2,size=1000)

# 計算指數分佈E(1)的PDF
x = np.linspace(0,10,1000)
p= stats.expon.pdf(x,loc=0,scale=1)
c = stats.expon.cdf(x, loc=0, scale=1)
plt.plot(x, p)
plt.plot(x, c)

結果如下：

2. 統計可視化

x=np.linspace(0,10,100)
t= stats.expon.rvs(0,1,size=10000)
p=stats.expon.pdf(x, 0, 1)

fig, ax = plt.subplots(1, 1)
sns.distplot(t,bins=100,hist_kws={'density':True}, kde=False,label = 'Distplot from 10000 samples')


sns.lineplot(x,p,color='purple',label='True mass density')
plt.title('Exponential distribution')
plt.legend(bbox_to_anchor=(1, 1))

結果如下：

3. 不同參數下的概率密度函數

x=np.linspace(0,10,100)
fig, ax = plt.subplots()
for  scale in [0.2,0.5,1,2,5] :
        p=stats.expon.pdf(x, scale=scale)
        sns.lineplot(x,p,label='lamda= '+ str(1/scale))
plt.title('Exponential distribution')
plt.legend()

結果如下：

1.4 拉普拉斯分佈

這個分佈在機器學習領域挺常見，並且和L1正則也有關係， 所以在這裏簡單整理一下， 它和標準正態很像， 標準的正態分佈概率密度函數爲：

標準的拉普拉斯分佈的概率密度函數爲：

如果僅僅是對比公式， 估計看不出啥感覺， 下面繪圖看一下：

plt.figure(figsize=(12,8))
x = np.linspace(-5,5,100)
y1 = stats.norm.pdf(x)
y2 = stats.laplace.pdf(x)
plt.grid()
plt.xlabel('x')
plt.ylabel('pdf')
plt.title('probability density function')
plt.xticks(ticks=np.arange(-5,5))
plt.plot(x,y1,color='blue',label='norm')
plt.plot(x,y2,color='red',label='laplace')
plt.legend()
plt.show()

看結果：

比較頂端，正態分佈相比拉普拉斯分佈更加平滑，拉普拉斯概率分佈卻形成一個尖端。

關於兩者的對比應用之一就是正則化，其中L1正則化可看做是拉普拉斯先驗，L2正則化看作是正態分佈的先驗。所以要想深度理解正則化，首先要理解這兩個概率分佈。

拉普拉斯的兩個形狀參數與正態分佈意義相似：

plt.figure(figsize=(12,8))
x = np.linspace(-5,5,100)
y1 = stats.laplace.pdf(x)
y2 = stats.laplace.pdf(x,loc=0.0,scale=2.)
y3 = stats.laplace.pdf(x,loc=1.0,scale=2.)
plt.grid()
plt.xlabel('x')
plt.ylabel('pdf')
plt.title('probability density function')
plt.xticks(ticks=np.arange(-5,5))
plt.plot(x,y1,label='u=0;r=1')
plt.plot(x,y2,label='u=0;r=2')
plt.plot(x,y3,label='u=1,r=2')
plt.legend()
plt.show()

結果：

好了，關於連續型分佈常用的先總結這四種。下面看離散型分佈：

二、離散型隨機變量及常見分佈

對於離散型隨機變量，使用概率質量函數（probability mass function），簡稱PMF，來描述其分佈律。

假定離散型隨機變量， 共有個取值， ， 那麼

下面介紹常見的離散型分佈：伯努利分佈、二項分佈、泊松分佈

2.1 伯努利分佈

伯努利分佈比較簡 單， 它描述的是離散型變量且發生1次的概率分佈，且 取值只有2個， 要麼是0， 要麼是1， 且 ,  。

# 創建分佈參數p=0.4的伯努利分佈，生成滿足此分佈的 10 個樣本點
bern = stats.bernoulli(0.4)
bern.rvs(size=(10,))

2.2 二項分佈

二項分佈可以認爲是一種只有兩種結果（成功/失敗)的單次試驗重複多次後成功次數的分佈概率。

在次試驗中， 單次試驗成功率爲， 失敗率， 則出現成功次數的概率爲：

例子：拋硬幣正面朝上的次數， 一批產品中有缺陷的產品數量等

# 生成大小爲1000的符合b(10,0.5)二項分佈的樣本集
s = numpy.random.binomial(n=10,p=0.5,size=1000)

# 計算二項分佈B(10,0.5)的PMF
x=range(11)
p=stats.binom.pmf(x, n=10, p=0.5)

# 統計可視化
x = range(11)  # 二項分佈成功的次數（X軸）
t = stats.binom.rvs(10,0.5,size=10000) # B(10,0.5)隨機抽樣10000次
p = stats.binom.pmf(x, 10, 0.5) # B(10,0.5)真實概率質量

fig, ax = plt.subplots(1, 1)
sns.distplot(t,bins=10,hist_kws={'density':True}, kde=False,label = 'Distplot from 10000 samples')
sns.scatterplot(x,p,color='purple')
sns.lineplot(x,p,color='purple',label='True mass density')
plt.title('Binomial distribution')
plt.legend(bbox_to_anchor=(1.05, 1))

結果如下：

不同參數下的概率質量函數：

plt.figure(figsize=(12,8))
x = np.arange(1,51)
y1 = stats.binom.pmf(x,p=0.4,n=50)
y2 = stats.binom.pmf(x,p=0.6,n=50)
y3 = stats.binom.pmf(x,p=0.8,n=50)
plt.grid()
plt.xlabel('x')
plt.ylabel('pdf')
plt.title('probability mass function')
plt.xticks(ticks=np.arange(1,51,2))
plt.plot(x,y1,label='p=0.4')
plt.plot(x,y2,label='p=0.6')
plt.plot(x,y3,label='p=0.8')
plt.legend()
plt.show()

結果如下：

2.3 泊 松分 布

假設已知事件在單位時間（或者單位面積）內發生的平均次數爲 ，則泊松分佈描述了事件在單位時間（或者單位面積）內發生的具體次數爲 的概率。

一個服從泊松分佈的隨機變量，在具有比率參數（rate parameter）的一段固定時間間隔內，事件發生次數爲的概率爲

例子：交通流的預測、一定時間內，到車站等候公交汽車的人數等

代碼實現：

# 生成大小爲1000的符合P(1)的泊松分佈的樣本集
s = numpy.random.poisson(lam=1,size=1000)

# 計算泊松分佈P(1)的PMF
x=range(11)
p=stats.poisson.pmf(x, mu=1)

# 統計可視化
# 比較λ=2的泊松分佈的真實概率質量和10000次隨機抽樣的結果
x=range(11)
t= stats.poisson.rvs(2,size=10000)
p=stats.poisson.pmf(x, 2)

fig, ax = plt.subplots(1, 1)
sns.distplot(t,bins=10,hist_kws={'density':True}, kde=False,label = 'Distplot from 10000 samples')
sns.scatterplot(x,p,color='purple')
sns.lineplot(x,p,color='purple',label='True mass density')
plt.title('Poisson distribution')
plt.legend()

結果：

下面是不同參數對應的概率質量函數：

x=range(50)
fig, ax = plt.subplots()
for  lam in [1,2,5,10,20] :
        p=stats.poisson.pmf(x, lam)
        sns.lineplot(x,p,label='lamda= '+ str(lam))
plt.title('Poisson distribution')
plt.legend()

結果如下：

隨着參數增大，泊松分佈開始逐漸變得對稱，分佈也越來越均勻，趨近於正態分佈。當很大時， 比如大於1000， 泊松分佈可以近似爲正態。

下面看一下泊松和二項分佈的比較：

plt.figure(figsize=(12,8))
x = np.arange(1,51)
y1 = stats.binom.pmf(x,p=0.4,n=50)
y2 = stats.poisson.pmf(x,20)
plt.grid()
plt.xlabel('x')
plt.ylabel('pmf')
plt.title('probability mass function')
plt.xticks(ticks=np.arange(1,51,2))
plt.plot(x,y1,label='binom:p=0.4,n=50')
plt.plot(x,y2,label='u=20')
plt.legend()
plt.show()

結果如下：

當很大， 很小的時候，如或者的時候， 二項分佈可以近似泊松。

好了， 常見的分佈已經差不多介紹完了， 下面放兩張神圖（來自組隊的學習文檔）， 這是離散和連續型分佈的均值和方差的計算表：

離散型分佈：

連續型分佈：

假設檢驗問題時統計推斷中的一類重要問題，在總體的分佈函數完全未知或只知其形式，不知其參數的情況，爲了推斷總體的某些未知特性，提出某些關於總體的假設，這類問題被稱爲假設檢驗。

一個假設檢驗問題可以分爲5步，無論細節如果變化，都一定會遵循這5個步驟。

• 陳述研究假設，包含原假設（null hypothesis）和備擇假設（alternate hypothesis）

  通常來說，我們會把原假設的描述寫成變量之間不存在某種差異，或不存在某種關聯，原假設是被保護的假設， 如果沒有確鑿的證據不能推翻。備擇假設則爲存在某種差異或關聯。例如，原假設：男人和女人的平均身高沒有差別， 備擇假設男人和女人的平均身高存在顯著差別。

• 爲驗證假設收集數據

  爲了統計檢驗的結果真實可靠，需要根據實際的假設命題從總體中抽取樣本，要求抽樣的數據要具有代表性，例如在上述男女平均身高的命題中，抽取的樣本要能覆蓋到各類社會階級，各個國家等所有可能影響到身高的因素。

• 構造合適的統計測試量並測試

  統計檢驗量有很多種類，但是所有的統計檢驗都是基於組內方差和組間方差的比較，如果組間方差足夠大，使得不同組之間幾乎沒有重疊，那麼統計量會反映出一個非常小的P值，意味着不同組之間的差異不可能是由偶然性導致的。

• 決定是接受還是拒絕原假設

  基於統計量的結果做出接受或拒絕原假設的判斷，通常我們會以P=0.05作爲臨界值（單側檢驗）。

統計檢驗

最常用的統計檢驗包括迴歸檢驗(regression test)，比較檢驗(comparison test)和關聯檢驗(correlation test)三類。 

• 迴歸檢驗：適用於預測變量是數值型的情況。 

• 比較檢驗：適用於預測變量是類別型，結果變量是數值型的情況。 

• 關聯檢驗：常用的只有卡方檢驗一種，適用於預測變量和結果變量均爲類別型的情況。

關於更詳細的知識， 可以看上面的文檔， 下面補充一些實戰的內容。看看上面的檢驗方法到底如何去用， 什麼情況下用， 我覺得這是很重要的。

1. t檢驗

檢驗兩個獨立樣本集的均值是否具有顯著差異。

• H0: 均值是相等的

• H1：均值不相等

from scipy.stats import ttest_ind
import numpy as np

data1 = np.random.normal(size=10)
#data2 = np.random.normal(size=10)
data2 = np.random.poisson(size=10)
stat, p = ttest_ind(data1, data2)

print('stat=%.3f, p=%.3f' % (stat, p))
if p > 0.05:
  print('Probably the same distribution')
else:
  print('Probably different distributions')

stat=-1.148, p=0.266
Probably the same distribution

看個例子吧， 如下爲 101 班 40 名學生某次期末考試的數學和物理分數：

(array([74, 84, 93, 60, 66, 78, 98, 65, 73, 89, 67, 93, 55, 77, 77, 77, 53,
        73, 65, 68, 82, 61, 68, 85, 66, 89, 78, 81, 85, 59, 73, 91, 68, 69,
        74, 74, 90, 73, 94, 91]),
 array([66, 72, 81, 52, 54, 69, 92, 55, 64, 80, 54, 82, 44, 65, 67, 69, 43,
        61, 58, 62, 71, 55, 61, 73, 57, 80, 70, 70, 75, 52, 63, 82, 57, 58,
        64, 63, 78, 63, 82, 79]))

假設都服從正態， 且方差相等。問本次期末考試全校的數學和物理成績的平均分有無顯著差異？這是一個典型的雙樣本，滿足正態分佈且方差相等的假設檢驗，判斷兩個正態分佈的期望是否相同，這就是一個 t 檢驗問題。我們構造假設：

• H0——數學和物理成績的平均分無顯著差異

• H1——有顯著差異

math = np.array([74, 84, 93, 60, 66, 78, 98, 65, 73, 89, 67, 93, 55, 77, 77, 77, 53,
        73, 65, 68, 82, 61, 68, 85, 66, 89, 78, 81, 85, 59, 73, 91, 68, 69,
        74, 74, 90, 73, 94, 91])
phy = np.array([66, 72, 81, 52, 54, 69, 92, 55, 64, 80, 54, 82, 44, 65, 67, 69, 43,
        61, 58, 62, 71, 55, 61, 73, 57, 80, 70, 70, 75, 52, 63, 82, 57, 58,
        64, 63, 78, 63, 82, 79])
english = np.array([74, 73, 58, 90, 86, 73, 51, 85, 78, 62, 91, 59, 94, 74, 69, 74, 97,
       76, 84, 79, 68, 88, 83, 67, 86, 62, 71, 70, 67, 91, 75, 60, 83, 85,
       76, 75, 60, 74, 54, 54])

#stat, p = ttest_ind(math, phy)   # 3.8494372972079143 0.00024094102526642325
stat, p = ttest_ind(math, english)  # 0.5729811454106575 0.5683056230099213
print(stat, p)

假設我們顯著性水平，pvalue 顯著的小於0.05，我們拒絕原假設 H0。可以發現， 英語和數學的p值大於0.05，物理和數學的p值小於0.05， 所以我們可以認爲數學和物理成績的期望存在顯著性差異。看圖也能看出來：

會發現物理的分數都高於數學， 那麼期望會高。而再看看英語和數學的

p 值表示原假設發生概率大小。p 值越小說明原假設情況發生的概率就越小。 

2. F 檢驗 

t 檢驗是爲檢驗均值是否有顯著性差異，F 檢驗是爲檢驗方差是否有顯著性差異。如下爲兩種車型近 10 天的銷量情況，檢驗兩種車型的銷量方差是否存在顯著差異

• 原假設 H0 爲兩種車型的銷量方差無顯著差異

• H1 爲方差有顯著差異。

car_a = np.array([28, 72, 73, 62, 27, 91, 76, 63, 95, 20])
car_b = np.array([86, 40, 60, 37, 64, 51, 39, 53, 26, 81])

def varf(a):
    return sum(np.power(a - np.mean(a),2)) / (len(a)-1)

f = varf(car_a) / varf(car_b)
f  #1.9091713098080834

通過查表，在顯著性上水平等於 0.05，樣本個數都爲 9 的情況下關鍵值爲 3.18，統計值 f 小於 3.18，所以接收原假設 H0，即認爲兩種車型的方差無顯著性差異。

3. 卡方檢驗

檢驗兩組類別變量是相關的還是獨立的（列聯表的獨立性角度）

• H0: 兩個樣本是獨立的

• H1：兩個樣本不是獨立的

from scipy.stats import chi2_contingency
table = [[10, 20, 30],[6,  9,  17]]
stat, p, dof, expected = chi2_contingency(table)
print('stat=%.3f, p=%.3f' % (stat, p))
if p > 0.05:
  print('Probably independent')
else:
  print('Probably dependent')

## 結果：
stat=0.272, p=0.873
Probably independent

另一種卡方檢驗的方式是用於檢測分類型變量是否符合期望頻數。例如，投擲一個 6 面篩子共 60 次，期望每一面出現的頻次都爲 10。但是不確定這個篩子是否動過手腳，於是投擲 60 次，得到實驗數據如下：array([11, 8, 9, 8, 10, 14])， 使用卡方檢驗判斷原假設 H0—未動過手腳，H1—動過手腳：

import scipy.stats as ss

obs = np.array([11, 8, 9, 8, 10, 14])
exp = np.repeat(10, 6)

#拒絕域 5% 的顯著水平,自由度 5
jjy=ss.chi2.isf(0.05,5)

# 卡方
kf = ss.chisquare(obs, exp).statistic

print(jjy, kf)  # 11.070497693516355 2.6

#5% 的顯著水平，自由度 5 的拒絕域爲大於 11.1，卡方檢驗計算的卡方值爲 2.6，不在拒絕域內，
#所以接收原假設，即篩子未動過手腳。

4. 正態檢驗 

Shapiro-Wilk Test是一種經典的正態檢驗方法。

• H0: 樣本總體服從正態分佈

• H1: 樣本總體不服從正態分佈

import numpy as np
from scipy.stats import shapiro
data_nonnormal = np.random.exponential(size=100)
data_normal = np.random.normal(size=100)

def normal_judge(data):
  stat, p = shapiro(data)
  if p > 0.05:
    return 'stat={:.3f}, p = {:.3f}, probably gaussian'.format(stat,p)
  else:
    return 'stat={:.3f}, p = {:.3f}, probably not gaussian'.format(stat,p)

# output
normal_judge(data_nonnormal)
# 'stat=0.850, p = 0.000, probably not gaussian'
normal_judge(data_normal)
# 'stat=0.987, p = 0.415, probably gaussian'

5. ANOVA

目的：與t-test類似，ANOVA可以檢驗兩組及以上獨立樣本集的均值是否具有顯著差異

• H0: 均值是相等的

• H1: 均值是不等的

from scipy.stats import f_oneway
import numpy as np
data1 = np.random.normal(size=10)
data2 = np.random.normal(size=10)
data3 = np.random.normal(size=10)
stat, p = f_oneway(data1, data2, data3)
print('stat=%.3f, p=%.3f' % (stat, p))
if p > 0.05:
  print('Probably the same distribution')
else:
  print('Probably different distributions')
 
# output
# stat=0.189, p=0.829
# Probably the same distribution

6. Mann-Whitney U Test

目的：檢驗兩個樣本集的分佈是否相同

• H0: 兩個樣本集的分佈相同

• H1: 兩個樣本集的分佈不同

from scipy.stats import mannwhitneyu
data1 = [0.873, 2.817, 0.121, -0.945, -0.055, -1.436, 0.360, -1.478, -1.637, -1.869]
data2 = [1.142, -0.432, -0.938, -0.729, -0.846, -0.157, 0.500, 1.183, -1.075, -0.169]
stat, p = mannwhitneyu(data1, data2)
print('stat=%.3f, p=%.3f' % (stat, p))
if p > 0.05:
  print('Probably the same distribution')
else:
  print('Probably different distributions')

# output
# stat=40.000, p=0.236
# Probably the same distribution

好了， 這塊先寫這麼多， 如果學習了數理統計之後，可以發現假設檢驗和參數估計這塊寫起來還真是挺麻煩的，並且很多東西即使整理到這裏也不知道具體如何用。所以先根據此次組隊學習的知識點整理， 後期如果再用到了，再到相應的版塊進行補充。