1. 程式人生 > >箱形圖box plot 和 小提琴圖violin plot

箱形圖box plot 和 小提琴圖violin plot

一、箱形圖box plot

1)箱型圖概念

箱形圖(Box-plot)又稱為盒須圖、盒式圖或箱線圖,是一種用作顯示一組資料分散情況資料的統計圖。因形狀如箱子而得名。

箱形圖於1977年由美國著名統計學家約翰·圖基(John Tukey)發明。它能顯示出一組資料的最大值最小值中位數及上下四分位數。

2)箱形圖包含內容

"盒式圖"或叫"盒須圖""箱形圖"boxplot(也稱箱須圖(Box-whiskerPlot)須圖又稱為箱形圖,其繪製須使用常用的統計量,能提供有關資料位置和分散情況的關鍵資訊,尤其在比較不同的母體資料時更可表現其差異。
如下圖所示,標示了圖中每條線表示的含義,其中應用到了分位值(數)的概念。 主要包含六個資料節點,將一組資料從大到小排列,分別計算出他的上邊緣,上四分位數Q3
,中位數,下四分位數Q1,下邊緣,還有一個異常值。                                           圖1.箱形圖                                             

3)繪製步驟

箱形圖提供了一種只用5個點對資料集做簡單總結的方式。這5個點包括中點、Q1、Q3、分部狀態的高位和低位。箱形圖很形象的分為中心、延伸以及分佈狀態的全部範圍。 箱形圖中最重要的是對相關統計點的計算,相關統計點都可以通過百分位計算方法進行實現。 箱形圖的繪製步驟:[1] 1、畫數軸,度量單位大小和資料批的單位一致,起點比最小值稍小,長度比該資料批的全距稍長。 2、畫一個矩形盒,兩端邊的位置分別對應資料批的上下四分位數(Q3
和Q1)。在矩形盒內部中位數(Xm)位置畫一條線段為中位線。 3、在Q3+1.5IQR和Q1-1.5IQR處畫兩條與中位線一樣的線段,這兩條線段為異常值截斷點,稱其為內限;在Q3+3IQR和Q1-3IQR處畫兩條線段,稱其為外限。處於內限以外位置的點表示的資料都是異常值,其中在內限與外限之間的異常值為溫和的異常值(mild outliers),在外限以外的為極端的異常值(extreme outliers)。四分位距IQR=Q3-Q1。. 4、從矩形盒兩端邊向外各畫一條線段直到不是異常值的最遠點,表示該批資料正常值的分佈區間。 5、用“〇”標出溫和的異常值,用“*”標出極端的異常值。相同值的資料點並列標出在同一資料線位置上,不同值的資料點標在不同資料線位置上。至此一批資料的箱形圖便繪出了。統計軟體繪製的箱形圖一般沒有標出內限和外限。 4)作用(從資料的分佈來看)

資料異常值

        一批資料中的異常值值得關注,忽視異常值的存在是十分危險的,不加剔除地把異常值包括進資料的計算分析過程中,對結果會帶來不良影響;重視異常值的出現,分析其產生的原因,常常成為發現問題進而改進決策的契機。箱形圖為我們提供了識別異常值的一個標準:異常值被定義為小於Q1-1.5IQR或大於Q3+1.5IQR的值。雖然這種標準有點任意性,但它來源於經驗判斷,經驗表明它在處理需要特別注意的資料方面表現不錯。這與識別異常值的經典方法有些不同。眾所周知,基於正態分佈的3σ法則或z分數方法是以假定資料服從正態分佈為前提的,但實際資料往往並不嚴格服從正態分佈。它們判斷異常值的標準是以計算資料批的均值和標準差為基礎的,而均值和標準差的耐抗性極小,異常值本身會對它們產生較大影響,這樣產生的異常值個數不會多於總數0.7%。顯然,應用這種方法於非正態分佈資料中判斷異常值,其有效性是有限的。箱形圖的繪製依靠實際資料,不需要事先假定資料服從特定的分佈形式,沒有對資料作任何限制性要求,它只是真實直觀地表現資料形狀的本來面貌;另一方面,箱形圖判斷異常值的標準以四分位數四分位距為基礎,四分位數具有一定的耐抗性,多達25%的資料可以變得任意遠而不會很大地擾動四分位數,所以異常值不能對這個標準施加影響,箱形圖識別異常值的結果比較客觀。由此可見,箱形圖在識別異常值方面有一定的優越性。[2]

偏態和尾重

        比較標準正態分佈、不同自由度t分佈和非對稱分佈資料的箱形圖的特徵,可以發現:對於標準正態分佈的大樣本,只有 0.7%的值是異常值,中位數位於上下四分位數的中央,箱形圖的方盒關於中位線對稱。選取不同自由度的t分佈的大樣本,代表對稱重尾分佈,當t分佈的自由度越小,尾部越重,就有越大的概率觀察到異常值。以卡方分佈作為非對稱分佈的例子進行分析,發現當卡方分佈的自由度越小,異常值出現於一側的概率越大,中位數也越偏離上下四分位數的中心位置,分佈偏態性越強。異常值集中在較大值一側,則分佈呈現右偏態;;異常值集中在較小值一側,則分佈呈現左偏態。下表列出了幾種分佈的樣本資料箱形圖的特徵(樣本資料由SAS的隨機數生成函式自動生成),驗證了上述規律。這個規律揭示了資料批分佈偏態和尾重的部分資訊,儘管它們不能給出偏態和尾重程度的精確度量,但可作為我們粗略估計的依據。

資料的形狀

        同一數軸上,幾批資料的箱形圖並行排列,幾批資料的中位數尾長異常值、分佈區間等形狀資訊便一目瞭然。在一批資料中,哪幾個資料點出類拔萃,哪些資料點表現不及一般,這些資料點放在同類其它群體中處於什麼位置,可以通過比較各箱形圖的異常值看出。各批資料的四分位距大小,正常值的分佈是集中還是分散,觀察各方盒和線段的長短便可明瞭。每批資料分佈的偏態如何,分析中位線和異常值的位置也可估計出來。還有一些箱形圖的變種,使資料批間的比較更加直觀明白。例如有一種可變寬度的箱形圖,使箱的寬度正比於批量的平方根,從而使批量大的資料批有面積大的箱,面積大的箱有適當的視覺效果。如果對同類群體的幾批資料的箱形圖進行比較,分析評價,便是常模參照解釋方法的可檢視示;如果把受測者資料批的箱形圖與外在效標資料批的箱形圖比較分析,便是效標參照解釋的可檢視示。箱形圖結合這些分析方法用於質量管理、人事測評、探索性資料分析等統計分析活動中去,有助於分析過程的簡便快捷,其作用顯而易見。

5)JMP中做box plot

二、小提琴圖violin plot

1)概念

        小提琴圖 (Violin Plot) 用於顯示資料分佈及其概率密度

        這種圖表結合了箱形圖密度圖的特徵,主要用來顯示資料的分佈形狀。中間的黑色粗條表示四分位數範圍,從其延伸的幼細黑線代表 95% 置信區間,而白點則為中位數。

        箱形圖在資料顯示方面受到限制,簡單的設計往往隱藏了有關資料分佈的重要細節。例如使用箱形圖時,我們不能瞭解資料分佈是雙模還是多模。雖然小提琴圖可以顯示更多詳情,但它們也可能包含較多幹擾資訊。