1 資料分析前，我們需要思考

像一場戰役的總指揮影響著整個戰役的勝敗一樣，資料分析師的思想對於整體分析思路，甚至分析結果都有著關鍵性的作用。

2 分析問題和解決問題的思路

定義問題(重要步驟之一)：

1)首先，要搞清楚問題的實質，準確、完整、真實地表達問題。

2)其次，弄清楚為什麼要解決這個問題?

3)最後，解決這個問題的意義何在?是必須解決還是無關緊要，或是需要馬上解決這個問題還是不太著急。

收集整理資訊：

蒐集、整理關於要解決問題的歷史資料、類似情況和現狀。例如，從現有的報表資料中就能看到當前問題點的資料情況或者一段時間的趨勢;

選取分析方法：

1)分析涉及到的主要維度，為後面提取資料需求做準備;

2)選取的分析軟體以及分析方法(統計學相關方法);

資料提取整理(重要步驟之二)：

1)根據分析內容以及分析方法，提出分析所需的資料需求;

2)對於反饋回來的資料，需要進行部分加工，以便更能反映所要分析的問題;

分析結果及結論：

1)根據分析的結果，得出一些當前問題產生的一些結論。這裡注意分析的方法以及維度，結果的展示方式等。

2)結論需要足夠的資料作支撐;

實施及建議措施：

1)針對資料分析結論，給出當前問題的解決建議措施;

2)一方面從業務層面進行建議措施。另一方面，可以就問題點進行更深層次分析，給出資料探勘層面的解決措施;

實施效果評估及報告整理：

1)根據措施實施效果進行評估，將完成的分析過程、結果以及評估整理報告，為以後出現問題提供經驗教訓;

2)對於本次沒有完全解決的問題，進行說明。

3 精確地陳述問題

5W2H法：

5W：What、When、Where、Who、Why;

2H:How many、How much;

Where——哪裡存在問題?

What——存在的問題是什麼?

Why——原因在哪裡?

When——什麼時候開始出現這樣的問題?

Who——與什麼物件有關?

How many——發生的次數和數量?

How much——損失有多大?

4 問題展示方式

問題結構是由現狀、直接原因以及最終原因構成的。針對直接原因進行的叫初步問題分析、針對最終原因進行分析的叫深層及問題分析。

5 分析方法

統計方法的三大特性，用三句話來簡單概括：

1)實用性：除了實情，資料能證明一切;

2)豐富性：統計揭露出的部分固然明晰，沒揭露出來的或許更重要;

3)公平性：每個人都應當用資料說話。

6 描述性統計分析

“五點法”：最小值、1/4分位數、均值、3/4分位數、最大值;

“兩度”：峰度、偏度

六西格瑪：

7 變數分析方法選取

8 資料探勘分析

按挖掘方法分類：包括統計方法、機器學習方法、神經網路方法和資料庫方法。

其中：

1)統計方法可分為：判別分析(貝葉斯判別、費謝爾判別、非引數判別等)，聚類分析(系統聚類、動態聚類等)，探索性分析(主成分分析等)等。

2)機器學習方法可分為：歸納學習方法(決策樹、規則歸納等)，基於範例學習，遺傳演算法等。

3)神經網路方法可分為：前向神經網路(BP演算法等)，自組織神經網路(自組織特徵對映、競爭學習等)。

4)資料庫方法分為：多維資料分析和OLAP技術，此外還有面向屬性的歸納方法。

關聯規則：關聯規則反映一個事物與其他事物之間的相互依存性和關聯性，如果兩個事物或者多個事物之間存在一定的關聯關係，那麼其中一個事物就能夠通過其他事物預測到。

9 選取分析所需的相關資料

10 資料質量的評估

在現實社會中，存在著大量的“髒資料”：

不完整性(資料結構的設計人員、資料採集裝置和資料錄入人員)：

1)缺少感興趣的屬性

2)感興趣的屬性缺少部分屬性值

3)僅僅包含聚合資料，沒有詳細資料

噪音資料(採集資料的裝置、資料錄入人員、資料傳輸)：

1)資料中包含錯誤的資訊

2)存在著部分偏離期望值的孤立點

不一致性(資料結構的設計人員、資料錄入人員)：

1)資料結構的不一致性

2)Label的不一致性

3)資料值的不一致性

資料型別衝突：

1)性別：string(Male、Female)、Char(M、F)、Integer(0、1)

2)日期：Date、DateTime、Sting

資料標籤衝突：解決同名異義、異名同義：

學生成績、分數

度量單位衝突：

1)學生成績

a.百分制：100~0

b.五分制：A、B、C、D、E

c.字元表示：優、良、及格、不及格

概念不清：

最近交易額：前一個小時、昨天、本週、本月

聚焦衝突：根源在於表結構的設計

11 資料的清洗處理

主要任務：

• 補充缺失資料
• 識別孤立點
• 處理不一致的資料

處理方法：

分箱(Binning)的方法：

聚類方法：檢測並消除異常點

線性迴歸：對不符合迴歸的資料進行平滑處理

人機結合共同檢測：由計算機檢測可疑的點，然後由使用者確認

12 怎樣將分析的結果呈現出來

►指標分析與政策分析並重

►反映重點問題、實事求是

►材料、資料要真實，論據要有說服力

13 分析結果呈現基本原則

資料分析結果呈現準備工作：

確定表達的主題：

►使用圖形的目的：

將思想和觀點形象化地表達，加深讀者或聽眾的印象

►使用圖示時，必須明確通過圖表要表達的資訊是什麼

確定對比關係：

►同一類別不同專案間的對比

►不同類別不同專案間的對比

14 如何用圖來表示資料

15 常見的分析模式

內容決定形式、形式服務於內容，當形式經過時間考驗被普遍接受後就固化成一種模式。

16 分析總結及建議措施

建議措施分類：業務層面;資料探勘

17 實施效果評估及報告整理

1)營銷活動效果反饋資料，分析對於問題的解決程度

2)業務模型優化提升