A/B測試是一種資料分析手段,當你有兩種或更多的方案,無法決策哪種更好的時候,可以使用.讓使用者能夠在同樣的場景下進入A或B,然後分析使用者的反饋資料.

1. 不要過分相信自己的推測

人在自己熟悉的領域待太長時間,就會犯經驗主義的錯誤,這種風格,甚至會延伸到自己不熟悉的領域,在自己不熟悉的領域對著比自己專業的人,展示自己的"邏輯推斷",而這種所謂的邏輯,也只是在基於自己熟悉的領域內成立的. 這時,就很有可能被現實打臉.更糟糕的是,如果你還是一個領導者,那將影響一個團隊的效率,也會影響你自己的形象.

實事求是,用資料說話.

2. 要儘量排除變數

進行測試的環境可能會有很多變數，比如不同的客戶端，不同的時段，不同的使用場景，不同的營銷階段，要考慮太多的因素在裡面，儘量少的變數下，才會得出有意義的結論。

3. 分析的維度要儘可能全面

測試得出了結論，比如，使用A方案比B方案能獲得更高的使用者轉化率，但可能出錯率更高了，也是同樣不可取的。

不能先有答案，再為了這個答案合理化，用資料去證明它。不能只看到自己想看到的。

4. 有意義的資料,是收斂的,而不是發散的

有意義的資料是收斂的，最後的資料都是指向了更好的一種方案。如果A、B方案交替出現提升，那這種資料是不能用來參考的。

5. 能形成一種工具或模組化的東西,方便使用

A/B測試應該是一種方法，一種套路，一種具有普適性的模式，應該要實現更方便的接入和使用。

6. 試圖給每個結果一個合理解釋

得到了結論，要去挖掘這個結論背後的原理，到底是什麼原因導致的。有時候我們拿到了正確的答案，但很有可能這個答案並不是價值最大的，有可能背後的原因才是。