A/B測試
AB測試定義
AB測試是為Web和App的頁面或流程設計兩個版本（A/B）或多個版本（A/B/n），同時隨機的分別讓一定比例的客戶訪問，然後通過統計學方法進行分析，比較各版本對於給定目標的轉化效果，最後選擇效果最好的版本正式發布給全部客戶。
AB測試
通過運行A/B測試，比較新版本與當前版本用戶體驗的變化，收集數據並分析，根據數據分析結果衡量更改對業務的影響，可以確保每個更改都產生正向結果，從而消除創新和叠代風險，讓業務快速增長。
AB測試必要環節包括：現狀分析、假設構建、人群分流、目標設置、A/B/n版本制作、數據收集、結果分析等。
AB測試的步驟
AB測試應用場景
1. 體驗優化：A/B測試可以讓運營者根據數據小心的更改用戶體驗
2. 轉化率優化：AB測試不僅僅能回答一次性的問題或解決分歧，還可以持續改進用戶體驗，不斷提高某個目標轉化率。比如希望通過廣告著陸頁提高銷售線索質量和數量，可以嘗試通過AB測試更改標題，圖片，表單域，召喚語（Call to Action）和頁面整體布局。AB測試有助於確定哪些更改對訪客的行為造成影響。隨著時間推移，可以合並試驗中多個獲勝更改到界面的新版本中。
3. 廣告優化：通過測試廣告文案，營銷人員可以了解哪個版本能吸引更多點擊。通過測試後續的著陸頁，可以了解哪種布局最好地將訪問者轉化為客戶。如果每個步驟的要素盡可能高效地獲得新客戶，那麽營銷活動整體支出實際上可以減少。
4. 算法優化：產品開發人員和設計人員可以使用AB測試來了解新功能或更改所帶來的影響。產品發布，客戶互動，模式和產品體驗都可以通過AB測試進行優化，只要目標能明確定義，並且有清楚的假設。
A/B測試
AB測試並非“測試”
通常我們提到的“測試”是指工程測試，主要是驗證產品功能、性能、易用性等方面是否滿足設計預期。A/B測試與一般的工程測試有很大不同，它是通過用戶行為分析用戶心理，從而優化產品用戶體驗。
| 工程測試 | A/B測試 | |
|---|---|---|
| 關註點 | 設計、功能、代碼程序等是否正確性 | 是否容易使用 |
| 關註角度 | 是否符合設計者的期望 | 是否符合用戶的期望 |
| 執行時機 | 產品上線發布之前 | 產品上線發布之後 |
| 執行者 | 一般是工程技術人員 | 真正的用戶 |
AB測試vs用戶測試
A/B測試比用戶測試（或調查問卷）更加客觀和準確。用戶測試雖然能夠搜集用戶直接反饋的意見，但是所收集信息往往有偏差和失真。盡管設計者制作調查問卷時費盡苦心，以“套取”用戶真實想法，而實際上常常不能如願。這是因為用戶知道在參與測試後，行為會走樣，另外用戶可能出於種種顧慮不能如實回答問題。於此相反，AB測試是在用戶不覺知的情況下進行，用戶行為可以反應真實的心理狀態。
| 用戶測試/用戶調查 | A/B測試 | |
|---|---|---|
| 用戶是否感知 | 是 | 否 |
| 反饋收集方式 | 用戶回答問題、發表意見 | 搜集用戶行為數據 |
AB測試涉及的業務領域
A/B測試涉及市場、運營、產品和技術等領域，因此實施AB測試往往要多部門協同合作。這也是AB測試在管理上的難點。通過使用雲眼A/B測試工具軟件，可以減少市場、運營和產品部門對技術部門的依賴，降低實施AB測試的難度，提高實施效率。
AB測試涉及的業務領域
AB測試與管理模式和企業文化
A/B測試不僅會給企業帶來管理模式上的變革，也會帶來一股新鮮的基於試驗和數據驅動的企業文化。AB測試成為互聯網業務不可缺少的環節，也成為推廣、運營、產品經理、數據分析師、開發人員的必備技能。
AB測試經濟效益
| 優化前 | 優化後 轉化率提高10% | 優化後 轉化率提高20% | |
|---|---|---|---|
| 從搜索引擎和廣告引來的訪客數 | 10,000 | 10,000 | 10,000 |
| 網絡推廣投入（假設每個點擊2元） | ￥20,000 | ￥20,000 | ￥20,000 |
| 轉化率（假設） | 5.0% | 5.5% | 6.0% |
| 轉化的訪客數 | 500 | 550 | 600 |
| 從節省成本角度，改進後節省投入 | -- | ￥2000 | ￥4000 |
| 從增加收入角度，改進後增加收入 假設每個訪客終身價值(LTV: Lifetime Value)￥100 |
-- | ￥5,000 | ￥10,000 |
雲眼AB測試SaaS基礎版1萬訪客每月使用費僅￥500，帶來收益卻是￥5000+，投資回報率（ROI）10倍以上，A/B測試帶來的經濟效益是非常顯著的。
A/B測試