導讀：近幾年AB實驗的曝光度越來越高。AB實驗並不是近幾年才有的，從推薦系統誕生開始，AB實驗就扮演著重要的角色。本文主要介紹AB實驗的基本概念，包括AB實驗和線上AB實驗的定義以及AB實驗的常見型別。
AB實驗又稱為受控實驗（Controlled Experiment）或者對照實驗。AB實驗的概念來自生物醫學的雙盲測試，雙盲測試中病人被隨機分成兩組，在不知情的情況下分別給予安慰劑和測試用藥，經過一段時間的實驗後，比較這兩組病人的表現是否具有顯著的差異，從而確定測試用藥是否有效。
2000年，Google工程師將這一方法應用在網際網路產品測試中，此後AB實驗變得越來越重要，逐漸成為網際網路產品運營迭代科學化、資料驅動增長的重要手段。
從國外的Apple、Airbnb、Amazon、Facebook、Google、LinkedIn、Microsoft、Uber等公司，到國內的百度、阿里、騰訊、滴滴、字節跳動、美團等公司，在各種終端（網站、PC應用程式、移動應用程式、電子郵件等）上執行著大量的AB實驗。
這些公司每年進行數千到數萬次實驗，涉及上億的使用者，測試內容涵蓋了絕大多數產品特徵的最佳化，包括使用者體驗（顏色、字型和互動等）、演算法最佳化（搜尋、廣告、個性化、推薦等）、產品效能（響應速度、吞吐量、穩定性、延遲）、內容（商品、資訊、服務）生態管理系統、商業化收入等。
因為AB實驗被引入網際網路公司後，應用場景主要是大規模的線上測試，所以也被稱作線上AB實驗或者線上對照實驗（Online Controlled Experiment，OCE）。
常見的線上AB實驗中，使用者被隨機、均勻地分為不同的組，同一組內的使用者在實驗期間使用相同的策略，不同組的使用者使用相同或不同的策略。
同時，日誌系統根據實驗系統為使用者打標記，用於記錄使用者的行為，然後資料計算系統根據帶有實驗標記的日誌計算使用者的各種實驗資料指標。實驗者透過這些指標去理解和分析不同的策略對使用者起了什麼樣的作用，是否符合實驗預先的假設。如圖1-1所示，圖中流程概括了AB實驗的經典模式。
將圖1-1所示的流程應用到產品迭代中，就是將具有不同功能、不同策略的產品版本，在同一時間，分別讓兩個或多個使用者組訪問。這些參與實驗的使用者組是從總體使用者中隨機抽樣出來的，一般只佔總體使用者的一小部分，而且不同組使用者的屬性、構成成分是相同或相似的。
先透過日誌系統、業務系統收集各組使用者的行為資料和業務資料，然後基於這些資料指標分析、評估出相比之下更好的產品版本，最後推廣到全部使用者。
以圖1-2為例，我們試圖透過AB實驗找出哪個顏色的橫幅位點選率更高：A組保持淺色橫幅不變，B組採用深色的橫幅，分析哪個顏色更能引起使用者的關注，提升使用者的點選率。如果透過實驗發現深色橫幅的點選率更高，就將深色橫幅位推廣到全部使用者。
當然，在實際應用中，AB實驗的效果評估一般沒有這麼簡單，比如除了點選率之外，還需要綜合考慮其他的指標。
-
從實驗實施的產品形態來看，AB實驗可以分為App型別、PC型別、網頁頁面型別等。
-
從實驗程式碼執行的機制來看，AB實驗可以分為前端頁面型別、後端服務型別等。
-
從實驗分流的物件來看，AB實驗可以分為使用者型別、會話型別、頁面型別、元素型別等。
-
從實驗服務呼叫的方式來看，AB實驗可以分為SDK型別、介面服務型別等。
-
從實驗內容來看，AB實驗可以分為互動類、演算法類、內容類、工程效能類等。
這些是AB實驗常見的分類方式。當然，AB實驗的分類不侷限於以上分類，可以根據實際情況，採用不同的分類方式。不管何種型別的AB實驗，都應符合分流→實驗→資料分析→決策的基本流程。
本文摘編自《AB實驗：科學歸因與增長的利器》（ISBN：978-7-111-70713-4），經出版方授權釋出。
推薦語：BAT資深資料科學家10餘年AB實驗工程經驗總結，系統闡釋AB實驗原理、方法和增長實踐，融合全球優秀企業經驗。
關於作者：劉玉鳳，畢業於清華大學，獲機器學習和資料探勘專業碩士學位，某網際網路大廠高階資料專家和資料科學家，有多年策略產品和資料產品經驗。曾負責該廠AB實驗平臺的搭建和運營，在AB實驗領域積累了豐富的經驗。專注資料領域，實踐過豐富的業務型別，包括智慧硬體、O2O、資訊流、出行服務等，在多個業務中擔任過資料負責人，不但擁有豐富的2C資料驅動增長的成功經驗，還擁有多個2B資料賦能業務的落地經驗。
讀書 | 書單 | 乾貨|講明白|神操作 | 手把手
大資料 | 雲計算 | 資料庫 | Python | 爬蟲 | 視覺化
AI | 人工智慧 | 機器學習 | 深度學習 | NLP
5G|中臺 | 使用者畫像| 數學 | 演算法 | 數字孿生
