什麼是AB實驗？能解決什麼問題？終於有人講明白了

導讀：走向身邊的AB實驗。

作者：木羊同學

來源：大資料DT（ID：hzdashuju）

“AB實驗”是一個從統計學中借來的工具。我和大家一樣，每次只要看到“統計學”這三個字，下意識就覺得這事和我沒啥關係，然後手就忍不住想要點選下一條文章。不過且慢，開篇我說AB實驗是一個從統計學中借來的工具，借來給誰用呢？給我們自己用。所以下面不會介紹太多的統計學知識，主要講講AB實驗能和我們發生怎樣的故事。

01 什麼是AB實驗

開始之前總得介紹兩句什麼是AB實驗。簡單來說，AB實驗就是“對照”，過程分三步：首先設定實驗組和對照組，然後用一段時間來收集資料，最後比較二者的不同效果。所以，AB實驗也叫“對照實驗”。

臨床醫學上有個詞叫雙盲測試，隨機將病人分成兩組，分別服用實驗藥品和安慰劑，經過一段時間後比照兩組的治療效果。這就是AB實驗的最早來源。

這些都是很熟悉的詞，原理也不復雜，相信大家都理解了什麼是AB實驗。不過，這裡有個陷阱。如果真的以為AB實驗只能用於在實驗室裡做實驗，是那些穿白大褂的人才需要關注的事，那就被名字給騙了。

AB實驗遠不止於實驗。AB實驗有兩個核心價值：定性因果和定量增長。這兩個詞可能過於正式，我覺得不妨換另外四個字概括，那就是“減少爭執”。

02 爭執之源

我們都不喜歡爭執，但我們又都免不了爭執，究其原因恐怕是觀點難免存在衝突。拿件具體的事說吧，現在準備開發一款產品，開始大家目標很一致，那就是成功。不過，接下來分歧就來了。什麼樣的產品才能取得成功呢？眾多紛紜，大家心目中的成功產品都不一樣，甚至還有矛盾之處，然後就開始了爭執。

我們經常能看到一些分析，說某某產品的成功因素是什麼什麼，感覺這個時代已經把通往成功的道路都統統標繪了出來，或者乾脆就有一本《成功字典》，要成功只要照著查就行。

但是，事實真的如此嗎？市場不斷推出新的產品，許多最終都不怎麼成功。雖然老話常說“失敗是成功之母”，不過，應該沒有哪個產品是抱著給成功當媽的決心推出市場的。既然大家都想成功，似乎大家也都知道該怎麼成功，那為什麼還會失敗呢？

失敗如果沒有立即失業，那麼通常是要開一個總結會的，總結一下到底是什麼原因導致了失敗。失敗的總結會是很不好開的，開著開著可能就變成各個部門扯皮推諉。那麼，成功的總結會好不好開呢？也不好開，不同部門也會各自邀功，都說這次的成功主要是自己某某工作的結果。

什麼導致失敗，什麼導致成功，這些都是定性因果。如果再在定性因果上加上量的變化關係，譬如說已知因素A導致因素B，現在A增加了5個單位，想要知道B能增加幾個單位，這就是定量增長。

定性因果和定量增加都是企業關注的問題，特別是現在都在提企業數字化轉型，如果各條業務線都能建立量化因果模型，那麼，接下來用資料驅動增長自然水到渠成。

但是，這很不容易，定性因果首先就很不容易，而且很容易成為爭執的源頭。企業都開總結會，但是不同人不同部門總結的因果關係很可能都不一樣。同一個產品成功了，甲部門說是因為A、B、C三點，乙部門說是因為D、E兩點，又說要不是因為有C，結果還會更好一些。

大家觀點不一樣，甚至還有衝突，結果自然只能爭執，一旦牽扯了部門利益，要找到一個大家都能接受的觀點就更不容易——再說了，大家都能接受就表示是正確了嗎？

03 選擇之困

總結因果當然不僅僅只是為了總結因果，還將影響一個更大的問題，那就是選擇。做一款產品有很多的環節需要我們選擇，如果還是重要環節，那我們要做的選擇就叫做重要決策。決策的好壞，可能直接決定了這款產品的生死。

據說很多現代人都得了一個不是病症的病症，叫選擇困難症。選擇困難嗎？困難，也不困難。在遊戲裡面，每一個選項後面都標識了效果，譬如說這個加3點攻擊力，那個加1點生命值，選了之後有哪些效果一清二楚。

可惜，現實不是這樣的，選項後面可沒有那些閃閃發光的標記。當然，我們還是會想知道該怎麼選，也想出了一些辦法，主要來說有兩種。一種叫集思廣益，讓大家來選。召開一個討論會讓大家發表意見，不過，原意是想從四個選項中選一個，結果經過一番唇槍舌戰，選項又多了三個。

況且，對於產品設計來說，人多並不意味著正確。有一個詞叫“委員會設計”（Design by committee），聽起來像是誇獎，但其實是個貶義詞。一個產品為了妥協多方意見，最終導致臃腫不堪，我們就會把它稱為委員會設計。

類似的案例有很多，有時你會遇到一些產品，設計雜亂無章，看起來像是鐵了心要得罪評審老師的畢業設計，但一看名字居然是出自某個知名大企業，不用感到太過意外，也許你遇到的就是“委員會設計”。

那另一種方式就是叫領導拍板，讓領導來選。這裡的“領導”不只是行政上的領導，也包括權威專家。領導知道的總是要多一點，是不是總結因果的水平也更高一些呢？

不能說錯，但肯定不對，因為天才也是會犯錯的。譬如說喬布斯，最初iMac在選擇外殼時有幾種方案，其中一種是採用半透明塑膠製作，樣子非常好看，但成本是其它的三倍。大家都反對，喬布斯力排眾議選擇了這個方案，最終iMac大獲成功，還奠定了蘋果“設計優先”的傳統。

這似乎是一個領導拍板的成功案例。不過，我們反過來想一下，假如iMac最終慘敗收場，事情會變成怎樣呢？後人再說這件事的時候，就變成了喬布斯“一意孤行”，大家已經正確預判到了結果，但他置若罔聞，最終翻車也就理所當然。

這並不完全是假設。瞭解的同學應該知道，蘋果也好喬布斯本人也好，都是狠狠地翻過幾次車的，原因正是喬布斯“一意孤行”。讀到這裡我總是會想，“力排眾議”和“一意孤行”有沒有可能說的根本就是同一件事。不過無論怎樣，哪怕領導水平真的很高，交給領導選擇也未必就能十拿九穩。

04 事實之選

交給大家來選不行，交給領導來選也不行，難道就沒有更科學的方法了嗎？有的，就是AB實驗，交給事實來選。

前面我們說AB實驗能減少爭執，為什麼？因為有一句話叫“事實勝於雄辯”。你說A是成功因素，那麼好，我們就來做實驗，一組有A一組沒A，看看最後哪組的效果好。如果事實證明沒A的效果更好，那應該也沒誰願意再花口舌去爭論了。

選擇也一樣。領導不一定是對的，大家也不一定是對的，但事實一定是對的。把選擇權交給事實，結果也許不一定符合期望，但一定符合事實。

Bing是一家知名的搜尋引擎，搜尋引擎是靠使用者點選廣告獲得收益。某天一位員工提出“將標題下的第一行文字合併到標題行，形成長標題”能夠增加使用者點選率，這條建議實在過於無厘頭，大家紛紛打出了“哈哈哈”表示不信。不過，Bing最終還是抽空真的試了試，結果效果拔群。這就是事實。

AB實驗絕不僅僅只是實驗室裡白大褂們的專利，有著更為廣闊的應用空間。當然，AB實驗既然來自統計學，免不了有很多複雜的因素影響結果的客觀，而AB實驗作為實驗，自然還有很多現實的情況需要加以考慮，怎樣組織AB實驗又是另一件不亞於選擇的頭疼事情。我推薦看一本書《AB實驗》，更系統地瞭解AB實驗方方面面的內容。

關於作者：莫凡，網名木羊同學。娛樂向機器學習解說選手，《機器學習演算法的數學解析與Python實現》作者，前沿技術發展觀潮者，擅長高冷技術的“白菜化”解說，微信公眾號“睡前機器學習”，個人知乎號“木羊”。