本文源于今日頭條算法工程師曹歡歡的分享，筆者結(jié)合自身理解和思考加以總結(jié)梳理，力求整理出每個(gè)產(chǎn)品經(jīng)理都可以在實(shí)操中運(yùn)用的科學(xué)設(shè)計(jì)產(chǎn)品方法論。

今日頭條用了短短5年時(shí)間，成為移動(dòng)端新聞媒體的獨(dú)角獸，2016年末，完成10億美金D輪融資，估值近110億美元，成功擠入互聯(lián)網(wǎng)第二梯隊(duì)。如一句老話所說，世上沒有平白無故的成功，當(dāng)了解了今日頭條如何打磨產(chǎn)品功能和交互設(shè)計(jì)后，筆者發(fā)現(xiàn)其成功是必然的，也是有跡可循的，這一切都源于自上而下的數(shù)據(jù)化思維。

本文源于今日頭條算法工程師曹歡歡的分享，筆者結(jié)合自身理解和思考加以總結(jié)梳理，力求整理出每個(gè)產(chǎn)品經(jīng)理都可以在實(shí)操中運(yùn)用的科學(xué)設(shè)計(jì)產(chǎn)品方法論。

本文共分六個(gè)模塊：

一、今日頭條前世今生–介紹今日頭條近期數(shù)據(jù)，今日頭條的源起

二、數(shù)據(jù)思維做產(chǎn)品–CEO張一鳴如何解讀數(shù)據(jù)思維，詳述三個(gè)方法論

三、數(shù)據(jù)思維指導(dǎo)算法演化–頭條推薦算法概述

四、今日頭條的A/B測(cè)試系統(tǒng)–超級(jí)強(qiáng)大的科學(xué)實(shí)驗(yàn)系統(tǒng)

五、需求從何而來?數(shù)據(jù)收集到何種程度?–科學(xué)嚴(yán)謹(jǐn)?shù)膶?shí)驗(yàn)態(tài)度處理需求，收集全量用戶行為

六、如何低成本完成有效A/B測(cè)試–A/B測(cè)試的原則，注意事項(xiàng)、實(shí)踐方法和案例分析

一、今日頭條前世今生

介紹方法論之前，我們來看看今日頭條究竟有何成功之處。今日頭條是一個(gè)個(gè)性化信息推薦平臺(tái)，基于大數(shù)據(jù)和人工智能，做到信息推薦的千人千面，2017年6月數(shù)據(jù)顯示，今日頭條日活用戶超7700萬，月活用戶近1.8億，日均使用時(shí)長超76分鐘，日均啟動(dòng)次數(shù)超13次，如此活躍的數(shù)據(jù)，出現(xiàn)在一個(gè)新聞信息類應(yīng)用實(shí)屬罕見。接下來，筆者帶著大家來一起探秘今日頭條的成功之道——數(shù)據(jù)思維打磨產(chǎn)品。

今日頭條從起名字開始就運(yùn)用了數(shù)據(jù)思維，創(chuàng)始團(tuán)隊(duì)沒有頭腦風(fēng)暴，沒有投票，沒有老大拍板兒，而是采用科學(xué)實(shí)驗(yàn)的方式，通過數(shù)據(jù)觀測(cè)確定了頭條的名稱。實(shí)驗(yàn)方法如下所屬：

首先，將appstore上各類免費(fèi)榜單的前10名整理出來，然后根據(jù)名字歸類(朗朗上口白話類，內(nèi)涵情懷類，模擬特殊聲音類，公司名+用途類等)，分析那各類數(shù)量占比。分析結(jié)論是朗朗上口的大白話效果最好。

其次，分渠道A/B測(cè)試，確定先驗(yàn)效果類似的發(fā)布渠道，分別投放，界面功能logo完全一樣，統(tǒng)計(jì)各個(gè)渠道的用戶下載和活躍等核心數(shù)據(jù)指標(biāo)，《今日頭條》效果最好。

二、數(shù)據(jù)思維做產(chǎn)品

今日頭條CEO張一鳴所定義的數(shù)據(jù)思維包含三個(gè)維度：

收集數(shù)據(jù)。無偏，全面，客觀。

做出決策。根據(jù)數(shù)據(jù)做決策，拋棄主觀經(jīng)驗(yàn)，情感因素，做到客觀解釋。

高效執(zhí)行。3個(gè)方法論(歸納總結(jié)，A/B測(cè)試，雙盲交叉驗(yàn)證)+高效A/B測(cè)試系統(tǒng)

1、歸納總結(jié)–最樸素的數(shù)據(jù)思維工具

按照特定維度對(duì)目標(biāo)排序，分析top對(duì)象在特定屬性上的共同點(diǎn)。

2、A/B測(cè)試——科學(xué)產(chǎn)品觀的關(guān)鍵

(1)A/B測(cè)試定義

A/B測(cè)試是一種把實(shí)驗(yàn)對(duì)象隨機(jī)分組，把一個(gè)或多個(gè)測(cè)試組的表現(xiàn)與對(duì)照相比較，進(jìn)行測(cè)試的方式。

(2)A/B測(cè)試目的

通過科學(xué)實(shí)驗(yàn)設(shè)計(jì)，在保證采樣樣本無偏，有代表性的前提下，流量分割與小流量測(cè)試等方式，獲得具有代表性的實(shí)驗(yàn)結(jié)論，并確信該結(jié)論在推廣到全部流量可信。

注意事項(xiàng)：測(cè)試組和對(duì)照組不要設(shè)計(jì)多個(gè)變量同時(shí)測(cè)，一次實(shí)驗(yàn)只設(shè)置唯一變量，同時(shí)實(shí)驗(yàn)組內(nèi)分小組，盡量保證組間數(shù)據(jù)隨機(jī)分布，便于分析數(shù)據(jù)波動(dòng)影響。測(cè)試前需要定義核心觀測(cè)指標(biāo)，通過指標(biāo)數(shù)值變化，確定實(shí)驗(yàn)結(jié)果的好壞。

3、雙盲交叉驗(yàn)證——確保信息審核高效快捷

交叉驗(yàn)證用得最多的場景是涉及到人工運(yùn)營的場景，在評(píng)估時(shí)需要人工介入為文章分類，以保證推薦的準(zhǔn)確，那么評(píng)估和審核都需要依賴人，人員能力的差異和流動(dòng)性導(dǎo)致評(píng)估和審核標(biāo)準(zhǔn)會(huì)變來變?nèi)ィ@就需要機(jī)器可以監(jiān)控人的行為，每個(gè)評(píng)估的運(yùn)營人員有自己一個(gè)任務(wù)隊(duì)列，把一個(gè)要評(píng)估的樣本至少放到兩個(gè)以上的評(píng)估隊(duì)列里面去，就意味著一個(gè)樣本最少有兩個(gè)人看過，如果他們意見不一致，我們有一個(gè)資深的仲裁小組進(jìn)行仲裁。

三、數(shù)據(jù)思維指導(dǎo)算法演化

推薦算法是今日頭條產(chǎn)品的靈魂。頭條推薦算法是一系列算法的策略的組合，每一個(gè)子系統(tǒng)的改進(jìn)都會(huì)對(duì)系統(tǒng)整體造成影響。

推薦排序模型：數(shù)百億特征，涵蓋你能想到的一切可以幫助做判斷的信息。

推薦召回模型：若干策略獨(dú)立的負(fù)責(zé)判斷，哪些內(nèi)容有資格進(jìn)入排序算法。

一個(gè)排序模型，搭配多個(gè)召回模型，通過召回模型做初篩，然后反饋給排序模型，節(jié)省99%的處理資源，推薦更快捷。

對(duì)推薦效果可能產(chǎn)生影響的因素：候選內(nèi)容集合的變化、召回模塊的改進(jìn)和增加、推薦特征的增加、推薦系統(tǒng)架構(gòu)的改進(jìn)、規(guī)則策略的改變。

四、今日頭條的A/B測(cè)試系統(tǒng)

今日頭條同時(shí)在線測(cè)試的實(shí)驗(yàn)有很多，每月多達(dá)有上百個(gè)之多，如何科學(xué)的分配實(shí)驗(yàn)流量，減少溝通，降低實(shí)驗(yàn)成本，做到實(shí)驗(yàn)結(jié)果可視化展示是必須思考的，于是出現(xiàn)了今日頭條的A/B測(cè)試系統(tǒng)。

系統(tǒng)實(shí)驗(yàn)創(chuàng)建屬性：實(shí)驗(yàn)名稱，實(shí)驗(yàn)時(shí)間，實(shí)驗(yàn)類型(共享or獨(dú)占)，過濾流量條件，實(shí)驗(yàn)組ID

實(shí)驗(yàn)動(dòng)作概述：動(dòng)作收集，日志處理，分布式統(tǒng)計(jì)，寫入數(shù)據(jù)庫，數(shù)據(jù)可視化。

獨(dú)占實(shí)驗(yàn)。是指實(shí)驗(yàn)?zāi)Ｐ捅容^復(fù)雜，任何其他因素改變可能影響到實(shí)驗(yàn)結(jié)果準(zhǔn)確性，所以用戶不可以與其他實(shí)驗(yàn)共享，申請(qǐng)完成后，系統(tǒng)自動(dòng)隨機(jī)從流量桶中分配出流量用于實(shí)驗(yàn)，留出一半未調(diào)整用戶，作為對(duì)照數(shù)據(jù)組，將實(shí)驗(yàn)數(shù)據(jù)桶分開，觀察數(shù)據(jù)波動(dòng)性，防止測(cè)試結(jié)果有偏。

共享實(shí)驗(yàn)。是指實(shí)驗(yàn)?zāi)Ｐ椭粶y(cè)試某類特定屬性用戶，可以與其他非相關(guān)屬性的實(shí)驗(yàn)共用實(shí)驗(yàn)對(duì)象，流量桶分配邏輯與獨(dú)占實(shí)驗(yàn)類似，但是當(dāng)其用戶可以分配到其他實(shí)驗(yàn)中，復(fù)用部分用戶。如下圖所示：

基于這套系統(tǒng)，基于數(shù)據(jù)分析協(xié)助產(chǎn)品功能迭代(經(jīng)歷幾十個(gè)版本迭代)，數(shù)百個(gè)有效改進(jìn)上線，人均有效點(diǎn)擊提升40%，人均停留時(shí)長提升50%。

五、需求從何而來?數(shù)據(jù)收集到何種程度

1、需求從何而來

互聯(lián)網(wǎng)產(chǎn)品的需求一般來源于用戶反饋或焦點(diǎn)小組需求收集，是一種信息的歸納總結(jié)，但是這部分?jǐn)?shù)據(jù)是有偏信息，不可以簡單粗暴的將用戶反饋的需求作為直接需求，所謂會(huì)哭的小孩有奶吃，很多時(shí)候，用得很好的用戶不反饋，用得不好的才反饋。如果你改變了，是不是傷害了那些不反饋的用戶呢?

其實(shí)你是不知道的，所以這些需求我們并不一定要做，只是先做一個(gè)候選實(shí)驗(yàn)的需求池。如果一個(gè)需求兩三周持續(xù)在反饋，這個(gè)需求可能是一個(gè)強(qiáng)需求，那么做好了小渠道測(cè)試，用數(shù)據(jù)說話。

2、WAP頁面VS原生功能

(1)原生功能

優(yōu)勢(shì)：響應(yīng)速度，復(fù)雜交互流暢，異常狀態(tài)顯示，緩存效果等。

劣勢(shì)：更新需要發(fā)版，出現(xiàn)問題無法快速調(diào)整。

發(fā)布方式：先在小渠道發(fā)版測(cè)試，與老版本對(duì)比，如果一上來留存率降低5%，那這個(gè)改動(dòng)肯定有問題。如果說波動(dòng)在正負(fù)1之間，這個(gè)東西可能有用，可以大渠道發(fā)版A/B測(cè)試。今日頭條可以做到從應(yīng)用市場提交同一個(gè)版本，但是用戶下載之后，通過服務(wù)端的遠(yuǎn)程控制，讓每個(gè)人看到的界面是不一樣的，確認(rèn)沒有問題后，將改進(jìn)合并到主開發(fā)分支。

(2)WAP頁面

優(yōu)勢(shì)：隨改隨上，反應(yīng)迅速

劣勢(shì)：一些交互和問題場景沒有原生體驗(yàn)好

發(fā)布方式：利用A/B測(cè)試系統(tǒng)，隨測(cè)隨發(fā)，出現(xiàn)問題隨時(shí)調(diào)整下架。

3、“全量”用戶行為數(shù)據(jù)收集

根據(jù)人的特征(職業(yè)，年齡，性別，興趣愛好，機(jī)型，短期點(diǎn)擊行為，搜索行為，收藏行為)

根據(jù)環(huán)境特征(場景，時(shí)間-飯后或周末，網(wǎng)絡(luò)環(huán)境-wifi或移動(dòng)流量)

根據(jù)文章特征(文章時(shí)效性，文章熱度，相似文章，點(diǎn)擊和不點(diǎn)擊是有偏的，停留時(shí)間，閱讀的細(xì)節(jié)行為收集)

閱讀細(xì)節(jié)行為收集，今日頭條已經(jīng)做到了近乎于眼動(dòng)測(cè)試的程度，通過數(shù)據(jù)可以分析用戶閱讀文章的滑屏速度，閱讀習(xí)慣，閱讀速度，什么地方快速滑過，什么地方仔細(xì)閱讀，最終，以量化的形式反饋給內(nèi)容創(chuàng)作者，幫助其持續(xù)優(yōu)化內(nèi)容編輯。

4、創(chuàng)業(yè)初期產(chǎn)品的核心競爭力模型

產(chǎn)品核心競爭力=拉新能力*留存能力*變現(xiàn)能力。每項(xiàng)能力比對(duì)手強(qiáng)20%，整體差距超過70%，數(shù)據(jù)思維可以幫助團(tuán)隊(duì)把每一項(xiàng)能力發(fā)揮到極致。

六、如何低成本完成有效A/B測(cè)試

初創(chuàng)團(tuán)隊(duì)可能沒有太多資源開發(fā)多個(gè)版本進(jìn)行多渠道測(cè)試，一些大公司也不會(huì)如同今日頭條專門設(shè)計(jì)一個(gè)A/B測(cè)試系統(tǒng)，那么如何在沒有很多預(yù)算的情況下完成簡易有效的A/B測(cè)試呢?首先，要理解A/B測(cè)試的原則，其次，一定要躲過一些坑，最后，就是根據(jù)實(shí)際情況確定測(cè)試方案(開發(fā)參與實(shí)現(xiàn)方案討論)。

1、A/B測(cè)試原則

(1)多方案同時(shí)段并行測(cè)試;

(2)測(cè)試方案只有一個(gè)唯一變量;

(3)用戶行為數(shù)據(jù)收集;

(4)定義核心指標(biāo)。

2、A/B測(cè)試注意事項(xiàng)

(1)一定要是單變量。如果兩個(gè)版本，每個(gè)版本有2處不同，最終分析的時(shí)候很難確定是哪個(gè)優(yōu)化導(dǎo)致的指標(biāo)變化。

(2)統(tǒng)計(jì)置信度。受到樣本量影響(樣本太少，樣本代表性);置信水平(A方案49%，B方案51%，可能數(shù)據(jù)分流導(dǎo)致的偏差所致，分流有偏造成的影響)

(3)設(shè)置對(duì)比觀察數(shù)據(jù)組，即沒有任何調(diào)整的情況各項(xiàng)數(shù)據(jù)指標(biāo)如何，用于實(shí)驗(yàn)效果對(duì)比分析。

3、實(shí)踐方法

(1)從測(cè)試頁面類型分類

原生功能A/B測(cè)試。選擇渠道流量類似的小渠道進(jìn)行小渠道發(fā)版測(cè)試，確定方案后，在主流渠道發(fā)版A/B測(cè)試。

WAP/H5頁面A/B測(cè)試。通過后端或前端控制，進(jìn)行A/B測(cè)試，具體測(cè)試流程見下文：A/B測(cè)試實(shí)踐全總結(jié)

營銷活動(dòng)的A/B測(cè)試。通過短信、站內(nèi)消息或公眾號(hào)喚醒用戶，可以進(jìn)行用戶分桶后批量通知，觀察后續(xù)用戶行為操作。或是通過活動(dòng)banner引導(dǎo)入活動(dòng)詳情頁，通過活動(dòng)頁引導(dǎo)的A/B測(cè)試與WAP頁面類似。

(2)從測(cè)試時(shí)間點(diǎn)分類

實(shí)時(shí)分流測(cè)試。實(shí)時(shí)分流測(cè)試需要開發(fā)參與，進(jìn)行服務(wù)器分流或數(shù)據(jù)庫分流測(cè)試，并且進(jìn)行數(shù)據(jù)埋點(diǎn)，用于用戶行為分析。

定性后向分流測(cè)試。從歷史數(shù)據(jù)中篩選出測(cè)試用戶組和對(duì)比觀測(cè)用戶組，數(shù)據(jù)選擇需要足夠樣本量，否則測(cè)試結(jié)果的置信度會(huì)很低，這種后向通知模式比較容易執(zhí)行，但是并不適用所有場景，常用語召回用戶，活動(dòng)通知使用，通過短信和微信服務(wù)號(hào)/訂閱好通知消息進(jìn)行喚醒。

樣本量足夠的情況下，可以考慮實(shí)驗(yàn)組數(shù)據(jù)內(nèi)部再做分組，如同今日頭條系統(tǒng)實(shí)現(xiàn)的部分，觀察用戶行為波動(dòng)性，保證測(cè)試結(jié)果置信度更高。

4、案例實(shí)操：P2P平臺(tái)用戶投資引導(dǎo)A/B測(cè)試

我們以P2P平臺(tái)為例，假設(shè)P2P平臺(tái)月新增1萬注冊(cè)用戶，9000用戶注冊(cè)未投資，以往通過短信告知用戶下發(fā)投資卷召回用戶，效果非常不明顯，現(xiàn)在將9000用戶隨機(jī)分成3組，每組3000用戶，分別是1組(對(duì)比觀測(cè)組)，2組(紅包召回組)，3組(話費(fèi)召回組)，短信文案知識(shí)紅包和話費(fèi)區(qū)別。觀察三組用戶在短信發(fā)出后一天內(nèi)的行為變化，核心指標(biāo)定為登錄APP行為。

紅包和話費(fèi)充值初期數(shù)量不會(huì)很大，可以考慮設(shè)計(jì)成手動(dòng)下發(fā)，如果用戶投資則固定時(shí)間充值，無需相應(yīng)開發(fā)。

通過對(duì)比用戶登錄和投資行為，可以很明顯的看出何種召回方式效果更好，因?yàn)槭切?shù)據(jù)樣本檢測(cè)，充值量初期不會(huì)太大，可以節(jié)省話費(fèi)充值對(duì)接開發(fā)，測(cè)試效果出來，優(yōu)化完善，確認(rèn)召回方案后再進(jìn)行開發(fā)才相對(duì)高效，因?yàn)楹芸赡苄抡倩夭呗圆⒉槐仍胁呗杂行А?

以上就是海淘科技為你整理的類似于今日頭條運(yùn)營投放效果分析的內(nèi)容。如果想要觀看：電子郵件營銷的優(yōu)勢(shì)，以及其他精彩的品牌事件營銷可直接點(diǎn)擊查看。