正如蝴蝶效應理論所描述的那樣，即使是微小的變化也可能在系統(tǒng)中引發(fā)巨大的連鎖反應，而我們作為設計師，往往需要在復雜的產(chǎn)品生態(tài)中，探尋那些微小變化與最終顯著成果之間的關聯(lián)。

本文旨在探討在眾多可能的改進中，哪些是可能有效提升核心業(yè)績指標的？如何洞察并定位那些能夠實質性提升關鍵指標的產(chǎn)品痛點和機會點并進行長期有效監(jiān)測？從而使設計師們更好地理解設計決策與業(yè)務結果之間的復雜聯(lián)系。

一、工具和方法的探索

1. 工具/方法的分析與選取

探索業(yè)務的改進措施與核心指標變化之間的關系，可以考慮以下幾種數(shù)據(jù)分析方法

1. 實驗設計（A/B 測試）：A/B 測試是評估產(chǎn)品變更效果的經(jīng)典方法。通過將用戶隨機分配到控制組和實驗組，可以比較不同設計或策略變化對核心業(yè)務指標（如轉化率、用戶留存率等）的影響。這種方法可以直接觀察到特定變更對業(yè)務指標的影響，有助于做出基于數(shù)據(jù)的決策。
2. 回歸分析：如果數(shù)據(jù)中包含多個變量可能影響業(yè)務指標，回歸分析可以幫助識別和量化這些變量對目標變量（如 NPS）的影響。線性回歸、邏輯回歸或多元回歸等技術可以用于此目的。
3. 時間序列分析：如果業(yè)務指標隨時間變化，時間序列分析可以幫助識別趨勢、季節(jié)性模式或周期變化。這對于理解長期策略如何影響業(yè)務指標特別有用。
4. 用戶反饋和定性分析：除了定量分析，收集和分析用戶反饋，對于理解設計改變如何影響用戶滿意度和 NPS 也很重要。可以通過用戶訪談、焦點小組或調查來收集這些數(shù)據(jù)。

但是實施 A/B 測試需要一定的技術支持和資源，且當時研究并不關注數(shù)據(jù)隨時間變化而產(chǎn)生的影響，因此選擇回歸分析，去利用已有的數(shù)據(jù)分析并量化多個變量之間的關系就較為適合。

2. 相關分析的定義

那什么是回歸分析呢？回歸分析的主要作用是用來評估變量間的關系，同時建立一個用于預測或解釋變量之間關系的模型。例如，線性回歸分析可以用來預測一個變量（因變量）如何隨另一個變量（自變量）的變化而變化。

而回歸分析是相關分析的一種，是相關分析的變形。其中相關分析是統(tǒng)計學中用于評估兩個或多個變量之間關系強度和方向的方法。它不僅可以檢測變量間的關系是否存在，還可以評估這種關系的強度。最常用的相關分析方法是皮爾遜相關系數(shù)，它測量的是兩個變量之間的線性相關性。

3. 相關分析應用場景

在互聯(lián)網(wǎng)產(chǎn)品和服務領域，相關分析和回歸分析被廣泛用于理解用戶行為、優(yōu)化產(chǎn)品功能、提高用戶體驗和驅動業(yè)務增長。如對用戶參與度與留存率分析，可以分析用戶參與度（如頁面瀏覽次數(shù)、app 內活動頻率）與用戶留存率之間的關系。這有助于識別哪些特定的用戶行為與高用戶忠誠度相關聯(lián)。對 APP 設計與轉化率分析，探討網(wǎng)站設計元素（如布局、顏色方案、導航簡易性）與用戶轉化率（如注冊、購買）之間的關系，分析網(wǎng)站各個設計元素如何共同影響轉化率，以指導網(wǎng)站優(yōu)化。 在市場營銷領域，可以分析廣告投放效果，通過研究廣告曝光次數(shù)與點擊率或轉化率之間的關聯(lián)性，幫助評估廣告投放的有效性，也可以預測在不同用戶群體、不同平臺上的廣告投放效果，以優(yōu)化廣告策略和預算分配等等。然而，需要注意的是，數(shù)據(jù)的質量和分析方法的正確應用對于得到有價值的洞見至關重要。

二、分析方法的應用與實踐

相關分析和回歸分析方法在數(shù)據(jù)分析中應用比較普遍，但如何將分析方法和產(chǎn)品行為數(shù)據(jù)相關聯(lián)應用較少。所以一方面需要探索適用線上產(chǎn)品分析的思路與方法，另一方面也需要驗證這樣的思路和方法的可靠性。

于是我們先嘗試把它應用到解決某業(yè)務上的問題，一是看方法是否能跑得通，也就是能不能通過方法本身的校驗，二是看通過分析結果能不能洞察到合理的結論，三是看得到的結論實際應用到設計中，是否能帶來如預期一樣的效果。

本部分的分享重點是通過案例說明回歸分析和相關分析方法的應用過程及結果。因為業(yè)務信息不方便詳細介紹，以下部分指標、數(shù)據(jù)等已處理過，非真實情況。

1. 觀點預設

首先我們需要明確目標，這些可能來自業(yè)務目標或者遇到的困難、設計目標或者遇到的困難等等。

比如我們做的某業(yè)務的核心目標是提升 NPS、留存、連接轉化率等指標。為了提升 NPS，上線了提升信息真實性的功能，設計的目標是提升用戶對信息真實性的感知。但是問題是，導致 NPS 波動的原因非常多，且很復雜，無論提升了信息真實性，還是提升了用戶對信息真實性的感知，都不能說明 NPS 是否提升，也不能說明 NPS 提升和這些有關。

再如，為了提升連接轉化率，我們在核心路徑大類-列表-詳情做了非常多的努力，這里面哪些是切實有效能夠提升連接轉化率的，我們一般通過 A/B 測來評定。但是有很多設計點的改動較為細微，且不是所有的功能或者設計都有機會通過嚴格控制變量來獲得驗證結果，并且功能和界面都是比較主觀的，沒有最好的，總會有更好的方案。所以一方面有很多設計點可能是有提升空間的，但是沒有辦法發(fā)現(xiàn)，另外一方面總會出現(xiàn)一些爭議，比如為了提升連接轉化率，要不要把看起來沒什么用處的圖片放到描述后面。

2. 分析方案策劃

確定了目標，我們需要研究和預測不同變量之間的關系,為后續(xù)產(chǎn)品優(yōu)化提供支持？所以選定了相關分析、一元線性回歸、多元線性回歸，三個方法都能達到我們想要的效果。通過線性回歸能了解變量間量化的關系，預測未來的變化趨勢，即自變量提升 1%能導致因變量多大的變化。這個也可以應用在產(chǎn)品營銷策略、定價策略等場景。相關分析能獲得的信息相對少一些，但是也能定性的了解到兩個變量之間是否顯著正相關。

我們試驗了相關分析、一元線性回歸、多元線性回歸三個不同的分析方法，因為線上產(chǎn)品變量之間耦合比較嚴重，且在進行分析過程中發(fā)現(xiàn)部分自變量之間共線性嚴重且殘差存在自相關，不符合線性回歸的數(shù)據(jù)要求。所以最后采用了相關分析，這個結果和一元線性回歸的結果是一樣的，能普遍適用到所有場景，能得到的結論也比較多。

3. 數(shù)據(jù)采集

和用戶調研能收集到單一用戶所有維度的信息，所以采用用戶維度的信息進行分析不同，線上產(chǎn)品很難收集到單個用戶所有的行為數(shù)據(jù)，所以我們采用了聚合數(shù)據(jù)，采用同一段時間內不同天的核心數(shù)據(jù)和預設相關的用戶行為數(shù)據(jù)。比如近 30 天每天的 NPS 和為了提升真實性的模塊的展現(xiàn)率、點擊率，近 30 天每天的連接率和連接相關模塊的展現(xiàn)率、點擊率。（但這有一個風險點在于，這中數(shù)據(jù)處理方式的前提是我們假設時間對變量是沒有任何影響的）

4. 數(shù)據(jù)分析

在試算后選取了相關分析的方法，然后就用 SPSS 交叉分析各用戶行為和核心數(shù)據(jù)的相關性。這里我們分析了用戶行為和所有核心指標的相關性，因為某個用戶行為可能和 A 指標顯著正相關，但是和 B 指標顯著負相關，這里如果只看其中某個方面，就會獲得錯誤的結論，之后所做的事情也都會白費。

5. 洞察

分析相關得到的結果是否符合預期，針對不符合預期的部分，分析原因、列出優(yōu)化 todo，符合預期的看能否有應用場景。比如前面提到為了提升 NPS 做的相關功能模塊，有一個模塊的點擊率和 NPS 顯著負相關，這不符合我們設計的初衷，于是我們發(fā)現(xiàn)這個模塊確實有設計不合理的部分，造成用戶對要傳達的信息有誤解，所以在修正錯誤的信息傳達方式后，我們發(fā)現(xiàn)這個模塊的點擊率變成了和 NPS 不相關了，雖然距離我們希望的和 NPS 正相關的結果還有距離，還需要繼續(xù)改進，但是我們改進了對 NPS 有負向影響的因素，近期 NPS 的提升就是由很多個類似這樣的改動，積累起來的。

6. 上線驗證

應用相關分析/回歸分析結論，設計優(yōu)化方案，推動上線，驗證猜測，同時驗證相關分析方法有效性。

還是以某業(yè)務的應用為例，列舉幾個應用場景。

①驗證設計方案對核心指標提升的作用，改善副作用部分：比如發(fā)現(xiàn)某模塊和 NPS 顯著負相關，走查發(fā)現(xiàn)該模塊確實有表意問題，在改進后該模塊和 NPS 變?yōu)椴幌嚓P，減少一個 NPS 的負向影響因子。

也可以制定體驗優(yōu)化優(yōu)先級，優(yōu)先優(yōu)化使用量較高且對核心指標呈副作用的模塊：比如 A 模塊使用率較高，和 NPS 顯著正相關，但是和收入指標顯著負相關，B 模塊使用率較低，和 NPS 顯著負相關，我們綜合以上信息，給體驗優(yōu)化的優(yōu)先級排序就是優(yōu)先 A 模塊，其次是 B 模塊。

②驗證點擊率較高的功能，對核心指標的作用，放大其正向作用：比如發(fā)現(xiàn)圖片展現(xiàn)率、點擊率和連接轉化率顯著正相關，對圖片模塊進行走查發(fā)現(xiàn)可以提高圖片展示效果，在改進后連接轉化率明顯提升。

③驗證設定的幾個滿意度指標，和 NPS 是否正相關，是否值得持續(xù)監(jiān)控：比如在這之前的幾個滿意度指標是根據(jù)用戶調研、產(chǎn)品經(jīng)驗等主觀信息總結歸納出來的，在回歸分析后發(fā)現(xiàn)各個滿意度指標和 NPS 都是顯著正相關的，也驗證了觀測滿意度變化趨勢能解釋部分情況下 NPS 的變化。

④確定因變量的影響因子，預測為了達成因變量的目標值，需要自變量增長多少：比如為了提升業(yè)務的 NPS，通過回歸分析得到多個 NPS 影響因子（用戶行為）和 NPS 的公式，從而得知，為了提升 NPS10%，需要提升 NPS 影響因子，也就是引導 10%k1 用戶多做出某個或某些行為。

7. 注意事項

①在策劃環(huán)節(jié)，根據(jù)目標和業(yè)務、產(chǎn)品的實際情況，需要選擇合適的分析方法。

②數(shù)據(jù)采集需要注意：

• 數(shù)據(jù)質量：相關分析和回歸分析的結果受到數(shù)據(jù)質量的影響?；ヂ?lián)網(wǎng)數(shù)據(jù)通常是大規(guī)模、高維度的，但其中可能存在缺失值、異常值、重復值等問題。這些問題會影響相關性和回歸模型的準確性和可靠性。eg.因單個用戶行為不全，采用每天的用戶行為數(shù)據(jù)
• 數(shù)據(jù)量：樣本數(shù)據(jù)需大于等于 30 組；實操因時間太長可能會因業(yè)務改版波動較大
• 偏差問題：在互聯(lián)網(wǎng)中，數(shù)據(jù)收集和采樣的方式可能存在偏差。例如，用戶行為數(shù)據(jù)可能受到用戶自身行為偏好和行為模式的影響，導致相關性和回歸模型的結果存在偏差。因此，在分析和解釋結果時，需要考慮潛在的偏差問題。

③數(shù)據(jù)分析環(huán)節(jié)：在回歸分析中，多個自變量之間可能存在高度相關性，即多重共線性。這會導致回歸系數(shù)估計不準確，難以解釋自變量對因變量的獨立貢獻。

④洞察環(huán)節(jié)：

因果關系：相關分析只能描述變量之間的關系，不能確定因果關系。在互聯(lián)網(wǎng)中，變量之間的相關性可能是由于其他未觀察到的因素所引起的。因此，在進行相關分析時，需要謹慎解釋結果，避免將相關性誤解為因果關系。

洞察與解釋：我們在洞察的時候需要結合常識、經(jīng)驗去理解、解釋分析的結果和上線驗證的結果；同時也需要考慮互聯(lián)網(wǎng)產(chǎn)品的特殊性，如頁面層級結構關系等，可能會影響對結論的理解。

⑤所有數(shù)據(jù)分析僅是作為一種參考，不能迷信，最后確定的產(chǎn)品優(yōu)化仍需結合實際情況綜合看待。

三、未來展望

當然現(xiàn)有采用的研究方法還有很多不足，在數(shù)據(jù)層面上，我們可以結合用戶反饋、訪談或案例研究，去提供定性的洞見，幫助理解數(shù)據(jù)背后的用戶行為和偏好，同時收集更多元化的數(shù)據(jù)，包括不同用戶群體、不同市場環(huán)境的數(shù)據(jù)，可以幫助驗證研究結果的普適性；在機制層面，建立動態(tài)跟蹤機制，持續(xù)監(jiān)測改進措施對核心指標的影響，以便及時調整策略。

希望未來通過這些方法的應用和結合，可以更全面、深入地理解業(yè)務改進措施與核心指標之間的關系，從而為制定有效的業(yè)務策略提供更強的數(shù)據(jù)支持。

作者：58UXD