# Suhail Doshi - 如何測量產品 > 原文：[https://jotengine.com/scriptions/ibih0u1yglitz64mh61kqa](https://jotengine.com/scriptions/ibih0u1yglitz64mh61kqa) > Geoff Ralston: 我們非常感謝 Mixpanel 的 Suhail Doshi，他在近 10 年前與人合伙創建了 Mixpanel，現在將討論如何測量您的產品，正如您從 Gustaf 聽到的，這實際上是增長硬幣的另一面，以及幫助您構建人們真正需要的東西的一切。你想用也會用。 就這樣，蘇海爾。 > Suhail Doshi: 好吧。 大家好。 我很高興來到這里。 令人驚嘆的。 我覺得我開始的時候會有點像，有時候我會根據觀眾的不同，嘗試改變一下我的演講。 我想我只想問一個非常快速的問題，只是一個快速的舉手展示，我要把用戶定義為，使用你的產品的人，是否是……A B 對 B 公司，免費支付，他們在你的產品中做了什么并不重要。 現在有多少人喜歡零用戶？好吧，酷極了。 有多少人有 100 或更少？好吧，好吧，你在 1 到 100 之間有大于零的。 好吧，太棒了，太棒了。你們中有多少人喜歡超過 10000 人？好吧，太棒了，好吧，我們有……我想說，大多數人現在都沒有用戶。 酷。 太棒了，太棒了。 對于那些沒有聽說過 mixpanel 的人來說，我將從一開始就簡單介紹一下我，我創辦了一家名為 mixpanel 的公司，我認為第一行代碼在技術上是在 2008 年 10 月編寫的。 我好像 20 歲。 我當時在我父母的臥室里，10 年后，公司有大約 300 名員工。 我們已經籌集了一大筆資金，我們有大約 7000 名付費客戶，我們開始接近每年約 1 億美元的經常性收入，只是為了給你一種 2008 年的感覺。 Cool. Awesome. 如果你不知道 mixpanel 是什么，我們可以制作這樣漂亮的圖。 我們幫助你衡量人們在產品中的行為，就像是有人邀請同事加入他們的應用程序。 我們可能會幫助您測量漏斗，并查看打開應用程序的人對喜歡查看文章的轉化率，我們將幫助您測量保留率。 我知道古斯塔夫今天有點過火了。 我只是向你們展示這一點，因為就像我今天所說的，基本上……是你們可以在 mixpanel 或者其他工具中做的事情。 有很多工具可以很好地測量這些東西，但我想讓你知道，如果你走出家門，想申請一點，你完全可以。 這就像一個高級計劃，我們非常迎合初創企業，這些都是我們的早期客戶，所以請隨意這樣做。 Awesome. 偉大的。 今天，我想深入研究的是，我認為我會采用自上而下的方法來思考分析和度量，而不是用圖表、可視化、數字和類似的東西來對付你，我認為最好是考慮一下你正在嘗試的問題。要想真正解決問題并暫時忽略這些問題，你必須進行復雜的分析和計算。 你會明白的。 這并不難，或者你只需要使用一些工具就可以讓你更容易地做到。 這是我想我會做的一件事。 我選了這三樣東西。 我努力想，當我創辦一家公司時，我到底關心什么，比如對我來說有什么關系？我在想什么？我想，好吧，我想第一件事就像人們都知道我做了什么，MixPanel 在最初的 18 個月里很難做到這一點。 我們必須改變很多事情，大多數人都會這樣做。 第二件事是，好的，很好，他們有點理解它是什么，但是他們發現在第一天使用這個產品相對容易嗎？這是一種永無止境的使命，當你開始你的公司，當你運送你的產品時，你最終會接受。 最后一件事是，我試著把它配對一下，但我認為最重要的是下一件事，人們會回來使用我的產品嗎？我想你會發現…我知道古斯塔夫說過這個，我會非常重復，因為這是早期創始人犯錯誤的最重要的事情之一。 是的，所以從那以后，我想我也會嘗試……我想這對你也會有幫助的，看，它有點分解成一個公式。 這是一個公式，我喜歡從第一原則來考慮問題，對嗎？什么東西會讓你成長？它們很簡單，對吧？就像那些訪問某個頁面或應用程序的人一樣，是的，基本的，你每天都會體驗到這一點，然后就像那些注冊的人，然后那些做了一些事情的人……這些人中有多少人做了一些有價值的事情，比如看視頻、做菜譜或上合組織。奧特，騎摩托車。 那么，在這些人中，有多少人最終會在一段時間后回來，還有多少人愿意傳播這種產品，比如告訴朋友，分享它，甚至可能有一個銷售團隊，誰知道呢？這五件事基本上是平等的增長，這是你的杠桿。 我想強調的是，今天我要介紹一些基礎知識，但我想告訴你，基礎知識非常重要。 即使是千家萬戶的公司也會犯基本錯誤。 事實上，你會發現，如果你不明白……即使是這一千個人的公司都喜歡弄錯，他們往往會過度復雜化他們應該實際測量和跟蹤的事情的數量，而且很容易讓 25 個指標想到它們，將它們對齊，并將它們全部除以……givE 每個團隊五個，然后真正過度復雜的事情實際上是相當簡單的做和當你過度復雜，發生的是，公司，甚至大公司立即癱瘓。 即使是中型大公司也有類似的決策問題。 我以前在 mixpanel 有一個有趣的短語，我常說所有的數據都是可競爭的。 你可以看到這個數字在右邊，然后你說，“好吧，我不知道，外面就像陽光明媚的……”這就是為什么人們這么做，人們喜歡這些論點，不管是什么，因為因果關系真的很難發現。 我發現，只要選三到五樣東西，一顆北極星，真正簡化它，對你會有更多好處，我知道，因為我不僅看到成千上萬的公司在各種規模上犯了這個錯誤，我也犯了這個錯誤。 我有一篇論文，大概有 25 個子指標，幾乎不可能真正跟蹤它，人們最終做的是現實，人們關心的是有指標指導團隊，有指標幫助您監控和評估是否有任何問題，以及今天，我們將討論指導團隊的事情，好嗎？酷。 Great. 有了這個公式，你應該能夠評估公司的任何問題，對嗎？如果你有一個非常混亂的登陸頁面，你應該能夠理解。 如果您的注冊過程太困難，您應該能夠理解這一點。 如果你有一個產品，人們并不真正看重它，你只需要用這個公式就可以得到它。 就這么簡單，然后你會變得更復雜，對嗎？你可以說，好吧，登陸頁面的瀏覽量突然下降了，為什么？是嗎……讓我看一看按國家劃分的部分，也許發生了什么，也許我在另一個國家改變了什么。 你應該能夠從一開始就評估你為什么沒有成長。 這就是為什么我說，簡單的開始會持續很長時間。 這就是它看起來的樣子，對吧？把這兩個想法聯系在一起，你就有了這樣一個漏斗，從拜訪到最終保留和傳播產品，就像在每一件事情上一樣，你試圖基本上解決這三個問題中的一個。 容易理解嗎？開始容易嗎？人們回來是因為他們發現它有價值嗎？然后它會循環，有趣的是，即使你像 Airbnb，你有成千上萬的人，優化每一個步驟的過程永遠不會結束，不管你的規模是多少，你都會你在改變一些事情，你可能有競爭，所以你別無選擇。 太棒了，一旦你能夠測量這五件事并評估出問題所在，你就有了自己的杠桿，你就應該能夠采取行動并解決其中的任何一件事，組建一個團隊，也許你正在解決它。 這真的很簡單。 Awesome. 我們將從第一件事開始，那就是，我的產品容易理解嗎？為了說明這個想法，我決定，這會有點同情你，因為我可以向你展示喜歡的，非常棒的類似大公司的登陸頁面，或者我可以向你展示開始時的感覺。 我還想說，有一個非常糟糕的登錄頁面，有一個非常棒的引用，PG 曾經在我們的批，我想我會告訴你，這是像，人們基本上只是有他們的鼠標懸停在后退按鈕，他們只是等著說，“我不知道這是什么，很困惑，“回來。 這正是大多數公司因繼續經營而失去大部分用途的直接原因。 記住你的敵人是后退按鈕。 這是 MixPanel 在 2009 年的第一個頭版。 這已經不是我們的標志了。 這是我的設計，我的原創設計，在它所有的榮耀中，如果真的喜歡去復習單詞，有很多語法錯誤，因為我在寫作方面很糟糕。 出于某種原因，我想，“我知道公司的口號應該是什么。 “我想，我認為原因是因為我認為這些圖表與現有的圖表相比看起來非常漂亮，所以我認為這將是一家公司的價值主張。 當然，這是完全錯誤的，就像你們都會笑。 我真希望我能做這個登陸頁，把它呈現給你，然后你們都會嘲笑我，我想，“好吧，我應該改變那個東西。”我沒有。 當時我沒有用戶，是的，我試圖瞄準小公司和大公司。 我不知道我的目標是誰，應用程序開發人員，我想把所有人都作為目標。 我認為這是……在登錄頁面上犯的每一個錯誤都像是這里，對了，就像注冊按鈕一樣。 至少我是對的。 謝謝你，Adora 教我如何優化幻燈片上的按鈕。 我把它弄得像黃色的，但這也許就是我所得到的一切，對吧？大概就是注冊按鈕。 然后，經過大量的工作，大量的努力工作，大量的迭代，大量的與客戶交談，大量的測量，最終幾年后，它變成了這樣，對嗎？我喜歡，設法讓自己喜歡這個標志。 “注冊”按鈕類似于黃色和金色。 經過很多時間和大量的精力，我們發現，我們從一個會讓你流口水的指標轉變為一個比頁面瀏覽更能讓你說話的指標，你會注意到這一點非常突出，原因是因為我們作為一個公司會得到的第一個問題是帕尼是的，很酷，但就像你和谷歌分析有什么不同，我不明白，對吧？結果我們在頭版看到了這樣一條標語，持續了五年，因為它非常區分了我們的參與度，我們做了一些不同的事情，比如谷歌關于頁面瀏覽量，我們是關于，人們對你做了什么。R 應用程序和它產生了共鳴，然后，從那里，我們試圖解釋什么是各種各樣的……我們試圖敦促人們瀏覽網站，喜歡看不同的功能，看看這些東西是否有價值。 我們試圖在副本中以利益為導向，試圖向客戶和案例研究展示那些可能發現它有價值的人。 在這之后，我們大概做了四次改變。 我想我之所以提出這一點，是因為它可能會持續下去，就像我們所做的和我們所說的那樣，基本上保持不變，但很多設計變化。 真正的問題是，很好，就像我如何衡量……你如何衡量人們是否真正理解……他們是否理解你在做什么。 我想有一個嘗試過的共享號碼。 這很簡單，只是人們都費心報名了嗎？注冊并不意味著他們會使用你的產品。 這是完全不同的事情。 注冊的麻煩就像是，“我不知道，我有點感興趣，我的意思是，我會踢輪胎的。 這對我來說似乎有點有趣和酷。”這會告訴你很多關于你所做的事情是否對人們有價值。 第二件事，你可以嘗試，這些只是想法，試圖找到比例的人，從中，就像點擊你的網頁，對，然后做任何事情之后。 不是 saka，不是按 back 鍵，對吧，就像他們是不是點擊了 segmentation，funnels 或者 attention，在這種情況下，他們是不是費心這么做？我知道有很多 B 對 B 公司。 事實上，一個簡單的問題是，有多少人會成為一個 B 對 B 公司？是的，太好了，大概是房間的一半，所以我想我應該給 B 對 B 傾斜。 我發現有一件事是人們…很多你的用戶會點擊頂部的定價頁面鏈接。 一般來說，如果你是一個從 B 到 B 的人，這就像大多數點擊鏈接的第二或第三個一樣。 我認為……這是完全有爭議的，但我發現點擊你的定價頁面的人實際上是相當不錯的指標，比如，“好吧，酷，你有一些有價值的東西，好吧，多少錢？”“即使是這樣的事情，我想也能告訴你很多。 那么，如果你是一個消費者，作為一個消費者的好處是你通常擁有……通常會有成百上千的用戶，這樣你就可以真正去做一個 AB 測試，而在 B 到 B 中，要做到這一點要困難得多。 我真的……我認為古斯塔夫是絕對正確的，你應該盡可能多地進行實驗，真正的 AB 測試你的文案，找出什么與人產生共鳴。 這些都是你能做的事情，基本上你能理解，這很容易嗎？酷。 第二個問題是，開始使用我的產品容易嗎？這方面的問題是，很多人……前兩個問題的問題是，如果你不讓第一步變得容易，如果很容易理解，很多人在嘗試 B 時投入了太多的精力。建立一個公司，我們試著像所有的酷的功能和我們可以使之對客戶真正有價值的東西一樣思考。 問題是，如果你甚至沒有把第一步做對，你甚至沒有機會在接下來的任何一步。 當我們想到喜歡，是不是很容易開始我的產品…忘記密碼是一種無用的功能。 如果你有一小部分人根本不想開始工作的話。 事實上，我記得有一家叫 Zenter 的 YC 公司變成了谷歌的幻燈片。 我記得 Robbie Walker 在我們周二的一次晚宴上說，他們甚至沒有為喜歡他們的在線 PowerPoint 執行“保存”按鈕，因為他們知道他們的用戶都不想問任何問題，比如“嘿，我能保存這個嗎”，他們甚至沒有費心去做，因為他們不想這樣做。o 看看有沒有人會使用 PowerPoint 演示文稿產品。 當他們告訴我這一點時，我就想，“哇，這太瘋狂了”，就好像，我不知道，也許像 18 個月的 mixpanel，我們甚至沒有忘記密碼，因為我們只是如此無情地試圖優先考慮對客戶來說真正重要的事情。 結果我們還是沒收到多少要求。 這真的很重要，這里有一個易于使用的例子，你每天都會用到它。 這實際上是一步。 你只要去谷歌，輸入它，你就可以立即使用這個產品。 沒有注冊，沒有 Captchas，都沒有，對吧？一個更復雜的例子是 Airbnb，它可能有 10 個臺階或者類似的臺階。 我們與 Airbnb 合作了一段時間，幫助他們優化初始用戶體驗。 即使 Airbnb 可能有 11 頁……你必須去 Airbnb，然后你必須填寫這張表格，然后你得到結果，然后你點擊這些結果，然后你點擊許多不同的結果，因為你正在嘗試價格比較，你要去在這個非常復雜的退房過程中，有很多在線預訂的步驟。 Airbnb 必須弄清楚，我們如何 a，描述我們正在做什么，我們提供什么，什么對世界有用，b，我們如何幫助人們盡快和盡可能容易地開始工作。 這是 airbnb.com，他們有一個非常簡單的例子，“預訂獨一無二的房子和體驗這個”，你填寫這個非常基本的東西，然后點擊搜索，就這樣了。 這是他們的入門經驗。 這不是他們的整個流程，但這是第一個開始的方法。 他們甚至嘗試著喜歡一些不純的東西，比如你可能會發現的東西，他們在 Airbnb 上設法找到的東西。 問題是，這看起來很簡單，對嗎？這看起來像是一件很容易做的事情，不需要……這有多難，對吧？你可以用 Twitter 的引導程序在很短的時間內做到這一點。 問題是，真正困難的事情是，發現這是正確的事情，這是非常困難的。 這需要……他們可能會在發現之前改變 50 次，這是目前公司的最佳選擇。 這需要大量的工作，你必須非常努力才能達到這一點。 問題是，“好吧，太好了，那么你怎么……你怎么測量這樣的東西？“嗯，我認為真正簡單的答案是漏斗。 有多少人會從登錄頁面轉到注冊頁面，做一些有價值的事情，比如看視頻，做……在 Airbnb 的情況下，他們只會做一次搜索，至少一次搜索。 一旦你克服了這一點，就可以測量整個初始用戶體驗的漏斗。 就像，在游戲中的情況，游戲可以有 20 個步驟，我看到了游戲公司的數百個漏斗，即使它們可能有 20 或 30 個步驟，有時你也可以……它們實際上轉換得很高，就像它們可能得到 80 個一樣，這 20 個步驟的轉化率都達到了 90%。 只有前兩個，實際上是有最大的落差。 最后一件事就是速度。 這是一個我認為很多人不實際做的。 這就像一個人能以多快的速度開始工作，這會告訴你很多關于你的經歷有多復雜的事情。 有時候慢是可以的，這取決于業務，但速度真的很重要。 他們花了五分鐘才弄明白，還是花了一分鐘？在 MixPanel 的例子中，我們非常關心……我們有一個復雜的流程，不僅需要注冊，而且需要有正確的代碼。 這真的很復雜，這是一個缺點，我們不確定人們在哪里……使用谷歌分析，你只需復制和粘貼 javascript，使用 mixpanel，你必須喜歡實際去跟蹤一行代碼。 我們心里有個問題，夠簡單的嗎？速度對我們非常重要。 有人能做到多快。 我想給你一些提示和技巧。 我所看到的公司所做的事情一般都不太好。 第一，你是一個初創企業。 你沒有很多欺詐問題。 你沒有……你可能沒有太多人向你提供服務。 你可能不會有太多像假演員在系統中試圖注冊。 如果你沒有這些問題，不要為它們優化，直到你這樣做，我只是希望你知道，一般來說，電子郵件和文本確認有一個巨大的下降。 我說的是，在 100%的人中，只有 30%的人會繼續點擊那些電子郵件確認或者 40%。 你花了很多時間來優化它，然后甚至讓事情變得更糟，就像你必須向上帝祈禱那樣，不要變成垃圾郵件。 這真是一次可怕的經歷。 小心點，這樣會損失很多用戶。 迭代您的初始用戶體驗非常重要。 這將是一個永無止境的過程。 你將永遠這樣做。 即使……特別是當產品發生變化時，喜歡有人在上面變得非常重要，所以至少有一個負責人一直在思考這個問題。 那么，最后一件事是，不是每個公司，不是每個產品都能做到這一點，但在某種程度上，你可以讓用戶進入產品，這樣做總是更好的。 在 MixPanel 的例子中，這是不可能的，因為我們需要獲取你的數據，所以你必須注冊，但是我們嘗試了這樣的方法，如果有人只是復制和粘貼了 javascript，但他們沒有注冊，我們只是收集了他們的數據，然后我們要求他們注冊我們做過這樣的實驗，所以，在你能做到的范圍內，這是非常棒的，很好的例子，這實際上就像 Airbnb 和 Google，你只是在那里嘗試，但這些規則總是有例外。 例如，像 Pinterest 讓你注冊。 他們以前不習慣，但現在卻習慣了，這是有充分理由的。 那么，最后一個，肯定不是最不重要的，人們會回來嗎？對我來說，這可能是大多數初創企業都非常忽視的衡量標準之一，這也是我看到公司（即使擁有數百萬用戶）實際上死亡的原因。 我見過大概 15 家不同的公司，它們都是病態增長，然后就死了。 公司倒閉了。 我想用圖表來證明這一點。 我稱之為魚翅效應。 我之所以稱之為魚翅效應，是因為，好吧，一個是因為 mixpanel…在 mixpanel 中，第一個數據點的默認線條顏色是藍色，而且它總是…對我來說，它總是看起來像水中的魚翅，看起來非常像這樣，發生的事情是你在浪費你找到了一個傳播病毒的方法，對嗎？也許你在 facebook、instagram 或其他網站上變得超級病毒式，你會說，“哇，我賺了不少錢。 我擁有大量的用戶，我的生活棒極了，我將成為億萬富翁，這太棒了，“對吧？問題是，如果它發生得太早，但你沒有充分考慮保留，那么它就會成為真正的問題，這會傷害到公司。 基本上，這個應用程序會變成病毒，最終，你失去用戶的速度會變得足夠高，以至于你無法獲得新的用戶。 事實證明，盡管我們喜歡嘗試成為非常理性的人，但這確實很難，因為就像當應用程序流行起來時，你會說，“哦，天哪，我需要喜歡……利用這一時刻。”“如果我沒有得到它，如果我的競爭對手發現了它怎么辦？”所以我要做的就是優化，優化，優化，“結果發現，它不是很有價值，因為如果你只是失去了所有的用戶，你很難重新激活它。 如果你和曾經做過類似于重新激活活動的人交談，重新激活活動通常不會很順利。 你通常喜歡失去那些用戶，直到他們決定也許他們想給產品第二次機會。 不是這樣的，你的回答是這樣的……當這種情況發生時，很多人的回答是這樣的：“哦，我們失去了用戶，因為我們的應用程序沒有價值。”“讓我們再給他們發郵件，看看他們是否會回來。”這真的不是一個好主意。 這可能是真的……這真的很重要，通過留任思考，你真的不想成為這個人。 魚翅的效果真的非常糟糕。 事實上，生活社會就是一個很好的例子。 很多人都不知道像 LivingSocial 這樣的應用程序，基本上是在 Facebook 上的，與 Groupon、Deal Cutting 之類的應用程序無關，它們在上面超級流行……我記不清產品是什么。 LivingSocial 必須讓整個公司基本上與 Groupon 競爭，因為當時的應用程序不是很有保留力。 有一些非常基本的方法來衡量人們回來了。 我希望大多數人都知道的最明顯的一點是……這只是新用戶，所以要確保你跟蹤的是一個全新的用戶，一個剛注冊的用戶，其中有多少用戶會像一周后或 30 天后回來。 跟蹤更長的時間是非常重要的，因為一周后只是不夠嚴格的衡量標準，而且很重要的一點是要看看你會以多快的速度失去用戶，因為你必須找到找到新的方法，而且在某種程度上，如果國家統計局你已經成為…的用戶數量開始變得相當高。 第二種是日常活躍用戶。 可能有人不同意這一點。 我不認為有太多，但我現在認為，每月活躍的用戶已經成為像新的 BS 指標一樣，那就像非常相似一樣，就像注冊用戶的數量一樣，注冊用戶的數量就像一個非常愚蠢的指標。 我記得七八年前，我想……我想說的是，就像 LinkedIn 出來說的，“我們有 2 億注冊用戶。”我想，誰在乎有多少人在使用 LinkedIn，我現在開始認為像 Mau 這樣的人正在變得越來越接近這一點。 日常活躍的用戶很難維護。 我的意思是，你每天使用多少產品。 如果你只是看看你的手機，瀏覽所有可能的應用程序，你每天實際使用的應用程序有多少。 我認為這是一個非常嚴格的衡量標準，我們在 MixPanel 上發現了這一點……所以即使你是一家 B 對 B 的公司，你可能會想，“好吧，我不知道，我銷售的業務是這樣的，我真的能像每天活躍的用戶一樣保持下去嗎，特別是在周六和周日，”我們實際上事實上，與日常使用和流失率有著很強的相關性，人們喜歡不再為產品付費。 它不需要太多的用戶，它就像一個點，每天四個活動想減少流失像一美元流失到 10%以下，這是難以置信的。 我真的很強調測量 DAU，最后一件事是，A B 對 B 傾斜再次是我認為很多 B 對 B 公司犯的早期錯誤。 事實上，這不僅僅是一個 B 對 B 的公司。 實際上是一些公司提供訂閱服務，所以我不知道是否有公司會認為他們可能提供任何類型的訂閱服務，比如你是一個冥想應用程序或類似的東西。 這只是美元……這是每月的美元波動，所以如果你每月向客戶收費，許多企業每年收費，但通常大多數初創企業都是從每月開始的，因為每年的承諾有時對早期采用者來說很難。 這只是衡量收入變動。 我想給你一個網站故事，如果你有收入流失，你的收入流失率是每月 7%，對吧，你可能會想，“太棒了，我每個月都保留 93%的收入。 這太棒了，我做的真的，真的，真的很好。”問題是，這是一個 7%的月流失率，如果你推斷超過 12 個月，你實際上在一年內損失了 58%的收入。 這真的很嚴酷。 很多人喜歡……因為某種原因，這件事對大多數人來說，在數學上是不直觀的。 我不知道為什么。 在我剛開始的時候，這甚至不是數學上的直覺，如果你考慮一下，就好像你把所有的精力都花在了營銷上，改進了登陸頁面，改進了入門流程。 你在做所有這些，如果你沒有保留，如果你每個月都損失 7%，你必須以某種方式彌補你在新年損失的 58%。 如果你開始這樣想，“哇，我們賺了 100 萬美元，我們損失了 58 萬美元，我們開始這樣的一年，”你不僅要這樣做，而且還要在上面成長。 一旦你的收入基礎變得非常高，你就很難跟上，基本上你會有一個很長的弧，就像魚翅效應。 看看你每月的客戶流失情況真的很重要，這將是造成類似債務的唯一原因，但問題是，這就像是最糟糕的債務。 就像債務一樣。 它真的像…它真的是平緩的增長，但如果你能獲得用戶，它最終會在四五年內發生。 我提到這一點，不僅是因為……我和一些創始人談過這一點，而且這也是在 mixpanel 的早期階段真正傷害我們的事情，我們真的需要找到一種方法來解決這個問題，而且有各種方法可以使用產品，可以使用定價。 有各種各樣的方法來嘗試這個，但這件事可能給了我最大的噩夢和睡眠不足，我認為有史以來。 我真的想在這里強調所有的 B 對 B 公司。 真的，仔細想想這個數字，想一想，“好吧，如果客戶流失保持不變，我們的增長率會是多少？”“這真的很重要。 Cool. 我想談兩件事。 第一，我認識到這里有很多人沒有用戶，所以他們就像，我到底要測量什么？如果我的用戶少于 50 個怎么辦？事實上，我真的想不出比基本上更好的主意，你只需要和你的用戶談談。 我想我會給你一個小故事，至少是關于我們所做的混合面板。 當我們沒有喜歡的用戶，我有那個頁面，也就是說，指標你會流口水，一個技巧，我使用的是，我有可能 10 或 11 或 12 個客戶，老實說，我只是把他們所有的人都放在即時通訊上，像在聊天或其他什么。 我不知道這些天孩子們用的是什么，也許是什么東西。 老實說，我只是想像什么一樣糾纏他們，聊什么，聊什么，然后問他們。 我記得有一次我們試圖重新設計我們的漏斗用戶界面，我們曾經有一個垂直的漏斗，但是我們的競爭對手有一個水平的漏斗，這似乎是一個更好的主意。 對于客戶來說，這似乎更直觀。 我真的不知道如何獲取數據，因為我真的想知道他們是否喜歡這兩個統計研究所中的一個。 只是我和一個共同創辦人，那我們到底是怎么喜歡在這個特性上做 AB 測試的呢？沒有現實的方法可以做到這一點。 我所做的只是做了一個我認為會更好的非常糟糕的 UI 版本，一個漏斗的水平版本。 有點像灰度。 我做了一個非常漂亮的彩色版本，就像我們控制的垂直版本。 然后，我問了 11 個人，哪一個更好？然后我想給大家留下深刻的印象，因為古斯塔夫提到這是三角洲，這是 AB 測試中最重要的區別，不是說這就像一個真正完美的 AB 測試，而是說，我問了 11 個人，一天內得到了反饋，11 個人中有 10 個人說，水平漏斗，然后我們就做了它和我們建造的，我們從來沒有回頭看，這是完全正確的決定在回顧。 我不認為有任何東西可以讓你穿裙子，和顧客交談，但這是和顧客交談的好處，盡管這可能比看圖表更乏味。 通過與客戶交談，您將獲得比在圖形中查看數據點更多的信息和深度。 無論你對數據進行多大程度的切片、切塊和分段，無論你對數據有多數學化，你永遠不會得到那么多的信息和建立自己的直覺，而不僅僅是與客戶交談，而且你做到這一點非常關鍵。 當時我希望我能做的一件事就是我希望我能把它寫下來。 我希望我寫下大量的反饋，因為我認為這會有所幫助……我的聯合創始人會幫助公司的員工走上這條路，真正開始旅程。 讓他們覺得他們是和我一起去旅行，而不是扮演一個角色，感覺他們是如此的分裂。 那么，我認為我要提的最后一件事就是在一開始就告訴大家我說過的話，那就是，我認為人們在分析方面犯的最大錯誤之一就是過于復雜化，認為他們需要過于復雜化，認為他們需要跟蹤 K 各種瘋狂的團隊，他們需要有一個儀表盤，上面有 30 種疼痛感，就像負載一樣，我們有任務控制。 我不認為這是必要的。 我有，它不起作用，很難用這種方式管理公司。 同樣會發生的是，當你建立你的團隊時，它會真的……對你的團隊來說，在這 30 種痛苦中，我需要關注哪一種痛苦，這會讓人困惑？我認為我們需要一些東西……人類只需要簡化一些事情，所以我會選擇一個北極星度量標準。 在這種情況下，我選擇的北極星指標是，你愿意把公司賭在哪個數字上，對嗎？如果這個數字往南，你就應該死。 如果這個數字上升，你會喜歡……你會喜歡在宇宙中留下一個巨大的凹痕。 那是什么指標？我不是說，你需要永遠選擇這個指標，但要選擇六個月。 投入一些時間，如果你發現它實際上是錯誤的度量，這可能是你第一次選擇，通常你的度量是錯誤的。 然后，你可以改變它，但是在另外的六個月內再次承諾，但是選擇一個數字，然后，如果你在開始時要做的基本上就像打印出來，然后把它放在辦公室里，那么就這么做，因為人們會開始瘋狂地關注它，他們會顯示直到開會，然后說，“是的，但是這個數字就像是下降了，我們要怎么做？“真正復雜的是發現這個數字為什么會下降或上升。 那時候你可以變得非常老練。 這時，你可以把它切成薄片，切丁，找出它的保持力是什么，像什么，然后用漏斗測量，但要保持簡單。 然后，第二件事是，不要煮海。 選擇三到五件其他的事情，我認為少就是多，就呆在那里，告訴甚至是大公司……大多數大公司不這樣做，這通常是非常不和諧的工作人員。 有你想監控但不關注的數字是完全可以的。 太棒了，我想就是這樣，然后，對于那些有點無聊的人來說，因為我復習了基礎知識，我想我會幫助你，為以后的閱讀提供一些高級的主題。 真的，這些都是我認為非常有用的東西。 我最喜歡的是這個，陳冠希的下一個故事謬論。 正是這個想法，我們一直認為，接下來我們要做的就是改變公司發展軌跡的事情，也就是說。 就像下一個特性就在拐角處，我們將是巨大的，我真的建議你讀那篇文章。 真是太棒了。 我最喜歡的一個，所以對于高級的東西，這些只是值得關注的人，閱讀，可以給你比我今天給你的更多的想法。 Awesome. 謝謝您。 杰夫，Q 和 A。 可以。 Cool. All right. > Geoff Ralston: 你要我挑嗎？你要我挑嗎？ > Suhail Doshi: 是的，我想公平。 我不喜歡，如果每個演講者都選擇在前面的人。 > Female: 你會建議什么轉換，一些人轉換或嘗試從訪問者轉換到注冊，考慮注冊與訂閱，獲取訂閱。 > Suhail Doshi: 是的，問題是，它是這樣的……是的，是的，我想有人問，什么是好的基準……考慮到這五個步驟，訪問，注冊，使用產品，這些步驟中的任何一個都有什么好的轉化率。 圖表中的基準部分是，它如此依賴于 B 到 B 的業務，就像從訪問到注冊一樣，我認為 4%到 5%的轉換率是相當不錯的。 我想我喜歡和斯圖爾特交換筆記，因為我們有類似的登陸頁面。 我想我會問他們，你們的轉化率是多少？我想我們兩個從拜訪到簽約都在 4%到 5%左右。 也就是說，比如，我不知道 Airbnb 這樣的東西會是什么樣的，它就像進入一個登陸頁面，然后尋找你想要預訂的第一個地方。 我覺得這真的很依賴。 我知道 mixpanel 在其博客上發布了很多基準測試。 我知道那里的營銷團隊是這樣做的，他們喜歡發布各種基準，比如，如果你是一家游戲公司，如果你是一家電子商務公司，如果你是一家從 B 到 B 的公司，比如，社交公司，視頻公司，等等。 我認為你可以去那里找到各種基準報告，但它確實依賴于業務，是的。 > Male: 當你進入注冊過程時，你如何看待數字的變化，如果你想創建一個帳戶名和密碼，做所有的注冊，而不是像用谷歌或 LinkedIn 登錄，是的，如何轉移，如果有更多的人有這樣的單點選擇注冊伊恩，你看到更多的人因為必須使用其中一個而下車嗎？ > Suhail Doshi: 我認為問題在于，什么樣的轉換方式更像那些社交按鈕，你可以像 Facebook Connect 那樣快速驗證，而不是像標準注冊那樣，是這樣嗎？是的，所有這些問題，都需要很高的特異性，因為事實上，這是非常不清楚的。 那樣的話，我真的不知道。 我真的不知道，所以我想回答這個問題的方法是找一些不喜歡和你競爭的行業的朋友，但基本上是這樣做的，然后就像“嘿，你的轉化率是多少？”你試過什么嗎？“實際上，我并不認為這些數字中有很多是現實中的秘密。 我的意思是，你不能去問你的競爭對手，但這些東西大多數都不像超級騙子的秘密類型的東西，他們要么給你信息，然后給你 6 個月的時間，要么他們會說……或者你試試看，但保守秘密有點奇怪。所以我想給你一些你能發現的方法。 我只會問有創業機會的朋友，即使他們在大公司工作，有時他們也愿意分享。 是的。 Cool. > Male: 你談到讓用戶更容易使用，開始使用你的產品，然后有一張幻燈片在那里[聽不清]。 你如何平衡簡單性和告知訪客，比如你在做什么，他們為什么要使用你的產品？你還沒有那種品牌知名度，客人已經有了... > Suhail Doshi: 是的，對。 > Male: 你如何平衡這兩者？ > Suhail Doshi: 是的，是的。 問題是，Airbnb 的登陸頁面非常簡單，你如何平衡呢，我的意思是，如果很多人只知道 Airbnb，他們只知道使用 Airbnb 是為了什么，那么這就是為什么他們可以保持它的簡單，而不是像擁有更復雜的東西。 一個很好的例子就是 Craigslist，它太瘋狂了。 如果你去他們的克雷格列表首頁，那簡直是瘋了。 即使是亞馬遜，如果你去 amazon.com，對嗎？盡管亞馬遜有著巨大的品牌認知度，但你還是可以登陸亞馬遜網站。 就像，“哇，”一下子就有上百萬的事情發生，對吧？這些公司是如何找到平衡的，他們是如何找到應對這種復雜性的方法的，事實是，我發現有一個指導原則很重要。 你到底想優化什么，對嗎？以 YouTube 為例，讓我們以 YouTube 為例，對吧？YouTube 就像是谷歌，就像，你看起來怎么樣，你想看什么？他們可以這樣做，但他們不能。 我認為真正的問題是，就像 YouTube 的團隊在努力優化什么？他們只是想讓你喜歡看錄像嗎？Airbnb 只是想讓你搜索任何類型的酒店，或者不是酒店，而是 Airbnb？我認為團隊必須首先建立一個假設，即什么是重要的……我們認為什么是重要的，然后從那里開始，進行實驗并試圖弄清楚這一點很重要。 結果似乎不是太…再次，它是關于人們實際上會更傾向于什么樣的三角洲。 如果你做了一個很簡單的經歷，但喜歡的人就像是真的很困惑，因為他們甚至不費心去做或者你問他們，那么你就有點喜歡新的信息，我認為關鍵是找到你需要添加的最少數量的東西來讓別人開始。 我不認為有什么……我相信亞馬遜已經像瘋了一樣測試了首頁，他們發現它是非常理想的。 是啊。 > Male: 根據你的個人經驗，你認為短時間的視頻超過兩分鐘[聽不清]。 > Suhail Doshi: 他們可以。 這取決于產品。 在 MixPanel 的例子中，我將給出一個例子。 對不起的。 Yeah. 問題是視頻……一到兩分鐘的視頻教程是否有效、公平？是的，所以我覺得這很復雜。 例如，我們在流程中做了一個視頻教程視頻，我想說的是，很多人沒有如實觀看，這就是我所說的實驗。 很多人沒有看那個視頻教程。 我的意思是，實際上我認為在前三個步驟中消除了它，但是我們發現的是發生了一件有趣的事情，由于查找和測量了一些東西，我們在 mixpanel 中有一個特性，在這里您可以看到用戶采取的每一個操作。 我真的很想去每一個用戶，然后就像一個毛骨悚然的人一樣觀看，就像一個人在產品中所做的一切一樣。 最終，當你這樣做的時候……當你做上百個這樣的事情，你只是看了上百個這樣的事情，你開始產生某種感覺，好吧，你開發的是一個想法，一個假設，所有這些事情都需要藝術和科學，我認為那些把它做得太遠的公司，他們就像把它帶到科學的太遠，最后出錯，他們最終優化了一些奇怪的東西。 你可以把一個按鈕做得越來越黃越來越大。 這并不能讓用戶最終滿意。 不管怎樣，為了回答你的問題，我發現很多人只是像所有的側菜單選項一樣隨機點擊，我的假設是，他們還沒有集成 mixpanel，所以沒有什么可看的，所以你在做什么，就像點擊一個漏斗保留，你為什么要這樣做？我的假設是，他們只是好奇，就像產品做了什么，他們做了什么，所以我們做了 AB 測試，在那里我們喜歡有一個沒有什么相似的控制，只是經常點擊周圍，看到像一些圖像，然后我們有另一個有類似視頻的。 然后我們試著看看是什么讓人們喜歡做他們的整合，他們的第一次整合，轉化率是多少，結果像視頻，像超級韓元。 實際上，我們做了一個比這更簡單的測試。 我想我們剛剛給人們發了一個視頻，然后說，“看這個視頻，超級基礎”，我甚至沒有費心在網站上實現它，我有一個驚人的轉換率。 然后，我們決定把視頻全部添加到所有那些標簽頁上，不管怎樣，它們都不會是任何東西。 這就是為什么我想說，像，我想強調這個，這真的取決于什么，重要的是你運行這個實驗來發展一個假設，也就是說。 藝術不是科學，然后測量它，這是一門科學，用來找出你所想到的事情是否是正確的。 Yeah. > Geoff Ralston: 一直到后面。 > Male: 我有個問題要問你，這就是客戶流失，收入流失。 這與[聽不清]有什么關系？ > Suhail Doshi: 一年內收入減少 58%。 Yup. > Male: 你證實了我們關注的是……我們關注的是保持力[聽不清]。 > Suhail Doshi: 是的，所以有兩種不同的東西。 一個類似于用戶保留，另一個類似于美元攪動。 在美元暴跌的情況下，我提出美元暴跌的原因是，即使……就像你完全可以擁有一個沒有人使用產品的公司，而該公司繼續為其付費，對嗎？我發現，像大多數公司一樣，他們很有動力削減開支，員工也很有動力，因為他們在預算中損失了開支。 關于美元流失，你可以有很多……例如，在一個 B 對 B 公司，你甚至可以有一個用戶使用該產品，但該公司可以繼續在它上面花錢，你可能會看到 40%的保留率。 也許可以，只要公司繼續支出，但一年內損失 40%的美元確實很難，而且不好，留著。 這有道理嗎？這些事情并不完全聯系在一起。 它們沒有直接聯系。 Yeah. 是的，給你一個類似聊天應用的基準，就像經常使用的一樣，保留率大概是 60%，70%。 這些是最具保留力的東西。 像 slack 這樣的東西可能有 80%的保留率。 有點難以置信。 就像我們的產品，比如 MixPanel，當我們像第一年一樣開始的時候，我認為我們有 30%的保留率，40%的保留率，這并不是很好，這是我們的頭幾年。 Yeah. > Male: 這些是全部的指標嗎，我認為你們都有四個指標，那是硬件初創公司嗎，就像你們構建的一樣，我們需要去實現它嗎？ > Suhail Doshi: 是的，問題是，這些度量標準可以用于硬件啟動嗎？ 是的，我不知道為什么。 我們和頜骨一起工作了很長時間，我們和 Fitbit 一起工作。 大多數硬件…你的硬件公司有軟件組件嗎？ > Male: 實際上，我們使用訂閱模型，比如[聽不清]。 > Suhail Doshi: 好吧，這是一家有訂閱模式的硬件公司。 是的，當然。 作為一家硬件公司，跟蹤可能更具挑戰性，但有時，這是完全可行的。 大多數硬件都是以某種方式連接到互聯網的，所以我不知道為什么，像許多小型摩托車公司一樣，它們都是連接到硬件的，并且有一個軟件組件。 其實沒什么區別。 Yeah. > Male: [聽不清]。 > Suhail Doshi: 是的，所以問題是，第一頁的目標是像各種規模的公司一樣，然后像 2012 年一樣，像 mixpanel 的第二次登陸，基本上沒有處理過，而且有一些非常不同的地方，它是市場特征和東西，你怎么知道的？就像從那一點到下一點基本上要做什么。 是的，所以我認為基本要點是……所以你可以清楚地看到，我不知道我們的客戶是誰，然后在幾年之后，你和用戶交談，你問他們他們是什么規模的公司，如果他們注冊，如果你想，我們沒有這樣做，但我們只是花了很多時間……很明顯，就像當時注冊 mixpanel 的所有人一樣，這是一家初創公司。 在我們的情況下，我們稱之為小企業。 > Male: [聽不清] > Suhail Doshi: 我想我們大概花了不到六個月的時間才知道我們不會簽一家大公司。 Yeah. 我們只是沒有這個產品，它只是不在那里，我們沒有足夠長的時間來開發它，所以唯一愿意嘗試的人是那些可以冒風險嘗試它的公司，而且這些公司中的大多數無論如何都沒有任何東西，所以更容易。 如果目標公司沒有什么，而且……愿意承擔風險，那么大多數時候，我總是使用這個技巧，我只是……我會為此收取費用，如果他們拒絕，我會免費給他們，因為反饋更多的是重要的。 我一直想知道他們是否會為此付出代價，所以唯一愿意這樣做的人也是小企業，事實證明。 對我們來說，這就像……它打了我們一巴掌，打了我們的臉，不難弄清楚。 Yeah. > Male: [聽不清] . > Suhail Doshi: 是的，所以說得清楚，我們不一定是為了吸引新用戶而建造的。 不好意思，問題是你們建立了，忘記了……你們決定不建立忘記了密碼，你們怎么知道什么時候建立生活質量特性，而不是僅僅獲得新用戶的特性？是的，所以我認為我們沒有……它不是那么多，只是建立功能來獲得新用戶。 我們構建功能以獲取新用戶并保留現有用戶。 我們非常專注于產品的某些部分，這些部分實際上會產生影響，對吧，與其他所有可能的選擇相比，它們會有明顯的區別。 有一件事是你是否忘記了密碼，對吧？就像是在桶里一樣，喜歡的東西也許并不重要。 我認為這個問題真的像，什么時候它對你來說足夠成為一個問題，值得去建立它，對嗎？如果你發現忘記密碼的請求數量在增加，然后手動執行這個過程，這會讓你很惱火。 然后，您應該構建這個特性，因為您知道如果您不構建特性，它們就不能登錄，那么您就不能保留它們，然后您就失去了它們。 這就變成了飛輪效應，保持飛輪效應的唯一方法就是這樣做。 事實上，即使 mixpanel 沒有構建忘記密碼，大概 12 到 18 個月，我們最終還是……我們發現人們會嘗試多次密碼，當我看到用戶將要采取的每一個操作的流時，我發現人們會喜歡去 Lo。在屏幕上顯示 5 次。 我只是很困惑。 我想，“他們為什么要去登錄屏幕五次？“我是說，”我想這是因為他們不能登錄。“有些人甚至沒有按忘記密碼，他們只是喜歡嘗試，嘗試，嘗試。 我敢肯定你們都是像對待銀行之類的事情那樣做的，你們會說，“我明天就做，”你們甚至都不費心。 事實證明，即使發生了這種情況，所以我們走了這么遠，即使我們沒有這樣做，我喜歡這樣想，就像我們真的彌補了這以后。 到目前為止，我們發現 Facebook 使用了一個巧妙的技巧，那就是，當你三次登錄 MixPanel 失敗時，我們只會給你發一封電子郵件，上面寫著“我們剛剛給你發了一封電子郵件”。 只需轉到您的電子郵件并單擊按鈕，您將立即登錄。 不要擔心忘記它，不要擔心更改密碼，只需登錄即可。“事實證明，這樣做有很好的保留效果，因為當時我們確實專注于保留。 Yeah. > Geoff Ralston: 好的，再問幾個問題。 > Male: [聽不清] > Suhail Doshi: Yeah. 你如何衡量產品市場的適合性？你如何衡量產品市場的適合度？我認為有很多人可能已經……會像人們一樣談論或已經談論過……我認為他們很好，所以我會給你一個定量的傾斜，而不是定性的傾斜。 有些定性的傾向是當人們愿意把你傳播給他們的朋友時，這種事情。 這個定量的版本實際上只是測量你的記憶力，比如有多少人……它像 dau 一樣測量，它實際上是測量一周后，30 天后回來的人的百分比。 很多人都喜歡變得幾乎需要你的產品，或者他們覺得生活會更糟。 我認為你完全可以通過他們如何使用它來衡量這一點，所以我認為定量測量基本上是找到一些基準，一些美分對于你的行業，也許是 30%，記住，基準可能是平均水平，你的愿望基本上是高于平均水平。 如果你喜歡大大超過這個基準，那么我認為你真的喜歡……你做得比產品市場適合性更好。 我認為這是一回事。 我想另一件事是，你可以試著像整體一樣測量，重復使用，像一天中頻繁使用。 你可以制定非常嚴格的指標。 例如，對于 dau，你可能會說，“我不希望它像他們做的一樣成為日常活動的用戶。 我想要的是……那個用戶必須看了五個視頻，然后，只有這樣，他們才算是一個每天都活躍的用戶，”所以你可以對這個標準特別苛刻，對吧？有人來了，喜歡……這就是為什么我說 Mau 現在是一個 BS 指標，因為你來觀看一個視頻，然后再也不回來了，你喜歡計數，這不像是一個非常健康的行業，所以我認為找到方法嚴厲對待你的北極星，我認為你會你達到了產品市場的契合度，是的。 是的，我認為 MixPanel 的保留率是 30%，40%，這真的很可怕，我們還沒有完全適應產品市場。 Yeah. > Geoff Ralston: Okay. 最后一個問題。 > Male: 你認為通常錯誤的傳統創業智慧之一是什么？ > Suhail Doshi: 這就像一個彼得·泰爾的問題，你認為什么是一個普遍錯誤的傳統智慧？ > Male: 關于初創企業。 > Suhail Doshi: 關于初創企業。 > Geoff Ralston: 這是最后一個難題。 > Suhail Doshi: It’s a hard last question. 一切都很好。 我想……我不知道，我需要考慮一下，但我認為有一件事對我來說已經很清楚了，我認為在做了大約十年的 mixpanel 之后，我發現……我試圖在今天的談話中把它傳授給你，就是說，它好多了。就像……我認為我們像人類一樣，往往會把事情復雜化，這就像所有事情一樣。 例如，我們傾向于將一個產品的一個版本制作成第二個版本，然后我們會說，“好了，我們完成了。”我們會說，我們完成了，我們解決了問題，然后經常會發現，我們會覺得，有點分心，然后去做下一個產品，下一件事。他們還沒有意識到他們的保留率可能不高，或者他們的經營利潤率為負，或者像所有這些事情一樣。 同樣的事情也發生在數字上，比如我們選擇三個指標，然后我們作為一個企業繼續變得更加復雜，然后我們添加接下來的 20 個指標，然后我們做所有這些事情，就像……希望喜歡，感覺我們更好地控制了局面，我認為這些都是我分心和犯錯，我認為普通創始人很難真正專注于無聊的事情。 我們往往有 80 歲左右的人，我們只是決定很容易分心，我認為很難做點什么……做 4 到 5 年同樣的事情，因為我們不喜歡再覺得有挑戰，我認為這是創始人經常犯的一個巨大錯誤，我不喜歡要知道有人說，“哦，那簡直是大錯特錯了，蘇海爾。”無論出于什么原因，像每個創始人都會重復這句話。 一定有什么，我不知道……一定有某種智慧，我們都認為這是正確的，我犯了那些錯誤。 我做了不該有的新產品。 我測量了太多的東西，過度優化的東西不需要優化，所以是的，就是這樣。 Cool. 謝謝。 > Geoff Ralston: 謝謝你，蘇海爾。