# Gustaf Alstromer - 如何獲得用戶和發展 > 原文：[https://jotengine.com/scriptions/4in0wuau8d5cedxbygj9ma](https://jotengine.com/scriptions/4in0wuau8d5cedxbygj9ma) > Geoff Ralston: 關于公司更新。 請誠實。 它們是給你的，不是給我們的。 如果你讓他們瘋狂的說，“我們從來沒有發射過。 我們將在 400 萬年后推出，”我們會得到提示。 所以不要這樣做。 關于畢業要求有很多問題，那就是你必須提交每 10 周 9 次的更新。 這門課程最初是 10 周的課程，但情況有所改變。 這實際上是一個為期 9 周的課程，所以有些小組要走起來有點困難，因為我們在課程開始時遇到了一些小麻煩。 成交了。 九分之八的更新都很好。 但我們也會延長課程的時間，實際上是講座結束后的兩周，這樣就有足夠的時間做 10 次更新，如果你選擇的話，你可以選擇 10 次中的 9 次，但 9 次中的 8 次將是對 10000 美元撥款的絕對要求。 我們會很靈活，但要讓他們更新得很好，讓他們真正更新。 又一個提醒。 每周的更新時間是晚上 11:59。 每周日，太平洋標準時間。 有一些困惑，我們已經寫了很多次了，但請回憶一下什么時候寫的。 同樣，關于任何問題，關于你的版主，關于你的小組，關于你的更新，請發送到創業學校 ycombinator.com。 我最后一條是提醒你，如果你還沒有開始的話。 唯一的辦法就是讓人們真正使用你的產品，如果你沒有，把你的產品帶出去。 現在，我要介紹我們的第一位演講者，他是我在 Y Combinator 的尊敬的合作伙伴，Gustaf Alstr_mer，他在 2012 年加入了在 Airbnb 組建成長團隊的團隊。 如果你對 Airbnb 有任何了解，你知道，從 2012 年開始，在接下來的五年里，他們的增長幅度巨大。 這是古斯塔夫比全世界任何人都更了解的事情，或者至少和全世界任何人一樣了解，所以我很高興讓他今天談論增長。 > Gustaf A.: 非常感謝。 在我開始之前，非常感謝史蒂文、杰夫、阿多拉、比爾把所有這些放在一起，這樣我們今天就可以在這里做這些了。 我要跟蹤成長。 去年夏天加入 YC 之前，我的背景是成為 Airbnb 成長團隊的第一人，然后從開始成長，我認為我們是三個人。 這就是 2015 年的人數。 然后我們成長為 100 到 120 人或者類似的人。 我今天在這里說的幾乎每一件事，都是我欠這群人的。 這就是我學到這些東西的地方。 學習用戶增長的一些最佳方法實際上是在增長團隊中工作。 我很幸運在 Airbnb 工作了近五年。 在我開始之前，其中一個可能是顯而易見的問題，答案可能對某些人來說是顯而易見的，但不是對每個人來說，有點像為什么我們要這樣做？為什么增長很重要？我很驚訝我多久才真正得到這個問題，但也許值得考慮一下。 當你生產你的產品時，有些人認為如果你把它投放市場，人們就會來，人們就會開始使用它。 根據我的經驗，這不是世界的真正運作方式。 如果你創辦了一家初創企業或一家初創企業，那么成長是很重要的，因為這正是初創企業的本質。 如果你做了一些有潛力成為大公司的事情，那么做一個大公司就是初創公司的全部。 實際上，保羅·格雷厄姆寫的一篇文章叫做“初創企業等于增長”，他特別談到了為什么增長對初創企業如此重要，為什么它不重要，為什么不是每個公司都是初創企業，或者為什么增長對每個公司都不重要，而是對初創企業來說。非常非常重要。 我會在一秒鐘后說，有點像是有意發展的意思，但是你必須回答的第一個問題是，我有一個初創公司，我想發展，現在，我們該怎么做呢？這次談話是為了誰？根據我的經驗，當你從事用戶增長工作時，你所從事的工作從消費公司開始。 這類公司開始采用許多發展團隊正在采用的策略、戰略和技術。 現在，我會爭辯說，幾乎所有在網上銷售任何東西或讓用戶在線的公司都應該或可能使用我今天要談論的大量技能和知識。 你不需要僅僅是消費者公司。 你不需要只是一個社交網絡來應用這些東西。 這些適用于各種各樣的公司。 如果你是一個 B2B 公司，并且在成長方面非常出色，那么你在你的領域中對其他公司有巨大的優勢，因為他們可能不會像你那樣花那么多時間來做成長。 現在，有一種類型的公司與此相關，但為時過早。 這實際上可能適用于你們中的大多數人，這就是為什么這次談話是危險的，因為在公司歷史上錯誤的時間從事發展工作對你們來說可能真的，真的很糟糕。 這有點像你提前一點去參加比賽。 最重要的是，很多初創學校的講師所關注的是你如何讓人們想要的東西，以及你如何真正找到適合產品市場的產品。 如果你把我在這里要講的很多東西應用到一家公司，而這家公司并沒有建立人們想要或實際上沒有發現產品市場適合的東西，那么就真的發生了糟糕的事情。 你會經常，這是一個很常見的圖表，在開始的時候變得瘋狂，但是當你意識到你所擁有的那種燃料并沒有給任何東西加燃料，它只是燃料，那種蒸發，你會直接下來。 這就是為什么它是危險的，然后我可以在一秒鐘內詳細介紹，在你真正適應產品市場之前應用其中一些東西。 今天我要說的第一件事是圍繞產品市場的適應性進行衡量，因為這實際上是持續增長最重要的部分。 現在，成長團隊有影響嗎？或者成長團隊有點……你怎么知道成長團隊實際上很重要？你怎么知道這些事很重要？我也要談談。 我將要討論實驗，但在我到達那里之前，我想告訴你一個來自 Facebook 的故事。 這不是我自己編出來的故事。 我在 Facebook 的一次談話中發現了它。 我認為，如果你將這些技能應用到一家公司，那么描述你所能產生的影響是非常重要的。 這是 Facebook 從 2004 年到 2015 年的時間表。 這是他們成長的故事。 其中一些是公開的。 有些不是。 Facebook 有一件事，他們從早期就擁有了一支優秀的數據科學團隊。 他們非常擅長衡量，有點像預測 Facebook 的規模。 所以，早在 2006 年、2007 年，Facebook 剛剛成立了增長團隊，他們就有一群數據科學家在做這種預測。 Facebook 最終會有多大？他們研究了 facebook 的所有指標，得出結論，到 2015 年，facebook 將有大約 4 億用戶。 這是他們利用所有數據做出的預測。 我們知道那不是真的。 實際上，它們在 2008 年、2009 年開始快速增長。 實際上，這是成長團隊想出的一個結果。 這里有人知道什么會使 Facebook 在 2008 年（大約是 2007 年和 2008 年）增長如此之快？ > Audience: 他們不是給高中生開的嗎？ > Gustaf A.: 對中學生開放。 是的，他們做到了，但這并沒有增長那么大。 新聞稿是 2005 年的。 對不起的？經濟衰退。 經濟衰退沒有。 不。 10 個朋友在…是的。 很好。 這有點像整個增長過程。 > Audience: 圖像標記。 > Gustaf A.: Image tagging. 可能就是這樣。 > Audience: [聽不清]。 > Gustaf A.: 翻譯就是答案。 所以這對你們中的許多人來說可能是令人驚訝的，但這實際上是許多成長團隊的核心部分，因為你們想讓世界上的人都能使用你們的產品，而 Facebook 開始對說英語的人進行限制，然后假設人們因為 facebook 是英文的……對不起。 內容是用你當地的語言寫的，Facebook 是用英語寫的，它將繼續擴展。 事實并非如此。 他們實現了這一新平臺，該平臺可以自動將 Facebook 翻譯成數百種語言，并重新加速了增長。 現在事情又開始了。 我想他們稱之為封鎖。 他們在做非常重要的事情。 在 2010 年，2011 年，一些非常大的事情發生了，Facebook 不得不做出一些非常大的改變，在某種程度上也受到了使用數據來解決這些問題的驅動。 知道 2010 年發生了什么嗎？這是一個非常大的加速度。 移動。 我聽到手機的聲音。 事實上，Facebook 的數據科學家們預測 Facebook 的用戶數量大約為 7 億，類似這樣。 因為大多數人在電腦上使用 facebook，他們并沒有打算在 2010 年、2011 年發生如此巨大的變化，也就是說人們得到了智能手機。 Facebook 換了整個團隊，他們甚至為工程師們開設了大量的培訓課程，讓他們開始學習手機。 這是當時發生的巨大變化。 實際上還有一件事發生了，比如在 2013 年，2014 年，他們做了一個預測，他們沒有再次達到增長的最高點，但后來又發生了一些事情。 知道 2013 年、2014 年會發生什么嗎？ > Audience: [聽不清] . 安裝圖。 不穩定[聽不清]。 > Gustaf A.: Instagram 和 Whataps 可能是很好的答案。 這不是我要找的。 > Audience: 信使。 > Gustaf A.: 信差是個很好的回答。 這不是我要找的。 所以 facebook 實際上已經達到了互聯網的最高點，實際在線人數，所以他們開始了一個叫做 internet.org 的項目，目的是讓更多的人上網。 他們去了航空公司。 他們基本上與運營商合作，讓人們上網，獲得免費的 Facebook。 這實際上是 Facebook 持續增長的一個重要部分。 現在，我們能從中學到什么？好吧，我們可以了解到，最初對 Facebook 增長的預測大約是 4 億人，但是今天的 Facebook 是 2 點，我不知道，12 億用戶平臺，所以它是一個非常大的平臺，而且預測是錯誤的。 現在，預測沒有錯。 它只是不打算考慮公司將要做的所有偉大的事情。 如果我們能從中學習到什么，那就是如果你是有意的增長，并且你真的試圖突破這些預測和這些上限，那么你就可以真正、非常快速地增長。 這適用于每個公司。 我向所有加入 Airbnb 的人展示這個圖表，就像每個加入 Airbnb 成長團隊的人一樣，努力讓他們以同樣的方式思考。 所以自然的采用，就像最初的預測，如果沒有任何工作，項目的增長速度會有多快，最終會變慢，但是如果你作為一個成長團隊去做，你就不能繼續推動公司的增長。 我之前提到過。 在你發現產品和市場適合性之前擁有一個成長團隊并不是真正有用的。 所以我們來談談產品市場的適合性。 這是一個重要的術語，但很難確切地定義它是什么。 我認為衡量產品市場適合度的一個方法是這兩件事。 首先，找到度量標準。 你可以在這次談話之后為自己做這件事。 找到表示客戶從產品中獲得的價值的指標，然后測量該指標的重復使用情況。 聽起來很簡單，我們來看看，看看它是否有效。 如果你想把公司建在什么地方，你可以做這種表格，你有一個度量，代表用戶從你的產品中得到的價值，然后你就有了頻率的概念。 那我們就乘 Airbnb 吧。 當您預訂和入住時，您可以從 Airbnb 獲得價值，因此當您實際旅行時，您會發現 Airbnb 非常有價值。 這是一次奇妙的經歷。 不幸的是，人們每年都不會這么做，所以如果你想了解產品市場的適合性，Airbnb，你可以在他們第一次入住后問他們，但你不會真正知道，直到他們再次預訂。 當他們回來重新預訂的時候。 因為旅游者的預訂周期太慢，所以每年的預訂量是一個很好的衡量標準。 我們來看看 Facebook。 所以 Facebook，如果你回到 Facebook，自愿回到 Facebook，作為一個活躍的用戶，你這樣做是因為你找到了價值。 這是讓你回到 Facebook 或 Instagram 之類的網站的原因。 問題是我應該多久回來一次？嗯，可能是每天或每小時或類似的。 他們開始每月看一次，然后每天看一次。 我認為他們可能會更進一步。 讓我們來談談味覺。 作為一個你不再使用 Gusto 的 Gusto 客戶，產品價值是多少？好吧，當你管理你的工資單，這是什么樣的熱情為你的員工做，這是衡量你從熱情中得到的價值的最好方法之一，你多久做一次？嗯，你每隔一周或每月發一次工資單。 我不想詳細討論所有這些，但對于 Lyft 來說，這可能是游樂設施。 對于 checker，可能是后臺檢查。 對于條帶，可能是事務。 現在，對于你的公司，你應該弄清楚我可以很容易地測量的一個度量標準是什么，每天或每次它發生時，理想的頻率應該是多少？如果你能回答這兩個問題，你現在就可以對你自己的公司做一個隊列分析，然后你就可以開始嘗試找出你是否適合產品市場。 然后，你想測量這些東西，所以你用一個圖表。 在一個軸上你有時間，而另一個軸上你有我們剛剛決定的度量。 從這一點上，你可以試著找出你的產品市場是否適合這家公司每周都會對其進行測量。 這個公司的理想用例是每周使用這個產品，所以這里每周都有一個點，它是第一周使用這個產品的人的百分比。 他們第一次用的時候，又用了一次。 讓我們以創業學校為例。 所以我加入了創業學校，第一周，只有 60%的人會回到創業學校，第四周，只有 30%的人會回來。 好吧，這意味著初創學校，我們不是一個好產品，但如果初創學校實際上是一個好產品，那將是一個很好的衡量方法。 人們回到我們正在創建的所有內容。 我要另一種產品。 這是一個很好的產品。 這有點像一個正常的產品……一個老產品會喜歡，因為幾乎總是，你在產品的開始有一點太多的人，然后隨著時間的推移，它會下降，但它會有點平緩，在那里你不斷地測量這些事件的度量。 這聽起來可能是技術性的，但實際上只是一個表示，每個點有多少人，有多少人在使用你的產品來度量你在那個時間窗口上決定的指標。 大多數好產品都會變平。 讓我們來看一些例子。 所以這些都是基于付款保留的例子。 這是一家你們都聽說過的公司，一個月后保留 10%，12 個月后保留 12%。 這有點不尋常。 那是誰？ > Audience: [聽不清] . > Male: 條紋。 > Gustaf A.: 這太難了。 這是購物。 Shopify 有很多人注冊的這個產品，不是說很多人會在第二個月繼續注冊，但是他們會永遠堅持下去。 我們從中了解到什么？好吧，如果這個曲線下降到零或者繼續下降，那么購物就是一個壞產品。 這并不是真正發現產品市場適合的東西，也不應該致力于增長。 在這種情況下，他們有很好的產品市場適應性，他們應該致力于增長。 他們應該竭盡所能繼續致力于發展。 他們應該在這里做一些關于初次入職的事情，一開始他們會失去很多人，但他們應該致力于發展。 這是另一家公司。 一個月后保留 50%，24 個月后保留 10%。 有點類似于購物，但他們仍然會失去用戶，一直到 24 個月。 也許在最后會有一些平緩，但即使在人們開始為這個產品付費 12 個月后，每個月，支付這個產品的費用也越來越少。 這是一個適合市場的產品嗎？很難說，但這不是一個明顯的情況，他們已經發現產品市場適合。 所以這是藍色圍裙。 這是一個非常好的。 12 個月后保留 70%，7 年后保留 30%。 這家公司的產品市場絕對適合。 你知道這是哪家公司嗎？你們都在用它。 > Audience: [聽不清] . > Gustaf A.: 亞馬遜。 我聽過亞馬遜，但它不是對的。 > Audience: [聽不清] . > Gustaf A.: 蘋果。 No. 這是 Netflix。 所以 70%的人開始為 Netflix 付費，為 Netflix 付費 7 年。 這絕對是一家適合產品市場的公司。 他們應該盡一切努力促進經濟增長。 如果你正在測量你的記憶力，舉起你的手。 不是很多人。 嗯，還有其他方法來計算保留率。 如果你真的很小，你應該出去和用戶交談。 你應該問他們一些問題，比如，“如果你不能再使用我的產品，你會有什么感覺？”“而且應該盡可能接近用戶。 這就像是這樣測量保留率，當你有 10 個用戶時，這是非常困難的。 當你有 1000 人的時候，就更容易了。 但是當你有 10 個用戶的時候，這不是解決問題的方法。 你可以親自去和他們談談。 還有其他的方法可以測量它，但是你必須知道你有一個保留的產品。 否則，你就不應該致力于增長，因為你最終會在那些無關緊要的事情上消耗很多周期。 很多人可能想知道增長和營銷是如何相互聯系的？是同一件事，還是我該怎么想？從歷史上看，20 年前你擁有一家公司的方式是你有一個產品團隊來生產產品，然后你有一個營銷團隊或者產品營銷團隊來銷售產品。 這就是過去的工作方式。 公司或組織中的許多層次結構仍然基于這樣一種觀點，即你有一個獨立于市場營銷團隊的產品團隊，這些團隊和技能不同，工程師在產品團隊中工作，然后市場營銷人員在市場營銷團隊中工作。市場營銷團隊。 事實上，事情已經不是這樣了。 你應該這樣想，我馬上就要談到，有三種不同類型的人可以，組織可以推動增長。 我稱之為產品增長工程。 它有不同的名稱。 這是有效的產品經理、工程師、數據科學家，有時還有營銷人員，他們致力于增長，但他們使用技術來實現增長。 他們正在積極地改變產品以推動更多的增長，這里的大部分工作是關于那些已經到達你的產品但還沒有真正發現你的產品價值的人，他們正在改變產品以使它增長更快。 轉換優化屬于此組。 一些增長挑戰實際上屬于這個群體。 現在，這里還有一個大的群體，績效營銷，它實際上是谷歌和 Facebook 營銷，它也是超級技術和超級數據驅動的。 我認為這些東西非常非常相似。 五年或十年前，你會去一家公司，你會發現這些人是非常不同的群體，可能是辦公室里不同的樓層。 現在，在我看來，他們應該坐在一起。 所以工程師應該和業績營銷人員坐在一起，反之亦然，因為他們實際上在做非常相似的事情。 現在，這里有第五個按鈕，第五個應該是第三個，這就是品牌營銷。 品牌營銷有點像是最難衡量的營銷類型，在這種類型中，你沒有真正的直接反應，也沒有人直接向你反饋市場對你的看法。 你甚至不能很容易地衡量這一點，所以這不是初創公司在早期應該做的事情。 在我看來，初創企業在達到這兩方面的極限之前不應該進行品牌營銷。 初創企業應該做這兩件事，有一些條件可以讓你做到這一點，但幾乎每個人都可以做到這一點。 如果你是一個初創企業，你有工程師，你可以做產品成長或成長工程之類的事情。 好吧。 讓我們來談談第一部分，產品增長。 你的產品是漏斗。 那是什么意思？您的產品在第一個用戶和第一個用戶之間有許多、許多、許多步驟，有點像完成他們在您的產品上所做的工作。 假設我是一家電子商務商店，我想買點東西。 這個漏斗有很多很多步驟，產品增長團隊正在研究的是漏斗優化或轉化率優化。 如果你看看我們在 Airbnb 的成長團隊中所做的，其中很多成長團隊都是對話率、速率優化團隊，它們在漏斗的特定部分工作。 因此，漏斗可以從 SEO 開始，可以從性能營銷開始，也可以從病毒性轉介開始，但它會跳過許多不同的步驟。 說注冊將是一個非常常見的步驟。 或者如果你是一個電子商務網站，支付對話或購買轉換。 所有這些步驟都是成長團隊中作為對話率優化的一部分應該努力完成的。 這些是你最容易做的事情。 我會在這里有一點高的水平，因為要深入了解這里的每一個區域，我們可以持續幾個小時。 一些好的想法，一些領域的談話速度優化工作，其中之一是翻譯。 如果你有一個沒有翻譯的國際產品，你應該考慮一下。 這會立即促使更多人開始使用您的產品。 第二件事是認證。 您的大多數產品可能都知道用戶帳戶，您可以在其中注冊產品，然后返回并登錄到您的產品。 你會驚訝這有多難。 從 Airbnb，我知道我們花了很多年的時間致力于認證。 注冊并登錄。 這聽起來很簡單，但事實證明這是一個非常脆弱的時刻，用戶有點像在你的產品中流動，但你可以繼續進行優化。 如果你今天去 Airbnb 和 Pinterest，假設認證方面的任何內容都是最優化的版本。 這些公司花費大量時間優化注冊轉換。 轉換率優化的另一個重要領域是入職。 所以，當我談到你的產品時，我首先體驗到的是什么？產品能做些什么來讓我盡快達到產品的價值？這些是你在入職時所做的工作。 然后這里的另一個大領域是購買轉換，所以有點像當我要買東西的時候，一個產品，實際上可以圍繞你所做的做最后的決定，這里有很多事情你可以做。 All right. 所以，有一種叫做生長通道的東西。 那么什么是增長渠道呢？增長渠道是人們發現你的產品的方式。 現在，當你是一個小公司，我不知道你們有多大，但假設你的用戶少于 50 個。 你不應該真的在考慮成長渠道。 即使你只有不到 5000 個用戶，你可能也不應該考慮這個問題，因為這太早了。 但是，當你小的時候，你做的事情如果不按比例排列，就會有“不按比例排列”這個詞，這是有原因的。 它們實際上不按比例縮放。 很少有公司不通過這些可擴展的增長渠道發展壯大。 沒有那么多的平臺，通道/平臺可以以同樣的方式使用。 世界上沒有那么多東西是真正的，真正的大，你可以建立一個大公司。 我們來談談這些頻道是什么。 這里的第一件事基本上是你對你的產品的行為進行思考，讓我們來談談這里的第一件事，也就是說，如果我發現你的產品的方式是一種罕見的行為，人們使用谷歌來找到你的解決方案。 事實上，世界上有很多產品正在被發現。 如果你有什么東西可以回答關于你做什么的問題，一年一次，你去谷歌，如果你正在建立一個公司試圖回答這個問題，你應該在谷歌上。 一個很好的例子就是買房子。 你買房子的次數不會超過兩次，這意味著當你去買房子的時候，你可能會去谷歌，這并不奇怪，像 Zillow 或 Redfin 或所有允許你在線購買房子的不同網站都是完全可選的。搜索引擎優化，有時收費搜索。 如果你每天都在使用一些東西，你就不會每天回到谷歌。 你要直接去那個產品。 您將在手機上打開應用程序。 不管是什么，你都要直接去網站。 你不會再去谷歌了，只是想弄清楚我會用哪種不同的東西。 現在，谷歌不是唯一的搜索引擎。 還有其他搜索引擎，你也可以優化，但谷歌是一個這一切都重要。 下一個行為。 我的產品已經有人用口碑分享了嗎？如果是這樣的話，那么圍繞病毒性和轉介你可以做很多事情。 您可以通過加速現有用戶的行為來擴展產品。 你可以在你得到報酬的地方通過推薦來激勵他們，或者你可以免費使用暴力手段。 有更多的用戶使用我的產品真的能改善我的體驗嗎？我的意思是什么？好吧，如果我正在構建下一個 LinkedIn，當我們所有人都在 LinkedIn 上的時候，這個產品就沒有那么有價值了，但是當更多的人和公司在 LinkedIn 上的時候，價值的增加是有意義的。 從這個意義上說，你應該繼續進行惡意攻擊，因為每個用戶都是吸引更多用戶的機會。 這是另一種思考陽剛之氣的方法。 然后，這是我在 YC 早期問公司的一個常見問題：你能列出世界上所有使用我的產品的人的名單嗎，字面上的電子表格？比如說，我賣給那些決定……去醫生辦公室，去醫生辦公室的買家。 好吧，我可以列出所有在美國或加利福尼亞的醫生辦公室。 不會那么難的。 這是完全可能的。 所以我會找到一種方法來列清單，然后出去做銷售。 這是令人驚訝的事情，通常，是你應該開始的事情。 如果你能列出清單，如果你知道那些人是誰，你應該去做銷售。 最后一個問題是我的用戶是否具有高 LTV？我的產品是否足夠貴？好吧，那么我一定要去做，支付收購，例如谷歌和 Facebook。 我不應該做收購或付費廣告，除非我真的為我的產品收費。 All right. 我將逐一檢查。 對于所有的人來說，不可能深入到超深層的細節，但是我要深入到其中一些人，而不是其他人。 All right. 我們來談談推薦。 所以我在 Airbnb 的轉診項目上工作了很長時間。 考慮轉介的方式有點像是一個精心設計的每月字。 因此，如果人們已經在談論你的產品，那么推薦就是一種讓更多人談論你的產品的方法。 有一種方法可以讓事情變得更簡單。 另一種方法是利用財政激勵。 因此，在 Airbnb 推薦計劃中，我們有一個經濟激勵機制，作為推薦人，我會為每一個注冊旅游信用卡的用戶賺取 20 美元，作為裁判，我將獲得 40 美元作為 Airbnb 旅游信用卡的新用戶。 我們會從這一原則開始，然后盡可能多地通過我們的推薦渠道獲得我們所說的人。 你注意到我又用了漏斗這個詞。 每種產品都是漏斗。 即使是被推薦的產品，也有自己的漏斗，這是 Airbnb 內部的一種產品。 我不打算詳細介紹所有這些細節，但是你對某種工程和產品導向的思考方式是，你把它分解成不同的步驟，然后測量這些步驟中的每一個步驟，然后測量轉換率到第二。 這里的第一步是每周都有活躍的用戶看到推薦計劃。 那么有多少用戶看到了推薦計劃？如果我不測量這一步，我就不知道有多少人這樣做了。 當我們開始測量這一步驟時，我在許多其他有推薦計劃的公司中也看到了這一點，那就是只有一小部分活躍用戶看到了推薦計劃。 好吧，如果你看不見，怎么能指望你用呢？我們在 Airbnb 的早期就開始測量它了。 結果發現，有很多機會只是告訴人們你有一個推薦計劃，但所有這些機會都可以通過這個漏斗進行優化。 有人發送邀請，他們發送了多少，新用戶的轉換率，新客戶，最后給他們預訂他們的前 10 個晚上。 這是另一個展示。 此幻燈片稍后將在網上提供，因此您不必做筆記或拍照。 我們將漏斗分為更為詳細的部分，并且我們將繼續優化這些年。 因此，一切都很重要，我們將繼續優化多年。 我將介紹一個類似于我們為推薦計劃所做的轉換率優化的例子。 這是他們的推薦邀請電子郵件。 如果有人，如果我邀請了某人……你們中的一個，你會收到一封電子郵件。 郵件會說：“古斯塔夫·阿爾斯特·默邀請你去 Airbnb。 古斯塔夫第一次在 Airbnb 旅行時給你寄了 40 美元。 你可以預定一個房間，小閣樓。 只要在 2018 年 5 月 25 日前注冊，“然后有一個按鈕叫“接受邀請”，然后有一張我和我名字的照片。 看起來不錯。 現在，這封郵件是幾十個實驗的結果。 這里沒有隨機的。 這里的一切都是有原因的。 我們來談談。 第一個是主題行。 主題行有我的名字。 如果它被發送給我的任何一個朋友，那他們就更有可能打開它。 電子郵件的標題有明確的價值。 這封郵件的內容非常非常清楚。 你會驚訝于有多少郵件沒有清晰的標題和明確的郵件價值。 這封郵件是關于你第一次訪問這個名為 Airbnb 的網站時，我給你寄了 40 美元。 這就是“2018 年 5 月 25 日前報名”的緊迫性。 您應該在 2018 年 5 月 25 日之前注冊。 這就是讓你真正去的緊迫性，它增加了看到這封郵件的人真正去做它的機會。 這里的名字“接受邀請”，是一種排他性的感覺。 它沒有說“注冊”是有原因的。 因為注冊，任何人都可以注冊。 通過接受邀請發送了一個排他性的想法。 最后，它還有我的名字，我住的地方，以及我用我的照片使用 Airbnb 的時間。 這是我支持這個網站的有力的社會證據。 我認可這個產品。 你這樣想的方式就是你如何看待所有的會話速率優化。 這是一組優化。 工資增長。 這是我不會深入到[聽不清]的領域之一。 對工資增長至關重要的是，除非你有收入，否則你不應該這樣做。 太多的公司在沒有收入或不知道如何盈利的情況下購買廣告。 那是個大錯誤。 你不應該那樣做。 如果你有收入，有幾個概念真的很重要。 第一個問題：我要為每個新用戶支付多少錢？這被稱為客戶獲取成本或 CAC。 我通過工資增長獲得的用戶的終身價值或回報時間是多少？這意味著：以某種程度的準確性，我能預測的最長時間是什么？預測這些用戶的價值是多少？如果一個用戶每月支付 10 美元，然后我們可以進行這個隊列分析，我們在開始[聽不清]保留，我們可以確切地知道我們的用戶將價值多少。 如果我的客戶獲取成本低于我的終身價值，那就好了。 這意味著你有很好的回報時間。 如果你只為一個用戶支付 20 美元，這意味著如果你每個月賺 10 美元，你大概有兩個月的回報時間。 它比這復雜，但有點像簡化版。 這些是薪酬增長需要牢記的最重要的概念。 歸屬。 如果事情變得復雜，這很重要。 如果同時使用谷歌和 Facebook，如果你進入了某種程度的規模，你需要理解將一個新的付費用戶歸因于你花費的美元意味著什么。 我不會太詳細地說明這意味著什么，但如果你把時間花在工資增長上，你應該學會這一點。 最后，在我看來，只有四個渠道可以管理這種規模：Facebook、Instagram、Google 和 YouTube。 這些都是非常，非常大的工資增長渠道，許多公司都是通過這些天建立起來的。 在我看來，一個無法言喻的事實是，許多自由增長渠道正在下降，工資渠道也在上升。 一個很好的例子是，除非你支付 Facebook 的錢，否則很難在 Facebook 新聞訂閱上增長。 Instagram 也是如此。 它總是在變化。 當有了一個新的平臺，他們通常會在一開始就推廣免費用戶，然后開始將其貨幣化。 這就是今天 Facebook、谷歌和 Instagram 所發生的事情。 All right. 搜索引擎優化。 搜索引擎優化或搜索引擎優化。 有些人可能會說，這是過去的事了。 根據我的經驗，事實并非如此。 這仍然很重要，因為只要我們回到谷歌，就可以決定我們將來要做什么，這很重要。 谷歌可能是世界上最大的網站之一。 這是一件大事。 關于 SEO，你應該知道的一點是，你在網站上看到的和谷歌看到的有區別。 谷歌看不到圖片。 谷歌不能很容易地查看 javascript。 如果你去 Airbnb 看到了所有這些，記住谷歌看不到。 所以，如果你試圖與在谷歌上搜索斯德哥爾摩或斯德哥爾摩公寓的人交流，這不是要被送回谷歌的。 如果你做了正確的事情，谷歌將會看到你在代碼中標記出來的一排文本，如果你做了正確的事情，谷歌很有希望將它們編入索引。 如果你沒有，那你的錯也會是你的錯。 所以有很多基本的東西你可以用 SEO 來做，你只要做對就行了。 你能做的最簡單的事情就是通過一個 SEO 瀏覽器運行你的網站，試著弄清楚如果你只看到這個，你能理解你的產品是關于什么的嗎？所以使用清晰的語言，而不是用 JavaScript 來描述你的產品所做的是你能為 SEO 做的最基本的事情。 搜索引擎優化有兩個不同的領域。 這是最高水平。 在 Airbnb，有一個由 20 人組成的團隊，其中 12 人或 13 人是工程師。 這是一個非常，非常大的問題，但這是一個很高的層次。 搜索引擎優化有兩種類型。 你可以在你的網站上改變，世界上還有其他人鏈接到你的網站。 這是你在搜索引擎優化上的兩個主要杠桿。 對于頁面優化，正確的開始方法不是從“哦，讓我們做些改變”開始，正確的開始方法是從策略開始。 我想排名的目的是什么？今天谷歌上有哪些關鍵詞我可能想成為頭號搜索結果？現在，要做到這一點，你必須做所謂的關鍵字分析或關鍵字研究。 你必須試著找出人們正在尋找的所有可能與我的產品有關的東西是什么？然后，希望他們有大量的搜索量，然后我可以試著說，好吧，這些關鍵詞有一個中等到高的量，他們沒有太多的競爭圍繞這些關鍵詞，那些是我想要排名的。 當您決定這樣做時，頁面優化的其他方面現在變得更容易了，因為現在您知道了您要排名的目的。 在規模上，但是我也看到過小規模的 SEO，在這一點上，SEO 是關于 SEO 實驗的，這意味著您可以在 SEO 中做一組最佳實踐。 你可能會成為一家規模不錯的公司。 但是，如果你想成為一個大公司，一個真正的，真正的大公司誰是通過搜索引擎優化成長，你必須使用實驗作出這些決定。 另一件重要的事情是頁面外優化：誰在鏈接到你。 有很多工具你可以用來找出誰是網上所有鏈接到你的網站。 他們的領域是什么，權威？他們在網絡上是否有權威的東西……如果我鏈接到你的網站或者紐約時報鏈接到你的網站，會有很大的不同。 在谷歌對你的網站的認知中，這一點非常重要。 Airbnb 的一個令人驚訝的方式是，我們有很多媒體，世界上很多媒體都會來報道 Airbnb。 這對于我們的頁面外優化非常重要。 如果有人在新聞界或其他領域報道你，那實際上是件好事。 如果你沒有人在寫關于你的文章，那么，你就不會有那么多的鏈接，因為網絡已經改變了。 再也沒有鏈接了。 現在不是每個人都有一個鏈接到一起的網站。 這些都改變了。 你必須對你從誰那里得到鏈接有策略性。 你能做的最簡單的方法就是每當你被任何人寫下來，按什么，只要讓他們鏈接到你。 這對你很重要。 我最不想談的是成長團隊。 如今的增長團隊通常是工程師、數據科學家、設計師、產品經理、最終用戶研究人員。 這些并不是你現在在公司里可能擁有的所有人，但這些是你開始圍繞增長做出決定時將擁有的公司。 組織成長團隊的方式有兩種選擇。 您要么將成長團隊作為自己的團隊，而產品的其余部分則是產品團隊。 這里的挑戰是，當你是一個小公司，并且你對增長不太了解的時候，你經常會說，“我雇了一個增長工程師。 我雇了成長產品經理。 那個人將要做公司所有的成長，“這不是一個真正的成功秘訣。 這是一種很好的平衡，即說每個人都要對增長負責，但這不起作用，并且擁有一個負責所有增長的小團隊。 你得在這里找到平衡點。 找到平衡的正確方法是在你的產品中設定明確的目標和明確的分界線。 這里的一個很好的例子可能是每個在核心產品中工作的人，這就是你的產品的價值……比如說我很有興趣，為員工管理工資單是核心產品。 現在，每個人都試圖體驗到類似于“味覺生長區”的體驗。 所以這是區分增長和產品的一個簡單方法。 你如何決定要做什么？你只需簡單地計算一下你的努力是什么，我想在這里嘗試的最小可行的事情是什么，以及結果會有多大？在你真正開始工作之前，一定要試著預測結果，因為如果你在預測一些事情，最好是在小情況下，你不應該這樣做，即使這是一個很低的努力。 All right. 我還有兩小段話要講。 第一個就是做決定。 如果你今天問 Airbnb 的任何產品經理，“你在 Airbnb 學到的最重要的工具或學習是什么，你將應用到你的下一件事上？”他們會說實驗或者實驗框架或者在公司內部做 A/B 測試的方法。 我很高興 Suhali 能晚些時候再談，因為我從他在網上找到的投資者資料中偷了一句話。 這是一句話：世界上大多數人都會通過猜測或利用直覺做出決定。 他們不是幸運就是錯誤。 如果你不使用數據和實驗就繼續做決定，你將是幸運的或是錯誤的。 這是個大問題。 如果你達到了 Airbnb 的比例或者比這個更小的比例，那么你要做的每一個決定，如果你不使用 A/B 測試，你就不會真正知道這個決定的真正結果是什么。 在 Airbnb，我們使用實驗和？對整個公司的每個重大決策進行測試。 這就是該工具在 Airbnb 的工作原理。 我要更詳細地談談這個樣子。 假設在您的公司中，您決定發布一個功能。 這是每天測量的公制單位數，星期三我將在未來發貨。 他們會在兩周后看，然后看，這個特性的指標上升了，所以這是一件好事，對吧？嗯，這并不容易，因為有很多不同的因素。 誰知道這之間發生了什么？如果你是一個足球應用程序，世界杯剛剛開始，那么，你就不知道這些功能是否起了作用。 如果這僅僅是你做任何事情的旺季，這是一個學校應用程序，教育應用程序，現在是九月，那么你也不會知道。 所以你唯一能知道的就是所謂的反事實。 基本上是 A/B 測試。 通過同時運行同一功能、同一站點的兩個不同版本，您將能夠了解做出此決定與不做出此決定之間的真正區別。 這聽起來可能有點技術性，但內化非常非常重要，因為你將達到一個你成功的階段，直到那一點，你認為你非常擅長做出這些決定，然后他們變得更難做出。 你必須有一個框架來做這些決定。 因為這在 Airbnb 非常重要，所以我們構建了一個稱為 ExperimiInterview 的東西。 ExperimiInterview 是指當整個成長團隊在這樣的房間里會面時，他們會瀏覽我們最近構建的所有功能，在我們告訴你實驗中哪些不同的功能真正獲勝之前，我們會詢問觀眾。 所以我要和你們在一起。 這是一張體驗式互動的照片。 我們每兩三個星期就做一次。 真的很有趣。 但它讓我們明白了一件事，那就是產品決策非常困難。 All right. 我們開始吧。 該產品的目標是增加 Airbnb 移動應用程序的股票數量，特別是上市股票數量。 當時，我們有兩個選擇。 我們有你會知道的本地共享表，然后我們有這個實驗共享表，它占據整個屏幕，有更多的顏色。 同樣類型的按鈕，有點。 你可以看到這里的區別。 現在，在我給出答案之前，有多少人認為本地股票導致了更多的股票？舉起你的手。 大約是房間的一半。 有多少人認為我們的一個工程師建立的新的股份表推動了更多的股份？舉起你的手。 這么多人沒有舉起手來。 我假設你們認為沒有區別。 因為這很難，你必須做出決定。 你必須做出決定。 你必須有自己的意見。 如果你在這里沒有意見，你基本上是在說，“我不能決定”，所以。 這張股票表使股票增加了 40%。 在這種情況下，我們使用實驗是非常重要的，因為如果我們只是憑直覺走了，我們就錯了。 一半的房間，一半以上的房間都是錯的。 我們再來一次。 所以我們把這封郵件發給現有的 Airbnb 用戶，大概是……當我在 Airbnb 訂票時，我們把這封郵件發給我列為我的共同旅行者的人，郵件會像這樣在控件中顯示，在那里它會有行程，地址，以及電子郵件上的 e 按鈕會說，“加入 Gustaf 的旅行”。現在我們嘗試了一個新版本，在這個版本中，電子郵件看起來有點不同，內容更少，然后我們在這里有一個不同的按鈕，叫做“接受 Gustaf 的旅行邀請”。這里的目標是獲得注冊，所以人們必須點擊這個按鈕，然后注冊。 有多少人認為“加入古斯塔夫的旅程”在控制下導致了更多的簽約？舉起你的手。 一些人。 這里有多少人認為“接受古斯塔夫的旅行邀請”？舉起你的手。 That’s good. 有多少人認為沒有區別？所以這是一個 14%的增長，只是改變了，基本上按鈕的名稱。 為了簡單起見，我們再來一次。 在這種情況下，現在他們共享實驗。 我想給你一些很容易理解的。 這里的控件有點像 Airbnb 列表上的一堆共享選項。 我們有一些 Twitter 圖標，Facebook 圖標，電子郵件圖標。 我們有另一個版本，圖標是圓形的。 然后我們有一個被稱為方形按鈕的按鈕，它只是顯示電子郵件和 Facebook，然后他們可以點擊更多。 這里有多少人認為，如果目標是共享的，那么擁有圖標的控件獲勝了？舉起你的手。 Some people. 這里有多少人認為圓形紐扣更好？舉起你的手。 Some people. 有多少人認為方形按鈕？真的。 你們真的很好。 有多少人認為沒有區別？嗯，這兩個都是贏家。 這是迄今為止最大的贏家。 這些是我們討論過的事情，因為我們進行實驗，所以你不必再爭論了。 產品決策非常困難。 在規模上，你想用實驗，A/B 測試來做這些決定，因為否則，這將是房間里最響亮的聲音，他們會做出決定，而你不想這樣。 概括地說，如果你在經營一家初創企業，你應該考慮發展。 在你開始研究成長策略之前，你應該測量你的記憶力，知道人們是否在使用你的產品，是否在重復使用你的產品。 您應該選擇一個度量標準，然后為該度量標準選擇一個目標，并將該度量標準推向該目標。 非常簡單。 然后，最終，但不是馬上，您應該開始運行 A/B 測試來做出難以做出的決定。 在早期，做決定并不難，因為它們可能是顯而易見的，但當它們不再容易的時候，你應該通過實驗來做到這一點。 謝謝您。 我想我們有時間問幾個問題。 對。 > Audience: 你說過實驗對搜索引擎優化很重要。 除了隨機做一些事情然后用 A/B 測試，你還有什么框架或者方法可以考慮嘗試實驗嗎？ > Gustaf A.: 所以問題是圍繞實驗和 SEO。 你打算怎么做？當你運行一個頁面上的實驗時，你要測試的是你從谷歌獲得的有機流量的數量，以及你的排名是如何變化的。 谷歌實際上一直在改變排名，所以如果你在你的網站上做了很大的改變，比如說，讓我們打電話給你關于 Airbnb 的案例，列出頁面…對不起。 搜索結果頁。 所以斯德哥爾摩，倫敦，舊金山，我們[聽不清]一組，然后你有紐約，巴黎和巴塞羅那是另一組。 您可以更改第一組頁面上的內容，但不能更改其他頁面。 在不太長的時間內，你會看到或多或少的流量會從谷歌流向這些群體中的任何一個。 有時，沒有什么區別，但如果有區別，你會看到更多的交通。 我會給你一個想法，你可以做一個很小的改變。 例如，讓我們將標題標簽從“Airbnb Listings”更改為“巴塞羅那的 25 個最佳列表”。其中一個將排名更高，因為點擊會更具吸引力，然后您向搜索引擎運行該實驗，然后搜索引擎將根據你在搜索引擎上獲得的流量，告訴你哪個更好。 Yes. > Audience: 假設我們完全接受了 A/B 測試的[聽不清]，但我們是非常早期的啟動公司，好像我們沒有足夠的流量。 這是我們團隊爭論的一個問題，我們想要 A/B 測試，但感覺不值得這樣做，因為結果不可靠。 你如何，你有什么指導來引導這種轉變？ > Gustaf A.: 所以問題是圍繞 A/B 測試。 當我真的很早的時候，我該如何確定它是否適合我？所以 A/B 測試是一個變化的函數，所以你可以有一個中小型的受眾。 如果變化足夠大，實際上是可以顯著的。 這些數字可能很重要。 現在，你能做的就是去做，你可以去谷歌，輸入 A/B 測試計算器。 會彈出一個表單，您可以輸入您擁有的度量，然后再輸入更改。 你可以看到變化有多大，你才能看到不同。 現在，如果你真的非常小，你可能根本不應該做 A/B 測試，所以我會做 A/B 測試，當你有足夠的流量，你可以看到一個中小型變化，比如說，兩到三周內。 所以我想說一個小的變化是百分之幾。 如果你能在幾周內看到這一點，就像你能達到的那樣。 這可能是我的一般建議。 我當然看到過很多公司都很早就開始接受 A/B 測試，然后就開始指導他們的決策了。 我不認為這是個壞主意，因為我認為這是太多了……最好開始得早一點，而不是開始得太晚。 如果只有這兩個選項。 當然，你從正確的時間開始。 是的。 > Audience: [聽不清]如何看待醫療保險等高門檻進入市場的增長？ > Gustaf A.: 如何將增長應用于醫療保險等高門檻進入市場？所以我認為你應該把你在那個市場和市場本身的增長速度分開。 如果很難接觸到人，那就意味著你可能要嘗試接觸更多的人，然后才能真正得到某種……如果是高的……告訴我你所說的高障礙是什么意思。 > Audience: 比如說，有一點，有了保險，你必須做風險分擔，對嗎？你必須有很多人[聽不清]才能讓一個人想買你的產品，因為這是一種[聽不清]，但還有一堆規則和[聽不清]在上面？ > Gustaf A.: 是的，所以如果你有風險和監管，我不認為增長的原則會改變，但是如果你純粹是通過銷售來增長，例如，你可以將很多自動化和技術應用于如何進行銷售。 如果我是一家公司，在初創公司向保險買家推銷，我可能會先發郵件給 10 個人。 事實上，我可以給 100 人或 1000 人發郵件，郵件的級別相同……郵件本身有點像是個人的，直接發送給接收者，就好像我發了一封自己剛寫的郵件一樣。 當然，有一些東西可以應用到你的成長中，讓你接觸到更多的人。 現在，增長根本無法解決任何風險挑戰。 它不能解決任何主要的市場問題。 Airbnb 在不同市場的法律挑戰中確實存在很多問題，因此增長與此脫節。 這不是我們的目標。 如果你是一個有這些問題的初創企業，我認為你不應該解決它們……解決它們和解決成長是兩件不同的事情。 他們彼此很不一樣。 增長是一種加速你找到更多健康保險買家的方法。 事實上，無論這是好事還是壞事，它都沒有說出來。 是啊。 > Audience: 在使用 Uber 這樣的非可持續策略（聽不見）市場上，你有什么智慧嗎？ > Gustaf A.: 在 Uber 這樣的新市場中，我是否有使用非可持續策略的智慧？所以，如果你做的事情規模不大，你有兩個選擇。 一個是它們不能伸縮，所以你最終應該停止這樣做。 或者你建立一個劇本，在那里你學習這些技能，并嘗試在不同的城市。 現在，他們可能最終不會擴大規模，所以假設我是手動招聘優步驅動程序的。 現在這可能是一種不可持續的增長策略。 它可能對前 20 個驅動程序有效，但最終，與在 Facebook 上發布招聘驅動程序的廣告相比，它不會有很高的投資回報率。 我認為你必須確定我在一開始就做的這個手工的事情，這是做一些不可擴展的事情，這是招募每一個用戶成為你的產品的用戶，最終將不再工作，你必須找到另一個渠道，否則它將與其他渠道相比，投資回報率不高。 大多數公司都會經歷這樣一個過渡期，即從手動編寫內容到通過工程編寫內容，然后更改網站，從而獲得更多搜索流量。 > Audience: 他們是如何為游樂設施提供大量補貼的呢？ > Gustaf A.: 那么，為游樂設施提供補貼或獎勵呢？嗯，我實際上認為激勵措施是超級可擴展的。 和 Airbnb 一樣，我們還有推薦計劃。 他們正在注冊，我不知道每天有幾十萬的用戶，其中大部分都是通過轉介注冊的，所以這是一個補貼實際上是可擴展的例子。 現在，我在你手里給你一張優惠券是不可擴展的，但是通過電子郵件系統，通過 Whatpp 或信使或其他渠道，這樣做實際上是可擴展的，只要你不賠錢。 你必須對你分發的錢有一個非常好的投資回報率計算，并且知道這是一個增量的錢，如果你不給錢，那些用戶就不會真正開始使用你的產品。 所以只要你能很好地處理這件事，那就很好了。 Yes. > Audience: 我們談論了很多關于產品營銷的話題，其中[聽不清]提到，在你真正投資于增長之前，你必須實現這一點，所以我的[聽不清]應用程序，我們有 3%的用戶在支付高級功能的費用，但其他 97%的用戶在使用免費功能，但[聽不清]這些 GUY 一天使用它超過兩個小時，所以他們非常喜歡這些免費的功能，[聽不清]不愿意為高級功能付費。 那么，在我們投資于這一增長之前，我想我們如何才能找到那些自由的……（聽不清）仍然可以實現（聽不清）增長的東西呢？ > Gustaf A.: 問題是，他們有兩組用戶：先是免費用戶，然后是付費用戶，其中一些用戶非常活躍，其中一些用戶并不活躍，但至少他們不想付費，如何利用那里的增長？我想弄清楚的一件事是，那些付費用戶的保留率是多少？他們是否真的堅持使用他們所購買的產品？免費用戶的保留率是多少？一旦他們開始付錢，那會改變嗎？然后我會看看轉化率，或者像這樣，我轉化成付費用戶的比例是多少？有很多不同的方法。 有一個是自由人的概念。 你也可以有一個自由的蹤跡，這意味著你實際上沒有自由人。 你可以只擁有一組非常有限的免費用戶，然后他們就得去付費了。 但歸根結底，在某種程度上，你應該增加所有這些，歸根結底就是你從這些，你看重的用戶那里得到了多少使用。 如果付費用戶是你最看重的人，如果他們在三個月后停止使用你的產品，那么你會遇到比這兩個群體之間的對話更為根本的問題。 所以我還是會回到保留期，看看這些人的使用情況，看看他們是否真的堅持使用產品？最后一個問題。 是的，在后面。 > Audience: 唯一的問題是，我有一個朋友，他是一家初創企業的產品增長負責人，當這個人告訴我實驗對他們來說確實很困難時，我有點吃驚。 有沒有理想的或健康的實驗頻率？ > Gustaf A.: 所以問題是有時實驗真的很難執行。 是否有一個理想的頻率，或者我應該實際運行哪個實驗？對于市場這樣的東西，實驗真的很難。 沒錯。 在這種情況下，這比在線設置一個簡單的工具或使用 mixpanel 設置簡單的 A/B 測試要困難。 比這更困難。 如果你有一個簡單的產品漏斗，如果你有一個工程師，如果你有相當多的流量，那么建立實驗通常就不那么困難了。 設置它并不難。 現在，有不同種類的產品使實驗變得更困難。 我認為，如果你處在一個交通繁忙的階段，在我看來，你沒有真正的選擇。 您需要投資一些級別的基礎設施，才能使用數據做出決策。 如果你不這樣做，另一個代價是你最終會做出很多錯誤的決定，或者是很長時間，或者他們很幸運。 你很幸運，因為他們是對的或者你錯了。 所以你沒有選擇，但是你做實驗。 確實，有些產品的試驗很容易。 如果你正在運行一個移動應用程序，實驗就不那么困難了。 有很多工具可以用來運行實驗。 如果你沒有實驗的想法，那么，你應該回到用戶研究領域，看看其他的產品……比如 Pinterest、Airbnb 或 Facebook，它們可能是高度優化的，所以它們漏斗里的很多東西都是為了達到很高的速度。A/B 測試導致的 CIFIC 原因。 我沒有比你不做更好的答案了，你會有很多其他的問題。 在頻率方面，建立一個實驗是有成本的，并且這個成本應該盡可能的最小化。 但這有點像你應該試著更好地掌握它，選擇你能測試的最簡單、最小的東西，然后測試它。 如果您有一個要測試的新特性，那么，只需測試該特性的第一部分。 不要測試所有的特性，看看人們對特性的第一部分有什么反應。 我可以談上幾個小時，但非常感謝。 （沉默）