# Fotolog 擴展成功的秘訣 > 原文： [http://highscalability.com/blog/2007/10/2/secrets-to-fotologs-scaling-success.html](http://highscalability.com/blog/2007/10/2/secrets-to-fotologs-scaling-success.html) Fotolog 是一個以照片為中心的社交博客網站，從 2004 年的 30 萬用戶增長到 2007 年的 1100 萬用戶。盡管他們最初經歷了快速增長的不可避免的痛苦，但他們克服了問題，現在管理著 3 億張照片和 80 萬張照片 每天都會添加新照片。 產生如此美妙的內容的是每月有 2000 萬唯一身份訪問者，以及每天由 30,000 新用戶組成的志愿軍。 他們的表現如此出色，一個令人印象深刻的求婚者以 9000 萬美元的高價買下了他們。 這樣的規模可以滿足任何人的成功標準。 他們是如何做到的呢？ 網站：http：//www.fotolog.com ## 信息來源 * [擴展世界上最大的照片博客社區](http://www.slideshare.net/frankmashraqi/fotolog-scaling-the-worlds-largest-photo-blogging-community)* [祝賀 Fotolog 向 Hi-Media 出售$ 90mm 的交易](http://www.beyondvc.com/2007/08/congrats-to-fot.html)* [Fotolog 超越 Flickr 嗎？](http://www.kottke.org/07/01/fotolog-overtaking-flickr)* [Fotolog 吸引了 1100 萬會員和 3 億張照片](http://www.stockphototalk.com/the_stock_photo_industry_/2007/09/fotolog-hits-11.html)* [本周網站：PC Magazine 的 Fotolog.com](http://www.pcmag.com/article2/0,1895,2150030,00.asp)* [CEO John Borthwick 的博客](http://www.borthwick.com/weblog/category/fotolog/)。* [DBA Frank Mash 的博客](http://mysqldatabaseadministration.blogspot.com)* [Fotolog, lessons learnt](http://www.borthwick.com/weblog/2008/01/09/fotolog-lessons-learnt/) by John Borthwick ## 該平臺 * 爪哇* 的 PHP* Sun* Solaris 10* 的 MySQL* 阿帕奇* 冬眠* 記憶快取* [3PAR](http://www.3par.com/index.php) （用于實用程序計算的簡單，高效且可擴展的分層存儲陣列）* [IBRIX](http://www.ibrix.com/) （單個名稱空間并行文件系統，可伸縮的卷管理器，高可用性功能）* 強郵* CDN: Akamai/Panther ## 統計資料 * 從 2002 年開始。在 2004 年，他們有大約 30 萬或 40 萬成員，3 名員工，沒有可擴展的基礎架構，也沒有收入模型。* 由于快速增長，該站點經常遇到技術問題，2005 年他們不得不將新的免費成員限制為每天 1,000 名。* 2007 年，他們擁有超過 1100 萬用戶，并以 9000 萬美元的價格賣給了 Hi-Media。* 成員來自 200 多個國家/地區，多數在南美。 超過 20％的網頁瀏覽量來自歐洲。 他們拒絕了以美國為中心的戰略，而是建立了一個全球性和互動性的受眾。* 每月產生超過 35 億的頁面瀏覽量，每月接待超過 2000 萬的唯一身份訪問者，并獲得了 Alexa 排名前 20 位。* 管理超過 3 億張照片，每天上傳超過 500,000 張照片。* 每天新增 30,000 多個新成員，每天吸引 460 萬以上的用戶。 無需市場營銷或會員激勵即可擴展。* 超過 500 個用戶生成的社區。* 20％的成員每天訪問該網站，平均花費 24 分鐘。* 32 個 MySQL 服務器和 30 個 memcached 服務器群集。 ## 架構 * 網站最初是用 PHP 編寫的。 -他們的新“ Fotolog 成員頁面”功能是用 Java 編寫的，具有顯著的性能改進。 頁面更清潔，響應時間更短。 -他們現在使用不到一半的盒子為網站提供服務。 -由于性能提高以及需要注冊才能發布留言簿消息，因此每日注冊量增加了 35％以上。 -新的代碼庫使他們可以在會員體驗方面進行更多創新。 * 他們已經超過 Flickr，成為了牢固的 Web 1.0 應用程序。 -沒有標簽，沒有 API，沒有 JavaScript 窗口小部件，也沒有 Ajax。 -他們具有西班牙語選項，可以將網站擴展到廣泛的用戶群。 -他們使用的文字很少。 它主要是可視的，因此可以被廣泛的用戶使用。 -他們的界面是可定制的，許多人喜歡表達自己的身份。 -他們的唯一訪問者比 Yahoo 的訪問者少 1 毫米，但網站上的總訪問時間卻是 Yahoo 的兩倍，網頁的訪問時間是 3 倍。 * 收入模式： -金牌會員（每月約 5 美元）意味著您每天可以上傳 6 張照片，而不是 1 張，每張照片有 200 條評論，而不是 20 條，這是您個人資料的自定義標題圖片，是您的微型縮略圖 留言簿中您名字旁邊顯示的最新照片，以及在首頁上顯示您的照片的可能性。 -Adsense。 考慮到來自來賓簿的其他上下文數據，來自 Google 的收入增長趨勢預計約為 15％。 -將在其成員中轉向點對點廣告。 -會員將能夠使用小額付款服務買賣真實和虛擬物品。 * 他們有每天發布一次的規則，即用戶每天只能發布一張照片。 該規則不會抑制增長，而是通過增加觀看照片的機會并吸引正面評論來確保質量并產生出色的用法。 人們通常會在博客上說不出話來，而人們總是可以找到要拍照，上傳和談論的圖片。* 只能上傳小于 2,000 kb 的照片。 它們會自動調整為 500x500 格式。 頁面看起來更整潔，加載速度更快。* 模型正在瀏覽搜索。 鼓勵機會性的偶然性尋寶活動。* 無需許可即可自動添加朋友。 這會為您的照片吸引觀眾。* 支持按組瀏覽功能，該功能具有“顏色”和“情感”等類別。* 該網站特意簡單。 -他們抵制了一個又一個地添加功能的誘惑。 相反，他們的愿景是提供一些功能，類似于 Craig 的列表，重點是內容和對話。 -頁面必須具有社交性。 -頁面不僅需要包含您的圖片，還需要包含來自整個網絡的圖片，以提供可視化導航，從而今天可以驅動他們的會員在網站上花費的大部分時間，這是一個自我形成的有機分布系統，讓會員可以看到 并被看到。 -注釋和留言簿條目是對這種圖像社交網絡的補充，使這種體驗成為媒體與交流相交的地方，每天都有數以百萬計的圖像與數十億次對話相撞。* Photobucket 與 Fotolog -Photobucket 存儲基于圖像的媒體，然后將其分發到 Myspace，Bebo，Piczo，Friendster 等社交網站上的頁面上。 -Fotolog 是目標。 -第一代社交網站強調通過連接（從 Geocities，Tripod 到 Blogger）進行自我發布。 下一代主要關注人際關系（六度和 Friendster 是這里的經典示例-收集朋友和人際關系的工具，因為社會資本在理論上是與人際關系最多的人積累的）。 第三代和當前的站點將媒體與聯系融合在一起-每個站點都有不同的側重點。 * 備份：Sun 6540 磁盤陣列* 他們的 32 臺 SQL 服務器分為四個集群 -用戶，GB（來賓），PH（照片），FF（朋友和收藏夾列表） -使用非持久連接。 -Java 端的連接池。 -InnoDB -分區由應用程序層處理。* 每個群集： -帶有一組應用程序服務器。 -分為一組碎片。 -每個分片都有 MySQL 只讀主-主配置，該配置提供了幾個只讀從屬。 -應用服務器將其讀取請求發送到從屬服務器，并將其寫入請求發送給主服務器。 -基于某種特定于群集的分區密鑰將數據分配給共享。 幼稚的分區算法可能會導致非常不均勻的分片負載，您希望每個分片上的負載更加均衡。* MySQL 僅用于存儲圖像元數據。 這似乎很標準。 幾乎沒有人似乎在數據庫中存儲重要的 Blob，因為它會減慢數據庫操作的速度。* 照片存儲使用 3PAR 和 IBRIX。 CDN 用于熱點內容。* 虛擬存儲系統盡管價格昂貴，但運行良好。* 隨著更多選擇的使用，自動遞增密鑰的鎖爭用也會增加。* 通過數據庫優化，他們已經能夠在同一 32 臺數據庫服務器上從 400 萬成員增長到 1100 萬成員。 這也提高了在 Solaris 10 上運行 MySQL 的效率，并增加了內存緩存群集，移植到 Java 并增加了 RAM。* Happy with memcached. - Created a distributed cluster of 50 memcached servers with a total cache size of approximately 150 gigabytes, supporting around 4 billion page views/month. Peak load times dropped from 10 seconds to 2 seconds. - Quote from [CTO](http://mashraqi.com/labels/memcached.html) : > *我有一個新的內存緩存用戶要添加到您的列表中：我們在世界最大的照片博客社區 Fotolog 上使用它，我們很喜歡。 我剛剛滾動了我們的第一個代碼以將其用于今天的生產，它一直是救生員。 我迫不及待地開始在依靠伯克利數據庫來分擔某些數據庫工作的地方開始使用它。 我們也不是每天瀏覽數百萬頁的網站。 Fotolog 是一個每月十億頁以上的網站（每天對我們而言典型的瀏覽量是 35 到 4000 萬）。 最近，我們克服了一些與數據庫相關的重大性能問題，這些問題使我們的網站流量激增，并且在流量負載沉重的情況下再次陷入停滯（恢復到 10 秒，有時在高峰時段加載頁面）。 每次可以輕松地以相同的形式共享列表至少 5 到 10 分鐘時，服務器就會浪費時間重新創建列表。 因此，我們引入了內存緩存，創建了一個總共有 4 個演出的分布式 30 服務器集群，并制作了一個非常小的代碼 mod 以使用內存緩存，并且我們的高峰時段加載時間回落到 2 秒左右。 它允許持續增長和令人難以置信的效率。 我無法說何時對如此簡單的作品感到滿意。”* ## 得到教訓 * 受歡迎程度是由活躍的用戶群驅動的，而不是豐富的炫酷功能。* 網絡是全球性的，它的尾巴很長。 通過以語言和特定于文化的設計吸引美國以外的用戶，您可以與大個子競爭。 對于 Google，Yahoo 等而言，最艱難的競爭來自本地初創公司，他們著眼于當地人的需求。* 如果您想獲得大量嗡嗡聲，請執行 alpha 怪胎希望您做的任何事情。 如果您想讓很多快樂的用戶去做他們想要您做的事情。* 像詩歌一樣，網站中的約束可以使事情變得出乎意料的更好。 每天只允許用戶發布一張照片的規則創建了一個環境，使人們對彼此的照片發表更多評論，從而創建了一個更加互動的社區。 誰知道？* 限制您的網站。 限制圖片，評論等的大小，以免資源使用量急劇增加。* 有遠見。 對您的網站應該是什么以及為什么要有一個深刻的認識，然后利用這一愿景來決定您應該構建什么以及應該如何構建它。 他們圍繞每日照片構建的社交網站的愿景導致了一個與您的目標是存儲所有照片的網站截然不同的網站。* 可以添加創收功能，而不會破壞網站的完整性。 我非常喜歡他們如何免費為人們提供合理的功能集，然后為他們需要的更多資源收取費用。 這些功能還有助于擴展和增強其網站的社交視野。 看看他們的新獲利策略如何發揮作用將很有趣。* 不要害怕擴大規模。 通過添加更多的緩存，更多的 RAM，更多的 CPU 和更高效的 CPU，您可以在相同數量的計算機上處??理更多的負載。 從數據中心空間和強大的 POV 來看，這是一件好事。* 使 MySQL 執行： -查找問題的根源。 -成熟的系統主要是磁盤綁定的。 -查詢緩存可能會傷害您。 -添加 RAM 以幫助躲避子彈。 -分割磁盤。 -重組表以獲得最佳性能。 -使用 libumem.so 查找內存泄漏。* 要記住的事情： -了解問題 -了解您的應用程序 -了解您的存儲引擎 -了解您的要求 -了解您的預算 -使用所有這些信息來決定 系統的哪些部分真正需要投入時間，金錢和測試才能實現高可用性。 ## 相關文章 * [Flickr 架構](http://highscalability.com/flickr-architecture)* [數據庫設計的非傳統方法：碎片](http://highscalability.com/unorthodox-approach-database-design-coming-shard)的來臨 托德 嗨，我是 Fotolog 的 CTO，您在組裝和分析所有這些信息方面做得非常出色。 知道那里仍有記者愿意做腿法，這真是令人鼓舞。 我只想做幾個小筆記。 在統計方面：我們現在每天大約增加 800,000 張照片...主頁計數器有時可能會滯后。 此外，我們首次實現內存緩存時就寫了內存緩存引號。 我們目前對它的使用更為廣泛。 現在，我們在大約 50 臺服務器上運行它，總緩存大小約為 150 GB，每月支持大約 40 億的頁面瀏覽量。 此外，我們仍處于 ibrix 實現的中間。 再次，偉大的工作。 -沃倫 感謝您的晉升，但我只是一個可替換的程序員部門：-)我必須承認，直到您被收購時，我才聽說過 Fotolog，但這是一個有趣的故事。 您如何將愿景和網站完美地結合在一起，可以學到很多東西。 并感謝您的更新。 那是很多照片，我想您為什么選擇 Ibrix。 您能否談談為什么要使用 Ibrix，希望完成什么以及如何為您工作？ 嗯，內存緩存。 當我*沒有*看到它部署時，我感到很驚訝。 另一方面，我認為這很有趣：“他們有一個每天發布一次的規則，即用戶每天只能發布一張照片。” 我從未聽說過如此嚴格的限制。 - Dustin Puryear 作者，“管理 Linux 和 UNIX 服務器的最佳實踐” [http://www.puryear-it.com/pubs/linux-unix-best-practices](http://www.puryear-it.com/pubs/linux-unix-best-practices) >我從未聽說過如此嚴格的限制。 我認為這不是資源 POV 的局限性，而是創建某種社區的一種方式。 這就是為什么我認為這是一個如此出色的舉動。 信息太少：） 您是否正在使用 memched 將數據緩存在前端 Web 服務器，數據庫或應用程序服務器（或全部）上。 您正在使用哪種應用服務器。 您在應用服務器上使用哪種緩存提供程序？ 它是事務性的嗎（如果不是，您是否在應用程序本身中管理事務，例如通過使用 EJB3 版本注釋）？ 感謝您撰寫此摘要。 我喜歡普及性是關于用戶而不是功能，以及愿景應對公司產生的影響。 我最近在 [http://trooji.wordpress.com/2007/12/04/soviet-vs-us-design-philosophy/](http://trooji.wordpress.com/2007/12/04/soviet-vs-us-design-philosophy/) 閱讀了類似的文章 嗨，沃倫，Fotolog 的 CTO，您將休眠與 memcached 一起使用還是開發了自己的緩存管理系統？ 我想知道是否有人使用 memcached 作為休眠的緩存解決方案。 問題：在此過程中，PNG 是否被用作擴大成功的手段？ 如果是這樣，請描述可能的過程。 感謝您撰寫此摘要。 Fotolog 的驚人發展。 出于好奇，我想知道它使用了哪些收入流來產生收入。 他們打算使用 [http://www.stumblehere.com“](<a rel=) >在線分類還是基于廣告的獲利解決方案？ 這全都與名聲有關。 即使您的網站沒有任何內容，如果您擁有良好的搜索引擎優化 ----- [http://underwaterseaplants.awardspace.com“](<a rel=) >海洋植物 [http://underwaterseaplants.awardspace.com/seagrapes.htm“](<a rel=) >海葡萄... [http://underwaterseaplants.awardspace.com/plantroots.htm “](<a rel=) >植物根 這真的是很棒的信息，謝謝，這正是我所需要的