# 策略:在 S3 或 GitHub 上運行可擴展,可用且廉價的靜態站點
> 原文: [http://highscalability.com/blog/2011/8/22/strategy-run-a-scalable-available-and-cheap-static-site-on-s.html](http://highscalability.com/blog/2011/8/22/strategy-run-a-scalable-available-and-cheap-static-site-on-s.html)
我曾經從事過的最好的項目之一是創建一個幾乎完全靜態的大規模網站發布系統。 一支由非常有才華的創意團隊組成的龐大團隊進行了藝術創作,作者撰寫了內容,設計師生成了模板。 所有資產均由數據庫控制。 然后,在應用了許多不同的過濾器之后,所有內容都被提取到了一個靜態站點,該站點通過 ftp 上傳到了數十個 Web 服務器。 效果很好。 可靠,快速,便宜且簡單。 更新有些麻煩,因為它需要將大量文件推送到許多服務器,這需要時間,但要有一個可靠的系統。
A,這個優雅的系統被替換為一個新的基于動態數據庫的動態系統。 內容是使用動態語言生成的前端從數據庫中提取的。 借助 Amazon 的沃納·沃格斯(Werner Vogels)的最新系列文章,記載了他利用 S3 的網頁服務能力將他的 [All Things Distributed](http://www.allthingsdistributed.com/) 博客轉換為靜態站點的經驗,我很高興 問:我們又回到靜態網站了嗎?
提出這個問題很高興,因為在許多方面,完全靜態的站點是內容繁重站點的圣杯。 靜態站點是其中文件(html,圖像,聲音,電影等)位于文件系統中的站點,并且 Web 服務器直接將 URL 轉換為文件,然后直接從文件系統讀取文件并將其吐出到 瀏覽器通過 HTTP 請求。 **在此路徑中,**不會出錯。 沒有太多的錯誤是一種美德。 這意味著您無需擔心任何事情。 它將正常工作。 而且它會隨著時間的推移繼續工作,產生一些誤點,并為繁重的站點提供服務,而靜態站點則要困難得多。
這是 Werner 使網站靜態的方式:
* S3-存儲文件并為網站提供服務,創建沒有服務器的網站。 S3 不是您唯一的選擇,但對他而言顯然是一個選擇。 我們還將討論更多有關使用 Github 和 Google App Engine 的信息。
* [Disqus](http://disqus.com/) -以獲得評論。
* 必應-[網站搜索](http://www.orangetreeweb.com/articles/installing-bing-site-search.html)。 Google 希望網站搜索功能每年收費 100 美元。 我記得 Google 免費的時候...
* [DropBox](http://www.google.com/url?sa=t&source=web&cd=1&ved=0CCcQFjAA&url=http%3A%2F%2Fwww.dropbox.com%2F&ei=CfBRTvHINLDUiALTrdiHAQ&usg=AFQjCNGLRmWLy_c8ebbz09BgsukcLpmnwQ&sig2=m9cVWrbTNKXcHuxN6HRXoQ) -用于將網站文件同步到他所在的任何計算機上,以便可以在本地對其進行編輯。 然后,在文件上運行靜態站點生成器。 然后將文件復制到 S3,這使它們可以使用 S3 在 Internet 上使用。
* [Jekyll](http://jekyllrb.com/) -靜態網站生成器。 用 Ruby 編寫,并使用 [YAML](http://yaml.org/) 進行元數據管理,并使用 [Liquid 模板引擎](http://www.liquidmarkup.org/)處理內容。
* [s3cmd](http://s3tools.org/s3tools) -將文件推送到 S3。
* [http://wwwizer.com](http://wwwizer.com) -免費服務,可滿足 S3 要求您的網站在域名中包含 www 的要求。 該服務會將一個裸域名重定向到 www.domain,因此一切正常。 [Joseph Barillari](http://jbarillari.blogspot.com/2011/02/why-you-cant-run-your-website-from.html) 對此問題進行了很好的討論。
描述他的旅程的文章包括: [AWS 的新功能:從 Amazon S3](http://www.allthingsdistributed.com/2011/02/website_amazon_s3.html) 運行您的網站,[最后免費-在 Amazon S3](http://www.allthingsdistributed.com/2011/02/weblog_in_amazon_s3.html) 中運行的完全自我維持的博客,以及[否 服務器必需-Jekyll & Amazon S3](http://www.allthingsdistributed.com/2011/08/Jekyll-amazon-s3.html) 。
對我來說,使用 DropBox 是一個聰明的地方。 DropBox 可以使文件跟隨您,因此您可以在任何計算機上對其進行編輯。 這也是該方法的缺點。 您需要具有完整工具集的本地計算機,這很麻煩。 具有諷刺意味的是,這就是為什么我更喜歡基于云的方法。 我想從任何支持 Web 的設備(例如 iPhone 或 iPad)上運行博客,我不想弄亂程序。
靜態站點是**可伸縮**站點。 Web 服務器或 OS 可以輕松地將受歡迎的頁面緩存在內存中,并像肯塔基州德比的薄荷糖一樣為它們提供服務。 如果單個服務器不堪重負,則可以輕松地從 CDN 中為靜態站點提供服務,也可以將其復制到負載平衡的配置中。 因此,靜態站點是**快速**。 如果您在下面使用分布式文件系統,那么甚至可以避免磁盤緩慢成為熱點的問題。
您可以使用**最喜歡的文本編輯器**編輯內容。 Nice 和**簡單**。
文件系統傾向于**可靠**。 使用 S3 更可靠,**也便宜。 如果出現故障,您可以使用一個簡單的命令重新發布或還原您的站點。 數據庫往往會增加內存容量,填滿表,查詢速度慢以及其他許多煩人的故障模式。 在靜態站點中可以跳過的所有操作。 超越簡單文件服務的 Web 服務器也可以發揮作用。**
靜態站點的問題在于它們是靜態的。 一旦互聯網完全靜止,當然還有眨眼標記和動畫 gif。 然后,CGI 改變了這一切,此后網絡從未停滯不前。
因此,我們要做的是將**所有**動態位外包給服務,并使內容保持靜態。 評論可以由 Disqus 之類的服務處理。 搜索可以由 Bing 處理。 廣告投放已經是一項服務。 就像按鈕一樣,都是無用的 javascript 代碼。 并且,將**安全性**的擔憂(黑客,SQL 注入等)最小化。 這是混搭文化。
而且大多數情況下都有效。 當我不得不將 HighScalability 移出共享托管時,我認真考慮了這種方法。
缺點:
* .htaccess 不能做很多事情。 如果您有很多安全檢查和 URL 映射魔術,那么您無法使用 S3 做到這一點。
* 沒有 PHP 或任何其他語言使用 Web 服務器調用的語言引起的動態性。 您當然可以完全自由地創建服務并將其混入您的站點。 Google App Engine 仍然是此類迷你服務層的絕佳平臺。
對我來說最大的缺點是:
* **不是多用戶**。 這種限制影響了網站的各個方面。 我希望多個人能夠向 HighScalability 添加內容。 我想給用戶特殊的特權。 我想分配角色。 我想控制某些用戶可以看到的內容。 SquareSpace 與其他內容管理系統一樣具有此功能。 靜態站點生成器生成的站點不具備這些功能。
* **加入**。 這些工具可讓用戶與您的網站互動,因此希望他們能堅持更長的時間。 諸如歷史上最熱門的帖子,文章的閱讀次數,最新的帖子列表,標簽云等功能。 使用靜態生成器更難做到這些。
* **獲利者**。 這些功能可以幫助您賺錢。 它們通常包括參與者,但可以包括諸如電子郵件列表注冊,相關內容推薦,白皮書匹配,注冊咨詢服務,贊助商文本鏈接等功能。 難以在靜態系統上實現。 一個顯而易見的解決方案是擁有一個通用的 CMS 元數據服務,所有混搭服務都可以使用該服務,但是這種服務可能不會實現。
對于構建靜態網站,S3 并非唯一的游戲。 Github 也可以用來托管靜態網站。 可以通過簡單的 git push 生成和更新博客。 這樣可以將所需的已安裝程序集減少到更易于管理的級別。 現在您甚至不需要 git。 您可以使用文件的網絡界面直接編輯文件。 它的工作方式是 Github 每次將更改推送到存儲庫時都會自動構建您的網站。 此處有更多詳細信息: [GitHub Pages](http://pages.github.com/) ,[發布帶有 GitHub Pages 和 Jekyll](http://blog.envylabs.com/2009/08/publishing-a-blog-with-github-pages-and-jekyll/) 和 [Github 作為 CDN](http://code.lancepollard.com/posts/github-as-a-cdn/) 的博客。
Google App Engine 還是靜態網站的替代方案。 更多詳細信息,請訪問: [DryDrop,使用 GAE 和 Github](http://openalexandria.com/2010/08/drydrop-manage-static-web-site-with-gae-and-github/) 管理靜態網站。
現在有些推動將博客移至**社交網絡**網站,例如 Google+。 優點是您擁有一個內置的機制來吸引更多的讀者,強大的討論功能,增加參與的可能性,無需花費,設備可用性出色且無需維護。 對于不需要獲利的博客,這是一個很好的選擇。 盡管我確實擔心當您想跳到下一個流行的社交網絡時發生的情況,而所有舊內容僅僅是灰塵。
包起來:
* 如果您的博客嚴格講內容,那么靜態網站方法是可伸縮,快速,廉價,靈活和可靠的。 我們現在擁有豐富的工具集,可以使靜態網站成為現實。
* 如果您的博客不在網上,那么請把時間花在社交網絡(包括 StackExchage,Quora 等)上而不是博客上。
* 如果要提高用戶參與度或通過其他方式創造性地通過博客獲利,則 CMS 是更好的選擇。
* 如果您想在博客上擁有多個用戶和內容創建者,那么 CMS 是一個更好的選擇。
因此,有關創建靜態網站的更多鏈接:
* [由 Jean-Michel Lacroix 在 CloudFront](http://jmlacroix.com/archives/cloudfront-hosting.html) 上托管靜態網站
* [在 Jean-Michel Lacroix 上在 CloudFront](http://jmlacroix.com/archives/cloudfront-publishing.html) 上發布靜態網站
* [ponyHost-已死的簡單 s3 網站](http://ponyho.st/)
* [Hyde](http://ringce.com/hyde) -Hyde 是由 Python 支持的靜態網站生成器& Django
* [Nanoc](http://nanoc.stoneship.org/) -是一種 Ruby 網絡發布系統,可在您的本地計算機上運行,??并將以 Markdown,Textile,Haml 等格式編寫的文檔編譯到由簡單 HTML 文件組成的靜態網站中,隨時可以上傳到任何網站 網絡服務器。
* [博客工具](http://joshua.schachter.org/2009/12/blogging-tools.html),作者:joshua schachter
* [仙人掌](https://github.com/koenbok/Cactus)-靜態網站生成器。
* [jekyll vs. hyde-兩個靜態網站生成器的比較](http://www.reddit.com/r/programming/comments/hcxvc/jekyll_vs_hyde_a_comparison_of_two_static_site/)
* [jekyll-s3]( https://github.com/versapay/jekyll-s3) -將您的 Jekyll 博客推送到 Amazon S3!
嗨,托德,很高興寫出來。 我絕對同意你提到的缺點。 對我來說,這確實是一種鍛煉,它使我可以做無服務器工作。 并了解我們可以在 AWS 方面做得更好。
具有靜態插件生成器 Jekyll 或 Cactus 的功能完備的多用戶 CMS 和 Wordpress 等豐富的插件生態系統僅領先幾年。 但是自從我上一篇文章發表以來,人們一直在向我發送其他靜態生成器的參考,并且工具的發展也多種多樣。 毫無疑問,Jekyll 確實是“像黑客一樣博客”,因此具有您所期望的所有粗糙邊緣。 例如,一個擁有很多帖子(例如您的帖子)的網站將需要進行認真的組織以使其在 Jekyll 中易于管理。
我確實喜歡這種設置的分散性。 我可以從任何地方寫信并更新網站。 鑒于我是唯一的作家,所以自然缺乏并發:-)但是能夠在您可能沒有本地安裝 jekyll 的地方寫文章也是我當然也想做的事情。 我喜歡 Ted Kulp 在[《自動化 Jekyll 構建](http://tedkulp.com/2011/05/22/automating-jekyll-builds/)》中所做的工作,他基本上在服務器上有一個進程在監視保管箱文件夾。 當他在其中發布帖子時,網站將重新生成并推送到 S3。 它仍然需要在某個地方的服務器,但是我很確定我可以將其外包給 Heroku,而不必自己運行某些東西。 我只是很開心地看到我可以把它推多遠...
這就是我對您的文章 Werner 所喜歡的,顯然,您可以從整體上解決問題。 一起騎很有趣!
我做了一點測試,瀏覽了瀏覽器歷史記錄的最后一周,并嘗試進行反向工程,以通過靜態生成器(比 Werner 的更高級的生成器,可以用我的想象力)來提供多少內容,一旦獲得 過去搜索引擎的搜索結果,并排除了我的個人網站(電子郵件,Twitter,Facebook 等),基本上所有頁面都可以設置(我編造了這個詞,需要簡短說明)。
在規模化或系統簡化的對話中,幾乎從未提及過標準化。 一旦對網站進行了注冊,則在提供服務的方式上就根本不同:將 PHP-mysql 堆棧提供的頁面與 S3 存儲桶或 Akamai 邊緣服務器提供的頁面進行比較,大約等于 1。 系統資源方面的差異為 10K FOLD(如今,可以通過單核完成 c10K)。
身份認證可以應用于很多網頁(不僅是博客),但是 AFAIK 并沒有很好的食譜(任何人都知道嗎?),并且它似乎并不是大多數開發人員常用的工具(或者也許是 只是不夠性感而無法獲得大量媒體報道)。
就我個人而言,我非常樂于將任何和所有功能(出于某種原因)推到盡可能遠地遠離后端(即數據庫)和盡可能遠地進入前端(即瀏覽器)的位置,這是擴展和尊重數據的關鍵 本地化,因此感謝你們倆提醒人們使用此技術:多動腦筋意味著多用戶 CMS 靜態生成器就近了,所以我可以更快地得到我的網頁:)。
Bing 網站搜索小部件已于 2011 年 2 月撤消。
http://www.bing.com/community/site_blogs/b/webmaster/archive/2011/04/19/bing-com-siteowner-shut-down-options-for-search-results.aspx
關于允許用戶向 HighScalability 添加/編輯內容的方式:如果將靜態站點文件保存在{git,hg,bzr}存儲庫中,則可以允許用戶克隆本地存儲庫,進行更改然后推送 它們返回給您,您可以在此處查看并推送到 S3。 這樣做甚至可能會為您的 Dropbox 節省一些空間,因為您可以在 Dropbox 上保留一個裸{git,hg,bzr}倉庫,然后將其推送并拉到本地計算機上。 我對很多代碼都這樣做,而且即使我沒有互聯網連接(因此無法推送到 github),我也很喜歡,我可以做一個`git push dropbox master`并知道下一次我 連接后,我的存儲庫將備份到我的 Dropbox。
關于@Jonathon Prior 的聲明,我前不久在 HN 上看到了這一點:http://jeffkreeftmeijer.com/2011/introducing-tapir-simple-search-for-static-sites/
保羅,那是硬核,但很有趣。 我的第一個念頭是那種方法會使人嚇跑,但也許不會。 我沒有得到我想要的貢獻,也許 git 方法會更有吸引力?
喬納森,謝謝你。 當我可以在 Bing 的網站上找到搜索時,我以為是我。 ir 看起來很有趣。
在我看來,最好的方法仍然是在需要時靜態使用 AJAX。 IOW,以靜態方式提供 html / css / javascript 文件,然后讓 javascript 為您創建“動態”頁面。 由于客戶端計算機正在執行 GUI 處理工作,而不是服務器,因此這有助于擴展。
當然,仍然需要“動態” REST 端點等。這種分離對于輕松開發基于同一數據源的多個用戶界面也非常有用。
我猜這完全符合您提到的“混搭”文化。 :)
這是一篇很棒的文章,強調了主要提供靜態內容的優勢。 現實情況是,大多數站點只能以最少的動態內容獲得成功,而且很多站點實際上還是靜態的。 使用 Bricolage 在 www.groupcomplete.com 上發布我們的網站已經取得了巨大的成功。 Bricolage 并不是新手或花哨的東西,但是在將內容與模板分離,將最終結果內容推送到我們的服務器方面做得非常出色,確實消除了擔心動態 CMS 是否崩潰或遭受最新安全漏洞的麻煩。 。
“ ... Web 服務器或 OS 可以輕松地將流行的頁面緩存在內存中,并像肯塔基州德比的薄荷糖一樣為它們提供服務...”
那接近文學。 做得好。
有趣的是,大型企業維護的大多數公司網站都依賴這種方法,而大多數企業級 CMS 實際上是“離線”的。 在 IT 運營和安全性方面,這種方法有很多好處。 但是,主要原因是這些 CMS 具有早期 Web 時代的傳統,而動態網站是異國情調的。 這樣事情就轉了一圈了。
您是否可以在某個地方使用私人 CMS 來編輯和維護頁面文本(必須通過 Jekyll 或所需的任何生成器來維護授予的 CSS)-這樣,如果您在 CMS 中編輯了頁面,則可以通過以下方式輕松地更新靜態網站: 只是從數據庫中實時再生?
這可能允許 wordpress 安裝在您的桌面安裝上變為私有-然后將 static 推送到 S3。 兩全其美-在 CMS 中易于使用的編輯-快速的網站服務以及消除了互聯網使用的數據庫調用?
準系統 CMS 是生成 CMS 的靜態文件。 內置緩存足以滿足大多數用途,但是如果您將 nginx 之類的服務器放在前面,并使用一些特殊規則查找緩存文件,則只需提供直接生成的緩存內容,從而完全繞過 PHP。 這樣,除了硬件可以提供靜態內容的速度有多快之外,您顯然對系統性能沒有任何限制。 它尚未完全可以用作博客,但將 Barebones CMS 變成一個似乎并不困難。
高可擴展性! 同類中最好的。
進入靜態站點-博客引擎 MovableType 支持靜態發布-http://www.movabletype.org/documentation/administrator/publishing/static-and-dynamic-publishing.html 用于高流量博客。 如果我們通過 javascript 處理動態內容,則靜態發布會非常有用。
謝謝
甚至以慢而著稱的 CMS 都會吃掉幾乎所有可能的早餐負載,除非您在體系結構上不滿意,例如,將 Apache KeepAlive 保留下來。
我想看一個像 jekyll 這樣的博客生成器,但是像 frontpage 這樣的 gui(顯然,生成更好的代碼)
- LiveJournal 體系結構
- mixi.jp 體系結構
- 友誼建筑
- FeedBurner 體系結構
- GoogleTalk 架構
- ThemBid 架構
- 使用 Amazon 服務以 100 美元的價格構建無限可擴展的基礎架構
- TypePad 建筑
- 維基媒體架構
- Joost 網絡架構
- 亞馬遜建筑
- Fotolog 擴展成功的秘訣
- 普恩斯的教訓-早期
- 論文:Wikipedia 的站點內部,配置,代碼示例和管理問題
- 擴大早期創業規模
- Feedblendr 架構-使用 EC2 進行擴展
- Slashdot Architecture-互聯網的老人如何學會擴展
- Flickr 架構
- Tailrank 架構-了解如何在整個徽標范圍內跟蹤模因
- Ruby on Rails 如何在 550k 網頁瀏覽中幸存
- Mailinator 架構
- Rackspace 現在如何使用 MapReduce 和 Hadoop 查詢 TB 的數據
- Yandex 架構
- YouTube 架構
- Skype 計劃 PostgreSQL 擴展到 10 億用戶
- 易趣建筑
- FaceStat 的禍根與智慧贏得了勝利
- Flickr 的聯合會:每天進行數十億次查詢
- EVE 在線架構
- Notify.me 體系結構-同步性
- Google 架構
- 第二人生架構-網格
- MySpace 體系結構
- 擴展 Digg 和其他 Web 應用程序
- Digg 建筑
- 在 Amazon EC2 中部署大規模基礎架構的六個經驗教訓
- Wolfram | Alpha 建筑
- 為什么 Facebook,Digg 和 Twitter 很難擴展?
- 全球范圍擴展的 10 個 eBay 秘密
- BuddyPoke 如何使用 Google App Engine 在 Facebook 上擴展
- 《 FarmVille》如何擴展以每月收獲 7500 萬玩家
- Twitter 計劃分析 1000 億條推文
- MySpace 如何與 100 萬個并發用戶一起測試其實時站點
- FarmVille 如何擴展-后續
- Justin.tv 的實時視頻廣播架構
- 策略:緩存 404 在服務器時間上節省了洋蔥 66%
- Poppen.de 建筑
- MocoSpace Architecture-一個月有 30 億個移動頁面瀏覽量
- Sify.com 體系結構-每秒 3900 個請求的門戶
- 每月將 Reddit 打造為 2.7 億頁面瀏覽量時汲取的 7 個教訓
- Playfish 的社交游戲架構-每月有 5000 萬用戶并且不斷增長
- 擴展 BBC iPlayer 的 6 種策略
- Facebook 的新實時消息系統:HBase 每月可存儲 135 億條消息
- Pinboard.in Architecture-付費玩以保持系統小巧
- BankSimple 迷你架構-使用下一代工具鏈
- Riak 的 Bitcask-用于快速鍵/值數據的日志結構哈希表
- Mollom 體系結構-每秒以 100 個請求殺死超過 3.73 億個垃圾郵件
- Wordnik-MongoDB 和 Scala 上每天有 1000 萬個 API 請求
- Node.js 成為堆棧的一部分了嗎? SimpleGeo 說是的。
- 堆棧溢出體系結構更新-現在每月有 9500 萬頁面瀏覽量
- Medialets 體系結構-擊敗艱巨的移動設備數據
- Facebook 的新實時分析系統:HBase 每天處理 200 億個事件
- Microsoft Stack 是否殺死了 MySpace?
- Viddler Architecture-每天嵌入 700 萬個和 1500 Req / Sec 高峰
- Facebook:用于擴展數十億條消息的示例規范架構
- Evernote Architecture-每天有 900 萬用戶和 1.5 億個請求
- TripAdvisor 的短
- TripAdvisor 架構-4,000 萬訪客,200M 動態頁面瀏覽,30TB 數據
- ATMCash 利用虛擬化實現安全性-不變性和還原
- Google+是使用您也可以使用的工具構建的:閉包,Java Servlet,JavaScript,BigTable,Colossus,快速周轉
- 新的文物建筑-每天收集 20 億多個指標
- Peecho Architecture-鞋帶上的可擴展性
- 標記式架構-擴展到 1 億用戶,1000 臺服務器和 50 億個頁面視圖
- 論文:Akamai 網絡-70 個國家/地區的 61,000 臺服務器,1,000 個網絡
- 策略:在 S3 或 GitHub 上運行可擴展,可用且廉價的靜態站點
- Pud 是反堆棧-Windows,CFML,Dropbox,Xeround,JungleDisk,ELB
- 用于擴展 Turntable.fm 和 Labmeeting 的數百萬用戶的 17 種技術
- StackExchange 體系結構更新-平穩運行,Amazon 4x 更昂貴
- DataSift 體系結構:每秒進行 120,000 條推文的實時數據挖掘
- Instagram 架構:1400 萬用戶,1 TB 的照片,數百個實例,數十種技術
- PlentyOfFish 更新-每月 60 億次瀏覽量和 320 億張圖片
- Etsy Saga:從筒倉到開心到一個月的瀏覽量達到數十億
- 數據范圍項目-6PB 存儲,500GBytes / sec 順序 IO,20M IOPS,130TFlops
- 99designs 的設計-數以千萬計的綜合瀏覽量
- Tumblr Architecture-150 億頁面瀏覽量一個月,比 Twitter 更難擴展
- Berkeley DB 體系結構-NoSQL 很酷之前的 NoSQL
- Pixable Architecture-每天對 2000 萬張照片進行爬網,分析和排名
- LinkedIn:使用 Databus 創建低延遲更改數據捕獲系統
- 在 30 分鐘內進行 7 年的 YouTube 可擴展性課程
- YouPorn-每天定位 2 億次觀看
- Instagram 架構更新:Instagram 有何新功能?
- 搜索技術剖析:blekko 的 NoSQL 數據庫
- Pinterest 體系結構更新-1800 萬訪問者,增長 10 倍,擁有 12 名員工,410 TB 數據
- 搜索技術剖析:使用組合器爬行
- iDoneThis-從頭開始擴展基于電子郵件的應用程序
- StubHub 體系結構:全球最大的票務市場背后的驚人復雜性
- FictionPress:在網絡上發布 600 萬本小說
- Cinchcast 體系結構-每天產生 1,500 小時的音頻
- 棱柱架構-使用社交網絡上的機器學習來弄清您應該在網絡上閱讀的內容
- 棱鏡更新:基于文檔和用戶的機器學習
- Zoosk-實時通信背后的工程
- WordPress.com 使用 NGINX 服務 70,000 req / sec 和超過 15 Gbit / sec 的流量
- 史詩般的 TripAdvisor 更新:為什么不在云上運行? 盛大的實驗
- UltraDNS 如何處理數十萬個區域和數千萬條記錄
- 更簡單,更便宜,更快:Playtomic 從.NET 遷移到 Node 和 Heroku
- Spanner-關于程序員使用 NoSQL 規模的 SQL 語義構建應用程序
- BigData 使用 Erlang,C 和 Lisp 對抗移動數據海嘯
- 分析數十億筆信用卡交易并在云中提供低延遲的見解
- MongoDB 和 GridFS 用于內部和內部數據中心數據復制
- 每天處理 1 億個像素-少量競爭會導致大規模問題
- DuckDuckGo 體系結構-每天進行 100 萬次深度搜索并不斷增長
- SongPop 在 GAE 上可擴展至 100 萬活躍用戶,表明 PaaS 未通過
- Iron.io 從 Ruby 遷移到 Go:減少了 28 臺服務器并避免了巨大的 Clusterf ** ks
- 可汗學院支票簿每月在 GAE 上擴展至 600 萬用戶
- 在破壞之前先檢查自己-鱷梨的建筑演進的 5 個早期階段
- 縮放 Pinterest-兩年內每月從 0 到十億的頁面瀏覽量
- Facebook 的網絡秘密
- 神話:埃里克·布魯爾(Eric Brewer)談銀行為什么不是堿-可用性就是收入
- 一千萬個并發連接的秘密-內核是問題,而不是解決方案
- GOV.UK-不是你父親的書庫
- 縮放郵箱-在 6 周內從 0 到 100 萬用戶,每天 1 億條消息
- 在 Yelp 上利用云計算-每月訪問量為 1.02 億,評論量為 3900 萬
- 每臺服務器將 PHP 擴展到 30,000 個并發用戶的 5 條 Rockin'Tips
- Twitter 的架構用于在 5 秒內處理 1.5 億活躍用戶,300K QPS,22 MB / S Firehose 以及發送推文
- Salesforce Architecture-他們每天如何處理 13 億筆交易
- 擴大流量的設計決策
- ESPN 的架構規模-每秒以 100,000 Duh Nuh Nuhs 運行
- 如何制作無限可擴展的關系數據庫管理系統(RDBMS)
- Bazaarvoice 的架構每月發展到 500M 唯一用戶
- HipChat 如何使用 ElasticSearch 和 Redis 存儲和索引數十億條消息
- NYTimes 架構:無頭,無主控,無單點故障
- 接下來的大型聲音如何使用 Hadoop 數據版本控制系統跟蹤萬億首歌曲的播放,喜歡和更多內容
- Google 如何備份 Internet 和數十億字節的其他數據
- 從 HackerEarth 用 Apache 擴展 Python 和 Django 的 13 個簡單技巧
- AOL.com 體系結構如何發展到 99.999%的可用性,每天 800 萬的訪問者和每秒 200,000 個請求
- Facebook 以 190 億美元的價格收購了 WhatsApp 體系結構
- 使用 AWS,Scala,Akka,Play,MongoDB 和 Elasticsearch 構建社交音樂服務
- 大,小,熱還是冷-條帶,Tapad,Etsy 和 Square 的健壯數據管道示例
- WhatsApp 如何每秒吸引近 5 億用戶,11,000 內核和 7,000 萬條消息
- Disqus 如何以每秒 165K 的消息和小于 0.2 秒的延遲進行實時處理
- 關于 Disqus 的更新:它仍然是實時的,但是 Go 摧毀了 Python
- 關于 Wayback 機器如何在銀河系中存儲比明星更多的頁面的簡短說明
- 在 PagerDuty 遷移到 EC2 中的 XtraDB 群集
- 擴展世界杯-Gambify 如何與 2 人組成的團隊一起運行大型移動投注應用程序
- 一點點:建立一個可處理每月 60 億次點擊的分布式系統的經驗教訓
- StackOverflow 更新:一個月有 5.6 億次網頁瀏覽,25 臺服務器,而這一切都與性能有關
- Tumblr:哈希處理每秒 23,000 個博客請求的方式
- 使用 HAProxy,PHP,Redis 和 MySQL 處理 10 億個請求的簡便方法來構建成長型啟動架構
- MixRadio 體系結構-兼顧各種服務
- Twitter 如何使用 Redis 進行擴展-105TB RAM,39MM QPS,10,000 多個實例
- 正確處理事情:通過即時重放查看集中式系統與分散式系統
- Instagram 提高了其應用程序的性能。 這是如何做。
- Clay.io 如何使用 AWS,Docker,HAProxy 和 Lots 建立其 10 倍架構
- 英雄聯盟如何將聊天擴大到 7000 萬玩家-需要很多小兵。
- Wix 的 Nifty Architecture 技巧-大規模構建發布平臺
- Aeron:我們真的需要另一個消息傳遞系統嗎?
- 機器:惠普基于憶阻器的新型數據中心規模計算機-一切仍在變化
- AWS 的驚人規模及其對云的未來意味著什么
- Vinted 體系結構:每天部署數百次,以保持繁忙的門戶穩定
- 將 Kim Kardashian 擴展到 1 億個頁面
- HappyPancake:建立簡單可擴展基金會的回顧
- 阿爾及利亞分布式搜索網絡的體系結構
- AppLovin:通過每天處理 300 億個請求向全球移動消費者進行營銷
- Swiftype 如何以及為何從 EC2 遷移到真實硬件
- 我們如何擴展 VividCortex 的后端系統
- Appknox 架構-從 AWS 切換到 Google Cloud
- 阿爾及利亞通往全球 API 的憤怒之路
- 阿爾及利亞通往全球 API 步驟的憤怒之路第 2 部分
- 為社交產品設計后端
- 阿爾及利亞通往全球 API 第 3 部分的憤怒之路
- Google 如何創造只有他們才能創造的驚人的數據中心網絡
- Autodesk 如何在 Mesos 上實施可擴展事件
- 構建全球分布式,關鍵任務應用程序:Trenches 部分的經驗教訓 1
- 構建全球分布式,關鍵任務應用程序:Trenches 第 2 部分的經驗教訓
- 需要物聯網嗎? 這是美國一家主要公用事業公司從 550 萬米以上收集電力數據的方式
- Uber 如何擴展其實時市場平臺
- 優步變得非常規:使用司機電話作為備份數據中心
- 在不到五分鐘的時間里,Facebook 如何告訴您的朋友您在災難中很安全
- Zappos 的網站與 Amazon 集成后凍結了兩年
- 為在現代時代構建可擴展的有狀態服務提供依據
- 細分:使用 Docker,ECS 和 Terraform 重建基礎架構
- 十年 IT 失敗的五個教訓
- Shopify 如何擴展以處理來自 Kanye West 和 Superbowl 的 Flash 銷售
- 整個 Netflix 堆棧的 360 度視圖
- Wistia 如何每小時處理數百萬個請求并處理豐富的視頻分析
- Google 和 eBay 關于構建微服務生態系統的深刻教訓
- 無服務器啟動-服務器崩潰!
- 在 Amazon AWS 上擴展至 1100 萬以上用戶的入門指南
- 為 David Guetta 建立無限可擴展的在線錄制活動
- Tinder:最大的推薦引擎之一如何決定您接下來會看到誰?
- 如何使用微服務建立財產管理系統集成
- Egnyte 體系結構:構建和擴展多 PB 分布式系統的經驗教訓
- Zapier 如何自動化數十億個工作流自動化任務的旅程
- Jeff Dean 在 Google 進行大規模深度學習
- 如今 Etsy 的架構是什么樣的?
- 我們如何在 Mail.Ru Cloud 中實現視頻播放器
- Twitter 如何每秒處理 3,000 張圖像
- 每天可處理數百萬個請求的圖像優化技術
- Facebook 如何向 80 萬同時觀看者直播
- Google 如何針對行星級基礎設施進行行星級工程設計?
- 為 Mail.Ru Group 的電子郵件服務實施反垃圾郵件的貓捉老鼠的故事,以及 Tarantool 與此相關的內容
- The Dollar Shave Club Architecture Unilever 以 10 億美元的價格被收購
- Uber 如何使用 Mesos 和 Cassandra 跨多個數據中心每秒管理一百萬個寫入
- 從將 Uber 擴展到 2000 名工程師,1000 個服務和 8000 個 Git 存儲庫獲得的經驗教訓
- QuickBooks 平臺
- 美國大選期間城市飛艇如何擴展到 25 億個通知
- Probot 的體系結構-我的 Slack 和 Messenger Bot 用于回答問題
- AdStage 從 Heroku 遷移到 AWS
- 為何將 Morningstar 遷移到云端:降低 97%的成本
- ButterCMS 體系結構:關鍵任務 API 每月可處理數百萬個請求
- Netflix:按下 Play 會發生什么?
- ipdata 如何以每月 150 美元的價格為來自 10 個無限擴展的全球端點的 2500 萬個 API 調用提供服務
- 每天為 1000 億個事件賦予意義-Teads 的 Analytics(分析)管道
- Auth0 體系結構:在多個云提供商和地區中運行
- 從裸機到 Kubernetes
- Egnyte Architecture:構建和擴展多 PB 內容平臺的經驗教訓
- 縮放原理
- TripleLift 如何建立 Adtech 數據管道每天處理數十億個事件
- Tinder:最大的推薦引擎之一如何決定您接下來會看到誰?
- 如何使用微服務建立財產管理系統集成
- Egnyte 體系結構:構建和擴展多 PB 分布式系統的經驗教訓
- Zapier 如何自動化數十億個工作流自動化任務的旅程
- Jeff Dean 在 Google 進行大規模深度學習
- 如今 Etsy 的架構是什么樣的?
- 我們如何在 Mail.Ru Cloud 中實現視頻播放器
- Twitter 如何每秒處理 3,000 張圖像
- 每天可處理數百萬個請求的圖像優化技術
- Facebook 如何向 80 萬同時觀看者直播
- Google 如何針對行星級基礎設施進行行星級工程設計?
- 為 Mail.Ru Group 的電子郵件服務實施反垃圾郵件的貓捉老鼠的故事,以及 Tarantool 與此相關的內容
- The Dollar Shave Club Architecture Unilever 以 10 億美元的價格被收購
- Uber 如何使用 Mesos 和 Cassandra 跨多個數據中心每秒管理一百萬個寫入
- 從將 Uber 擴展到 2000 名工程師,1000 個服務和 8000 個 Git 存儲庫獲得的經驗教訓
- QuickBooks 平臺
- 美國大選期間城市飛艇如何擴展到 25 億條通知
- Probot 的體系結構-我的 Slack 和 Messenger Bot 用于回答問題
- AdStage 從 Heroku 遷移到 AWS
- 為何將 Morningstar 遷移到云端:降低 97%的成本
- ButterCMS 體系結構:關鍵任務 API 每月可處理數百萬個請求
- Netflix:按下 Play 會發生什么?
- ipdata 如何以每月 150 美元的價格為來自 10 個無限擴展的全球端點的 2500 萬個 API 調用提供服務
- 每天為 1000 億個事件賦予意義-Teads 的 Analytics(分析)管道
- Auth0 體系結構:在多個云提供商和地區中運行
- 從裸機到 Kubernetes
- Egnyte Architecture:構建和擴展多 PB 內容平臺的經驗教訓