# Clay.io 如何使用 AWS，Docker，HAProxy 和 Lots 建立其 10 倍架構 > 原文： [http://highscalability.com/blog/2014/10/6/how-clayio-built-their-10x-architecture-using-aws-docker-hap.html](http://highscalability.com/blog/2014/10/6/how-clayio-built-their-10x-architecture-using-aws-docker-hap.html) *這是 [Zoli Kahan](http://insignia.zolmeister.com/#/) 來自 [Clay.io](http://clay.io/) 的[客人轉發。](http://zolmeister.com/)*  這是我的新系列`10x`中的第一篇文章，我在 [Clay.io](http://clay.io/) 中分享我的經驗以及如何做事，以與一個小組一起大規模發展。 如果您覺得這些事情有趣，我們正在招聘- [[受電子郵件保護]](/cdn-cgi/l/email-protection) ## 云端 ### 云耀斑 [](https://www.cloudflare.com/) [CloudFlare](https://www.cloudflare.com/) 處理我們所有的 DNS，并充當具有某些其他 DDOS 保護功能的分布式緩存代理。 它還處理 SSL。 ### Amazon EC2 + VPC + NAT 服務器 [](http://aws.amazon.com/) 我們幾乎所有服務器都生活在 Amazon EC2 上，其中大多數是中型或大型實例。 我們還使用 Amazon VPC 將我們的某些服務器托管在外部無法訪問的專用網絡中。 為了進入這個專用網絡，我們有一個 NAT 服務器，它也用作我們的 VPN 端點，在與內部網絡配合使用時使用。 （[指南](http://docs.aws.amazon.com/AmazonVPC/latest/UserGuide/VPC_Scenario2.html)， [OpenVPN](https://openvpn.net/index.php/open-source/documentation/howto.html) ） ### 亞馬遜 S3 我們將 Amazon S3 用作 CDN 后端，該后端托管了我們的所有靜態內容。 為此，我們使用一個單獨的域：`cdn.wtf`（出于安全和性能方面的考慮）（無 cookie 的域）。 ### HAProxy [HAProxy](http://www.haproxy.org/) 是一種性能卓越的反向代理，可用于將流量路由到我們的不同服務。 由于 Clay.io 的性質及其對平臺支持的關注（以及對遺留代碼的支持），這項工作并不輕松，我將在以后的文章中詳細介紹。 當前，我們在 m3.medium 實例上只有一個 HAProxy 服務器，但是會隨著流量的增加而升級。 此外，如有必要，我們可以在前面添加 Amazon ELB 以水平縮放。 ### 應用服務器-Docker [](https://www.docker.com/) [Docker](https://www.docker.com/) 是用于管理 Linux 容器的工具，該工具類似于虛擬機，但開銷較小（并且沒有隔離和安全保證）。 Docker 的關鍵在于，無論主機看起來如何，容器內部交付的代碼都應運行相同的代碼。 當前，我們通過 Docker 在`app server`上運行大多數計算服務。 可以輕松地復制該服務器以滿足彈性需求，并且可以輕松地上下移動服務。 最終，我們希望使用 Kubernetes 之類的工具來管理這些應用服務器。 （請參閱文章底部） ### 登臺 App Server-Docker 我們的登臺環境服務器與我們的應用程序服務器相同，并且運行與生產環境中完全相同的 docker 二進制文件。 這種環境對于防止生產系統不必要的損壞和停機至關重要。 ## 數據 ### 的 MySQL [](http://www.mysql.com/) [MySQL](http://www.mysql.com/) 是生產強化的關系 SQL 數據庫。 目前，我們的絕大多數數據都位于主從 MySQL 群集中。 我們有一個主服務器和兩個從屬服務器，它們為我們的用戶提供大部分查詢。 最終，我們可能不得不移動表或將單個主服務器分片，但希望一段時間不會。 ### Logstash [](http://logstash.net/) [Logstash](http://logstash.net/) 是一種日志聚合工具，具有 Kibana 集成用于分析。 它基本上處理了我們所有的應用程序日志，并為我們提供了在出現問題時檢查錯誤的地方。 它使我們不必通過 SSH 進入計算機來檢查日志。 ### MongoDB [](http://www.mongodb.org/) [MongoDB](http://www.mongodb.org/) 是 NoSQL 文檔存儲數據庫。 當前，我們將 mongodb 用于某些開發人員端點以及 A / B 測試框架 [Flak Cannon](https://github.com/claydotio/flak-cannon) 。 ### 記憶快取 [Memcached](http://memcached.org/) 是一個鍵值存儲，主要用于緩存。 在許多方面，它與 Redis 類似。 當前，我們在舊版 Web 應用程序中使用 Memcached 來緩存 MySQL 查詢結果。 最終，我們希望將其替換為 Redis。 ## 開發運維 ### Ansible [](http://www.ansible.com/home) [Ansible](http://www.ansible.com/home) 已成為我們管理服務器的首選工具。 對于大多數開發人員而言，它非常簡單，可以快速學習并樂于使用，并且對于自動化通常由運營團隊管理的許多流程至關重要。 ## 其他服務 ### 的 GitHub [GitHub](https://github.com/) -很棒的源代碼管理，已經足夠了。 ### 正常運行時間機器人 [正常運行時間機器人](https://uptimerobot.com/)是免費的監控服務，我們用于監控我們的健康檢查和端點。 如果有任何問題，它將在 5 分鐘內通過電子郵件和短信發送給我們。 ### Drone.io [Drone.io](https://drone.io/) 是一項持續集成服務，我們使用該服務為各種項目持續運行我們的測試套件。 它類似于 TravisCI，并且最近發布了一個開源的可自我托管版本。 ### Docker 注冊表 我們目前使用官方 [Docker 注冊表](https://registry.hub.docker.com/)管理我們的 Docker 容器。 除了 Docker 容器外，它與 GitHub 類似。 ### 新遺物 [New Relic](http://newrelic.com/) 是服務器和應用程序監視服務，我們主要用于監視服務器，以便在計算機磁盤或內存不足時通知我們 ### 谷歌分析 [Google Analytics](http://www.google.com/analytics/) 是我們的主要網站分析跟蹤工具。 為了跟蹤我們特定于站點的功能，我們使用自定義事件功能。 ### Google Apps [Google Apps](http://www.google.com/enterprise/apps/business/) 為我們的域 clay.io 提供電子郵件，并為我們的組織提供了共享的 Google 云端硬盤設置。 ### 最后通行證 [Last Pass](https://lastpass.com/) 是一種密碼管理服務，使我們可以在團隊中輕松共享上述所有其他服務的公司憑據。 ## 未來 雖然我們目前對今天的設置感到滿意，但我們希望在接下來的幾個月中對其進行改進。 最初的基礎架構版本缺少一些功能，這些功能并不需要花足夠的時間來證明，但是隨著我們的擴展，我們最終將需要重新使用它們。 [Kubernetes](https://github.com/GoogleCloudPlatform/kubernetes) 希望成為一個令人驚嘆的大規模管理 Docker 容器的項目和工具。 我們將密切關注其發展，并希望隨著項目的成熟將其投入生產。 [Amazon Glacier](http://aws.amazon.com/glacier/) 是我們一直在尋找的用于進行數據庫備份的另一項技術，并希望在不久的將來實現。 [RethinkDB](http://rethinkdb.com/) 雖然還很不成熟，但卻是一個非常有趣的項目。 我們肯定會關注它的進展，并且隨著我們離開 MySQL，最終可能會將一些數據移入其中。 好奇如果 NewRelic 也可以進行可用性監視，為什么他們使用 Uptime Robot？ 單個 HAProxy 服務器聽起來像是發生故障，等待中..：/ 考慮到 clay.io 的 Alexa 排名超過 100,000，這似乎有點過分設計。 請問您每月在托管上花費多少？