整個 Netflix 堆棧的 360 度視圖 · HighScalability 中文示例

# 整個 Netflix 堆棧的 360 度視圖 > 原文： [http://highscalability.com/blog/2015/11/9/a-360-degree-view-of-the-entire-netflix-stack.html](http://highscalability.com/blog/2015/11/9/a-360-degree-view-of-the-entire-netflix-stack.html) ![](https://img.kancloud.cn/f9/18/f918d17ff1619d9a3b862c798bd85fb9_225x104.png) *This is a guest?[repost](http://www.scalescale.com/the-stack-behind-netflix-scaling/)?by?[Chris Ueland](http://twitter.com/ChrisUeland), creator of?[Scale Scale](http://scalescale.com/), with a creative high level view of the Netflix stack.* > 隨著我們對擴展的研究和深入研究，我們將繼續涉足 Netflix。他們的故事很公開。這篇文章是我們在 Bryan 的幫助下整理而成的。我們從互聯網上收集了信息。如果您想了解更多信息，我們將在此附上。否則請盡情享受！ > > –克里斯/ ScaleScale / MaxCDN ![](https://img.kancloud.cn/a1/eb/a1eb655f6c4fc83c73cbc73852a863d4_640x591.png) ## 看看我們對 Netflix 如何擴展感興趣的觀點 Netflix 由馬克·蘭道夫（Marc Randolph）和里德·黑斯廷斯（Reed Hastings）于 1997 年在加利福尼亞州斯科茨谷市成立，最初擁有 30 名員工，其中 925 名從事按租金付費。如今，Netflix 已成為全球領先的互聯網電視網絡，在 50 個國家/地區擁有 6900 萬訂戶每月欣賞超過 100 億小時的電視節目和電影。它們非常透明，可以在線發布很多信息。我們已收集并分享了我們認為最有趣的內容： ![](https://img.kancloud.cn/86/04/8604f6e1feee77f1296f04093da07d62_640x222.png) ## 規模文化 NetFlix 有一個關于文化的著名演講。這些概念是關于重新思考人力資源的。他們的許多人員都集中在此演示文稿的原理上。這是一些示例幻燈片和演示。這為文化提供了重要的背景，以了解他們如何擴展軟件堆棧以及其工作原理。 ![](https://img.kancloud.cn/20/2f/202f9e39235ab31aa135bcac7dc47840_638x479.png) ![](https://img.kancloud.cn/9b/2f/9b2f07f6912e76ac5d805c0a31e98cb3_638x479.png) 完整演示文稿在這里[。](http://www.scalescale.com/the-stack-behind-netflix-scaling/#) ## 通過 Amazon 支持許多標題 Netflix 的基礎設施位于 Amazon EC2 上，來自電影制片廠的數字電影原版存儲在 Amazon S3 上。使用云上的機器，根據視頻分辨率和音頻質量，每部電影被編碼為 50 多種不同版本。超過 1 PB 的數據存儲在 Amazon 上。這些數據被發送到內容傳遞網絡，以將內容提供給本地 ISP。 Netflix 在后端使用了許多開源軟件，包括 Java，MySQL，Gluster，Apache Tomcat，Hive，Chukwa，Cassandra 和 Hadoop。 [![](https://img.kancloud.cn/32/6a/326ab4001d93986629210933336403fd_640x322.png)](http://2zmzkp23rtmx20a8qi485hmn.wpengine.netdna-cdn.com/wp-content/uploads/2015/11/netflix-architecture.png) ## 支持多種設備 Netflix 上大量的編解碼器和比特率組合意味著“在將相同的標題交付給所有流媒體平臺之前，必須對其進行 120 次不同的編碼”。盡管 Netflix 使用自適應比特率流技術來調整視頻和音頻質量以匹配客戶的下載速度，但它們還為用戶提供了在其網站上選擇視頻質量的能力。您可以從提供 Netflix 應用程序的任何與 Internet 相連的設備上立即觀看，例如計算機，游戲機，DVD 或藍光播放器，HDTV，機頂盒，家庭影院系統，電話或平板電腦。它們以不同的比特率支持以下編解碼器中的每個標題，以使其在設備和連接上工作。 * 視頻– [VC-1](https://en.wikipedia.org/wiki/VC-1) ， [H.264（AVC）](https://en.wikipedia.org/wiki/H.264)，VC-1， [H.263](https://en.wikipedia.org/wiki/H.263) ， [H.265（HEVC）](https://en.wikipedia.org/wiki/High_Efficiency_Video_Coding) * 音頻– [WMA](https://en.wikipedia.org/wiki/Windows_Media_Audio) ，[杜比數字](https://en.wikipedia.org/wiki/Dolby_Digital)，[杜比數字 Plus](https://en.wikipedia.org/wiki/Dolby_Digital_Plus) ， [AAC](https://en.wikipedia.org/wiki/Advanced_Audio_Coding) 和 [Ogg Vorbis](https://en.wikipedia.org/wiki/Ogg_Vorbis) ### Netflix Open Connect CDN Netflix Open Connect CDN 是為擁有超過 100,000 個訂閱者的大型 ISP 提供的。一種特殊構建的低功耗高存儲密度設備可將 Netflix 內容緩存在 ISP 的數據中心內，以降低互聯網傳輸成本。該設備運行 FreeBSD 操作系統， nginx 和 Bird Internet 路由守護程序。 ![](img/46e25abc5f6631b9baee6e4c4b6cb016.png) NetFlix 巴黎公開賽–圖片來源：@dtemkintwitter 在處觀看 Open Connect 視頻[。](https://www.youtube.com/watch?v=mBCXdaukvcc) ## 縮放算法在 2009 年，Netflix 舉辦了一項名為 [Netflix 獎](https://en.wikipedia.org/wiki/Netflix_Prize)的競賽。他們打開了一堆匿名數據，并允許團隊嘗試得出更好的算法。獲勝團隊將現有算法提高了 10.06％。 Netflix 打算再獲得一個 Netflix 獎，但最終沒有這樣做，因為 FTC 擔心隱私。 Netflix 推薦系統包含許多算法。生產系統中使用的兩個核心算法是受限玻爾茲曼機（RBM）和一種稱為 SVD ++的矩陣分解形式。使用線性混合將這兩種算法結合在一起以產生單個更高的準確性估計。受限玻爾茲曼機是經過修改以在協同過濾中工作的神經網絡。每個用戶都有一個 RBM，每個節點的輸入節點代表該用戶已評分的電影。 SVD ++是 SVD（奇異值分解）的不對稱形式，它利用了 RBM 等隱式信息。它是由 Netflix 競賽的獲勝團隊開發的。 Netflix 團隊在其工程博客上介紹了[學習個性化主頁](http://techblog.netflix.com/2015/04/learning-personalized-homepage.html) ## 開源項目 [https://netflix.github.io/](https://netflix.github.io/) 。 Netflix 有一個很棒的工程博客，最近他們在 Netflix 上發表了一篇名為 [The Evolution of Open Source 的文章。](http://techblog.netflix.com/2015/10/evolution-of-open-source-at-netflix.html) ## 大數據 * [Genie](https://github.com/Netflix/genie) -對我們各種數據處理框架（尤其是 Hadoop）的強大，基于 REST 的抽象。 * [Inviso](https://github.com/Netflix/inviso) -提供有關我們 Hadoop 作業和集群性能的詳細見解。 * [口紅](https://github.com/Netflix/lipstick)-以清晰，可視的方式顯示 Pig 作業的工作流程。 * [Aegisthus](https://github.com/Netflix/aegisthus) -啟用從 Cassandra 中批量提取數據以進行下游分析處理。 ## 構建和交付工具 * [Nebula](https://nebula-plugins.github.io/) -Netflix 努力共享其內部構建基礎結構。 * [代理程序](https://github.com/Netflix/aminator)-用于創建 EBS AMI 的工具。 * [Asgard](https://github.com/Netflix/asgard) -用于 Amazon Web Services（AWS）中的應用程序部署和云管理的 Web 界面。 ## 通用運行時服務&庫 * [Eureka](https://github.com/Netflix/eureka) -Netflix 云平臺的服務發現。 * [Archaius](https://github.com/Netflix/archaius) -分布式配置。 * [功能區](https://github.com/Netflix/ribbon)-彈性和智能的進程間和服務通信。 * [Hystrix](https://github.com/Netflix/hystrix) -提供超越單次服務呼叫的可靠性。在運行時隔離等待時間和容錯能力。 * **[Karyon](https://github.com/Netflix/karyon)** 和 **[控制器](https://github.com/Netflix/governator)-** JVM 容器服務。 * [Prana](https://github.com/Netflix/prana) sidecar - * [Zuul](https://github.com/Netflix/zuul) -在云部署的邊緣提供動態腳本化代理。 * [Fenzo](https://github.com/Netflix/Fenzo) -為云本機框架提供高級調度和資源管理。 ## 數據持久性 * **[EVCache](https://github.com/Netflix/EVCache)** 和 **[炸藥](https://github.com/Netflix/dynomite)** **-** 用于大規模使用 Memcached 和 Redis。 * **[Astyanax](https://github.com/Netflix/astyanax)** 和 **[Dyno](https://github.com/Netflix/dyno)** **-** 客戶端庫可更好地使用云中的數據存儲。 ## 洞察力，可靠性和性能 * [Atlas](https://github.com/Netflix/atlas) -時間序列遙測平臺 * [Edda](https://github.com/Netflix/edda) -跟蹤云中更改的服務 * [觀眾](https://github.com/Netflix/spectator)-Java 應用程序代碼與 Atlas 的輕松集成 * [向量](https://github.com/Netflix/vector)-以最小的開銷公開高分辨率的主機級指標。 * [Ice](https://github.com/Netflix/ice) -揭示了持續的成本和云利用率趨勢。 * [Simian Army](https://github.com/Netflix/SimianArmy) -測試 Netflix 實例是否出現隨機故障。 ## 安全性 * [Security Monkey](https://github.com/Netflix/security_monkey) -幫助監視和保護基于 AWS 的大型環境。 * [Scumblr](https://github.com/Netflix/scumblr) -利用整個 Internet 的針對性搜索來發現特定的安全問題以進行調查。 * [MSL](https://github.com/Netflix/MSL) -一種可擴展且靈活的安全消息傳遞協議，可解決許多安全通信用例和要求。 * [Falcor](https://netflix.github.io/falcor/) -通過虛擬 JSON 圖將遠程數據源表示為單個域模型。 * [Restify](https://github.com/restify/node-restify) -專門用于 Web 服務 API 的 node.js REST 框架 * [RxJS](https://github.com/ReactiveX/RxJS) -用于 JavaScript 的反應式編程庫 ## 參考資料 1. [關于 HackerNews](https://news.ycombinator.com/item?id=10534219) 2. [https://zh.wikipedia.org/wiki/Netflix](https://en.wikipedia.org/wiki/Netflix) 3. [http://gizmodo.com/this-box-can-hold-an-entire-netflix-1592590450](http://gizmodo.com/this-box-can-hold-an-entire-netflix-1592590450) 4. [http://edition.cnn.com/2014/07/21/showbiz/gallery/netflix-history/](http://edition.cnn.com/2014/07/21/showbiz/gallery/netflix-history/) 5. [http://techblog.netflix.com/2015/01/netflixs-viewing-data-how-we-know-where.html](http://techblog.netflix.com/2015/01/netflixs-viewing-data-how-we-know-where.html) 6. [https://gigaom.com/2013/03/28/3-shades-of-latency-how-netflix-built-a-data-architecture-around-timeliness/](https://gigaom.com/2013/03/28/3-shades-of-latency-how-netflix-built-a-data-architecture-around-timeliness/) 7. [https://gigaom.com/2015/01/27/netflix-is-revamping-its-data-architecture-for-streaming-movies/](https://gigaom.com/2015/01/27/netflix-is-revamping-its-data-architecture-for-streaming-movies/) 8. [http://stackshare.io/netflix/netflix](http://stackshare.io/netflix/netflix) 9. [https://www.quora.com/How-does-the-Netflix-movie-recommendation-algorithm-work](https://www.quora.com/How-does-the-Netflix-movie-recommendation-algorithm-work) 10. [https://netflix.github.io/](https://netflix.github.io/) 在哪里提到 Spring？ Netflix 的所有 Java 都在 Spring 框架的上下文中。到目前為止，這還不是一個完整的列表。不好的文章。 NetFlix 不使用 Spring，至少他們從未在任何演示文稿或白皮書中提及 Spring。我在這里看不到他們使用 Node.JS 嗎？我記得曾經從他們那里看到幻燈片，談論他們如何處理 Node.JS 的服務以及如何優化這些服務。有一些使用 Spring 的應用程序，但是 95％以上的 Java 應用程序直接使用 Guice 或通過 Governor 增強。他們在那里的服務中使用 guice 代替。Governator 是一個很好的 guice 擴展庫，盡管將它們標記為已棄用，您仍可以在該庫中找到一些硬編碼的依賴項。好像他們沒有在使用 docker ... 您在“受限玻爾茲曼機器”中寫了“玻爾茲曼”錯誤。 @ cmp，restify 是使用 Node 并為其構建的 Web API 框架。本文是有缺陷的，它沒有說明軟件公司最重要的事情，即：他們使用哪個需求管理系統，以及它們如何保持需求與代碼之間的可處理性？他們確實使用 Spring Cloud，這是參考 https://2015.event.springone2gx.com/schedule/sessions/spring_cloud_at_netflix.html 炸藥列在錯誤的類別下。當前，它是一個分布式的內存存儲。出色的工作！從所有者到 Netflix 的內容交付（關系圖上的左箭頭）使用 SMPTE 的可互操作主格式（IMF）。視頻使用 JPEG-2000 編碼，音頻未編碼（線性 PCM）。內容使用 MXF 打包（例如，非常類似于 D-Cinema 的內容）。 SMPTE 當前正在努力擴展此標準，以支持 HDR +視頻：高動態范圍（HDR）可提供更多的對比度，寬色域（WCG）可提供更多的顏色，高幀速率（HFR）可以每秒 50 幀或更多。來自 Netflix 的 Chris Fetner 提供詳細信息的柏林論壇 2015 年會議上的詳細信息： http://www.mesclado.com/smpte-forum-2015-future-proofing-media-production-part-3/ ？lang = en Netflix 還使用 Groovy 編程語言和 RxJava 進行功能性反應式編程（請參閱 http://de.slideshare.net/InfoQ/functional-reactive-programming-in-the-netflix-api） Netflix 使用 ElasticBox 來管理后臺。他們還在許多地方使用 Docker。 Netflix 還運營著一個相當大的 Elasticsearch 集群。參見 https://www.elastic.co/videos/netflix-using-elasticsearch/和 https://www.elastic.co/elasticon/2015/sf/arrestful-development-how-netflix-uses-elasticsearch-to- 更好地了解 Netflix 是 Apache Cassandra 的已知用戶。他們的技術博客對此進行了廣泛報道，而 Netflix 對此已經非常公開。（作為一個旁注，我在同一博客上找不到任何標記 DynamoDB 的帖子）。 Netflix 使用 Node.JS。本文只有 50％正確。這里的一些內容，我們已經從其他內容切換到了。我在 Netflix 的工程團隊工作。我們確實使用 Cassandra。我們還使用 Reactor.JS。一直在進行變化以適應技術變化。我們混合使用了 JS 庫，并完成了許多自定義工作，例如滑塊。 netflix 是否使用帶有 typescript 的節點，它們如何使用動態類型的 JS 維護大型節點應用程序只需在 github 上的 Netflix 上尋找 Java 技術，他們為 Spring-Cloud 做出了很大貢獻。另請參閱 OSS：https：//netflix.github.io/