## Mesos 配置項解析
Mesos 支持在運行時通過命令行參數形式提供的配置項。如果是通過系統服務方式啟動,也支持以配置文件或環境變量方式給出。當然,實際上最終是提取為命令行參數傳遞給啟動命令。
Mesos 的配置項分為三種類型:通用項(master 和 slave 都支持),只有 master 支持的,以及只有 slave 支持的。
Mesos 配置項比較多,下面對一些重點配置進行描述。少數為必備項,意味著必須給出配置值;另外一些是可選配置,自己帶有默認值。
### 通用項
通用項數量不多,主要涉及到服務綁定地址和日志信息等,包括:
* `--advertise_ip=VALUE` 可以通過該地址訪問到服務,比如應用框架訪問到 master 節點;
* `--advertise_port=VALUE` 可以通過該端口訪問到服務;
* `--external_log_file=VALUE` 指定存儲日志的外部文件,可通過 Web 界面查看;
* `--firewall_rules=VALUE` endpoint 防火墻規則,`VALUE` 可以是 JSON 格式或者存有 JSON 格式的文件路徑;
* `--ip=VALUE` 服務綁定到的IP 地址,用來監聽外面過來的請求;
* `--log_dir=VALUE` 日志文件路徑,如果為空(默認值)則不存儲日志到本地;
* `--logbufsecs=VALUE` buffer 多少秒的日志,然后寫入本地;
* `--logging_level=VALUE` 日志記錄的最低級別;
* `--port=VALUE` 綁定監聽的端口,master 默認是 5050,slave 默認是 5051。
### master 專屬配置項
這些配置項是針對主節點上的 Mesos master 服務的,圍繞高可用、注冊信息、對應用框架的資源管理等。用戶應該根據本地主節點資源情況來合理的配置這些選項。
用戶可以通過 `mesos-master --help` 命令來獲取所有支持的配置項信息。
必須指定的配置項有三個:
* `--quorum=VALUE` 必備項,使用基于 replicated-Log 的注冊表(即利用 ZooKeeper 實現 HA)時,參與投票時的最少節點個數;
* `--work_dir=VALUE` 必備項,注冊表持久化信息存儲位置;
* `--zk=VALUE` 如果主節點為 HA 模式,此為必備項,指定 ZooKeepr 的服務地址,支持多個地址,之間用逗號隔離,例如 `zk://username:password@host1:port1,host2:port2,.../path`。還可以為存有路徑信息的文件路徑。
可選的配置項有:
* `--acls=VALUE` ACL 規則或所在文件;
* `--allocation_interval=VALUE` 執行 allocation 的間隔,默認為 1sec;
* `--allocator=VALUE` 分配機制,默認為 HierarchicalDRF;
* `--[no-]authenticate` 是否允許非認證過的 framework 注冊;
* `--[no-]authenticate_slaves` 是否允許非認證過的 slaves 注冊;
* `--authenticators=VALUE` 對 framework 或 salves 進行認證時的實現機制;
* `--cluster=VALUE` 集群別名,顯示在 Web 界面上供用戶識別的;
* `--credentials=VALUE` 存儲加密后憑證的文件的路徑;
* `--external_log_file=VALUE` 采用外部的日志文件;
* `--framework_sorter=VALUE` 給定 framework 之間的資源分配策略;
* `--hooks=VALUE` master 中安裝的 hook 模塊;
* `--hostname=VALUE` master 節點使用的主機名,不配置則從系統中獲取;
* `--[no-]log_auto_initialize` 是否自動初始化注冊表需要的 replicated 日志;
* `--modules=VALUE` 要加載的模塊,支持文件路徑或者 JSON;
* `--offer_timeout=VALUE` offer 撤銷的超時;
* `--rate_limits=VALUE` framework 的速率限制,即 query per second (qps);
* `--recovery_slave_removal_limit=VALUE` 限制注冊表恢復后可以移除或停止的 slave 數目,超出后 master 會失敗,默認是 100%;
* `--slave_removal_rate_limit=VALUE slave` 沒有完成健康度檢查時候被移除的速率上限,例如 1/10mins 代表每十分鐘最多有一個;
* `--registry=VALUE` 注冊表信息的持久化策略,默認為 `replicated_log` 存放本地,還可以為 `in_memory` 放在內存中;
* `--registry_fetch_timeout=VALUE` 訪問注冊表失敗超時;
* `--registry_store_timeout=VALUE` 存儲注冊表失敗超時;
* `--[no-]registry_strict` 是否按照注冊表中持久化信息執行操作,默認為 false;
* `--roles=VALUE` 集群中 framework 可以所屬的分配角色;
* `--[no-]root_submissions` root 是否可以提交 framework,默認為 true;
* `--slave_reregister_timeout=VALUE` 新的 lead master 節點選舉出來后,多久之內所有的 slave 需要注冊,超時的 salve 將被移除并關閉,默認為 10mins;
* `--user_sorter=VALUE` 在用戶之間分配資源的策略,默認為 drf;
* `--webui_dir=VALUE` webui 實現的文件目錄所在,默認為 `/usr/local/share/mesos/webui`;
* `--weights=VALUE` 各個角色的權重;
* `--whitelist=VALUE` 文件路徑,包括發送 offer 的 slave 名單,默認為 None;
* `--zk_session_timeout=VALUE` session 超時,默認為 10secs;
* `--max_executors_per_slave=VALUE` 配置了 `--with-network-isolator` 時可用,限制每個 slave 同時執行任務個數。
下面給出一個由三個節點組成的 master 集群典型配置,工作目錄指定為 `/tmp/mesos`,集群名稱為 `mesos_cluster`。
```sh
mesos-master \
--zk=zk://10.0.0.2:2181,10.0.0.3:2181,10.0.0.4:2181/mesos \
--quorum=2 \
--work_dir=/tmp/mesos \
--cluster=mesos_cluster
```
### slave 專屬配置項
slave 節點支持的配置項是最多的,因為它所完成的事情也最復雜。這些配置項既包括跟主節點打交道的一些參數,也包括對本地資源的配置,包括隔離機制、本地任務的資源限制等。
用戶可以通過 `mesos-slave --help` 命令來獲取所有支持的配置項信息。
必備項就一個:
* `--master=VALUE` 必備項,master 所在地址,或對應 ZooKeeper 服務地址,或文件路徑,可以是列表。
以下為可選配置項:
* `--attributes=VALUE` 機器屬性;
* `--authenticatee=VALUE` 跟 master 進行認證時候的認證機制;
* `--[no-]cgroups_enable_cfs` 采用 CFS 進行帶寬限制時候對 CPU 資源進行限制,默認為 false;
* `--cgroups_hierarchy=VALUE` cgroups 的目錄根位置,默認為 `/sys/fs/cgroup`;
* `--[no-]cgroups_limit_swap` 限制內存和 swap,默認為 false,只限制內存;
* `--cgroups_root=VALUE` 根 cgroups 的名稱,默認為 mesos;
* `--container_disk_watch_interval=VALUE` 為容器進行硬盤配額查詢的時間間隔;
* `--containerizer_path=VALUE` 采用外部隔離機制(`--isolation=external`)時候,外部容器機制執行文件路徑;
* `--containerizers=VALUE` 可用的容器實現機制,包括 mesos、external、docker;
* `--credential=VALUE` 加密后憑證,或者所在文件路徑;
* `--default_container_image=VALUE` 采用外部容器機制時,任務缺省使用的鏡像;
* `--default_container_info=VALUE` 容器信息的缺省值;
* `--default_role=VALUE` 資源缺省分配的角色;
* `--disk_watch_interval=VALUE` 硬盤使用情況的周期性檢查間隔,默認為 1mins;
* `--docker=VALUE` docker 執行文件的路徑;
* `--docker_remove_delay=VALUE` 刪除容器之前的等待時間,默認為 6hrs;
* `--[no-]docker_kill_orphans` 清除孤兒容器,默認為 true;
* `--docker_sock=VALUE` docker sock 地址,默認為 `/var/run/docker.sock`;
* `--docker_mesos_image=VALUE` 運行 slave 的 docker 鏡像,如果被配置,docker 會假定 slave 運行在一個 docker 容器里;
* `--docker_sandbox_directory=VALUE` sandbox 映射到容器里的哪個路徑;
* `--docker_stop_timeout=VALUE` 停止實例后等待多久執行 kill 操作,默認為 0secs;
* `--[no-]enforce_container_disk_quota` 是否啟用容器配額限制,默認為 false;
* `--executor_registration_timeout=VALUE` 執行應用最多可以等多久再注冊到 slave,否則停止它,默認為 1mins;
* `--executor_shutdown_grace_period=VALUE` 執行應用停止后,等待多久,默認為 5secs;
* `--external_log_file=VALUE` 外部日志文件;
* `--fetcher_cache_size=VALUE` fetcher 的 cache 大小,默認為 2 GB;
* `--fetcher_cache_dir=VALUE` fetcher cache 文件存放目錄,默認為 /tmp/mesos/fetch;
* `--frameworks_home=VALUE` 執行應用前添加的相對路徑,默認為空;
* `--gc_delay=VALUE` 多久清理一次執行應用目錄,默認為 1weeks;
* `--gc_disk_headroom=VALUE` 調整計算最大執行應用目錄年齡的硬盤留空量,默認為 0.1;
* `--hadoop_home=VALUE` hadoop 安裝目錄,默認為空,會自動查找 HADOOP_HOME 或者從系統路徑中查找;
* `--hooks=VALUE` 安裝在 master 中的 hook 模塊列表;
* `--hostname=VALUE` slave 節點使用的主機名;
* `--isolation=VALUE` 隔離機制,例如 `posix/cpu,posix/mem`(默認)或者 `cgroups/cpu,cgroups/mem`、`external` 等;
* `--launcher_dir=VALUE` mesos 可執行文件的路徑,默認為 `/usr/local/lib/mesos`;
* `--image_providers=VALUE` 支持的容器鏡像機制,例如 'APPC,DOCKER';
* `--oversubscribed_resources_interval=VALUE` slave 節點定期匯報超配資源狀態的周期;
* `--modules=VALUE` 要加載的模塊,支持文件路徑或者 JSON;
* `--perf_duration=VALUE` perf 采樣時長,必須小于 perf_interval,默認為 10secs;
* `--perf_events=VALUE` perf 采樣的事件;
* `--perf_interval=VALUE` perf 采樣的時間間隔;
* `--qos_controller=VALUE` 超配機制中保障 QoS 的控制器名;
* `--qos_correction_interval_min=VALUE` Qos 控制器糾正超配資源的最小間隔,默認為 0secs;
* `--recover=VALUE` 回復后是否重連舊的執行應用,reconnect(默認值)是重連,cleanup 清除舊的執行器并退出;
* `--recovery_timeout=VALUE` slave 恢復時的超時,太久則所有相關的執行應用將自行退出,默認為 15mins;
* `--registration_backoff_factor=VALUE` 跟 master 進行注冊時候的重試時間間隔算法的因子,默認為 1secs,采用隨機指數算法,最長 1mins;
* `--resource_monitoring_interval=VALUE` 周期性監測執行應用資源使用情況的間隔,默認為 1secs;
* `--resources=VALUE` 每個 slave 可用的資源,比如主機端口默認為 [31000, 32000];
* `--[no-]revocable_cpu_low_priority` 運行在可撤銷 CPU 上容器將擁有較低優先級,默認為 true。
* `--slave_subsystems=VALUE` slave 運行在哪些 cgroup 子系統中,包括 memory,cpuacct 等,缺省為空;
* `--[no-]strict` 是否認為所有錯誤都不可忽略,默認為 true;
* `--[no-]switch_user` 用提交任務的用戶身份來運行,默認為 true;
* `--work_dir=VALUE` framework 的工作目錄,默認為 /tmp/mesos。
下面這些選項需要配置 `--with-network-isolator` 一起使用(編譯時需要啟用 ` --with-network-isolator` 參數)。
* `--ephemeral_ports_per_container=VALUE` 分配給一個容器的臨時端口的最大數目,需要為 2 的整數冪(默認為 1024);
* `--eth0_name=VALUE` public 網絡的接口名稱,如果不指定,根據主機路由進行猜測;
* `--lo_name=VALUE` loopback 網卡名稱;
* `--egress_rate_limit_per_container=VALUE` 每個容器的輸出流量限制速率限制(采用 fq_codel 算法來限速),單位是字節每秒;
* `--[no-]-egress_unique_flow_per_container` 是否把不同容器的流量當作彼此不同的流,避免彼此影響(默認為 false);
* `--[no-]network_enable_socket_statistics` 是否采集每個容器的 socket 統計信息,默認為 false。
下面給出一個典型的 slave 配置,容器為 Docker,監聽在 `10.0.0.10` 地址;節點上限制 16 個 CPU、64 GB 內存,容器的非臨時端口范圍指定為 [31000-32000],臨時端口范圍指定為 [32768-57344];每個容器臨時端口最多為 512 個,并且外出流量限速為 50 MB/s。
```sh
mesos-slave \
--master=zk://10.0.0.2:2181,10.0.0.3:2181,10.0.0.4:2181/mesos \
--containerizers=docker \
--ip=10.0.0.10 \
--isolation=cgroups/cpu,cgroups/mem,network/port_mapping \
--resources=cpus:16;mem:64000;ports:[31000-32000];ephemeral_ports:[32768-57344] \
--ephemeral_ports_per_container=512 \
--egress_rate_limit_per_container=50000KB \
--egress_unique_flow_per_container
```
為了避免主機分配的臨時端口跟我們指定的臨時端口范圍沖突,需要在主機節點上進行配置。
```sh
$ echo "57345 61000" > /proc/sys/net/ipv4/ip_local_port_range
```
*注:非臨時端口是 Mesos 分配給框架,綁定到任務使用的,端口號往往有明確意義;臨時端口是系統分配的,往往不太關心具體端口號。*
- 前言
- 修訂記錄
- 如何貢獻
- Docker 簡介
- 什么是 Docker
- 為什么要用 Docker
- 基本概念
- 鏡像
- 容器
- 倉庫
- 安裝 Docker
- Ubuntu
- Debian
- CentOS
- Raspberry Pi
- macOS
- Windows PC
- 鏡像加速器
- 使用鏡像
- 獲取鏡像
- 列出鏡像
- 刪除本地鏡像
- 利用 commit 理解鏡像構成
- 使用 Dockerfile 定制鏡像
- Dockerfile 指令詳解
- COPY 復制文件
- ADD 更高級的復制文件
- CMD 容器啟動命令
- ENTRYPOINT 入口點
- ENV 設置環境變量
- ARG 構建參數
- VOLUME 定義匿名卷
- EXPOSE 暴露端口
- WORKDIR 指定工作目錄
- USER 指定當前用戶
- HEALTHCHECK 健康檢查
- ONBUILD 為他人作嫁衣裳
- 參考文檔
- Dockerfile 多階段構建
- 其它制作鏡像的方式
- 實現原理
- 操作容器
- 啟動
- 守護態運行
- 終止
- 進入容器
- 導出和導入
- 刪除
- 訪問倉庫
- Docker Hub
- 私有倉庫
- 私有倉庫高級配置
- Nexus 3
- 數據管理
- 數據卷
- 掛載主機目錄
- 使用網絡
- 外部訪問容器
- 容器互聯
- 配置 DNS
- 高級網絡配置
- 快速配置指南
- 容器訪問控制
- 端口映射實現
- 配置 docker0 網橋
- 自定義網橋
- 工具和示例
- 編輯網絡配置文件
- 實例:創建一個點到點連接
- Docker 三劍客之 Compose 項目
- 簡介
- 安裝與卸載
- 使用
- 命令說明
- Compose 模板文件
- 實戰 Django
- 實戰 Rails
- 實戰 WordPress
- Docker 三劍客之 Machine 項目
- 安裝
- 使用
- Docker 三劍客之 Docker Swarm
- Swarm mode
- 基本概念
- 創建 Swarm 集群
- 部署服務
- 使用 compose 文件
- 管理敏感數據
- 管理配置信息
- 滾動升級
- 安全
- 內核命名空間
- 控制組
- 服務端防護
- 內核能力機制
- 其它安全特性
- 總結
- 底層實現
- 基本架構
- 命名空間
- 控制組
- 聯合文件系統
- 容器格式
- 網絡
- Etcd 項目
- 簡介
- 安裝
- 集群
- 使用 etcdctl
- CoreOS 項目
- 簡介
- 工具
- 快速搭建 CoreOS 集群
- Kubernetes 項目
- 簡介
- 快速上手
- 基本概念
- kubectl 使用
- 架構設計
- Mesos - 優秀的集群資源調度平臺
- Mesos 簡介
- 安裝與使用
- 原理與架構
- Mesos 配置項解析
- 日志與監控
- 常見應用框架
- 本章小結
- 容器與云計算
- 簡介
- 亞馬遜云
- 騰訊云
- 阿里云
- 小結
- 實戰案例-操作系統
- Busybox
- Alpine
- Debian Ubuntu
- CentOS Fedora
- 本章小結
- 實戰案例-CI/CD
- Drone
- Docker 開源項目
- LinuxKit
- 附錄
- 附錄一:常見問題總結
- 附錄二:熱門鏡像介紹
- Ubuntu
- CentOS
- MySQL
- MongoDB
- Redis
- Nginx
- WordPress
- Node.js
- 附錄三:Docker 命令查詢
- 附錄四:Dockerfile 最佳實踐
- 附錄五:資源鏈接
- 附錄六:Docker 中文資源