Mesos 配置項解析 · docker 從入門到實戰

## Mesos 配置項解析 Mesos 支持在運行時通過命令行參數形式提供的配置項。如果是通過系統服務方式啟動，也支持以配置文件或環境變量方式給出。當然，實際上最終是提取為命令行參數傳遞給啟動命令。 Mesos 的配置項分為三種類型：通用項（master 和 slave 都支持），只有 master 支持的，以及只有 slave 支持的。 Mesos 配置項比較多，下面對一些重點配置進行描述。少數為必備項，意味著必須給出配置值；另外一些是可選配置，自己帶有默認值。 ### 通用項通用項數量不多，主要涉及到服務綁定地址和日志信息等，包括： * `--advertise_ip=VALUE` 可以通過該地址訪問到服務，比如應用框架訪問到 master 節點； * `--advertise_port=VALUE` 可以通過該端口訪問到服務； * `--external_log_file=VALUE` 指定存儲日志的外部文件，可通過 Web 界面查看； * `--firewall_rules=VALUE` endpoint 防火墻規則，`VALUE` 可以是 JSON 格式或者存有 JSON 格式的文件路徑； * `--ip=VALUE` 服務綁定到的IP 地址，用來監聽外面過來的請求； * `--log_dir=VALUE` 日志文件路徑，如果為空（默認值）則不存儲日志到本地； * `--logbufsecs=VALUE` buffer 多少秒的日志，然后寫入本地； * `--logging_level=VALUE` 日志記錄的最低級別； * `--port=VALUE` 綁定監聽的端口，master 默認是 5050，slave 默認是 5051。 ### master 專屬配置項這些配置項是針對主節點上的 Mesos master 服務的，圍繞高可用、注冊信息、對應用框架的資源管理等。用戶應該根據本地主節點資源情況來合理的配置這些選項。用戶可以通過 `mesos-master --help` 命令來獲取所有支持的配置項信息。必須指定的配置項有三個： * `--quorum=VALUE` 必備項，使用基于 replicated-Log 的注冊表（即利用 ZooKeeper 實現 HA）時，參與投票時的最少節點個數； * `--work_dir=VALUE` 必備項，注冊表持久化信息存儲位置； * `--zk=VALUE` 如果主節點為 HA 模式，此為必備項，指定 ZooKeepr 的服務地址，支持多個地址，之間用逗號隔離，例如 `zk://username:password@host1:port1,host2:port2,.../path`。還可以為存有路徑信息的文件路徑。可選的配置項有： * `--acls=VALUE` ACL 規則或所在文件； * `--allocation_interval=VALUE` 執行 allocation 的間隔，默認為 1sec； * `--allocator=VALUE` 分配機制，默認為 HierarchicalDRF； * `--[no-]authenticate` 是否允許非認證過的 framework 注冊； * `--[no-]authenticate_slaves` 是否允許非認證過的 slaves 注冊； * `--authenticators=VALUE` 對 framework 或 salves 進行認證時的實現機制； * `--cluster=VALUE` 集群別名，顯示在 Web 界面上供用戶識別的； * `--credentials=VALUE` 存儲加密后憑證的文件的路徑； * `--external_log_file=VALUE` 采用外部的日志文件； * `--framework_sorter=VALUE` 給定 framework 之間的資源分配策略； * `--hooks=VALUE` master 中安裝的 hook 模塊； * `--hostname=VALUE` master 節點使用的主機名，不配置則從系統中獲取； * `--[no-]log_auto_initialize` 是否自動初始化注冊表需要的 replicated 日志； * `--modules=VALUE` 要加載的模塊，支持文件路徑或者 JSON； * `--offer_timeout=VALUE` offer 撤銷的超時； * `--rate_limits=VALUE` framework 的速率限制，即 query per second (qps)； * `--recovery_slave_removal_limit=VALUE` 限制注冊表恢復后可以移除或停止的 slave 數目，超出后 master 會失敗，默認是 100%； * `--slave_removal_rate_limit=VALUE slave` 沒有完成健康度檢查時候被移除的速率上限，例如 1/10mins 代表每十分鐘最多有一個； * `--registry=VALUE` 注冊表信息的持久化策略，默認為 `replicated_log` 存放本地，還可以為 `in_memory` 放在內存中； * `--registry_fetch_timeout=VALUE` 訪問注冊表失敗超時； * `--registry_store_timeout=VALUE` 存儲注冊表失敗超時； * `--[no-]registry_strict` 是否按照注冊表中持久化信息執行操作，默認為 false； * `--roles=VALUE` 集群中 framework 可以所屬的分配角色； * `--[no-]root_submissions` root 是否可以提交 framework，默認為 true； * `--slave_reregister_timeout=VALUE` 新的 lead master 節點選舉出來后，多久之內所有的 slave 需要注冊，超時的 salve 將被移除并關閉，默認為 10mins； * `--user_sorter=VALUE` 在用戶之間分配資源的策略，默認為 drf； * `--webui_dir=VALUE` webui 實現的文件目錄所在，默認為 `/usr/local/share/mesos/webui`； * `--weights=VALUE` 各個角色的權重； * `--whitelist=VALUE` 文件路徑，包括發送 offer 的 slave 名單，默認為 None； * `--zk_session_timeout=VALUE` session 超時，默認為 10secs； * `--max_executors_per_slave=VALUE` 配置了 `--with-network-isolator` 時可用，限制每個 slave 同時執行任務個數。下面給出一個由三個節點組成的 master 集群典型配置，工作目錄指定為 `/tmp/mesos`，集群名稱為 `mesos_cluster`。 ```sh mesos-master \ --zk=zk://10.0.0.2:2181,10.0.0.3:2181,10.0.0.4:2181/mesos \ --quorum=2 \ --work_dir=/tmp/mesos \ --cluster=mesos_cluster ``` ### slave 專屬配置項 slave 節點支持的配置項是最多的，因為它所完成的事情也最復雜。這些配置項既包括跟主節點打交道的一些參數，也包括對本地資源的配置，包括隔離機制、本地任務的資源限制等。用戶可以通過 `mesos-slave --help` 命令來獲取所有支持的配置項信息。必備項就一個： * `--master=VALUE` 必備項，master 所在地址，或對應 ZooKeeper 服務地址，或文件路徑，可以是列表。以下為可選配置項： * `--attributes=VALUE` 機器屬性； * `--authenticatee=VALUE` 跟 master 進行認證時候的認證機制； * `--[no-]cgroups_enable_cfs` 采用 CFS 進行帶寬限制時候對 CPU 資源進行限制，默認為 false； * `--cgroups_hierarchy=VALUE` cgroups 的目錄根位置，默認為 `/sys/fs/cgroup`； * `--[no-]cgroups_limit_swap` 限制內存和 swap，默認為 false，只限制內存； * `--cgroups_root=VALUE` 根 cgroups 的名稱，默認為 mesos； * `--container_disk_watch_interval=VALUE` 為容器進行硬盤配額查詢的時間間隔； * `--containerizer_path=VALUE` 采用外部隔離機制（`--isolation=external`）時候，外部容器機制執行文件路徑； * `--containerizers=VALUE` 可用的容器實現機制，包括 mesos、external、docker； * `--credential=VALUE` 加密后憑證，或者所在文件路徑； * `--default_container_image=VALUE` 采用外部容器機制時，任務缺省使用的鏡像； * `--default_container_info=VALUE` 容器信息的缺省值； * `--default_role=VALUE` 資源缺省分配的角色； * `--disk_watch_interval=VALUE` 硬盤使用情況的周期性檢查間隔，默認為 1mins； * `--docker=VALUE` docker 執行文件的路徑； * `--docker_remove_delay=VALUE` 刪除容器之前的等待時間，默認為 6hrs； * `--[no-]docker_kill_orphans` 清除孤兒容器，默認為 true； * `--docker_sock=VALUE` docker sock 地址，默認為 `/var/run/docker.sock`； * `--docker_mesos_image=VALUE` 運行 slave 的 docker 鏡像，如果被配置，docker 會假定 slave 運行在一個 docker 容器里； * `--docker_sandbox_directory=VALUE` sandbox 映射到容器里的哪個路徑； * `--docker_stop_timeout=VALUE` 停止實例后等待多久執行 kill 操作，默認為 0secs； * `--[no-]enforce_container_disk_quota` 是否啟用容器配額限制，默認為 false； * `--executor_registration_timeout=VALUE` 執行應用最多可以等多久再注冊到 slave，否則停止它，默認為 1mins； * `--executor_shutdown_grace_period=VALUE` 執行應用停止后，等待多久，默認為 5secs； * `--external_log_file=VALUE` 外部日志文件； * `--fetcher_cache_size=VALUE` fetcher 的 cache 大小，默認為 2 GB； * `--fetcher_cache_dir=VALUE` fetcher cache 文件存放目錄，默認為 /tmp/mesos/fetch； * `--frameworks_home=VALUE` 執行應用前添加的相對路徑，默認為空； * `--gc_delay=VALUE` 多久清理一次執行應用目錄，默認為 1weeks； * `--gc_disk_headroom=VALUE` 調整計算最大執行應用目錄年齡的硬盤留空量，默認為 0.1； * `--hadoop_home=VALUE` hadoop 安裝目錄，默認為空，會自動查找 HADOOP_HOME 或者從系統路徑中查找； * `--hooks=VALUE` 安裝在 master 中的 hook 模塊列表； * `--hostname=VALUE` slave 節點使用的主機名； * `--isolation=VALUE` 隔離機制，例如 `posix/cpu,posix/mem`（默認）或者 `cgroups/cpu,cgroups/mem`、`external` 等； * `--launcher_dir=VALUE` mesos 可執行文件的路徑，默認為 `/usr/local/lib/mesos`； * `--image_providers=VALUE` 支持的容器鏡像機制，例如 'APPC,DOCKER'； * `--oversubscribed_resources_interval=VALUE` slave 節點定期匯報超配資源狀態的周期； * `--modules=VALUE` 要加載的模塊，支持文件路徑或者 JSON； * `--perf_duration=VALUE` perf 采樣時長，必須小于 perf_interval，默認為 10secs； * `--perf_events=VALUE` perf 采樣的事件； * `--perf_interval=VALUE` perf 采樣的時間間隔； * `--qos_controller=VALUE` 超配機制中保障 QoS 的控制器名； * `--qos_correction_interval_min=VALUE` Qos 控制器糾正超配資源的最小間隔，默認為 0secs； * `--recover=VALUE` 回復后是否重連舊的執行應用，reconnect（默認值）是重連，cleanup 清除舊的執行器并退出； * `--recovery_timeout=VALUE` slave 恢復時的超時，太久則所有相關的執行應用將自行退出，默認為 15mins； * `--registration_backoff_factor=VALUE` 跟 master 進行注冊時候的重試時間間隔算法的因子，默認為 1secs，采用隨機指數算法，最長 1mins； * `--resource_monitoring_interval=VALUE` 周期性監測執行應用資源使用情況的間隔，默認為 1secs； * `--resources=VALUE` 每個 slave 可用的資源，比如主機端口默認為 [31000, 32000]； * `--[no-]revocable_cpu_low_priority` 運行在可撤銷 CPU 上容器將擁有較低優先級，默認為 true。 * `--slave_subsystems=VALUE` slave 運行在哪些 cgroup 子系統中，包括 memory，cpuacct 等，缺省為空； * `--[no-]strict` 是否認為所有錯誤都不可忽略，默認為 true； * `--[no-]switch_user` 用提交任務的用戶身份來運行，默認為 true； * `--work_dir=VALUE` framework 的工作目錄，默認為 /tmp/mesos。下面這些選項需要配置 `--with-network-isolator` 一起使用（編譯時需要啟用 ` --with-network-isolator` 參數）。 * `--ephemeral_ports_per_container=VALUE` 分配給一個容器的臨時端口的最大數目，需要為 2 的整數冪（默認為 1024）； * `--eth0_name=VALUE` public 網絡的接口名稱，如果不指定，根據主機路由進行猜測； * `--lo_name=VALUE` loopback 網卡名稱； * `--egress_rate_limit_per_container=VALUE` 每個容器的輸出流量限制速率限制（采用 fq_codel 算法來限速），單位是字節每秒； * `--[no-]-egress_unique_flow_per_container` 是否把不同容器的流量當作彼此不同的流，避免彼此影響（默認為 false）； * `--[no-]network_enable_socket_statistics` 是否采集每個容器的 socket 統計信息，默認為 false。下面給出一個典型的 slave 配置，容器為 Docker，監聽在 `10.0.0.10` 地址；節點上限制 16 個 CPU、64 GB 內存，容器的非臨時端口范圍指定為 [31000-32000]，臨時端口范圍指定為 [32768-57344]；每個容器臨時端口最多為 512 個，并且外出流量限速為 50 MB/s。 ```sh mesos-slave \ --master=zk://10.0.0.2:2181,10.0.0.3:2181,10.0.0.4:2181/mesos \ --containerizers=docker \ --ip=10.0.0.10 \ --isolation=cgroups/cpu,cgroups/mem,network/port_mapping \ --resources=cpus:16;mem:64000;ports:[31000-32000];ephemeral_ports:[32768-57344] \ --ephemeral_ports_per_container=512 \ --egress_rate_limit_per_container=50000KB \ --egress_unique_flow_per_container ``` 為了避免主機分配的臨時端口跟我們指定的臨時端口范圍沖突，需要在主機節點上進行配置。 ```sh $ echo "57345 61000" > /proc/sys/net/ipv4/ip_local_port_range ``` *注：非臨時端口是 Mesos 分配給框架，綁定到任務使用的，端口號往往有明確意義；臨時端口是系統分配的，往往不太關心具體端口號。*