Telemetry Guide · Gitlab 中文文檔

# Telemetry Guide > 原文：[https://docs.gitlab.com/ee/development/telemetry/](https://docs.gitlab.com/ee/development/telemetry/) * [Our tracking tools](#our-tracking-tools) * [Snowplow JS (Frontend)](#snowplow-js-frontend) * [Snowplow Ruby (Backend)](#snowplow-ruby-backend) * [Usage Ping](#usage-ping) * [Database import](#database-import) * [Log system](#log-system) * [What data can be tracked](#what-data-can-be-tracked) * [Database counts](#database-counts) * [Pageview events](#pageview-events) * [UI Events](#ui-events) * [CRUD or API events](#crud-or-api-events) * [Event funnels](#event-funnels) * [PostgreSQL data](#postgresql-data) * [Logs](#logs) * [External services](#external-services) * [Telemetry systems overview](#telemetry-systems-overview) * [GitLab Inc](#gitlab-inc) * [Self-managed](#self-managed) * [Differences between GitLab Inc and Self-managed](#differences-between-gitlab-inc-and-self-managed) * [Snowflake data warehouse](#snowflake-data-warehouse) * [Data sources](#data-sources) # Telemetry Guide[](#telemetry-guide "Permalink") 在 GitLab，我們收集遙測信息，以幫助我們構建更好的 GitLab. 收集有關如何使用 GitLab 的數據，以更好地了解 GitLab 的哪些部分需要改進以及下一步要構建的功能. 遙測還可以幫助我們的團隊更好地理解人們使用 GitLab 的原因，并且借助這一知識，我們能夠做出更好的產品決策. 我們還鼓勵用戶啟用跟蹤功能，并且我們的跟蹤方法完全透明，因此可以輕松理解和信任它. 通過啟用跟蹤，用戶可以： * 回饋更廣泛的社區. * 幫助 GitLab 改進產品. 本文檔包含三個指南，概述了 GitLab 的遙測. 遙測指南： 1. [Our tracking tools](#our-tracking-tools) 2. [What data can be tracked](#what-data-can-be-tracked) 3. [Telemetry systems overview](#telemetry-systems-overview) 4. [Snowflake data warehouse](#snowflake-data-warehouse) [Usage Ping Guide](usage_ping.html) 1. [What is Usage Ping](usage_ping.html#what-is-usage-ping) 2. [Usage Ping payload](usage_ping.html#usage-ping-payload) 3. [Disable Usage Ping](usage_ping.html#disable-usage-ping) 4. [Usage Ping request flow](usage_ping.html#usage-ping-request-flow) 5. [How Usage Ping works](usage_ping.html#how-usage-ping-works) 6. [Implementing Usage Ping](usage_ping.html#implementing-usage-ping) 7. [Developing and testing Usage Ping](usage_ping.html#developing-and-testing-usage-ping) [Snowplow Guide](snowplow.html) 1. [What is Snowplow](snowplow.html#what-is-snowplow) 2. [Snowplow schema](snowplow.html#snowplow-schema) 3. [Enabling Snowplow](snowplow.html#enabling-snowplow) 4. [Snowplow request flow](snowplow.html#snowplow-request-flow) 5. [Implementing Snowplow JS (Frontend) tracking](snowplow.html#implementing-snowplow-js-frontend-tracking) 6. [Implementing Snowplow Ruby (Backend) tracking](snowplow.html#implementing-snowplow-ruby-backend-tracking) 7. [Developing and testing Snowplow](snowplow.html#developing-and-testing-snowplow) 更有用的鏈接： * [Telemetry Direction](https://about.gitlab.com/direction/telemetry/) * [Data Analysis Process](https://about.gitlab.com/handbook/business-ops/data-team/#data-analysis-process/) * [Data for Product Managers](https://about.gitlab.com/handbook/business-ops/data-team/programs/data-for-product-managers/) * [Data Infrastructure](https://about.gitlab.com/handbook/business-ops/data-team/platform/infrastructure/) ## Our tracking tools[](#our-tracking-tools "Permalink") 我們使用幾種不同的技術來收集產品使用數據. ### Snowplow JS (Frontend)[](#snowplow-js-frontend "Permalink") Snowplow 是企業級營銷和產品分析平臺，可幫助跟蹤用戶與我們的網站和應用程序互動的方式. [Snowplow JS](https://github.com/snowplow/snowplow/wiki/javascript-tracker)是客戶端事件的前端跟蹤器. ### Snowplow Ruby (Backend)[](#snowplow-ruby-backend "Permalink") Snowplow 是企業級營銷和產品分析平臺，可幫助跟蹤用戶與我們的網站和應用程序互動的方式. [Snowplow Ruby](https://github.com/snowplow/snowplow/wiki/ruby-tracker)是服務器端事件的后端跟蹤器. ### Usage Ping[](#usage-ping "Permalink") 用法 Ping 是 GitLab Inc 收集 GitLab 實例上的用法數據的一種方法. 用法 Ping 主要由實例數據庫中不同表的行數組成. 通過逐月比較這些計數（或逐周比較），我們可以大致了解實例如何使用產品中的不同功能. 這些高級數據用于幫助我們的產品，支持和銷售團隊. 有關更多詳細信息，請閱讀《 [用法](usage_ping.html)說明》指南. ### Database import[](#database-import "Permalink") 數據庫導入是將數據完全導入到 GitLab 的數據倉庫中. 對于 GitLab.com，每 6 小時將 PostgreSQL 數據庫加載到 Snowflake 數據倉庫中. 有關更多詳細信息，請參見[數據團隊手冊](https://about.gitlab.com/handbook/business-ops/data-team/platform/#extract-and-load) . ### Log system[](#log-system "Permalink") 系統日志是通過運行 GitLab Rails 應用程序生成的應用程序日志. 有關更多詳細信息，請參閱[日志系統](../../administration/logs.html)和[日志記錄基礎結構](https://gitlab.com/gitlab-com/runbooks/tree/master/logging/doc#logging-infrastructure-overview) . ## What data can be tracked[](#what-data-can-be-tracked "Permalink") 我們不同的跟蹤工具使我們能夠跟蹤不同類型的事件. 下面概述了事件類型和可以跟蹤哪些數據的示例. | 事件類型 | 掃雪機 JS（前端） | 掃雪機 Ruby（后端） | 使用情況 | 數據庫導入 | 日志系統 | | --- | --- | --- | --- | --- | --- | | 數據庫計數 | | | | | | | 瀏覽量事件 | | | | | | | UI 事件 | | | | | | | CRUD 和 API 事件 | | | | | | | 活動渠道 | | | | | | | PostgreSQL 數據 | | | | | | | Logs | | | | | | | 外部服務 | | | | | | ### Database counts[](#database-counts "Permalink") * 唯一用戶創建的項目數 * Number of users logged in the past 28 day 數據庫計數是實例數據庫中不同表的行計數. 這些是經過過濾，分組或聚合的 SQL 計數查詢，可提供高級使用情況數據. 可用表的完整列表可以在[structure.sql 中](https://gitlab.com/gitlab-org/gitlab/-/blob/master/db/structure.sql)找到. ### Pageview events[](#pageview-events "Permalink") * 訪問/ dashboard / groups 頁面的會話數 ### UI Events[](#ui-events "Permalink") * 單擊按鈕或鏈接的會話數 * 關閉模式的會話數 UI 事件是瀏覽器中任何界面驅動的動作，包括點擊數據. ### CRUD or API events[](#crud-or-api-events "Permalink") * Git 推送次數 * GraphQL 查詢數 * 對 Rails 操作或控制器的請求數這些是后端事件，包括記錄的創建，讀取，更新，刪除以及其他可能從界面中可用層以外的層觸發的事件. ### Event funnels[](#event-funnels "Permalink") * 依次執行操作 A，B 和 C 的會話數 * 從步驟 A 到步驟 B 的轉化率 ### PostgreSQL data[](#postgresql-data "Permalink") 這些是原始數據庫記錄，可使用 Sisense 等商業智能工具進行瀏覽. 可用表的完整列表可以在[structure.sql 中](https://gitlab.com/gitlab-org/gitlab/-/blob/master/db/structure.sql)找到. ### Logs[](#logs "Permalink") 這些是原始日志，例如[生產日志](../../administration/logs.html#production_jsonlog) ， [API 日志](../../administration/logs.html#api_jsonlog)或[Sidekiq 日志](../../administration/logs.html#sidekiqlog) . 有關更多詳細信息，請參見[日志記錄基礎結構概述](https://gitlab.com/gitlab-com/runbooks/tree/master/logging/doc#logging-infrastructure-overview) . ### External services[](#external-services "Permalink") 這些是 GitLab 實例與之交互的外部服務，例如[外部存儲提供程序](../../administration/static_objects_external_storage.html)或[外部容器注冊表](../../administration/packages/container_registry.html#use-an-external-container-registry-with-gitlab-as-an-auth-endpoint) . 這些服務必須能夠將數據發送回 GitLab 實例，以便跟蹤數據. ## Telemetry systems overview[](#telemetry-systems-overview "Permalink") 系統概述是一個簡化的圖，顯示了 GitLab Inc 與自我管理實例之間的交互. [![Telemetry_Overview](https://img.kancloud.cn/15/94/15949244d5c801784eea349823c8ca04_3000x2600.png)](../img/telemetry_system_overview.png) [Source file](https://app.diagrams.net/#G13DVpN-XnhWGz9tqReIj8pp1UE4ehk_EC) ### GitLab Inc[](#gitlab-inc "Permalink") 為了進行遙測，GitLab Inc 具有三個主要組件： 1. [數據基礎架構](https://about.gitlab.com/handbook/business-ops/data-team/platform/infrastructure/) ：包含我們數據團隊管理的所有內容，包括用于可視化的 Sisense 儀表板，用于數據倉庫的 Snowflake，傳入數據源（例如 PostgreSQL Pipeline 和 S3 Bucket）以及最后是數據收集器[GitLab.com 的 Snowplow Collector](https://about.gitlab.com/handbook/engineering/infrastructure/library/snowplow/)和 GitLab 的 Versions 應用程序. 2. GitLab.com：這是生產的 GitLab 應用程序，由客戶端和服務器組成. 在客戶端或瀏覽器端，使用 Snowplow JS 跟蹤器（前端）來跟蹤客戶端事件. 在服務器或應用程序端，使用 Snowplow Ruby 跟蹤器（后端）來跟蹤服務器端事件. 該服務器還包含使用率 Ping，它利用 PostgreSQL 數據庫和 Redis 內存數據存儲來報告使用率數據. 最后，服務器還包含通過運行 GitLab 應用程序生成的系統日志. 3. [監視基礎結構](https://about.gitlab.com/handbook/engineering/monitoring/) ：這是用于確保 GitLab.com 正常運行的基礎結構. 系統日志從 GitLab.com 發送到我們的監視基礎結構，并由 FluentD 收集器收集. 從 FluentD，日志可以通過 Stackdriver 發送到長期的 Google Cloud Services 冷存儲，或者通過 Cloud Pub / Sub 發送到我們的 Elastic Cluster，可以使用 Kibana 進行實時瀏覽. ### Self-managed[](#self-managed "Permalink") 出于遙測目的，自我管理實例具有兩個主要組成部分： 1. 數據基礎結構：在自助式實例上，設置數據基礎結構是可選的. 如果您想為自己管理的實例收集 Snowplow 跟蹤事件，則可以設置自己的自我管理 Snowplow 收集器，并將 Snowplow 事件配置為指向自己的收集器. 2. GitLab：一個自我管理的 GitLab 實例包含與上述 GitLab.com 相同的所有組件. ### Differences between GitLab Inc and Self-managed[](#differences-between-gitlab-inc-and-self-managed "Permalink") 如橙色線所示，在 GitLab.com 上，Snowplow JS，Snowplow Ruby，Using Ping 和 PostgreSQL 數據庫將所有流導入到 GitLab Inc 的數據基礎結構中. 但是，在自我管理上，只有 Usage Ping 流入 GitLab Inc 的數據基礎架構. 如綠線所示，在 GitLab.com 上的系統日志流進入 GitLab Inc 的監視基礎結構. 在自我管理下，沒有日志發送到 GitLab Inc 的監視基礎結構. GitLab.com 和自我管理之間的區別總結如下： | Environment | 掃雪機 JS（前端） | 掃雪機 Ruby（后端） | 使用情況 | 數據庫導入 | 日志系統 | | --- | --- | --- | --- | --- | --- | | GitLab.com | | | | | | | Self-Managed | (1) | (1) | | | | 注意（1）：Snowplow JS 和 Snowplow Ruby 在自我管理上可用，但是，Snowplow Collector 端點設置為 GitLab Inc 無法訪問的自我管理 Snowplow Collector. ## Snowflake data warehouse[](#snowflake-data-warehouse "Permalink") Snowflake 數據倉庫是我們保存 GitLab Inc 所有數據的地方. ### Data sources[](#data-sources "Permalink") Snowflake 和 Sisense 中有多個數據源可用，每個數據源代表沿轉換管道的數據的不同視圖. | Source | Description | Access | | --- | --- | --- | | raw | 這些表是原始數據源 | Access via Snowflake | | analytics_staging | 這些表幾乎沒有經過任何數據轉換，這意味著它們基本上是原始數據源的克隆. | 通過雪花或 Sisense 訪問 | | analytics | 這些表通常經歷了更多的數據轉換. 它們通常以`_xf`以表示它們已轉換的事實 | 通過雪花或 Sisense 訪問 | 如果您是對原始數據感興趣的產品經理，則可能會關注于`analytics`和`analytics_staging`源. 原始資源僅限于數據和基礎架構團隊. 有關更多信息，請參閱[產品經理數據：analytics_staging 和 analytics 之間有什么區別？](https://about.gitlab.com/handbook/business-ops/data-team/programs/data-for-product-managers/#whats-the-difference-between-analytics_staging-and-analytics)