## 一、背景 開發排查系統問題用得最多的手段就是查看系統日志，在分布式環境中一般使用ELK來統一收集日志，但是在并發大時使用日志定位問題還是比較麻煩，由于大量的其他用戶/其他線程的日志也一起輸出穿行其中導致很難篩選出指定請求的全部相關日志，以及下游線程/服務對應的日志。 ## 二、解決思路 每個請求都使用一個`唯一標識`來追蹤全部的鏈路顯示在日志中，并且不修改原有的打印方式(代碼無入侵) 使用Logback的`MDC`機制日志模板中加入`traceId`標識，取值方式為`%X{traceId}` > MDC（Mapped Diagnostic Context，映射調試上下文）是 log4j 和 logback提供的一種方便在多線程條件下記錄日志的功能。**MDC 可以看成是一個與當前線程綁定的Map，可以往其中添加鍵值對**。MDC中包含的內容可以被同一線程中執行的代碼所訪問。當前線程的子線程會繼承其父線程中的 MDC 的內容。當需要記錄日志時，只需要從 MDC 中獲取所需的信息即可。MDC 的內容則由程序在適當的時候保存進去。對于一個 Web 應用來說，通常是在請求被處理的最開始保存這些數據。 ## 三、方案實現 由于`MDC`內部使用的是`ThreadLocal`所以只有本線程才有效，子線程和下游的服務MDC里的值會丟失；所以方案主要的難點是解決`值的傳遞問題`，主要包括以幾下部分： * API網關中的MDC數據如何傳遞給下游服務 * 服務如何接收數據，并且調用其他遠程服務時如何繼續傳遞 * 異步的情況下(線程池)如何傳給子線程 ### 3.1. 修改日志模板 logback配置文件模板格式添加標識`%X{traceId}`  ### 3.2. 網關添加過濾器 生成`traceId`并通過header傳遞給下游服務 ~~~java @Component public class TraceFilter extends ZuulFilter { @Autowired private TraceProperties traceProperties; @Override public String filterType() { return FilterConstants.PRE_TYPE; } @Override public int filterOrder() { return FORM_BODY_WRAPPER_FILTER_ORDER - 1; } @Override public boolean shouldFilter() { //根據配置控制是否開啟過濾器 return traceProperties.getEnable(); } @Override public Object run() { //鏈路追蹤id String traceId = IdUtil.fastSimpleUUID(); MDC.put(CommonConstant.LOG_TRACE_ID, traceId); RequestContext ctx = RequestContext.getCurrentContext(); ctx.addZuulRequestHeader(CommonConstant.TRACE_ID_HEADER, traceId); return null; } } ~~~ ### 3.3. 下游服務增加spring攔截器 接收并保存traceId的值 **攔截器** ~~~java public class TraceInterceptor implements HandlerInterceptor { @Override public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) { String traceId = request.getHeader(CommonConstant.TRACE_ID_HEADER); if (StrUtil.isNotEmpty(traceId)) { MDC.put(CommonConstant.LOG_TRACE_ID, traceId); } return true; } } ~~~ **注冊攔截器** ~~~java public class DefaultWebMvcConfig extends WebMvcConfigurationSupport { @Override protected void addInterceptors(InterceptorRegistry registry) { //日志鏈路追蹤攔截器 registry.addInterceptor(new TraceInterceptor()).addPathPatterns("/**"); super.addInterceptors(registry); } } ~~~ ### 3.4. 下游服務增加feign攔截器 繼續把當前服務的`traceId`值傳遞給下游服務 ~~~java public class FeignInterceptorConfig { @Bean public RequestInterceptor requestInterceptor() { RequestInterceptor requestInterceptor = template -> { //傳遞日志traceId String traceId = MDC.get(CommonConstant.LOG_TRACE_ID); if (StrUtil.isNotEmpty(traceId)) { template.header(CommonConstant.TRACE_ID_HEADER, traceId); } }; return requestInterceptor; } } ~~~ ### 3.5. 解決父子線程傳遞問題 主要針對業務會使用線程池(異步、并行處理)，并且`spring`自己也有`@Async`注解來使用線程池，要解決這個問題需要以下兩個步驟 ##### 3.5.1. 重寫logback的LogbackMDCAdapter 由于logback的`MDC`實現內部使用的是`ThreadLocal`不能傳遞子線程，所以需要重寫替換為阿里的`TransmittableThreadLocal` > **TransmittableThreadLocal**是Alibaba開源的、用于解決“**在使用線程池等會緩存線程的組件情況下傳遞ThreadLocal**” 問題的 InheritableThreadLocal 擴展。若希望TransmittableThreadLocal 在線程池與主線程間傳遞，需配合**TtlRunnable**和**TtlCallable**使用。 TtlMDCAdapter類 ~~~java package org.slf4j; import com.alibaba.ttl.TransmittableThreadLocal; import org.slf4j.spi.MDCAdapter; public class TtlMDCAdapter implements MDCAdapter { /** * 此處是關鍵 */ private final ThreadLocal<Map<String, String>> copyOnInheritThreadLocal = new TransmittableThreadLocal<>(); private static TtlMDCAdapter mtcMDCAdapter; static { mtcMDCAdapter = new TtlMDCAdapter(); MDC.mdcAdapter = mtcMDCAdapter; } public static MDCAdapter getInstance() { return mtcMDCAdapter; } ~~~ > 其他代碼與`ch.qos.logback.classic.util.LogbackMDCAdapter`一樣，只需改為調用`copyOnInheritThreadLocal`變量 **TtlMDCAdapterInitializer類**用于程序啟動時加載自己的`mdcAdapter`實現 ~~~java public class TtlMDCAdapterInitializer implements ApplicationContextInitializer<ConfigurableApplicationContext> { @Override public void initialize(ConfigurableApplicationContext applicationContext) { //加載TtlMDCAdapter實例 TtlMDCAdapter.getInstance(); } } ~~~ ##### 3.5.2. 擴展線程池實現 增加`TtlRunnable`和`TtlCallable`擴展實現`TTL` ~~~java public class CustomThreadPoolTaskExecutor extends ThreadPoolTaskExecutor { @Override public void execute(Runnable runnable) { Runnable ttlRunnable = TtlRunnable.get(runnable); super.execute(ttlRunnable); } @Override public <T> Future<T> submit(Callable<T> task) { Callable ttlCallable = TtlCallable.get(task); return super.submit(ttlCallable); } @Override public Future<?> submit(Runnable task) { Runnable ttlRunnable = TtlRunnable.get(task); return super.submit(ttlRunnable); } @Override public ListenableFuture<?> submitListenable(Runnable task) { Runnable ttlRunnable = TtlRunnable.get(task); return super.submitListenable(ttlRunnable); } @Override public <T> ListenableFuture<T> submitListenable(Callable<T> task) { Callable ttlCallable = TtlCallable.get(task); return super.submitListenable(ttlCallable); } } ~~~ ## 四、場景測試 ### 4.1. 測試代碼如下  ### 4.2. api網關打印的日志 網關生成`traceId`值為`13d9800c8c7944c78a06ce28c36de670`  ### 4.3. 請求跳轉到文件服務時打印的日志 顯示的`traceId`與網關相同，這里特意模擬發生異常的場景  ### 4.4. ELK聚合日志通過`traceId`查詢整條鏈路日志 當系統出現異常時，可直接通過該異常日志的`traceId?`的值，在日志中心中詢該請求的所有日志信息