[TOC] > [參考](https://transformers.run/c1/transformer/#%E8%B5%B7%E6%BA%90%E4%B8%8E%E5%8F%91%E5%B1%95) ## 語言模型 Transformer 模型本質上都是預訓練語言模型，大都采用自監督學習 (Self-supervised learning) 的方式在大量生語料上進行訓練，也就是說，訓練這些 Transformer 模型完全不需要人工標注數據。 > 自監督學習是一種訓練目標可以根據模型的輸入自動計算的訓練方法。 ## 常用預訓練模型 ### 因果語言建模 基于句子的前??個詞來預測下一個詞，因為輸出依賴于過去和當前的輸入，因此該任務被稱為**因果語言建模**(causal language modeling)；  ### 遮蓋語言建模 基于上下文（周圍的詞語）來預測句子中被遮蓋掉的詞語 (masked word)，因此該任務被稱為遮蓋語言建模 (masked language modeling)。  ### 遷移學習 遷移學習 而是將別人預訓練好的模型權重通過遷移學習應用到自己的模型中，即使用自己的任務語料對模型進行“二次訓練”，通過微調參數使模型適用于新任務