<ruby id="bdb3f"></ruby>

    <p id="bdb3f"><cite id="bdb3f"></cite></p>

      <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
        <p id="bdb3f"><cite id="bdb3f"></cite></p>

          <pre id="bdb3f"></pre>
          <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

          <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
          <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

          <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                <ruby id="bdb3f"></ruby>

                合規國際互聯網加速 OSASE為企業客戶提供高速穩定SD-WAN國際加速解決方案。 廣告
                # 10.4 子詞嵌入(fastText) 英語單詞通常有其內部結構和形成方式。例如,我們可以從“dog”“dogs”和“dogcatcher”的字面上推測它們的關系。這些詞都有同一個詞根“dog”,但使用不同的后綴來改變詞的含義。而且,這個關聯可以推廣至其他詞匯。例如,“dog”和“dogs”的關系如同“cat”和“cats”的關系,“boy”和“boyfriend”的關系如同“girl”和“girlfriend”的關系。這一特點并非為英語所獨有。在法語和西班牙語中,很多動詞根據場景不同有40多種不同的形態,而在芬蘭語中,一個名詞可能有15種以上的形態。事實上,構詞學(morphology)作為語言學的一個重要分支,研究的正是詞的內部結構和形成方式。 在word2vec中,我們并沒有直接利用構詞學中的信息。無論是在跳字模型還是連續詞袋模型中,我們都將形態不同的單詞用不同的向量來表示。例如,“dog”和“dogs”分別用兩個不同的向量表示,而模型中并未直接表達這兩個向量之間的關系。鑒于此,fastText提出了子詞嵌入(subword embedding)的方法,從而試圖將構詞信息引入word2vec中的跳字模型 [1]。 在fastText中,每個中心詞被表示成子詞的集合。下面我們用單詞“where”作為例子來了解子詞是如何產生的。首先,我們在單詞的首尾分別添加特殊字符“&lt;”和“&gt;”以區分作為前后綴的子詞。然后,將單詞當成一個由字符構成的序列來提取`$ n $`元語法。例如,當`$ n = 3 $`時,我們得到所有長度為3的子詞:“&lt;wh&gt;”“whe”“her”“ere”“&lt;re&gt;”以及特殊子詞“&lt;where&gt;”。 在fastText中,對于一個詞`$ w $`,我們將它所有長度在`$ 3 \sim 6 $`的子詞和特殊子詞的并集記為`$ \mathcal{G}_w $`。那么詞典則是所有詞的子詞集合的并集。假設詞典中子詞`$ g $`的向量為`$ \boldsymbol{z}_ g $`,那么跳字模型中詞`$ w $`的作為中心詞的向量`$ \boldsymbol{v}_w $`則表示成 ```[tex] \boldsymbol{v}_w = \sum_{g\in\mathcal{G}_w} \boldsymbol{z}_g. ``` fastText的其余部分同跳字模型一致,不在此重復。可以看到,與跳字模型相比,fastText中詞典規模更大,造成模型參數更多,同時一個詞的向量需要對所有子詞向量求和,繼而導致計算復雜度更高。但與此同時,較生僻的復雜單詞,甚至是詞典中沒有的單詞,可能會從同它結構類似的其他詞那里獲取更好的詞向量表示。 ## 小結 * fastText提出了子詞嵌入方法。它在word2vec中的跳字模型的基礎上,將中心詞向量表示成單詞的子詞向量之和。 * 子詞嵌入利用構詞上的規律,通常可以提升生僻詞表示的質量。 ## 參考文獻 [1] Bojanowski, P., Grave, E., Joulin, A., & Mikolov, T. (2016). Enriching word vectors with subword information. arXiv preprint arXiv:1607.04606. ----------- > 注:本節與原書完全相同,[原書傳送門](https://zh.d2l.ai/chapter_natural-language-processing/fasttext.html)
                  <ruby id="bdb3f"></ruby>

                  <p id="bdb3f"><cite id="bdb3f"></cite></p>

                    <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
                      <p id="bdb3f"><cite id="bdb3f"></cite></p>

                        <pre id="bdb3f"></pre>
                        <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

                        <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
                        <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

                        <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                              <ruby id="bdb3f"></ruby>

                              哎呀哎呀视频在线观看