<ruby id="bdb3f"></ruby>

    <p id="bdb3f"><cite id="bdb3f"></cite></p>

      <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
        <p id="bdb3f"><cite id="bdb3f"></cite></p>

          <pre id="bdb3f"></pre>
          <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

          <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
          <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

          <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                <ruby id="bdb3f"></ruby>

                ThinkChat2.0新版上線,更智能更精彩,支持會話、畫圖、視頻、閱讀、搜索等,送10W Token,即刻開啟你的AI之旅 廣告
                # Shingle Token Filter(Shingle 詞元過濾器) **shingle**?類型的詞元過濾器,用于從詞元流中構建?**shingles**?(**token n-grams**)。 換句話說,它創建詞元的組合作為單個詞元。 例如,句子 “**please divide this sentence into shingles**” ,可能會被劃分為詞組“**please divide**”,“**divide this**”,“**this sentence**”,“**sentence into**”和“**into shingles**”。 此過濾器通過插入?**filler tokens**(使用“_”的詞元)來處理游標自增 > 1。游標不從0開始。 以下是?**shingle**?類型的詞元過濾器的可選設置: | 設置 | 描述 | | --- | --- | | `max_shingle_size` | 最大的?**shingle**?數量. 默認?**`2`**. | | `min_shingle_size` | 最小的?**shingle**?數量. 默認?**`2`**. | | `output_unigrams` | 如果為?**`true`?**?輸出將會包含輸入的**tokens (unigrams)**?以及?**shingles**. 默認?**`true`**. | | `output_unigrams_if_no_shingles` | 如果?**`output_unigrams`?**?為?**`false`**?,如果沒有可用的?**shingles?**輸出將會包含輸入的?**tokens (unigrams)**.?**提示**?如果?**`output_unigrams`?**?為?**true?**當前設置不生效. 默認?**`false`**. | | `token_separator` | 連接相鄰的詞元生成詞組的字符串. 默認?`" "`. | | `filler_token` | 用于替換流中每個沒有實際詞元的位置的字符串。例如,當?**stop?**過濾器與**`shingle`**?過濾器一起使用時,如果位置增量大于1\. 默認?`"_"` |
                  <ruby id="bdb3f"></ruby>

                  <p id="bdb3f"><cite id="bdb3f"></cite></p>

                    <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
                      <p id="bdb3f"><cite id="bdb3f"></cite></p>

                        <pre id="bdb3f"></pre>
                        <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

                        <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
                        <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

                        <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                              <ruby id="bdb3f"></ruby>

                              哎呀哎呀视频在线观看