<ruby id="bdb3f"></ruby>

    <p id="bdb3f"><cite id="bdb3f"></cite></p>

      <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
        <p id="bdb3f"><cite id="bdb3f"></cite></p>

          <pre id="bdb3f"></pre>
          <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

          <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
          <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

          <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                <ruby id="bdb3f"></ruby>

                ThinkChat2.0新版上線,更智能更精彩,支持會話、畫圖、視頻、閱讀、搜索等,送10W Token,即刻開啟你的AI之旅 廣告
                # package scanner `import "text/scanner"` scanner包提供對utf-8文本的token掃描服務。它會從一個io.Reader獲取utf-8文本,通過對Scan方法的重復調用獲取一個個token。為了兼容已有的工具,NUL字符不被接受。如果第一個字符是表示utf-8編碼格式的BOM標記,會自動忽略該標記。 一般Scanner會跳過空白和Go注釋,并會識別所有go語言規格的字面量。它可以定制為只識別這些字面量的一個子集,也可以識別不同的空白字符。 基本使用模式: ``` var s scanner.Scanner s.Init(src) tok := s.Scan() for tok != scanner.EOF { // do something with tok tok = s.Scan() } ``` ## Index * [Constants](#pkg-constants) * [func TokenString(tok rune) string](#TokenString) * [type Position](#Position) * [func (pos \*Position) IsValid() bool](#Position.IsValid) * [func (pos Position) String() string](#Position.String) * [type Scanner](#Scanner) * [func (s \*Scanner) Init(src io.Reader) \*Scanner](#Scanner.Init) * [func (s \*Scanner) Pos() (pos Position)](#Scanner.Pos) * [func (s \*Scanner) Peek() rune](#Scanner.Peek) * [func (s \*Scanner) Next() rune](#Scanner.Next) * [func (s \*Scanner) Scan() rune](#Scanner.Scan) * [func (s \*Scanner) TokenText() string](#Scanner.TokenText) ## Constants ``` const ( ScanIdents = 1 << -Ident ScanInts = 1 << -Int ScanFloats = 1 << -Float // 包括整數 ScanChars = 1 << -Char ScanStrings = 1 << -String ScanRawStrings = 1 << -RawString ScanComments = 1 << -Comment SkipComments = 1 << -skipComment // 如設置了ScanComments就視注釋為空白 GoTokens = ScanIdents | ScanFloats | ScanChars | ScanStrings | ScanRawStrings | ScanComments | SkipComments ) ``` 預定義的狀態位,用于控制token的識別。例如,如要設置Scanner只識別標識符、整數、跳過注釋,可以將Scanner的狀態字段設為: ``` ScanIdents | ScanInts | SkipComments ``` ``` const ( EOF = -(iota + 1) Ident Int Float Char String RawString Comment ) ``` 掃描的結果是上面的一個token或者一個Unicode字符。 ``` const GoWhitespace = 1<<'\t' | 1<<'\n' | 1<<'\r' | 1<<' ' ``` GoWhitespace是一個Scanner的Whitespace字段的默認值,該值確定go的空白字符。 ## func [TokenString](https://github.com/golang/go/blob/master/src/text/scanner/scanner.go#L108 "View Source") ``` func TokenString(tok rune) string ``` TokenString返回一個token或unicode碼值的可打印的字符串表示。 ## type [Position](https://github.com/golang/go/blob/master/src/text/scanner/scanner.go#L41 "View Source") ``` type Position struct { Filename string // 文件名(如果存在) Offset int // 偏移量,從0開始 Line int // 行號,從1開始 Column int // 列號,從1開始(每行第幾個字符) } ``` 代表資源里的一個位置。 ### func (\*Position) [IsValid](https://github.com/golang/go/blob/master/src/text/scanner/scanner.go#L49 "View Source") ``` func (pos *Position) IsValid() bool ``` IsValid返回所處的位置是否合法。 ### func (Position) [String](https://github.com/golang/go/blob/master/src/text/scanner/scanner.go#L51 "View Source") ``` func (pos Position) String() string ``` ## type [Scanner](https://github.com/golang/go/blob/master/src/text/scanner/scanner.go#L122 "View Source") ``` type Scanner struct { // 每一次出現錯誤時都會調用該函數;如果Error為nil,則會將錯誤報告到os.Stderr。 Error func(s *Scanner, msg string) // 每一次出現錯誤時,ErrorCount++ ErrorCount int // 控制那些token被識別。如要識別整數,就將Mode的ScanInts位設為1。隨時都可以修改Mode。 Mode uint // 控制那些字符識別為空白。如果要將一個碼值小于32的字符視為空白,只需將碼值對應的位設為1; // 空格碼值是32,大于32的位設為1的行為未定義。隨時都可以修改Whitespace。 Whitespace uint64 // 最近一次掃描到的token的開始位置,由Scan方法設定 // 調用Init或Next方法會使位置無效(Line==0),Scanner不會操作Position.Filename字段 // 如果發生錯誤且Position不合法,此時掃描位置不在token內,應調用Pos獲取錯誤發生的位置 Position // 內含隱藏或非導出字段 } ``` Scanner類型實現了token和unicode字符(從io.Reader中)的讀取。 ### func (\*Scanner) [Init](https://github.com/golang/go/blob/master/src/text/scanner/scanner.go#L179 "View Source") ``` func (s *Scanner) Init(src io.Reader) *Scanner ``` Init使用src創建一個Scanner,并將Error設為nil,ErrorCount設為0,Mode設為GoTokens,Whitespace?設為GoWhitespace。 ### func (\*Scanner) [Pos](https://github.com/golang/go/blob/master/src/text/scanner/scanner.go#L631 "View Source") ``` func (s *Scanner) Pos() (pos Position) ``` Pos方法返回上一次調用Next或Scan方法后讀取結束時的位置。 ### func (\*Scanner) [Peek](https://github.com/golang/go/blob/master/src/text/scanner/scanner.go#L313 "View Source") ``` func (s *Scanner) Peek() rune ``` Peek方法返回資源的下一個unicode字符而不移動掃描位置。如果掃描位置在資源的結尾會返回EOF。 ### func (\*Scanner) [Next](https://github.com/golang/go/blob/master/src/text/scanner/scanner.go#L302 "View Source") ``` func (s *Scanner) Next() rune ``` Next讀取并返回下一個unicode字符。到達資源結尾時會返回EOF。如果s.Error非nil,本方法會調用該字段匯報錯誤;否則將錯誤信息發送到os.Stderr。Next不會更新Scanner的Position字段,請使用Pos方法獲取當前位置。 ### func (\*Scanner) [Scan](https://github.com/golang/go/blob/master/src/text/scanner/scanner.go#L531 "View Source") ``` func (s *Scanner) Scan() rune ``` Scan方法從資源讀取下一個token或者unicode字符并返回它。本方法只會識別Mode字段指定的token種類。如果到達資源結尾會返回EOF。如果s.Error非nil,本方法會調用該字段匯報錯誤;否則將錯誤信息發送到os.Stderr。 ### func (\*Scanner) [TokenText](https://github.com/golang/go/blob/master/src/text/scanner/scanner.go#L653 "View Source") ``` func (s *Scanner) TokenText() string ``` TokenText方法返回最近一次掃描的token對應的字符串。應該在Scan方法后調用。
                  <ruby id="bdb3f"></ruby>

                  <p id="bdb3f"><cite id="bdb3f"></cite></p>

                    <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
                      <p id="bdb3f"><cite id="bdb3f"></cite></p>

                        <pre id="bdb3f"></pre>
                        <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

                        <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
                        <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

                        <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                              <ruby id="bdb3f"></ruby>

                              哎呀哎呀视频在线观看