# package scanner
`import "text/scanner"`
scanner包提供對utf-8文本的token掃描服務。它會從一個io.Reader獲取utf-8文本,通過對Scan方法的重復調用獲取一個個token。為了兼容已有的工具,NUL字符不被接受。如果第一個字符是表示utf-8編碼格式的BOM標記,會自動忽略該標記。
一般Scanner會跳過空白和Go注釋,并會識別所有go語言規格的字面量。它可以定制為只識別這些字面量的一個子集,也可以識別不同的空白字符。
基本使用模式:
```
var s scanner.Scanner
s.Init(src)
tok := s.Scan()
for tok != scanner.EOF {
// do something with tok
tok = s.Scan()
}
```
## Index
* [Constants](#pkg-constants)
* [func TokenString(tok rune) string](#TokenString)
* [type Position](#Position)
* [func (pos \*Position) IsValid() bool](#Position.IsValid)
* [func (pos Position) String() string](#Position.String)
* [type Scanner](#Scanner)
* [func (s \*Scanner) Init(src io.Reader) \*Scanner](#Scanner.Init)
* [func (s \*Scanner) Pos() (pos Position)](#Scanner.Pos)
* [func (s \*Scanner) Peek() rune](#Scanner.Peek)
* [func (s \*Scanner) Next() rune](#Scanner.Next)
* [func (s \*Scanner) Scan() rune](#Scanner.Scan)
* [func (s \*Scanner) TokenText() string](#Scanner.TokenText)
## Constants
```
const (
ScanIdents = 1 << -Ident
ScanInts = 1 << -Int
ScanFloats = 1 << -Float // 包括整數
ScanChars = 1 << -Char
ScanStrings = 1 << -String
ScanRawStrings = 1 << -RawString
ScanComments = 1 << -Comment
SkipComments = 1 << -skipComment // 如設置了ScanComments就視注釋為空白
GoTokens = ScanIdents | ScanFloats | ScanChars
| ScanStrings | ScanRawStrings | ScanComments | SkipComments
)
```
預定義的狀態位,用于控制token的識別。例如,如要設置Scanner只識別標識符、整數、跳過注釋,可以將Scanner的狀態字段設為:
```
ScanIdents | ScanInts | SkipComments
```
```
const (
EOF = -(iota + 1)
Ident
Int
Float
Char
String
RawString
Comment
)
```
掃描的結果是上面的一個token或者一個Unicode字符。
```
const GoWhitespace = 1<<'\t' | 1<<'\n' | 1<<'\r' | 1<<' '
```
GoWhitespace是一個Scanner的Whitespace字段的默認值,該值確定go的空白字符。
## func [TokenString](https://github.com/golang/go/blob/master/src/text/scanner/scanner.go#L108 "View Source")
```
func TokenString(tok rune) string
```
TokenString返回一個token或unicode碼值的可打印的字符串表示。
## type [Position](https://github.com/golang/go/blob/master/src/text/scanner/scanner.go#L41 "View Source")
```
type Position struct {
Filename string // 文件名(如果存在)
Offset int // 偏移量,從0開始
Line int // 行號,從1開始
Column int // 列號,從1開始(每行第幾個字符)
}
```
代表資源里的一個位置。
### func (\*Position) [IsValid](https://github.com/golang/go/blob/master/src/text/scanner/scanner.go#L49 "View Source")
```
func (pos *Position) IsValid() bool
```
IsValid返回所處的位置是否合法。
### func (Position) [String](https://github.com/golang/go/blob/master/src/text/scanner/scanner.go#L51 "View Source")
```
func (pos Position) String() string
```
## type [Scanner](https://github.com/golang/go/blob/master/src/text/scanner/scanner.go#L122 "View Source")
```
type Scanner struct {
// 每一次出現錯誤時都會調用該函數;如果Error為nil,則會將錯誤報告到os.Stderr。
Error func(s *Scanner, msg string)
// 每一次出現錯誤時,ErrorCount++
ErrorCount int
// 控制那些token被識別。如要識別整數,就將Mode的ScanInts位設為1。隨時都可以修改Mode。
Mode uint
// 控制那些字符識別為空白。如果要將一個碼值小于32的字符視為空白,只需將碼值對應的位設為1;
// 空格碼值是32,大于32的位設為1的行為未定義。隨時都可以修改Whitespace。
Whitespace uint64
// 最近一次掃描到的token的開始位置,由Scan方法設定
// 調用Init或Next方法會使位置無效(Line==0),Scanner不會操作Position.Filename字段
// 如果發生錯誤且Position不合法,此時掃描位置不在token內,應調用Pos獲取錯誤發生的位置
Position
// 內含隱藏或非導出字段
}
```
Scanner類型實現了token和unicode字符(從io.Reader中)的讀取。
### func (\*Scanner) [Init](https://github.com/golang/go/blob/master/src/text/scanner/scanner.go#L179 "View Source")
```
func (s *Scanner) Init(src io.Reader) *Scanner
```
Init使用src創建一個Scanner,并將Error設為nil,ErrorCount設為0,Mode設為GoTokens,Whitespace?設為GoWhitespace。
### func (\*Scanner) [Pos](https://github.com/golang/go/blob/master/src/text/scanner/scanner.go#L631 "View Source")
```
func (s *Scanner) Pos() (pos Position)
```
Pos方法返回上一次調用Next或Scan方法后讀取結束時的位置。
### func (\*Scanner) [Peek](https://github.com/golang/go/blob/master/src/text/scanner/scanner.go#L313 "View Source")
```
func (s *Scanner) Peek() rune
```
Peek方法返回資源的下一個unicode字符而不移動掃描位置。如果掃描位置在資源的結尾會返回EOF。
### func (\*Scanner) [Next](https://github.com/golang/go/blob/master/src/text/scanner/scanner.go#L302 "View Source")
```
func (s *Scanner) Next() rune
```
Next讀取并返回下一個unicode字符。到達資源結尾時會返回EOF。如果s.Error非nil,本方法會調用該字段匯報錯誤;否則將錯誤信息發送到os.Stderr。Next不會更新Scanner的Position字段,請使用Pos方法獲取當前位置。
### func (\*Scanner) [Scan](https://github.com/golang/go/blob/master/src/text/scanner/scanner.go#L531 "View Source")
```
func (s *Scanner) Scan() rune
```
Scan方法從資源讀取下一個token或者unicode字符并返回它。本方法只會識別Mode字段指定的token種類。如果到達資源結尾會返回EOF。如果s.Error非nil,本方法會調用該字段匯報錯誤;否則將錯誤信息發送到os.Stderr。
### func (\*Scanner) [TokenText](https://github.com/golang/go/blob/master/src/text/scanner/scanner.go#L653 "View Source")
```
func (s *Scanner) TokenText() string
```
TokenText方法返回最近一次掃描的token對應的字符串。應該在Scan方法后調用。
- 庫
- package achive
- package tar
- package zip
- package bufio
- package builtin
- package bytes
- package compress
- package bzip2
- package flate
- package gzip
- package lzw
- package zlib
- package container
- package heap
- package list
- package ring
- package crypto
- package aes
- package cipher
- package des
- package dsa
- package ecdsa
- package elliptic
- package hmac
- package md5
- package rand
- package rc4
- package rsa
- package sha1
- package sha256
- package sha512
- package subtle
- package tls
- package x509
- package pkix
- package database
- package sql
- package driver
- package encoding
- package ascii85
- package asn1
- package base32
- package base64
- package binary
- package csv
- package gob
- package hex
- package json
- package pem
- package xml
- package errors
- package expvar
- package flag
- package fmt
- package go
- package doc
- package format
- package parser
- package printer
- package hash
- package adler32
- package crc32
- package crc64
- package fnv
- package html
- package template
- package image
- package color
- package palette
- package draw
- package gif
- package jpeg
- package png
- package index
- package suffixarray
- package io
- package ioutil
- package log
- package syslog
- package math
- package big
- package cmplx
- package rand
- package mime
- package multipart
- package net
- package http
- package cgi
- package cookiejar
- package fcgi
- package httptest
- package httputil
- package pprof
- package mail
- package rpc
- package jsonrpc
- package smtp
- package textproto
- package url
- package os
- package exec
- package signal
- package user
- package path
- package filepath
- package reflect
- package regexp
- package runtime
- package cgo
- package debug
- package pprof
- package race
- package sort
- package strconv
- package strings
- package sync
- package atomic
- package text
- package scanner
- package tabwriter
- package template
- package time
- package unicode
- package utf16
- package utf8
- package unsafe