查找重復的行 · The Go Programming Language

## 1.3. 查找重復的行對文件做拷貝、打印、搜索、排序、統計或類似事情的程序都有一個差不多的程序結構：一個處理輸入的循環，在每個元素上執行計算處理，在處理的同時或最后產生輸出。我們會展示一個名為`dup`的程序的三個版本；靈感來自于Unix的`uniq`命令，其尋找相鄰的重復行。該程序使用的結構和包是個參考范例，可以方便地修改。 `dup`的第一個版本打印標準輸入中多次出現的行，以重復次數開頭。該程序將引入`if`語句，`map`數據類型以及`bufio`包。 gopl.io/ch1/dup1 ```go // Dup1 prints the text of each line that appears more than // once in the standard input, preceded by its count. package main import ( "bufio" "fmt" "os" ) func main() { counts := make(map[string]int) input := bufio.NewScanner(os.Stdin) for input.Scan() { counts[input.Text()]++ } // NOTE: ignoring potential errors from input.Err() for line, n := range counts { if n > 1 { fmt.Printf("%d\t%s\n", n, line) } } } ``` 正如`for`循環一樣，`if`語句條件兩邊也不加括號，但是主體部分需要加。`if`語句的`else`部分是可選的，在`if`的條件為`false`時執行。 **map**存儲了鍵/值（key/value）的集合，對集合元素，提供常數時間的存、取或測試操作。鍵可以是任意類型，只要其值能用`==`運算符比較，最常見的例子是字符串；值則可以是任意類型。這個例子中的鍵是字符串，值是整數。內置函數`make`創建空`map`，此外，它還有別的作用。4.3節討論`map`。（譯注：從功能和實現上說，`Go`的`map`類似于`Java`語言中的`HashMap`，Python語言中的`dict`，`Lua`語言中的`table`，通常使用`hash`實現。遺憾的是，對于該詞的翻譯并不統一，數學界術語為`映射`，而計算機界眾說紛紜莫衷一是。為了防止對讀者造成誤解，保留不譯。）每次`dup`讀取一行輸入，該行被當做`map`，其對應的值遞增。`counts[input.Text()]++`語句等價下面兩句： ```go line := input.Text() counts[line] = counts[line] + 1 ``` `map`中不含某個鍵時不用擔心，首次讀到新行時，等號右邊的表達式`counts[line]`的值將被計算為其類型的零值，對于`int`即0。為了打印結果，我們使用了基于`range`的循環，并在`counts`這個`map`上迭代。跟之前類似，每次迭代得到兩個結果，鍵和其在`map`中對應的值。`map`的迭代順序并不確定，從實踐來看，該順序隨機，每次運行都會變化。這種設計是有意為之的，因為能防止程序依賴特定遍歷順序，而這是無法保證的。(譯注：具體可以參見這里http://stackoverflow.com/questions/11853396/google-go-lang-assignment-order) 繼續來看`bufio`包，它使處理輸入和輸出方便又高效。`Scanner`類型是該包最有用的特性之一，它讀取輸入并將其拆成行或單詞；通常是處理行形式的輸入最簡單的方法。程序使用短變量聲明創建`bufio.Scanner`類型的變量`input`。 ``` input := bufio.NewScanner(os.Stdin) ``` 該變量從程序的標準輸入中讀取內容。每次調用`input.Scan()`，即讀入下一行，并移除行末的換行符；讀取的內容可以調用`input.Text()`得到。`Scan`函數在讀到一行時返回`true`，不再有輸入時返回`false`。類似于C或其它語言里的`printf`函數，`fmt.Printf`函數對一些表達式產生格式化輸出。該函數的首個參數是個格式字符串，指定后續參數被如何格式化。各個參數的格式取決于“轉換字符”（conversion character），形式為百分號后跟一個字母。舉個例子，`%d`表示以十進制形式打印一個整型操作數，而`%s`則表示把字符串型操作數的值展開。 `Printf`有一大堆這種轉換，Go程序員稱之為*動詞（verb）*。下面的表格雖然遠不是完整的規范，但展示了可用的很多特性： ``` %d 十進制整數 %x, %o, %b 十六進制，八進制，二進制整數。 %f, %g, %e 浮點數： 3.141593 3.141592653589793 3.141593e+00 %t 布爾：true或false %c 字符（rune） (Unicode碼點) %s 字符串 %q 帶雙引號的字符串"abc"或帶單引號的字符'c' %v 變量的自然形式（natural format） %T 變量的類型 %% 字面上的百分號標志（無操作數） ``` `dup1`的格式字符串中還含有制表符`\t`和換行符`\n`。字符串字面上可能含有這些代表不可見字符的**轉義字符（escape sequences）**。默認情況下，`Printf`不會換行。按照慣例，以字母`f`結尾的格式化函數，如`log.Printf`和`fmt.Errorf`，都采用`fmt.Printf`的格式化準則。而以`ln`結尾的格式化函數，則遵循`Println`的方式，以跟`%v`差不多的方式格式化參數，并在最后添加一個換行符。（譯注：后綴`f`指`format`，`ln`指`line`。）很多程序要么從標準輸入中讀取數據，如上面的例子所示，要么從一系列具名文件中讀取數據。`dup`程序的下個版本讀取標準輸入或是使用`os.Open`打開各個具名文件，并操作它們。 gopl.io/ch1/dup2 ```go // Dup2 prints the count and text of lines that appear more than once // in the input. It reads from stdin or from a list of named files. package main import ( "bufio" "fmt" "os" ) func main() { counts := make(map[string]int) files := os.Args[1:] if len(files) == 0 { countLines(os.Stdin, counts) } else { for _, arg := range files { f, err := os.Open(arg) if err != nil { fmt.Fprintf(os.Stderr, "dup2: %v\n", err) continue } countLines(f, counts) f.Close() } } for line, n := range counts { if n > 1 { fmt.Printf("%d\t%s\n", n, line) } } } func countLines(f *os.File, counts map[string]int) { input := bufio.NewScanner(f) for input.Scan() { counts[input.Text()]++ } // NOTE: ignoring potential errors from input.Err() } ``` `os.Open`函數返回兩個值。第一個值是被打開的文件(`*os.File`），其后被`Scanner`讀取。 `os.Open`返回的第二個值是內置`error`類型的值。如果`err`等于內置值`nil`（譯注：相當于其它語言里的NULL），那么文件被成功打開。讀取文件，直到文件結束，然后調用`Close`關閉該文件，并釋放占用的所有資源。相反的話，如果`err`的值不是`nil`，說明打開文件時出錯了。這種情況下，錯誤值描述了所遇到的問題。我們的錯誤處理非常簡單，只是使用`Fprintf`與表示任意類型默認格式值的動詞`%v`，向標準錯誤流打印一條信息，然后`dup`繼續處理下一個文件；`continue`語句直接跳到`for`循環的下個迭代開始執行。為了使示例代碼保持合理的大小，本書開始的一些示例有意簡化了錯誤處理，顯而易見的是，應該檢查`os.Open`返回的錯誤值，然而，使用`input.Scan`讀取文件過程中，不大可能出現錯誤，因此我們忽略了錯誤處理。我們會在跳過錯誤檢查的地方做說明。5.4節中深入介紹錯誤處理。注意`countLines`函數在其聲明前被調用。函數和包級別的變量（package-level entities）可以任意順序聲明，并不影響其被調用。（譯注：最好還是遵循一定的規范） `map`是一個由`make`函數創建的數據結構的引用。`map`作為參數傳遞給某函數時，該函數接收這個引用的一份拷貝（copy，或譯為副本），被調用函數對`map`底層數據結構的任何修改，調用者函數都可以通過持有的`map`引用看到。在我們的例子中，`countLines`函數向`counts`插入的值，也會被`main`函數看到。（譯注：類似于C++里的引用傳遞，實際上指針是另一個指針了，但內部存的值指向同一塊內存） `dup`的前兩個版本以"流”模式讀取輸入，并根據需要拆分成多個行。理論上，這些程序可以處理任意數量的輸入數據。還有另一個方法，就是一口氣把全部輸入數據讀到內存中，一次分割為多行，然后處理它們。下面這個版本，`dup3`，就是這么操作的。這個例子引入了`ReadFile`函數（來自于`io/ioutil`包），其讀取指定文件的全部內容，`strings.Split`函數把字符串分割成子串的切片。（`Split`的作用與前文提到的`strings.Join`相反。）我們略微簡化了`dup3`。首先，由于`ReadFile`函數需要文件名作為參數，因此只讀指定文件，不讀標準輸入。其次，由于行計數代碼只在一處用到，故將其移回`main`函數。 gopl.io/ch1/dup3 ```go package main import ( "fmt" "io/ioutil" "os" "strings" ) func main() { counts := make(map[string]int) for _, filename := range os.Args[1:] { data, err := ioutil.ReadFile(filename) if err != nil { fmt.Fprintf(os.Stderr, "dup3: %v\n", err) continue } for _, line := range strings.Split(string(data), "\n") { counts[line]++ } } for line, n := range counts { if n > 1 { fmt.Printf("%d\t%s\n", n, line) } } } ``` `ReadFile`函數返回一個字節切片（byte slice），必須把它轉換為`string`，才能用`strings.Split`分割。我們會在3.5.4節詳細講解字符串和字節切片。實現上，`bufio.Scanner`、`ioutil.ReadFile`和`ioutil.WriteFile`都使用`*os.File`的`Read`和`Write`方法，但是，大多數程序員很少需要直接調用那些低級（lower-level）函數。高級（higher-level）函數，像`bufio`和`io/ioutil`包中所提供的那些，用起來要容易點。 **練習 1.4：** 修改`dup2`，出現重復的行時打印文件名稱。