使用NodeJS編寫前端工具時，操作得最多的是文本文件，因此也就涉及到了文件編碼的處理問題。我們常用的文本編碼有`UTF8`和`GBK`兩種，并且`UTF8`文件還可能帶有BOM。在讀取不同編碼的文本文件時，需要將文件內容轉換為JS使用的`UTF8`編碼字符串后才能正常處理。
## BOM的移除
BOM用于標記一個文本文件使用Unicode編碼，其本身是一個Unicode字符（"\uFEFF"），位于文本文件頭部。在不同的Unicode編碼下，BOM字符對應的二進制字節如下：
~~~
Bytes Encoding
----------------------------
FE FF UTF16BE
FF FE UTF16LE
EF BB BF UTF8
~~~
因此，我們可以根據文本文件頭幾個字節等于啥來判斷文件是否包含BOM，以及使用哪種Unicode編碼。但是，BOM字符雖然起到了標記文件編碼的作用，其本身卻不屬于文件內容的一部分，如果讀取文本文件時不去掉BOM，在某些使用場景下就會有問題。例如我們把幾個JS文件合并成一個文件后，如果文件中間含有BOM字符，就會導致瀏覽器JS語法錯誤。因此，使用NodeJS讀取文本文件時，一般需要去掉BOM。例如，以下代碼實現了識別和去除UTF8 BOM的功能。
~~~
function readText(pathname) {
var bin = fs.readFileSync(pathname);
if (bin[0] === 0xEF && bin[1] === 0xBB && bin[2] === 0xBF) {
bin = bin.slice(3);
}
return bin.toString('utf-8');
}
~~~
## GBK轉UTF8
NodeJS支持在讀取文本文件時，或者在`Buffer`轉換為字符串時指定文本編碼，但遺憾的是，GBK編碼不在NodeJS自身支持范圍內。因此，一般我們借助`iconv-lite`這個三方包來轉換編碼。使用NPM下載該包后，我們可以按下邊方式編寫一個讀取GBK文本文件的函數。
~~~
var iconv = require('iconv-lite');
function readGBKText(pathname) {
var bin = fs.readFileSync(pathname);
return iconv.decode(bin, 'gbk');
}
~~~
## 單字節編碼
有時候，我們無法預知需要讀取的文件采用哪種編碼，因此也就無法指定正確的編碼。比如我們要處理的某些CSS文件中，有的用GBK編碼，有的用UTF8編碼。雖然可以一定程度可以根據文件的字節內容猜測出文本編碼，但這里要介紹的是有些局限，但是要簡單得多的一種技術。
首先我們知道，如果一個文本文件只包含英文字符，比如`Hello World`，那無論用GBK編碼或是UTF8編碼讀取這個文件都是沒問題的。這是因為在這些編碼下，ASCII0~128范圍內字符都使用相同的單字節編碼。
反過來講，即使一個文本文件中有中文等字符，如果我們需要處理的字符僅在ASCII0~128范圍內，比如除了注釋和字符串以外的JS代碼，我們就可以統一使用單字節編碼來讀取文件，不用關心文件的實際編碼是GBK還是UTF8。以下示例說明了這種方法。
~~~
1\. GBK編碼源文件內容：
var foo = '中文';
2\. 對應字節：
76 61 72 20 66 6F 6F 20 3D 20 27 D6 D0 CE C4 27 3B
3\. 使用單字節編碼讀取后得到的內容：
var foo = '{亂碼}{亂碼}{亂碼}{亂碼}';
4\. 替換內容：
var bar = '{亂碼}{亂碼}{亂碼}{亂碼}';
5\. 使用單字節編碼保存后對應字節：
76 61 72 20 62 61 72 20 3D 20 27 D6 D0 CE C4 27 3B
6\. 使用GBK編碼讀取后得到內容：
var bar = '中文';
~~~
這里的訣竅在于，不管大于0xEF的單個字節在單字節編碼下被解析成什么亂碼字符，使用同樣的單字節編碼保存這些亂碼字符時，背后對應的字節保持不變。
NodeJS中自帶了一種`binary`編碼可以用來實現這個方法，因此在下例中，我們使用這種編碼來演示上例對應的代碼該怎么寫。
~~~
function replace(pathname) {
var str = fs.readFileSync(pathname, 'binary');
str = str.replace('foo', 'bar');
fs.writeFileSync(pathname, str, 'binary');
}
~~~
