# 正則表達式 字符串是編程時涉及到的最多的一種數據結構，對字符串進行操作的需求幾乎無處不在。比如判斷一個字符串是否是合法的Email地址，雖然可以編程提取`@`前后的子串，再分別判斷是否是單詞和域名，但這樣做不但麻煩，而且代碼難以復用。 正則表達式是一種用來匹配字符串的強有力的武器。它的設計思想是用一種描述性的語言來給字符串定義一個規則，凡是符合規則的字符串，我們就認為它“匹配”了，否則，該字符串就是不合法的。 所以我們判斷一個字符串是否是合法的Email的方法是： 1. 創建一個匹配Email的正則表達式； 2. 用該正則表達式去匹配用戶的輸入來判斷是否合法。 因為正則表達式也是用字符串表示的，所以，我們要首先了解如何用字符來描述字符。 在正則表達式中，如果直接給出字符，就是精確匹配。用`\d`可以匹配一個數字，`\w`可以匹配一個字母或數字，所以： * `'00\d'`可以匹配`'007'`，但無法匹配`'00A'`； * `'\d\d\d'`可以匹配`'010'`； * `'\w\w\d'`可以匹配`'py3'`； `.`可以匹配任意字符，所以： * `'py.'`可以匹配`'pyc'`、`'pyo'`、`'py!'`等等。 要匹配變長的字符，在正則表達式中，用`*`表示任意個字符（包括0個），用`+`表示至少一個字符，用`?`表示0個或1個字符，用`{n}`表示n個字符，用`{n,m}`表示n-m個字符： 來看一個復雜的例子：`\d{3}\s+\d{3,8}`。 我們來從左到右解讀一下： 1. `\d{3}`表示匹配3個數字，例如`'010'`； 2. `\s`可以匹配一個空格（也包括Tab等空白符），所以`\s+`表示至少有一個空格，例如匹配`' '`，`' '`等； 3. `\d{3,8}`表示3-8個數字，例如`'1234567'`。 綜合起來，上面的正則表達式可以匹配以任意個空格隔開的帶區號的電話號碼。 如果要匹配`'010-12345'`這樣的號碼呢？由于`'-'`是特殊字符，在正則表達式中，要用`'\'`轉義，所以，上面的正則是`\d{3}\-\d{3,8}`。 但是，仍然無法匹配`'010 - 12345'`，因為帶有空格。所以我們需要更復雜的匹配方式。 ## 進階 要做更精確地匹配，可以用`[]`表示范圍，比如： * `[0-9a-zA-Z\_]`可以匹配一個數字、字母或者下劃線； * `[0-9a-zA-Z\_]+`可以匹配至少由一個數字、字母或者下劃線組成的字符串，比如`'a100'`，`'0_Z'`，`'Py3000'`等等； * `[a-zA-Z\_][0-9a-zA-Z\_]*`可以匹配由字母或下劃線開頭，后接任意個由一個數字、字母或者下劃線組成的字符串，也就是Python合法的變量； * `[a-zA-Z\_][0-9a-zA-Z\_]{0, 19}`更精確地限制了變量的長度是1-20個字符（前面1個字符+后面最多19個字符）。 `A|B`可以匹配A或B，所以`[P|p]ython`可以匹配`'Python'`或者`'python'`。 `^`表示行的開頭，`^\d`表示必須以數字開頭。 `$`表示行的結束，`\d$`表示必須以數字結束。 你可能注意到了，`py`也可以匹配`'python'`，但是加上`^py$`就變成了整行匹配，就只能匹配`'py'`了。 ## re模塊 有了準備知識，我們就可以在Python中使用正則表達式了。Python提供`re`模塊，包含所有正則表達式的功能。由于Python的字符串本身也用`\`轉義，所以要特別注意： ``` s = 'ABC\\-001' # Python的字符串 # 對應的正則表達式字符串變成： # 'ABC\-001' ``` 因此我們強烈建議使用Python的`r`前綴，就不用考慮轉義的問題了： ``` s = r'ABC\-001' # Python的字符串 # 對應的正則表達式字符串不變： # 'ABC\-001' ``` 先看看如何判斷正則表達式是否匹配： ``` >>> import re >>> re.match(r'^\d{3}\-\d{3,8}$', '010-12345') <_sre.SRE_Match object; span=(0, 9), match='010-12345'> >>> re.match(r'^\d{3}\-\d{3,8}$', '010 12345') >>> ``` `match()`方法判斷是否匹配，如果匹配成功，返回一個`Match`對象，否則返回`None`。常見的判斷方法就是： ``` test = '用戶輸入的字符串' if re.match(r'正則表達式', test): print('ok') else: print('failed') ``` ## 切分字符串 用正則表達式切分字符串比用固定的字符更靈活，請看正常的切分代碼： ``` >>> 'a b c'.split(' ') ['a', 'b', '', '', 'c'] ``` 嗯，無法識別連續的空格，用正則表達式試試： ``` >>> re.split(r'\s+', 'a b c') ['a', 'b', 'c'] ``` 無論多少個空格都可以正常分割。加入`,`試試： ``` >>> re.split(r'[\s\,]+', 'a,b, c d') ['a', 'b', 'c', 'd'] ``` 再加入`;`試試： ``` >>> re.split(r'[\s\,\;]+', 'a,b;; c d') ['a', 'b', 'c', 'd'] ``` 如果用戶輸入了一組標簽，下次記得用正則表達式來把不規范的輸入轉化成正確的數組。 ## 分組 除了簡單地判斷是否匹配之外，正則表達式還有提取子串的強大功能。用`()`表示的就是要提取的分組（Group）。比如： `^(\d{3})-(\d{3,8})$`分別定義了兩個組，可以直接從匹配的字符串中提取出區號和本地號碼： ``` >>> m = re.match(r'^(\d{3})-(\d{3,8})$', '010-12345') >>> m <_sre.SRE_Match object; span=(0, 9), match='010-12345'> >>> m.group(0) '010-12345' >>> m.group(1) '010' >>> m.group(2) '12345' ``` 如果正則表達式中定義了組，就可以在`Match`對象上用`group()`方法提取出子串來。 注意到`group(0)`永遠是原始字符串，`group(1)`、`group(2)`……表示第1、2、……個子串。 提取子串非常有用。來看一個更兇殘的例子： ``` >>> t = '19:05:30' >>> m = re.match(r'^(0[0-9]|1[0-9]|2[0-3]|[0-9])\:(0[0-9]|1[0-9]|2[0-9]|3[0-9]|4[0-9]|5[0-9]|[0-9])\:(0[0-9]|1[0-9]|2[0-9]|3[0-9]|4[0-9]|5[0-9]|[0-9])$', t) >>> m.groups() ('19', '05', '30') ``` 這個正則表達式可以直接識別合法的時間。但是有些時候，用正則表達式也無法做到完全驗證，比如識別日期： ``` '^(0[1-9]|1[0-2]|[0-9])-(0[1-9]|1[0-9]|2[0-9]|3[0-1]|[0-9])$' ``` 對于`'2-30'`，`'4-31'`這樣的非法日期，用正則還是識別不了，或者說寫出來非常困難，這時就需要程序配合識別了。 ## 貪婪匹配 最后需要特別指出的是，正則匹配默認是貪婪匹配，也就是匹配盡可能多的字符。舉例如下，匹配出數字后面的`0`： ``` >>> re.match(r'^(\d+)(0*)$', '102300').groups() ('102300', '') ``` 由于`\d+`采用貪婪匹配，直接把后面的`0`全部匹配了，結果`0*`只能匹配空字符串了。 必須讓`\d+`采用非貪婪匹配（也就是盡可能少匹配），才能把后面的`0`匹配出來，加個`?`就可以讓`\d+`采用非貪婪匹配： ``` >>> re.match(r'^(\d+?)(0*)$', '102300').groups() ('1023', '00') ``` ## 編譯 當我們在Python中使用正則表達式時，re模塊內部會干兩件事情： 1. 編譯正則表達式，如果正則表達式的字符串本身不合法，會報錯； 2. 用編譯后的正則表達式去匹配字符串。 如果一個正則表達式要重復使用幾千次，出于效率的考慮，我們可以預編譯該正則表達式，接下來重復使用時就不需要編譯這個步驟了，直接匹配： ``` >>> import re # 編譯: >>> re_telephone = re.compile(r'^(\d{3})-(\d{3,8})$') # 使用： >>> re_telephone.match('010-12345').groups() ('010', '12345') >>> re_telephone.match('010-8086').groups() ('010', '8086') ``` 編譯后生成Regular Expression對象，由于該對象自己包含了正則表達式，所以調用對應的方法時不用給出正則字符串。 ## 小結 正則表達式非常強大，要在短短的一節里講完是不可能的。要講清楚正則的所有內容，可以寫一本厚厚的書了。如果你經常遇到正則表達式的問題，你可能需要一本正則表達式的參考書。 ## 練習 請嘗試寫一個驗證Email地址的正則表達式。版本一應該可以驗證出類似的Email： ``` someone@gmail.com bill.gates@microsoft.com ``` 版本二可以驗證并提取出帶名字的Email地址： ``` <Tom Paris> tom@voyager.org ``` ## 參考源碼 [regex.py](https://github.com/michaelliao/learn-python3/blob/master/samples/regex/regex.py)