正則表達式 · 網絡爬蟲知識匯總

# 正則表達式 <div class="article-body"> <div class="article-intro" id="content"> <div class="tutintro"> <p>正則表達式(regular expression)描述了一種字符串匹配的模式，可以用來檢查一個串是否含有某種子串、將匹配的子串做替換或者從某個串中取出符合某個條件的子串等。</p> <ul> <li>列目錄時，　dir *.txt或ls *.txt中的*.txt就不是一個正則表達式,因為這里*與正則式的*的含義是不同的。</li> <li>構造正則表達式的方法和創建數學表達式的方法一樣。也就是用多種元字符與運算符可以將小的表達式結合在一起來創建更大的表達式。正則表達式的組件可以是單個的字符、字符集合、字符范圍、字符間的選擇或者所有這些組件的任意組合。</li> </ul> <p>正則表達式是由普通字符（例如字符 a 到 z）以及特殊字符（稱為"元字符"）組成的文字模式。模式描述在搜索文本時要匹配的一個或多個字符串。正則表達式作為一個模板，將某個字符模式與所搜索的字符串進行匹配。</p> </div> <h2>普通字符</h2> <p>普通字符包括沒有顯式指定為元字符的所有可打印和不可打印字符。這包括所有大寫和小寫字母、所有數字、所有標點符號和一些其他符號。</p> <h2>非打印字符</h2> <p>非打印字符也可以是正則表達式的組成部分。下表列出了表示非打印字符的轉義序列：</p> <table class="reference notranslate"> <tbody><tr> <th width="20%">字符</th> <th width="80%">描述</th> </tr> <tr> <td>\cx</td> <td>匹配由x指明的控制字符。例如， \cM 匹配一個 Control-M 或回車符。x 的值必須為 A-Z 或 a-z 之一。否則，將 c 視為一個原義的 'c' 字符。</td> </tr> <tr> <td>\f</td> <td>匹配一個換頁符。等價于 \x0c 和 \cL。</td> </tr> <tr> <td>\n</td> <td>匹配一個換行符。等價于 \x0a 和 \cJ。</td> </tr> <tr> <td>\r</td> <td>匹配一個回車符。等價于 \x0d 和 \cM。</td> </tr> <tr> <td>\s</td> <td>匹配任何空白字符，包括空格、制表符、換頁符等等。等價于 [ \f\n\r\t\v]。</td> </tr> <tr> <td>\S</td> <td>匹配任何非空白字符。等價于 [^ \f\n\r\t\v]。</td> </tr> <tr> <td>\t</td> <td>匹配一個制表符。等價于 \x09 和 \cI。</td> </tr> <tr> <td>\v</td> <td>匹配一個垂直制表符。等價于 \x0b 和 \cK。</td> </tr> </tbody></table> <h2>特殊字符</h2> <p>所謂特殊字符，就是一些有特殊含義的字符，如上面說的"*.txt"中的*，簡單的說就是表示任何字符串的意思。如果要查找文件名中有*的文件，則需要對*進行轉義，即在其前加一個\。ls \*.txt。</p> <p>許多元字符要求在試圖匹配它們時特別對待。若要匹配這些特殊字符，必須首先使字符"轉義"，即，將反斜杠字符 (\) 放在它們前面。下表列出了正則表達式中的特殊字符：</p> <table class="reference notranslate"> <tbody><tr> <th width="20%">特別字符</th> <th width="80%">描述</th> </tr> <tr> <td>$</td> <td>匹配輸入字符串的結尾位置。如果設置了 RegExp 對象的 Multiline 屬性，則 $ 也匹配 '\n' 或 '\r'。要匹配 $ 字符本身，請使用 \$。</td> </tr> <tr> <td>( )</td> <td>標記一個子表達式的開始和結束位置。子表達式可以獲取供以后使用。要匹配這些字符，請使用 $ 和 $。</td> </tr> <tr> <td>*</td> <td>匹配前面的子表達式零次或多次。要匹配 * 字符，請使用 \*。</td> </tr> <tr> <td>+</td> <td>匹配前面的子表達式一次或多次。要匹配 + 字符，請使用 \+。</td> </tr> <tr> <td>.</td> <td>匹配除換行符 \n之外的任何單字符。要匹配 .，請使用 \。</td> </tr> <tr> <td>[</td> <td>標記一個中括號表達式的開始。要匹配 [，請使用 \[。</td> </tr> <tr> <td>?</td> <td>匹配前面的子表達式零次或一次，或指明一個非貪婪限定符。要匹配 ? 字符，請使用 \?。</td> </tr> <tr> <td>\</td> <td>將下一個字符標記為或特殊字符、或原義字符、或向后引用、或八進制轉義符。例如， 'n' 匹配字符 'n'。'\n' 匹配換行符。序列 '\\' 匹配 "\"，而 '\(' 則匹配 "("。</td> </tr> <tr> <td>^</td> <td>匹配輸入字符串的開始位置，除非在方括號表達式中使用，此時它表示不接受該字符集合。要匹配 ^ 字符本身，請使用 \^。</td> </tr> <tr> <td>{</td> <td>標記限定符表達式的開始。要匹配 {，請使用 \{。</td> </tr> <tr> <td>|</td> <td>指明兩項之間的一個選擇。要匹配 |，請使用 \|。</td> </tr> </tbody></table> <h2>限定符</h2> <p>限定符用來指定正則表達式的一個給定組件必須要出現多少次才能滿足匹配。有*或+或?或{n}或{n,}或{n,m}共6種。</p> <p>正則表達式的限定符有：</p> <table class="reference notranslate"> <tbody><tr> <th width="20%">字符</th> <th width="80%">描述</th> </tr> <tr> <td>*</td> <td>匹配前面的子表達式零次或多次。例如，zo* 能匹配 "z" 以及 "zoo"。* 等價于{0,}。</td> </tr> <tr> <td>+</td> <td>匹配前面的子表達式一次或多次。例如，'zo+' 能匹配 "zo" 以及 "zoo"，但不能匹配 "z"。+ 等價于 {1,}。</td> </tr> <tr> <td>?</td> <td>匹配前面的子表達式零次或一次。例如，"do(es)?" 可以匹配 "do" 或 "does" 中的"do" 。? 等價于 {0,1}。</td> </tr> <tr> <td>{n}</td> <td>n 是一個非負整數。匹配確定的 n 次。例如，'o{2}' 不能匹配 "Bob" 中的 'o'，但是能匹配 "food" 中的兩個 o。</td> </tr> <tr> <td>{n,}</td> <td>n 是一個非負整數。至少匹配n 次。例如，'o{2,}' 不能匹配 "Bob" 中的 'o'，但能匹配 "foooood" 中的所有 o。'o{1,}' 等價于 'o+'。'o{0,}' 則等價于 'o*'。</td> </tr> <tr> <td>{n,m}</td> <td>m 和 n 均為非負整數，其中n <= m。最少匹配 n 次且最多匹配 m 次。例如，"o{1,3}" 將匹配 "fooooood" 中的前三個 o。'o{0,1}' 等價于 'o?'。請注意在逗號和兩個數之間不能有空格。</td> </tr> </tbody></table> <p>由于章節編號在大的輸入文檔中會很可能超過九，所以您需要一種方式來處理兩位或三位章節編號。限定符給您這種能力。下面的正則表達式匹配編號為任何位數的章節標題：</p> <pre class="prettyprint">/Chapter [1-9][0-9]*/</pre> <p>請注意，限定符出現在范圍表達式之后。因此，它應用于整個范圍表達式，在本例中，只指定從 0 到 9 的數字（包括 0 和 9）。</p> <p>這里不使用 + 限定符，因為在第二個位置或后面的位置不一定需要有一個數字。也不使用？字符，因為它將章節編號限制到只有兩位數。您需要至少匹配 Chapter 和空格字符后面的一個數字。</p> <p>如果您知道章節編號被限制為只有 99 章，可以使用下面的表達式來至少指定一位但至多兩位數字。</p> <pre class="prettyprint">/Chapter [0-9]{1,2}/</pre> <p>上面的表達式的缺點是，大于 99 的章節編號仍只匹配開頭兩位數字。另一個缺點是 Chapter 0 也將匹配。只匹配兩位數字的更好的表達式如下：</p> <pre class="prettyprint">/Chapter [1-9][0-9]?/</pre> <p>或</p> <pre class="prettyprint">/Chapter [1-9][0-9]{0,1}/</pre> <p><strong>*、+和?限定符都是貪婪的，因為它們會盡可能多的匹配文字，只有在它們的后面加上一個?就可以實現非貪婪或最小匹配。</strong></p> <p>例如，您可能搜索 HTML 文檔，以查找括在 H1 標記內的章節標題。該文本在您的文檔中如下：</p> <pre class="prettyprint"><H1>Chapter 1 – Introduction to Regular Expressions</H1></pre> <p>下面的表達式匹配從開始小于符號 (<) 到關閉 H1 標記的大于符號 (>) 之間的所有內容。</p> <pre class="prettyprint">/<.*>/</pre> <p>如果您只需要匹配開始 H1 標記，下面的"非貪心"表達式只匹配 <H1>。</p> <pre class="prettyprint">/<.*?>/</pre> <p>通過在 *、+ 或 ? 限定符之后放置 ?，該表達式從"貪心"表達式轉換為"非貪心"表達式或者最小匹配。</p> <h2>定位符</h2> <p>定位符使您能夠將正則表達式固定到行首或行尾。它們還使您能夠創建這樣的正則表達式，這些正則表達式出現在一個單詞內、在一個單詞的開頭或者一個單詞的結尾。</p> <p>定位符用來描述字符串或單詞的邊界，^和$分別指字符串的開始與結束，\b描述單詞的前或后邊界，\B表示非單詞邊界。</p> <p>正則表達式的限定符有：</p> <table class="reference notranslate"> <tbody><tr> <th width="20%">字符</th> <th width="80%">描述</th> </tr> <tr> <td>^</td> <td>匹配輸入字符串開始的位置。如果設置了 RegExp 對象的 Multiline 屬性，^ 還會與 \n 或 \r 之后的位置匹配。</td> </tr> <tr> <td>$</td> <td>匹配輸入字符串結尾的位置。如果設置了 RegExp 對象的 Multiline 屬性，$ 還會與 \n 或 \r 之前的位置匹配。</td> </tr> <tr> <td>\b</td> <td>匹配一個字邊界，即字與空格間的位置。</td> </tr> <tr> <td>\B</td> <td>非字邊界匹配。</td> </tr> </tbody></table> <p><strong>注意</strong>：不能將限定符與定位點一起使用。由于在緊靠換行或者字邊界的前面或后面不能有一個以上位置，因此不允許諸如 ^* 之類的表達式。</p> <p>若要匹配一行文本開始處的文本，請在正則表達式的開始使用 ^ 字符。不要將 ^ 的這種用法與中括號表達式內的用法混淆。</p> <p>若要匹配一行文本的結束處的文本，請在正則表達式的結束處使用 $ 字符。</p> <p>若要在搜索章節標題時使用定位點，下面的正則表達式匹配一個章節標題，該標題只包含兩個尾隨數字，并且出現在行首：</p> <pre class="prettyprint">/^Chapter [1-9][0-9]{0,1}/</pre> <p>真正的章節標題不僅出現行的開始處，而且它還是該行中僅有的文本。它即出現在行首又出現在同一行的結尾。下面的表達式能確保指定的匹配只匹配章節而不匹配交叉引用。通過創建只匹配一行文本的開始和結尾的正則表達式，就可做到這一點。</p> <pre class="prettyprint">/^Chapter [1-9][0-9]{0,1}$/</pre> <p>匹配字邊界稍有不同，但向正則表達式添加了很重要的能力。字邊界是單詞和空格之間的位置。非字邊界是任何其他位置。下面的表達式匹配單詞 Chapter 的開頭三個字符，因為這三個字符出現字邊界后面：</p> <pre class="prettyprint">/\bCha/</pre> <p>\b 字符的位置是非常重要的。如果它位于要匹配的字符串的開始，它在單詞的開始處查找匹配項。如果它位于字符串的結尾，它在單詞的結尾處查找匹配項。例如，下面的表達式匹配單詞 Chapter 中的字符串 ter，因為它出現在字邊界的前面：</p> <pre class="prettyprint">/ter\b/</pre> <p>下面的表達式匹配 Chapter 中的字符串 apt，但不匹配 aptitude 中的字符串 apt：</p> <pre class="prettyprint">/\Bapt/</pre> <p>字符串 apt 出現在單詞 Chapter 中的非字邊界處，但出現在單詞 aptitude 中的字邊界處。對于 \B 非字邊界運算符，位置并不重要，因為匹配不關心究竟是單詞的開頭還是結尾。</p> <h2>選擇</h2> <p>用圓括號將所有選擇項括起來，相鄰的選擇項之間用|分隔。但用圓括號會有一個副作用，是相關的匹配會被緩存，此時可用?:放在第一個選項前來消除這種副作用。</p> <p>其中?:是非捕獲元之一，還有兩個非捕獲元是?=和?!，這兩個還有更多的含義，前者為正向預查，在任何開始匹配圓括號內的正則表達式模式的位置來匹配搜索字符串，后者為負向預查，在任何開始不匹配該正則表達式模式的位置來匹配搜索字符串。</p> <h2>反向引用</h2> <p>對一個正則表達式模式或部分模式兩邊添加圓括號將導致相關匹配存儲到一個臨時緩沖區中，所捕獲的每個子匹配都按照在正則表達式模式中從左到右出現的順序存儲。緩沖區編號從 1 開始，最多可存儲 99 個捕獲的子表達式。每個緩沖區都可以使用 '\n' 訪問，其中 n 為一個標識特定緩沖區的一位或兩位十進制數。</p> <p>可以使用非捕獲元字符 '?:'、'?=' 或 '?!' 來重寫捕獲，忽略對相關匹配的保存。 </p> <p>反向引用的最簡單的、最有用的應用之一，是提供查找文本中兩個相同的相鄰單詞的匹配項的能力。以下面的句子為例：</p> <pre class="prettyprint">Is is the cost of of gasoline going up up?</pre> <p>上面的句子很顯然有多個重復的單詞。如果能設計一種方法定位該句子，而不必查找每個單詞的重復出現，那該有多好。下面的正則表達式使用單個子表達式來實現這一點：</p> <pre class="prettyprint">/\b([a-z]+) \1\b/gi</pre> <p>捕獲的表達式，正如 [a-z]+ 指定的，包括一個或多個字母。正則表達式的第二部分是對以前捕獲的子匹配項的引用，即，單詞的第二個匹配項正好由括號表達式匹配。\1 指定第一個子匹配項。字邊界元字符確保只檢測整個單詞。否則，諸如"is issued"或"this is"之類的詞組將不能正確地被此表達式識別。</p> <p>正則表達式后面的全局標記 (g) 指示，將該表達式應用到輸入字符串中能夠查找到的盡可能多的匹配。表達式的結尾處的不區分大小寫 (i) 標記指定不區分大小寫。多行標記指定換行符的兩邊可能出現潛在的匹配。</p> <p>反向引用還可以將通用資源指示符 (URI) 分解為其組件。假定您想將下面的 URI 分解為協議（ftp、http 等等）、域地址和頁/路徑：</p> <pre class="prettyprint">http://www.w3cschool.cc:80/html/html-tutorial.html </pre> <p>下面的正則表達式提供該功能：</p> <pre class="prettyprint">/(\w+):\/\/([^/:]+)(:\d*)?([^# ]*)/ </pre> <p>第一個括號子表達式捕獲 Web 地址的協議部分。該子表達式匹配在冒號和兩個正斜杠前面的任何單詞。第二個括號子表達式捕獲地址的域地址部分。子表達式匹配 / 或 : 之外的一個或多個字符。第三個括號子表達式捕獲端口號（如果指定了的話）。該子表達式匹配冒號后面的零個或多個數字。只能重復一次該子表達式。最后，第四個括號子表達式捕獲 Web 地址指定的路徑和/或頁信息。該子表達式能匹配不包括 # 或空格字符的任何字符序列。</p> <p>將正則表達式應用到上面的 URI，各子匹配項包含下面的內容：</p> <ul> <li>第一個括號子表達式包含"http"</li> <li>第二個括號子表達式包含"www.w3cschool.cc"</li> <li>第三個括號子表達式包含":80"</li> <li>第四個括號子表達式包含"/html/html-tutorial.html"</li> </ul> > 文檔引用 http://www.runoob.com/regexp/regexp-syntax.html