HtmlParser介紹 · 網絡爬蟲知識匯總

# HtmlParser介紹 <div>1、相關資料 官方文檔：http://htmlparser.sourceforge.net/samples.html API：http://htmlparser.sourceforge.net/javadoc/index.html 其它HTML 解釋器：jsoup等。由于HtmlParser自2006年以后就再沒更新，目前很多人推薦使用jsoup代替它。 2、使用HtmlPaser的關鍵步驟 （1）通過Parser類創建一個解釋器 （2）創建Filter或者Visitor （3）使用parser根據filter或者visitor來取得所有符合條件的節點 （4）對節點內容進行處理 3、使用Parser的構造函數創建解釋器<table border="1" cellpadding="2" cellspacing="0" width="100%" style="color: rgb(0, 0, 0); font-family: Simsun; font-size: 14px;"><tbody><tr style="background-color:rgb(238,238,238);"><td style="height: 41px;"><code><a href="http://htmlparser.sourceforge.net/javadoc/org/htmlparser/Parser.html#Parser%28%29" target="_blank" style="color:rgb(106,57,6);">Parser</a>()</code>            Zero argument constructor.</td></tr><tr style="background-color:rgb(238,238,238);"><td><code><a href="http://htmlparser.sourceforge.net/javadoc/org/htmlparser/Parser.html#Parser%28org.htmlparser.lexer.Lexer%29" target="_blank" style="color:rgb(106,57,6);">Parser</a>(<a title="class in org.htmlparser.lexer" href="http://htmlparser.sourceforge.net/javadoc/org/htmlparser/lexer/Lexer.html" target="_blank" style="color:rgb(106,57,6);">Lexer</a> lexer)</code>            Construct a parser using the provided lexer.</td></tr><tr style="background-color:rgb(238,238,238);"><td><code><a href="http://htmlparser.sourceforge.net/javadoc/org/htmlparser/Parser.html#Parser%28org.htmlparser.lexer.Lexer,%20org.htmlparser.util.ParserFeedback%29" target="_blank" style="color:rgb(106,57,6);">Parser</a>(<a title="class in org.htmlparser.lexer" href="http://htmlparser.sourceforge.net/javadoc/org/htmlparser/lexer/Lexer.html" target="_blank" style="color:rgb(106,57,6);">Lexer</a> lexer, <a title="interface in org.htmlparser.util" href="http://htmlparser.sourceforge.net/javadoc/org/htmlparser/util/ParserFeedback.html" target="_blank" style="color:rgb(106,57,6);">ParserFeedback</a> fb)</code>            Construct a parser using the provided lexer and feedback object.</td></tr><tr style="background-color:rgb(238,238,238);"><td><code><a href="http://htmlparser.sourceforge.net/javadoc/org/htmlparser/Parser.html#Parser%28java.lang.String%29" target="_blank" style="color:rgb(106,57,6);">Parser</a>(<a title="class or interface in java.lang" href="http://java.sun.com/j2se/1.4.2/docs/api/java/lang/String.html" target="_blank" style="color:rgb(106,57,6);">String</a> resource)</code>            Creates a Parser object with the location of the resource (URL or file).</td></tr><tr style="background-color:rgb(238,238,238);"><td><code><a href="http://htmlparser.sourceforge.net/javadoc/org/htmlparser/Parser.html#Parser%28java.lang.String,%20org.htmlparser.util.ParserFeedback%29" target="_blank" style="color:rgb(106,57,6);">Parser</a>(<a title="class or interface in java.lang" href="http://java.sun.com/j2se/1.4.2/docs/api/java/lang/String.html" target="_blank" style="color:rgb(106,57,6);">String</a> resource, <a title="interface in org.htmlparser.util" href="http://htmlparser.sourceforge.net/javadoc/org/htmlparser/util/ParserFeedback.html" target="_blank" style="color:rgb(106,57,6);">ParserFeedback</a> feedback)</code>            Creates a Parser object with the location of the resource (URL or file) You would typically create a DefaultHTMLParserFeedback object and pass it in.</td></tr><tr style="background-color:rgb(238,238,238);"><td><code><a href="http://htmlparser.sourceforge.net/javadoc/org/htmlparser/Parser.html#Parser%28java.net.URLConnection%29" target="_blank" style="color:rgb(106,57,6);">Parser</a>(<a title="class or interface in java.net" href="http://java.sun.com/j2se/1.4.2/docs/api/java/net/URLConnection.html" target="_blank" style="color:rgb(106,57,6);">URLConnection</a> connection)</code>            Construct a parser using the provided URLConnection.</td></tr><tr style="background-color:rgb(238,238,238);"><td><code><a href="http://htmlparser.sourceforge.net/javadoc/org/htmlparser/Parser.html#Parser%28java.net.URLConnection,%20org.htmlparser.util.ParserFeedback%29" target="_blank" style="color:rgb(106,57,6);">Parser</a>(<a title="class or interface in java.net" href="http://java.sun.com/j2se/1.4.2/docs/api/java/net/URLConnection.html" target="_blank" style="color:rgb(106,57,6);">URLConnection</a> connection, <a title="interface in org.htmlparser.util" href="http://htmlparser.sourceforge.net/javadoc/org/htmlparser/util/ParserFeedback.html" target="_blank" style="color:rgb(106,57,6);">ParserFeedback</a> fb)</code>            Constructor for custom HTTP access.</td></tr></tbody></table>        對于大多數使用者來說，使用最多的是通過一個URLConnection或者一個保存有網頁內容的字符串來初始化Parser，或者使用靜態函數來生成一個Parser對象。ParserFeedback的代碼很簡單，是針對調試和跟蹤分析過程的，一般不需要改變。而使用Lexer則是一個相對比較高級的話題，放到以后再討論吧。         這里比較有趣的一點是，如果需要設置頁面的編碼方式的話，不使用Lexer就只有靜態函數一個方法了。對于大多數中文頁面來說，好像這是應該用得比較多的一個方法。 4、HtmlPaser使用Node對象保存各節點信息<img src="http://note.youdao.com/yws/res/10738/977917BD60E34D578F9EB0747420F7BB" data-media-type="image" /> （1）訪問各個節點的方法 Node getParent ()：取得父節點 NodeList getChildren ()：取得子節點的列表 Node getFirstChild ()：取得第一個子節點 Node getLastChild ()：取得最后一個子節點 Node getPreviousSibling ()：取得前一個兄弟（不好意思，英文是兄弟姐妹，直譯太麻煩而且不符合習慣，對不起女同胞了） Node getNextSibling ()：取得下一個兄弟節點 （2）取得Node內容的函數 String getText ()：取得文本 String toPlainTextString()：取得純文本信息。 String toHtml () ：取得HTML信息（原始HTML） String toHtml (boolean verbatim)：取得HTML信息（原始HTML） String toString ()：取得字符串信息（原始HTML） Page getPage ()：取得這個Node對應的Page對象 int getStartPosition ()：取得這個Node在HTML頁面中的起始位置 int getEndPosition ()：取得這個Node在HTML頁面中的結束位置 5、使用Filter訪問Node節點及其內容（1）Filter的種類 顧名思義，Filter就是對于結果進行過濾，取得需要的內容。 所有的Filter均實現了NodeFilter接口，此接口只有一個方法Boolean accept(Node node)，用于確定某個節點是否屬于此Filter過濾的范圍。 HTMLParser在org.htmlparser.filters包之內一共定義了16個不同的Filter，也可以分為幾類。 <a href="http://www.baizeju.com/html/HTMLParser/200807/07-121.html#%E5%88%A4%E6%96%AD%E7%B1%BBFilter" target="_blank" style="color:rgb(16,138,198);">判斷類Filter：</a> TagNameFilter HasAttributeFilter HasChildFilter HasParentFilter HasSiblingFilter IsEqualFilter <a href="http://www.baizeju.com/html/HTMLParser/200807/07-121.html#%E9%80%BB%E8%BE%91%E8%BF%90%E7%AE%97Filter" target="_blank" style="color:rgb(16,138,198);">邏輯運算Filter：</a> AndFilter NotFilter OrFilter XorFilter <a href="http://www.baizeju.com/html/HTMLParser/200807/07-121.html#%E5%85%B6%E4%BB%96Filter" target="_blank" style="color:rgb(16,138,198);">其他Filter：</a> NodeClassFilter StringFilter LinkStringFilter LinkRegexFilter RegexFilter CssSelectorNodeFilter 除此以外，可以自定義一些Filter，用于完成特殊需求的過濾。 （2）Filter的使用示例 以下示例用于提取HTML文件中的鏈接<div style="background-color:rgb(231,229,220);color:rgb(54,46,43);font-family:Consolas,'Courier New',Courier,mono,serif;"><div><div style="background-color:rgb(248,248,248);color:silver;font-family:Verdana,Geneva,Arial,Helvetica,sans-serif;font-size:9px;">[java] <a title="view plain" href="http://blog.csdn.net/jediael_lu/article/details/26396705#" target="_blank" style="color: rgb(160, 160, 160);">view plain</a><a title="copy" href="http://blog.csdn.net/jediael_lu/article/details/26396705#" target="_blank" style="color: rgb(160, 160, 160);">copy</a><a title="在CODE上查看代碼片" href="https://code.csdn.net/snippets/356130" target="_blank" style="color: rgb(160, 160, 160);"><img src="http://note.youdao.com/yws/res/10737/F9100224A02B471E9B4A148E168E4281" alt="在CODE上查看代碼片" width="12" height="12" data-media-type="image" /></a><a title="派生到我的代碼片" href="https://code.csdn.net/snippets/356130/fork" target="_blank" style="color: rgb(160, 160, 160);"><img src="https://code.csdn.net/assets/ico_fork.svg" alt="派生到我的代碼片" width="12" height="12" data-media-type="image" /></a><div></div></div></div><ol start="1" style="background-color:rgb(255,255,255);color:rgb(92,92,92);"><li style="color:inherit;">package org.ljh.search.html;  </li><li style="background-color:rgb(248,248,248);">  </li><li style="color:inherit;">import java.util.HashSet;  </li><li style="background-color:rgb(248,248,248);">import java.util.Set;  </li><li style="color:inherit;">  </li><li style="background-color:rgb(248,248,248);">import org.htmlparser.Node;  </li><li style="color:inherit;">import org.htmlparser.NodeFilter;  </li><li style="background-color:rgb(248,248,248);">import org.htmlparser.Parser;  </li><li style="color:inherit;">import org.htmlparser.filters.NodeClassFilter;  </li><li style="background-color:rgb(248,248,248);">import org.htmlparser.filters.OrFilter;  </li><li style="color:inherit;">import org.htmlparser.tags.LinkTag;  </li><li style="background-color:rgb(248,248,248);">import org.htmlparser.util.NodeList;  </li><li style="color:inherit;">import org.htmlparser.util.ParserException;  </li><li style="background-color:rgb(248,248,248);">  </li><li style="color:inherit;">//本類創建用于HTML文件解釋工具  </li><li style="background-color:rgb(248,248,248);">public class HtmlParserTool {  </li><li style="color:inherit;">  </li><li style="background-color:rgb(248,248,248);">    // 本方法用于提取某個html文檔中內嵌的鏈接  </li><li style="color:inherit;">    public static Set<String> extractLinks(String url, LinkFilter filter) {  </li><li style="background-color:rgb(248,248,248);">        Set<String> links = new HashSet<String>();  </li><li style="color:inherit;">        try {  </li><li style="background-color:rgb(248,248,248);">            // 1、構造一個Parser，并設置相關的屬性  </li><li style="color:inherit;">            Parser parser = new Parser(url);  </li><li style="background-color:rgb(248,248,248);">            parser.setEncoding("gb2312");  </li><li style="color:inherit;">  </li><li style="background-color:rgb(248,248,248);">            // 2.1、自定義一個Filter，用于過濾<Frame >標簽，然后取得標簽中的src屬性值  </li><li style="color:inherit;">            NodeFilter frameNodeFilter = new NodeFilter() {  </li><li style="background-color:rgb(248,248,248);">                @Override  </li><li style="color:inherit;">                public boolean accept(Node node) {  </li><li style="background-color:rgb(248,248,248);">                    if (node.getText().startsWith("frame src=")) {  </li><li style="color:inherit;">                        return true;  </li><li style="background-color:rgb(248,248,248);">                    } else {  </li><li style="color:inherit;">                        return false;  </li><li style="background-color:rgb(248,248,248);">                    }  </li><li style="color:inherit;">                }  </li><li style="background-color:rgb(248,248,248);">            };  </li><li style="color:inherit;">              </li><li style="background-color:rgb(248,248,248);">            //2.2、創建第二個Filter，過濾<a>標簽  </li><li style="color:inherit;">            NodeFilter aNodeFilter = new NodeClassFilter(LinkTag.class);  </li><li style="background-color:rgb(248,248,248);">              </li><li style="color:inherit;">            //2.3、凈土上述2個Filter形成一個組合邏輯Filter。  </li><li style="background-color:rgb(248,248,248);">            OrFilter linkFilter = new OrFilter(frameNodeFilter, aNodeFilter);  </li><li style="color:inherit;">              </li><li style="background-color:rgb(248,248,248);">            //3、使用parser根據filter來取得所有符合條件的節點  </li><li style="color:inherit;">            NodeList nodeList = parser.extractAllNodesThatMatch(linkFilter);  </li><li style="background-color:rgb(248,248,248);">              </li><li style="color:inherit;">            //4、對取得的Node進行處理  </li><li style="background-color:rgb(248,248,248);">            for(int i = 0; i<nodeList.size();i++){  </li><li style="color:inherit;">                Node node = nodeList.elementAt(i);  </li><li style="background-color:rgb(248,248,248);">                String linkURL = "";  </li><li style="color:inherit;">                //如果鏈接類型為<a />  </li><li style="background-color:rgb(248,248,248);">                if(node instanceof LinkTag){  </li><li style="color:inherit;">                    LinkTag link = (LinkTag)node;  </li><li style="background-color:rgb(248,248,248);">                    linkURL= link.getLink();  </li><li style="color:inherit;">                }else{  </li><li style="background-color:rgb(248,248,248);">                    //如果類型為<frame />  </li><li style="color:inherit;">                    String nodeText = node.getText();  </li><li style="background-color:rgb(248,248,248);">                    int beginPosition = nodeText.indexOf("src=");  </li><li style="color:inherit;">                    nodeText = nodeText.substring(beginPosition);  </li><li style="background-color:rgb(248,248,248);">                    int endPosition = nodeText.indexOf(" ");  </li><li style="color:inherit;">                    if(endPosition == -1){  </li><li style="background-color:rgb(248,248,248);">                        endPosition = nodeText.indexOf(">");  </li><li style="color:inherit;">                    }  </li><li style="background-color:rgb(248,248,248);">                    linkURL = nodeText.substring(5, endPosition - 1);  </li><li style="color:inherit;">                }  </li><li style="background-color:rgb(248,248,248);">                //判斷是否屬于本次搜索范圍的url  </li><li style="color:inherit;">                if(filter.accept(linkURL)){  </li><li style="background-color:rgb(248,248,248);">                    links.add(linkURL);  </li><li style="color:inherit;">                }  </li><li style="background-color:rgb(248,248,248);">            }  </li><li style="color:inherit;">              </li><li style="background-color:rgb(248,248,248);">        } catch (ParserException e) {  </li><li style="color:inherit;">            e.printStackTrace();  </li><li style="background-color:rgb(248,248,248);">        }  </li><li style="color:inherit;">        return links;  </li><li style="background-color:rgb(248,248,248);">    }  </li><li style="color:inherit;">}  </li></ol></div> 程序中的一些說明： （1）通過Node#getText()取得節點的String。 （2）node instanceof TagLink，即<a/>節點，其它還有很多的類似節點，如tableTag等，基本上每個常見的html標簽均會對應一個tag。官方文檔說明如下：<table border="1" cellpadding="2" cellspacing="0" width="100%" style="color: rgb(0, 0, 0); font-family: Simsun; font-size: 14px;"><tbody><tr><td><a href="http://htmlparser.sourceforge.net/javadoc/org/htmlparser/nodes/package-summary.html" target="_blank" style="color:rgb(106,57,6);">org.htmlparser.nodes</a></td><td>The nodes package has the concrete node implementations.</td></tr><tr><td><a href="http://htmlparser.sourceforge.net/javadoc/org/htmlparser/tags/package-summary.html" target="_blank" style="color:rgb(106,57,6);">org.htmlparser.tags</a></td><td>The tags package contains specific tags.</td></tr></tbody></table>因此可以通過此方法直接判斷一個節點是否某個標簽內容。 其中用到的LinkFilter接口定義如下：<div style="background-color:rgb(231,229,220);color:rgb(54,46,43);font-family:Consolas,'Courier New',Courier,mono,serif;"><div><div style="background-color:rgb(248,248,248);color:silver;font-family:Verdana,Geneva,Arial,Helvetica,sans-serif;font-size:9px;">[java]<div></div></div></div><ol start="1" style="background-color:rgb(255,255,255);color:rgb(92,92,92);"><li style="color:inherit;">package org.ljh.search.html;  </li><li style="background-color:rgb(248,248,248);">  </li><li style="color:inherit;">//本接口所定義的過濾器，用于判斷url是否屬于本次搜索范圍。  </li><li style="background-color:rgb(248,248,248);">public interface LinkFilter {  </li><li style="color:inherit;">    public boolean accept(String url);  </li><li style="background-color:rgb(248,248,248);">}  </li></ol></div> 測試程序如下：<div style="background-color:rgb(231,229,220);color:rgb(54,46,43);font-family:Consolas,'Courier New',Courier,mono,serif;"><div><div style="background-color:rgb(248,248,248);color:silver;font-family:Verdana,Geneva,Arial,Helvetica,sans-serif;font-size:9px;">[java] <div></div></div></div><ol start="1" style="background-color:rgb(255,255,255);color:rgb(92,92,92);"><li style="color:inherit;">package org.ljh.search.html;  </li><li style="background-color:rgb(248,248,248);">  </li><li style="color:inherit;">import java.util.Iterator;  </li><li style="background-color:rgb(248,248,248);">import java.util.Set;  </li><li style="color:inherit;">  </li><li style="background-color:rgb(248,248,248);">import org.junit.Test;  </li><li style="color:inherit;">  </li><li style="background-color:rgb(248,248,248);">public class HtmlParserToolTest {  </li><li style="color:inherit;">  </li><li style="background-color:rgb(248,248,248);">    @Test  </li><li style="color:inherit;">    public void testExtractLinks() {  </li><li style="background-color:rgb(248,248,248);">        String url = "http://www.baidu.com";  </li><li style="color:inherit;">        LinkFilter linkFilter = new LinkFilter(){  </li><li style="background-color:rgb(248,248,248);">            @Override  </li><li style="color:inherit;">            public boolean accept(String url) {  </li><li style="background-color:rgb(248,248,248);">                if(url.contains("baidu")){  </li><li style="color:inherit;">                    return true;  </li><li style="background-color:rgb(248,248,248);">                }else{  </li><li style="color:inherit;">                    return false;  </li><li style="background-color:rgb(248,248,248);">                }  </li><li style="color:inherit;">            }  </li><li style="background-color:rgb(248,248,248);">              </li><li style="color:inherit;">        };  </li><li style="background-color:rgb(248,248,248);">        Set<String> urlSet = HtmlParserTool.extractLinks(url, linkFilter);  </li><li style="color:inherit;">          </li><li style="background-color:rgb(248,248,248);">        Iterator<String> it = urlSet.iterator();  </li><li style="color:inherit;">        while(it.hasNext()){  </li><li style="background-color:rgb(248,248,248);">            System.out.println(it.next());  </li><li style="color:inherit;">        }  </li><li style="background-color:rgb(248,248,248);">    }  </li><li style="color:inherit;">  </li><li style="background-color:rgb(248,248,248);">}  </li></ol></div> 輸出結果如下： http://www.hao123.com http://www.baidu.com/ http://www.baidu.com/duty/ http://v.baidu.com/v?ct=301989888&rn=20&pn=0&db=0&s=25&word= http://music.baidu.com http://ir.baidu.com http://www.baidu.com/gaoji/preferences.html http://news.baidu.com http://map.baidu.com http://music.baidu.com/search?fr=ps&key= http://image.baidu.com http://zhidao.baidu.com http://image.baidu.com/i?tn=baiduimage&ct=201326592&lm=-1&cl=2&nc=1&word= http://www.baidu.com/more/ http://shouji.baidu.com/baidusearch/mobisearch.html?ref=pcjg&from=1000139w http://wenku.baidu.com http://news.baidu.com/ns?cl=2&rn=20&tn=news&word= https://passport.baidu.com/v2/?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2F http://www.baidu.com/cache/sethelp/index.html http://zhidao.baidu.com/q?ct=17&pn=0&tn=ikaslist&rn=10&word=&fr=wwwt http://tieba.baidu.com/f?kw=&fr=wwwt http://home.baidu.com https://passport.baidu.com/v2/?reg&regType=1&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2F http://v.baidu.com http://e.baidu.com/?refer=888 ; http://tieba.baidu.com http://baike.baidu.com http://wenku.baidu.com/search?word=&lm=0&od=0 http://top.baidu.com http://map.baidu.com/m?word=&fr=ps01000</div>