| Blog信息 |
|
blog名称:网络爬虫
日志总数:39
评论数量:202
留言数量:2
访问次数:246674
建立时间:2005年3月22日 |
| |
|
 [JSP应用]JSP获取网页源文件并抓取其中的链接地址
软件技术
网络爬虫 发表于 2005/5/3 18:43:39 |
|
利用java的net包获取网页源文件，使用正则表达式抓取当中的链接地址，因正则表达式学艺不精，下面这个例子中并不能抓取所有情况下的href属性中的链接地址
test.jsp
<%@ page contentType="text/html; charset=gb2312" language="java" import="java.util.regex.*" errorPage="" %><%String sCurrentLine; String sTotalString; sCurrentLine=""; sTotalString=""; java.io.InputStream l_urlStream; java.net.URL l_url = new java.net.URL("http://www.5ja.net"); java.net.HttpURLConnection l_connection = (java.net.HttpURLConnection) l_url.openConnection(); l_connection.connect(); l_urlStream = l_connection.getInputStream(); java.io.BufferedReader l_reader = new java.io.BufferedReader(new java.io.InputStreamReader(l_urlStream));
while ((sCurrentLine = l_reader.readLine()) != null) { sTotalString+=sCurrentLine; } //String regEx = "href=([^\"']*)>";String regEx ="href=\"([^\"]*)\"";//找出href="****"的链接Pattern p = Pattern.compile(regEx, Pattern.CASE_INSENSITIVE);Matcher m = p.matcher(sTotalString);int j=0;while(m.find()){j++;out.println("m.group(" + j + "): " + m.group(0)+"<br>");}regEx ="href='([^']*)'";//找出href='****'的链接p = Pattern.compile(regEx, Pattern.CASE_INSENSITIVE);//Pattern.CASE_INSENSITIVE查找忽略大小写m = p.matcher(sTotalString);while(m.find()){j++;out.println("m.group(" + j + "): " + m.group(0)+"<br>");}%> |
|
|