java用正則表達(dá)式讀取網(wǎng)頁內(nèi)容，通過抓取文章標(biāo)題及內(nèi)容，進(jìn)一步專區(qū)整個(gè)頁面的全部內(nèi)容，本文代碼簡單易懂，對java用正則表達(dá)式讀取網(wǎng)頁內(nèi)容感興趣的朋友可以參考下

學(xué)習(xí)java的正則表達(dá)式，抓取網(wǎng)頁并解析HTML部分內(nèi)容

1. package com.xiaofeng.picup; 
2. import java.io.BufferedReader; 
3. import java.io.IOException; 
4. import java.io.InputStreamReader; 
5. import java.net.MalformedURLException; 
6. import java.net.URL; 
7. import java.util.ArrayList; 
8. import java.util.HashMap; 
9. import java.util.List; 
10. import java.util.regex.Matcher; 
11. import java.util.regex.Pattern; 
12. /** *//** 
13. * 
14. * @抓取頁面文章標(biāo)題及內(nèi)容（測試） 手動輸入網(wǎng)址抓取，可進(jìn)一步自動抓取整個(gè)頁面的全部內(nèi)容 
15. * 
16. */ 
17. public class WebContent ...{ 
18. /** *//** 
19. * 讀取一個(gè)網(wǎng)頁全部內(nèi)容 
20. */ 
21. public String getOneHtml(String htmlurl) throws IOException...{ 
22. URL url; 
23. String temp; 
24. StringBuffer sb = new StringBuffer(); 
25. try ...{ 
26. url = new URL(htmlurl); 
27. BufferedReader in = new BufferedReader(new InputStreamReader(url 
28. .openStream(), "utf-8"));// 讀取網(wǎng)頁全部內(nèi)容 
29. while ((temp = in.readLine()) != null) ...{ 
30. sb.append(temp); 
31. } 
32. in.close(); 
33. }catch(MalformedURLException me)...{ 
34. System.out.println("你輸入的URL格式有問題！請仔細(xì)輸入"); 
35. me.getMessage(); 
36. throw me; 
37. }catch (IOException e) ...{ 
38. e.printStackTrace(); 
39. throw e; 
40. } 
41. return sb.toString(); 
42. } 
43. /** *//** 
44. * 
45. * @param s 
46. * @return 獲得網(wǎng)頁標(biāo)題 
47. */ 
48. public String getTitle(String s) ...{ 
49. String regex; 
50. String title = ""; 
51. List<String> list = new ArrayList<String>(); 
52. regex = "<title>.*?</title>"; 
53. Pattern pa = Pattern.compile(regex, Pattern.CANON_EQ); 
54. Matcher ma = pa.matcher(s); 
55. while (ma.find()) ...{ 
56. list.add(ma.group()); 
57. } 
58. for (int i = 0; i < list.size(); i++) ...{ 
59. title = title + list.get(i); 
60. } 
61. return outTag(title); 
62. } 
63. /** *//** 
64. * 
65. * @param s 
66. * @return 獲得鏈接 
67. */ 
68. public List<String> getLink(String s) ...{ 
69. String regex; 
70. List<String> list = new ArrayList<String>(); 
71. regex = "<a[^>]*href=("([^"]*)"|'([^']*)'|([^s>]*))[^>]*>(.*?)</a>"; 
72. Pattern pa = Pattern.compile(regex, Pattern.DOTALL); 
73. Matcher ma = pa.matcher(s); 
74. while (ma.find()) ...{ 
75. list.add(ma.group()); 
76. } 
77. return list; 
78. } 
79. /** *//** 
80. * 
81. * @param s 
82. * @return 獲得腳本代碼 
83. */ 
84. public List<String> getScript(String s) ...{ 
85. String regex; 
86. List<String> list = new ArrayList<String>(); 
87. regex = "<script.*?</script>"; 
88. Pattern pa = Pattern.compile(regex, Pattern.DOTALL); 
89. Matcher ma = pa.matcher(s); 
90. while (ma.find()) ...{ 
91. list.add(ma.group()); 
92. } 
93. return list; 
94. } 
95. /** *//** 
96. * 
97. * @param s 
98. * @return 獲得CSS 
99. */ 
100. public List<String> getCSS(String s) ...{ 
101. String regex; 
102. List<String> list = new ArrayList<String>(); 
103. regex = "<style.*?</style>"; 
104. Pattern pa = Pattern.compile(regex, Pattern.DOTALL); 
105. Matcher ma = pa.matcher(s); 
106. while (ma.find()) ...{ 
107. list.add(ma.group()); 
108. } 
109. return list; 
110. } 
111. /** *//** 
112. * 
113. * @param s 
114. * @return 去掉標(biāo)記 
115. */ 
116. public String outTag(String s) ...{ 
117. return s.replaceAll("<.*?>", ""); 
118. }