本文利用C#和.NET提供的類來輕松創(chuàng)建一個抓取網(wǎng)頁內(nèi)容源代碼的程序 。HTTP是WWW進行數(shù)據(jù)訪問最基本的協(xié)議之一,在.NET的基本類型庫類中提供了兩個對象類:HTTPWebRequest和HTTPWebResponse,分別用來向某資源發(fā)送請求和獲得響應(yīng)。為了得到一個資源的內(nèi)容,我們先指定一個想要抓取的URL地址,用HTTPWebRequest對象進行請求,用HTTPWebResponse對象接收響應(yīng)的結(jié)果,最后用TextStream對象來提取我們想要的信息,并在控制臺打印出來。
下面就是看看如何實現(xiàn)這樣的功能:
(1)打開VS.NET,點“文件”-“新建”-“項目”,項目類型選擇“Visual C#項目”,模板選“Windows應(yīng)用程序”,
(2)在Form1里加入Label1,Button1,TextBox1,TextBox2四個控件,TextBox2的Multiline屬性改為True,
(3)在Form1窗體上點擊右鍵,選“查看代碼”,然后在最頂端輸入:
using System.IO; using System.Net; using System.Text; private void button1_Click(object sender, System.EventArgs e) { } |
byte[] buf = new byte[38192]; HttpWebRequest request = (HttpWebRequest) WebRequest.Create(textBox1.Text); HttpWebResponse response = (HttpWebResponse) request.GetResponse(); Stream resStream = response.GetResponseStream(); int count = resStream.Read(buf, 0, buf.Length); textBox2.Text = Encoding.Default.GetString(buf, 0, count); resStream.Close(); |
(4)all”按鈕,按“F5”運行應(yīng)用程序,在“請輸入URL地址:”后面的單行文本框里輸入http://www.companysz.com,點擊“得到 HTML 代碼”按鈕,就可以看到該地址的代碼了!
下面,我們就對上面的程序做一個分析:
上面的這個程序的功能是抓取網(wǎng)頁http://www.companysz.com的內(nèi)容,并在多行文本框里顯示出HTML代碼,由于返回的數(shù)據(jù)是字節(jié)類型的,因此,我們創(chuàng)建一個名為buf的字節(jié)類型的數(shù)組變量來存儲請求返回來的結(jié)果,其中數(shù)組的大小與我們要請求返回的數(shù)據(jù)大小有關(guān)系。
首先,我們實例化HttpWebRequest對象,使用WebRequest類的靜態(tài)方法Create(),該方法的字符串參數(shù)就是我們要請求頁面的URL地址,由于Create()方法返回的是WebRequest類型的,我們必須對它進行造型(即類型轉(zhuǎn)換)成HttpWebRequest類型,再賦給request變量。一旦我們建立了HttpWebRequest對象,就可以使用它的GetResponse()方法來返回一個WebResponse對象,然后再造型成HttpWebResponse對象賦給response變量。
現(xiàn)在,就可以使用response對象的GetResponseStream()方法來得到響應(yīng)的文本流了,最后用Stream對象的Read()方法把返回的響應(yīng)信息放到我們最初創(chuàng)建的字節(jié)數(shù)組buf中,Read()有3個參數(shù),分別是:要放入的字節(jié)數(shù)組,字節(jié)數(shù)組的開始位置,字節(jié)數(shù)組的長度。
最后把字節(jié)轉(zhuǎn)換成字符串,注意:這里采用的采用的是Default編碼,它使用默認的編碼方式,我們就不用再進行字符編碼之間的轉(zhuǎn)換了。也可以利用WebRequest和WebResponse實現(xiàn)以上的功能,代碼如下:
WebRequest request = WebRequest.Create(textBox1.Text); WebResponse response =request.GetResponse(); |
輸入其它的URL看看是不是很方便!
新聞熱點
疑難解答
圖片精選