綜述

本系列文檔用于對Python爬蟲技術進行簡單的教程講解，鞏固自己技術知識的同時，萬一一不小心又正好對你有用那就更好了。

Python 版本是3.7.4

urllib庫介紹

它是 Python 內置的HTTP請求庫，也就是說我們不需要額外安裝即可使用，它包含四個模塊(主要對前三個模塊進行學習)：

urllib.request 介紹

urlopen()

1.參數說明(僅寫了四個最常用的參數)

url : 爬取目標的URL；
data : 請求參數，如果設置該參數，則請求默認為post請求；沒有默認為get請求；
timeout : 用于設置超時時間，單位為秒；
context : 必須是一個ssl.SSLContext類型,用來指定SSL設置,忽略未認證的CA證書;

2.具體用法

GET 請求方式

# 導入urllib庫import urllib.request  # 向指定的url發送請求，并返回服務器響應的類文件對象 url = "http://www.baidu.com" response = urllib.request.urlopen(url=url) print(type(response))  # 類文件對象支持文件對象的操作方法，如read()方法讀取文件全部內容，返回字符串 html = response.read() # html = response.readline() # 讀取一行 # html = response.readlines() # 讀取多行，返回列表 # 打印響應結果（byte類型） print(html) # 打印響應結果（utf-8類型） # 二進制和字符串之間的相互轉碼使用 encode() 和 decode() 函數 # encode() 和 decode() 可帶參數，不寫默認utf-8，其他不再特別說明 print(html.decode()) # 打印狀態碼 # print(response.get_code()) print(response.status) # 獲取響應頭 print(response.getheaders()) # 獲取響應頭Server信息 print(response.getheader('Server')) # 獲取響應結果原因 print(response.reason)

POST 請求方式

# 導入urllib庫import urllib.parseimport urllib.request  # 向指定的url發送請求，并返回 post_url = 'https://fanyi.baidu.com/sug' # 傳入參數 form_data = { 'kw': 'honey' } # 格式化參數 form_data = urllib.parse.urlencode(form_data).encode()  response = urllib.request.urlopen(url=post_url, data=form_data) # 打印服務器響應的類文件對象 print(type(response))  # 類文件對象支持文件對象的操作方法，如read()方法讀取文件全部內容，返回字符串 html = response.read() # 打印響應結果（byte類型） print(html) # 打印響應結果（utf-8類型） print(html.decode()) # 打印狀態碼 print(response.status) # print(response.getcode()) # 獲取響應頭 print(response.getheaders()) # 獲取響應頭Server信息 print(response.getheader('Server')) # 獲取響應結果原因 print(response.reason)

urlretrleve()

1.參數說明

url : 下載鏈接地址；
filename : 指定保存本地路徑(如果參數未指定，urllib會生成一個臨時文件保存數據)；