這篇文章主要介紹了python爬蟲模擬瀏覽器訪問-User-Agent過程解析,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
模擬瀏覽器訪問-User-Agent:
import urllib2#User-Agent 模擬瀏覽器訪問headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}#通過urllib2.Request()方法構造一個請求對象request = urllib2.Request("http://www.baidu.com/",headers = headers)#向指定的URL地址發送請求,并返回服務器響應的類文件對象#response是服務器響應的類文件,除了支持文件操作的方法外,還支持以下常用的方法:response = urllib2.urlopen(request)#服務器返回的類文件對象支持python文件對象的操作方法#read()方法就是讀取文件里的全部內容,返回字符串html = response.read()#返回HTTP的響應碼,成功返回200,4服務器頁面出錯;5.服務器問題print response.getcode()#返回實際數據的實際URL,防止重定向問題print response.geturl()#返回服務器響應的HTTP報頭print response.info()#打印響應內容print(html)
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持武林網之家。
新聞熱點
疑難解答