本文實例講述了Python基于BeautifulSoup和requests實現(xiàn)的爬蟲功能。分享給大家供大家參考，具體如下：

爬取的目標網(wǎng)頁：http://www.qianlima.com/zb/area_305/

這是一個招投標網(wǎng)站，我們使用python腳本爬取紅框中的信息，包括鏈接網(wǎng)址、鏈接名稱、時間等三項內(nèi)容。

使用到的Python庫：BeautifulSoup、requests

代碼如下：

# -*- coding:utf-8 -*-import requestsfrom bs4 import BeautifulSoupurl = 'http://www.qianlima.com/zb/area_305/'user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'headers = { 'User-Agent' : user_agent}r = requests.get(url,headers=headers)#連接content = r.text#獲取內(nèi)容，自動轉(zhuǎn)碼unicodesoup = BeautifulSoup(content,"lxml")tags1 = soup.select('div .shixian_zhaobiao')tag1 = tags1[0]tag2 = tag1.find(name = 'dl')tags2 = tag2.find_all(name = 'a')tags3 = tag2.find_all(name = 'dd')for tag in tags2: print tag.get('href') print tag.string print tag.next_element.next_element.string

運行結(jié)果如下

更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python Socket編程技巧總結(jié)》、《Python正則表達式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》

希望本文所述對大家Python程序設(shè)計有所幫助。