麻豆小视频在线观看_中文黄色一级片_久久久成人精品_成片免费观看视频大全_午夜精品久久久久久久99热浪潮_成人一区二区三区四区

首頁 > 開發 > Python > 正文

Python 爬蟲相關問題

2024-07-21 02:52:00
字體：大 中 小
來源：轉載
供稿：網友

1.爬蟲需要導入的幾個模塊

from selenium import webdriverfrom selenium.common.exceptions import TimeoutExceptionfrom selenium.webdriver.support.ui import WebDriverWait # available since 2.4.0from selenium.webdriver.common.keys import Keysimport timeimport osimport sysimport loggingimport httplibimport urllibimport pickleimport reimport urllib2
一般情況下,寫一個普通的爬蟲,以上模塊就足夠了.

2.常用操作解釋

模仿用戶鼠標滑動滾動屏幕事件 driver.find_element_by_tag_name("body").send_keys(Keys.PAGE_DOWN)設置頁面加載超時 driver.set_page_load_timeout(15)當頁面加載完以后,停止瀏覽器繼續加載 driver.execute_script('window.stop()')打開瀏覽器并加載一個網頁地址 driver.get(url)關閉瀏覽器 driver.quit()設置瀏覽器 driver = webdriver.Firefox()延時操作 time.sleep(5)對字典型數據進行編碼 urllib.urlencode(dic)向服務器傳數據 urllib2.urlopen(u)瀏覽器最大化 driver.maximize_window() #瀏覽器最大化

3.尋找節點常用的方法

獲取單個對象 driver.find_element_by_class_name driver.find_element_by_xpath driver.find_element_by_id

xpath 語法的種類比較繁多,大概有兩種:driver.find_element_by_xpath('./a[2]/span')和dirver.find_element_by_xpath('./*[1]')
'./a[2]/span' 取出子元素中標簽是a 的第二標簽下面的span 標簽
./*[1]取出當前元素的第一個子元素

獲取多個對象 driver.find_elements_by_class_name driver.find_elements_by_xpath driver.find_elements_by_id

獲取對象的屬性或者內容 node.get_attribute('src') node.text

更多詳情請看http://itindex.net/detail/55758-python-selenium-元素

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板： 黄色免费小网站 | av电影院在线观看 | 一级黄色毛片a | 91短视频在线视频 | av在线免费网 | 亚州精品在线视频 | 国产毛片在线看 | 欧洲成人一区二区 | 国产精品久久久久久影视 | 夜夜夜操操操 | 羞羞羞羞视频 | 国产91久久精品一区二区 | 亚洲综合精品 | 97中文字幕第一一一页 | www69xxxxx| 亚洲日本欧美 | 国产免费视频一区二区裸体 | 午夜久久视频 | 毛片在线视频观看 | 新久草在线视频 | 国产免费一区二区三区在线能观看 | 久久久久久久久国产 | 亚洲一级毛片 | 成人毛片网站 | 蜜桃精品视频 | 亚洲视频成人 | 精品在线观看一区 | 污片在线观看视频 | 日本精品视频一区二区三区四区 | www.99re14.com | 久久精品日产第一区二区三区 | 亚洲国产视频在线 | 91成人一区| 成人午夜视频在线观看免费 | 欧美h版电影在线观看 | 91国在线高清视频 | 国产女厕一区二区三区在线视 | 久久老司机精品视频 | 成人男女免费视频 | 色婷婷a| 99成人精品视频 |