麻豆小视频在线观看_中文黄色一级片_久久久成人精品_成片免费观看视频大全_午夜精品久久久久久久99热浪潮_成人一区二区三区四区

首頁 > 學(xué)院 > 開發(fā)設(shè)計(jì) > 正文

使用BeautifulSoup提取網(wǎng)頁信息并自動存儲

2019-11-14 12:07:49
字體:
供稿:網(wǎng)友

關(guān)于BeautifulSoup類的實(shí)例方法和屬性的說明,不再贅述,還是拿示例分析,看一看使用BeautifulSoup是如何提取網(wǎng)站信息并自動存儲的。

下面的例子是用提供的網(wǎng)站域名作為文件夾名稱,把提取到的圖像文件存儲到文件夾中。

from bs4 import BeautifulSoupimport requestsimport osfrom urllib.request import urlopenfrom urllib.parse import urlparse'''if len(sys.argv) < 2:    PRint("用法:python bs4FileTest.py 網(wǎng)址")    exit(1)'''url = 'http://www.abvedu.com/appcpzs'domain = "{}://{}".format(urlparse(url).scheme, urlparse(url).hostname)#http://www.abvedu.comsrc = requests.get(url)print(type(src))src.encoding = 'bgk'#獲得以標(biāo)記為元素的文本列表html  = src.text#對超文本標(biāo)記語言進(jìn)行解析,生成一個BeautifulSoup實(shí)例bsbs = BeautifulSoup(html,'html.parser')#搜索的目標(biāo)是<img>標(biāo)簽,把搜索到的符合條件的標(biāo)簽存放到列表all_imgs中all_imgs = bs.find_all(['a','img'])#all_imgs = bs.find_all(['img'])#迭代列表for link in all_imgs:    #提取屬性值,即從<img..../>標(biāo)簽中提取屬性    src = link.get('src')    print("-----",src,"------------")    href = link.get('href')    print("**********",href,"**********")    #創(chuàng)建一個列表    targets = [src, href]    for t in targets:        if t != None and ('.jpg' in t or '.png' in t or 'gif' in t):            if t.startswith('http'): full_path = t            else:                     full_path = domain+t            print(full_path)            image_dir = url.split('/')[-1]            #檢查要存取的文件夾是否存在,如果不存在就創(chuàng)建一個新的            if not os.path.exists(image_dir): os.mkdir(image_dir)            filename = full_path.split('/')[-1]            ext = filename.split('.')[-1]            filename = filename.split('.')[-2]            if  'jpg' in ext: filename = filename + '.jpg'            else:              filename = filename + '.png'            image = urlopen(full_path)            fp = open(os.path.join(image_dir,filename),'wb')            fp.write(image.read())            fp.close()


發(fā)表評論 共有條評論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 国内精品久久久久久久星辰影视 | 91www成人久久 | 欧美一级黄色免费看 | 看毛片电影 | 男女羞羞视频在线免费观看 | 欧美激情在线播放 | 国产pron | 在线成人影视 | 一级做受毛片免费大片 | 精品一二三区视频 | av在线免费看网站 | 免费啪啪 | 黄色一级片在线免费观看 | 国产在线精品一区二区三区 | 欧美一级毛片美99毛片 | 一区二区三区视频在线播放 | 一区二区视频在线看 | 久久精品一区二区三区不卡牛牛 | a网在线 | 亚洲va在线 | 91av日韩 | 美女视频大全网站免费 | 人禽l交免费视频 | 色播视频网站 | 国产在线欧美日韩 | 27xxoo无遮挡动态视频 | 91专区在线观看 | 国产视频软件在线 | 久久伊人国产精品 | 毛片视频网址 | 美女视频黄视大全视频免费网址 | 国产成人高潮免费观看精品 | 亚洲欧美在线看 | 国产九九热| 99精品国产一区二区三区 | 在线观看免费污视频 | 亚洲精品久久久久久下一站 | 欧美18xxxx | av电影网在线观看 | 欧美亚洲一级 | 成人在线视频免费播放 |