麻豆小视频在线观看_中文黄色一级片_久久久成人精品_成片免费观看视频大全_午夜精品久久久久久久99热浪潮_成人一区二区三区四区

首頁 > 編程 > PHP > 正文

php+phpquery簡易爬蟲抓取京東商品分類

2020-03-22 20:19:59
字體:
來源:轉載
供稿:網友
  •   這是一個簡單的php加phpquery實現抓取京東商品分類頁內容的簡易爬蟲。phpquery可以非常簡單地幫助你抽取想要的html內容,phpquery和jquery非常類似,可以說是幾乎一樣;如果你有jquery的基礎的話你可以迅速地上手。

      1、下載phpquery并置于web根目錄下的phpQuery文件夾

        phpquery下載:https://code.google.com/p/phpquery/downloads/list

        phpquery教程可在這里查看:https://code.google.com/p/phpquery/

      2、抓取程序

    <?php/* * Created on 2015-1-29 * * To change the template for this generated file go to * Window - Preferences - PHPeclipse - PHP - Code Templates */ header('Content-type:text/html; charset=utf-8');function getPage( $url ){  $cnt = file_get_contents($url);  return mb_convert_encoding($cnt ,'UTF-8','GBK');}include 'phpQuery/phpQuery.php'; $url = 'http://www.jd.com/allSort.aspx';$page = getPage($url);//phpQuery::newDocumentHTML($page);phpQuery::newDocumentFile($url);$firstCate = pq('#allsort .m');$id = 0;foreach($firstCate as $first){    $id ++;    $topcate = pq($first)->find('.mt a');    //echo '**************************' . $topcate->text() . '**************************************</br>';    echo $id . '#';    foreach($topcate as $top){        echo pq($top)->text() . '#' . '< a href='' .pq($top)->attr('href') . '' target='_blank'>' . pq($top)->text() .'< /a>、';    }    echo '#0#1</br>';    $companies = pq($first)->find('.mc dl');    $parent_id = $id;    foreach($companies as $company)    {          $id++;        $sparent_id = $id;       echo '&nbsp;&nbsp;' . $id . '#' .pq($company)->find('dt')->text() . '#' .  '< a href='' . pq($company)->find('dt a')->attr('href') . '' target='_blank'>' . pq($company)->find('dt')->text() .'< /a>#' . $parent_id .'#2<br>';        $cate = pq($company)->find('dd em a');       foreach($cate as $detail) {           $id++;           echo '&nbsp;&nbsp;&nbsp;&nbsp;' .  $id . '#' .pq($detail)->text() . '#' . '< a href=''. pq($detail)->attr('href') . '' target='_blank'>' . pq($detail)->text() .'< /a>#' . $sparent_id . '#3<br>';        }           }  }?>

      3、運行效果

      這樣可以抓取京東商品分類的信息了。可以加上數據庫,將數據保存在數據庫中,這樣可以更利于數據的保存和操作。雖然這里只是抓取京東商品的分類,如果延伸一下的話還可以抓取商品價格,好評差評等信息。這里就不一一細說了,具體問題具體解決,完全看需求。如果有需要的話還可以做成萬能的,輸入標簽的xpath,然后得到具體的值;這純屬YY,有興趣的可以網上找找資料,實現的方式應該也不少。

    PHP編程

    鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播更多信息之目的,如作者信息標記有誤,請第一時間聯系我們修改或刪除,多謝。

  • 發表評論 共有條評論
    用戶名: 密碼:
    驗證碼: 匿名發表
    主站蜘蛛池模板: 中文字幕在线永久 | 在线免费91 | 一区二区久久电影 | 久久夜夜视频 | 天天黄色片 | 日本在线播放一区二区三区 | 一区二区三区在线观看视频 | 一区二区三区无码高清视频 | 国产精品久久久久久久久久10秀 | 久久精品探花 | 三级国产三级在线 | 91网站链接| 免费国产网站 | 羞羞视频在线免费 | 黄色片网站在线看 | 激情久久免费视频 | 一区二区久久久久草草 | 国产一级一片免费播放 | 91久久久久久久久久久久久久 | 欧美亚洲国产一区二区三区 | 成人国产精品久久久 | 亚洲精品午夜在线 | 麻豆蜜桃在线观看 | 国产精品视频一区二区三区四 | 久久免费视频7 | 久久亚洲一区二区三区成人国产 | av国产免费| 欧美成人精品h版在线观看 国产一级淫片在线观看 | 欧美18一19sex性护士农村 | 欧美精品成人一区二区三区四区 | 精品中文字幕久久久久四十五十骆 | 日韩毛片免费观看 | 国产精品伦视频看免费三 | 午夜影视一区二区 | ⅴideo裸体秀hd | 国产成人aⅴ| 亚洲小视频在线 | 成人在线视频精品 | 久久亚洲精品国产一区 | 久久国产精品二国产精品 | 在线观看免费视频麻豆 |