麻豆小视频在线观看_中文黄色一级片_久久久成人精品_成片免费观看视频大全_午夜精品久久久久久久99热浪潮_成人一区二区三区四区

首頁 > 網站 > 建站經驗 > 正文

batchcollect pagecollect來自官方杰奇jieqi定時采集配置方法參

2019-11-02 17:03:54
字體：大 中 小
來源：轉載
供稿：網友
前言

要實現采集，默認方式是根據配置好的采集規則，在瀏覽器提交相應的參數即可完成后面的采集入庫全部動作。

而實現定時采集，與人工在瀏覽器提交有些區別，主要分兩大步驟：

一、編寫采集的url和相關參數，訪問這個url即可實現想要的采集模式。（這個url直接在瀏覽器提交同樣可以實現采集）

二、把定時訪問這個url的功能加到系統的定時任務里面，實現無人值守的定時采集。

具體實現方法請參考下面內容：

1、對采集配置文件的解釋

任何一個采集都會用到兩個采集配置文件（跟后臺采集規則配置對應），都可以用文本編輯器打開查看。

其中 /configs/article/collectsite.php 是對總的采集站點配置，記錄了一共允許采集哪幾個站點。

里面包含類似這樣的內容：

$jieqiCollectsite['1']['name'] = '采集站點一'; 

$jieqiCollectsite['1']['config'] = 'abc_com'; 

$jieqiCollectsite['1']['url'] = 'http://www.abc.com'; 

$jieqiCollectsite['1']['subarticleid'] = 'floor($articleid/1000)';

$jieqiCollectsite['1']['enable'] = '1';

$jieqiCollectsite['2']['name'] = '采集站點二';

$jieqiCollectsite['2']['config'] = 'def_net';

$jieqiCollectsite['2']['url'] = 'http://www.def.net';

$jieqiCollectsite['2']['subarticleid'] = '';

$jieqiCollectsite['2']['enable'] = '1';

參數含義解釋如下：

['1'] - 這里的 1 表示采集網站的數字序號，不同的采集站序號不能重復。

['name'] - 采集網站名稱。

['config'] - 網站英文標識，這個網站采集規則配置文件有關，比如這個值是 abc_com ，那么采集規則配置文件就是 /configs/article/site_abc_com.php。

['url'] - 采集網站網址。

['subarticleid'] - 采集網站，文章子序號運算方式，本項目主要為了兼容以前程序，新版本里面文章子序號可以通過采集獲得。

['enable'] - 是否允許采集，1 表示允許，0 表示禁止，默認為 1。

如前面所說，每個采集網站有個專門的采集規則配置文件，/configs/article/ 目錄下以 site_ 開頭的php文件，如 /configs/article/site_abc_com.php。

里面內容都與后臺采集規則設置相對應，具體細節不一一解釋。需要了解的是本文件里面內容分兩大部分，前面內容都是對網站內容采集規則的配置，而最后面 $jieqiCollect['listcollect']['0']，$jieqiCollect['listcollect']['1'] 這樣的設置是對網站"批量采集規則"的配置，比如按最近更新采集、按排行榜采集，可以設置多個。['0'] 這里的數字 0 表示批量采集類別的數字序號，同一個網站也不能重復。

2、編寫采集內容的url及參數

這里的采集是針對多篇文章批量采集，分兩種模式：

一、按頁面批量采集，比如采集最新更新列表或者排行榜列表，每個鏈接采集一頁。

鏈接格式如下：

http://www.jb51.net/modules/article/admin/pagecollect.php?action=collect&siteid=1&collectname=0&startpageid=1&maxpagenum=1¬addnew=0&jieqi_username=admin&jieqi_userpassword=1234

參數含義解釋如下：

www.jb51.net - 是指您的網址。

action - 字符串，程序執行的動作命令，固定值為 collect。

siteid - 數字類型，要采集的網站序號，具體哪個網站對應什么序號見配置文件collectsite.php。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板： 日本在线视 | 看全色黄大色黄大片女图片 | 欧美亚州| 国产精品中文在线 | 亚洲第一成av人网站懂色 | 日日夜av| 日韩毛片毛片久久精品 | 欧美日韩国产成人在线观看 | 中文字幕精品久久 | 成人毛片免费看 | chinese军人gay呻吟 | 国产做爰全免费的视频黑人 | 精品一区二区三区免费看 | 日韩激情一区二区三区 | 国产成人精品二区 | 桥本有菜免费av一区二区三区 | 成人小视频免费在线观看 | 性生活视频网站 | 久久久久久久免费视频 | 色视频在线| 天天夜夜草| 一区二区三区欧美日韩 | 国产人成精品综合欧美成人 | 欧美一级不卡视频 | 艹男人的日日夜夜 | 欧美成人精品一区二区三区 | 久久免费观看一级毛片 | 中文字幕22页 | 成熟女人特级毛片www免费 | 成人免费网站在线观看视频 | 91午夜视频 | 免费黄色在线电影 | arabxxxxvideos| 狠狠操视频网站 | 久久精品日产高清版的功能介绍 | 国产一国产一级毛片视频 | 欧美成人精品欧美一级乱黄 | 久久国产精品99国产 | 爱福利视频 | 做爰裸体激情2 | 最新91在线视频 |