神箭手是一款強(qiáng)大的數(shù)據(jù)采集軟件,它可以可視化點(diǎn)選要爬取的網(wǎng)頁(yè)數(shù)據(jù),自動(dòng)生成爬蟲(chóng)代碼,整個(gè)過(guò)程非常智能化且高效運(yùn)作,同時(shí)優(yōu)化了文件導(dǎo)出,速度更快,更可批量導(dǎo)出所有數(shù)據(jù),更重要的是,使用完全免費(fèi),大家需要采集什么數(shù)據(jù)都可以輕松完成。
軟件簡(jiǎn)介:
神箭手是云服務(wù),所有操作都可以登錄網(wǎng)站后進(jìn)行。同時(shí),神箭手也提供了客戶端軟件,方便習(xí)慣軟件的用戶使用?梢酝ㄟ^(guò)官網(wǎng)下載最新版客戶端軟件。
神箭手客戶端的賬戶、功能和體驗(yàn)都和網(wǎng)站同步。此外,通過(guò)客戶端導(dǎo)出數(shù)據(jù)到本地文件速度更快更穩(wěn)定;客戶端還增加了可視化點(diǎn)選自動(dòng)生成爬蟲(chóng)代碼的功能,適合不會(huì)編程的用戶自定義爬蟲(chóng)。其他功能和在官網(wǎng)上的操作是一樣的。
使用步驟:
登錄神箭手客戶端 ——> 創(chuàng)建點(diǎn)選模式的爬蟲(chóng) ——> 點(diǎn)選要爬取的數(shù)據(jù) ——> 啟動(dòng)爬蟲(chóng)
步驟一 登錄神箭手客戶端
打開(kāi)安裝好的神箭手客戶端,輸入神箭手賬號(hào)和密碼,登錄進(jìn)入控制臺(tái)
步驟二 創(chuàng)建點(diǎn)選模式的爬蟲(chóng)
點(diǎn)擊 “新建應(yīng)用” > 選擇 “爬蟲(chóng)”,點(diǎn)擊 “下一步” > 選擇 “自己開(kāi)發(fā)” > 選擇 “點(diǎn)選模式”。輸入爬蟲(chóng)名稱,點(diǎn)擊”創(chuàng)建”
步驟三 點(diǎn)選要爬取的數(shù)據(jù)
1、 打開(kāi)創(chuàng)建的爬蟲(chóng),進(jìn)入 打開(kāi)點(diǎn)選面板
2、在點(diǎn)選面板中,進(jìn)行 點(diǎn)選操作
首先,輸入一個(gè)包含所需數(shù)據(jù)的url(比如 https://www.leiphone.com/news/201712/WxtDEEQEXXDZLYev.html ),回車加載顯示內(nèi)容:
然后,在顯示的網(wǎng)頁(yè)內(nèi)容中,點(diǎn)擊選擇要采集的數(shù)據(jù),比如選擇采集文章的標(biāo)題和內(nèi)容:
點(diǎn)擊左側(cè)的高級(jí)設(shè)置,可以設(shè)置爬蟲(chóng)的列表頁(yè)、內(nèi)容頁(yè)url正則表達(dá)式、是否自動(dòng)JS渲染等,提高爬蟲(chóng)效率:
步驟四 啟動(dòng)爬蟲(chóng)
完成點(diǎn)選后,點(diǎn)擊 開(kāi)始爬取。稍等一會(huì),爬蟲(chóng)就會(huì)自動(dòng)開(kāi)始運(yùn)行了
常見(jiàn)問(wèn)題
1、點(diǎn)擊點(diǎn)選面板的 查看代碼,可以隨時(shí)查看點(diǎn)選自動(dòng)生成的爬蟲(chóng)代碼,可以拷貝代碼到編程模式的爬蟲(chóng)內(nèi),進(jìn)行二次開(kāi)發(fā)