無(wú)語(yǔ)網(wǎng)站鏈接抓取器

無(wú)語(yǔ)網(wǎng)站鏈接抓取器是一款綠色免費(fèi)的網(wǎng)站鏈接采集軟件。軟件功能強(qiáng)大，可以抓取目標(biāo)網(wǎng)站所有內(nèi)頁(yè)地址，保存為T(mén)XT格式。顧名思義，主要是用來(lái)抓取網(wǎng)站鏈接的，也就是輸入一個(gè)網(wǎng)站的首頁(yè)地址，然后軟件可以把整個(gè)網(wǎng)站頁(yè)面地址給抓取下來(lái)并保存。

功能特點(diǎn)

1、抓取目標(biāo)網(wǎng)站的所有網(wǎng)頁(yè)地址。
2、自行設(shè)置線程數(shù)，以達(dá)到最高效率。
3、按設(shè)置條數(shù)自動(dòng)分割、保存為T(mén)XT。

軟件功能

一、制作網(wǎng)站地圖

使用軟件保存的TXT。直接上傳到網(wǎng)站根目錄就可以成為一個(gè)簡(jiǎn)單的TXT網(wǎng)站地圖。

制作成網(wǎng)站地圖后，可到 http://zhanzhang.baidu.com/sitemap/index 進(jìn)行提交，以增加收錄。

二、手動(dòng)提交網(wǎng)址

可以把軟件抓取下來(lái)的鏈接自己進(jìn)行提交，增加蜘蛛的爬取頻率，從而增加收錄量�？膳浜媳菊镜摹鞍俣萓RL批量提交工具”一起使用。

三、檢查失誤

所謂的失誤，是指某些后臺(tái)鏈接。不想讓用戶(hù)知道的。但是由于不小心在程序的某個(gè)地方有該網(wǎng)頁(yè)的鏈接自己沒(méi)注意到。這時(shí)候就可以使用軟件把整個(gè)網(wǎng)站的鏈接抓取下來(lái)。然后檢查看看有沒(méi)有敏感鏈接。

四、檢查收錄

可以查看一下百度對(duì)本站的索引量。然后使用軟件把網(wǎng)站的所有鏈接都抓取下來(lái)�？纯磾�(shù)量上的差距是否比較大。如果差距過(guò)大，則要注意是否空間不穩(wěn)定或者文章質(zhì)量太低或者暴光率太低。

使用方法

1、輸入需要抓取的網(wǎng)站首頁(yè)地址。

2、設(shè)置線程數(shù)量。（線程越少，速度越慢，耗CPU及網(wǎng)速越低，越不容易漏掉鏈接。線程越多，速度越快，耗CPU及網(wǎng)速越高，漏抓取機(jī)率高。）

3、選擇抓取后的鏈接保存地址。（注：如果選擇的TXT名稱(chēng)為 abc.txt的話(huà)。軟件會(huì)保存為 abc_*.txt 的形式）

4、選擇每個(gè)TXT保存的條數(shù)。（以第3條舉例，如果這里設(shè)置為5000，當(dāng)abc_1.txt保存的鏈接數(shù)到達(dá)5000，后面的鏈接會(huì)自動(dòng)保存到abc_2.txt里，依此類(lèi)推。）

5、開(kāi)始

更新日記

解決某些網(wǎng)站抓取失敗的問(wèn)題