小爬蟲可以生成sitemap.xml及網(wǎng)站地圖html文件，該生成工具是一款使用起來(lái)很方便的免費(fèi)網(wǎng)站地圖及Sitemap.xml的制作軟件，可以裝在公司任意一臺(tái)電腦上，局域網(wǎng)內(nèi)的其它客戶端電腦通過瀏覽器地址欄輸入安裝后的小爬蟲服務(wù)地址比如：http://192.168.0.100:9000 進(jìn)行操作使用。小爬蟲4.0新增功能：可以定義多個(gè)網(wǎng)址每天自動(dòng)定時(shí)生成sitemap文件，到時(shí)管理員可以直接去指定文件夾下去取就行了，用不著每次更新后再去運(yùn)行生成。
V4.5.0無(wú)限制特別版
V4.3.0版本說明
新增功能：支持robots.txt，如果該網(wǎng)站定義了robots.txt禁止搜索引擎抓取某些頁(yè)面或目錄，小爬蟲也將不抓取這些目錄或頁(yè)面。
V4.2.0版本說明：
新增功能：大型網(wǎng)站頁(yè)面太多，可支持分頁(yè)，比如sitemap1.html,sitemap2.html,以減少谷歌爬蟲的負(fù)擔(dān)。
V4.4.0日常性更新
大�。� 89.5M
大�。� 304.3M
HTTP數(shù)據(jù)抓包(Fiddler5)V5.0.20194.41348 綠色中文版 
終端仿真器 SecureCRTv7.1.1.264 最新版 
串口調(diào)試小助手1.3 免費(fèi)版 
WinHex 十六進(jìn)制編輯器v20.2 SR-5 綠色中文注冊(cè)版 
jQuery 1.9.1 正式版 
小旋風(fēng)ASP服務(wù)器安裝版 
16進(jìn)制轉(zhuǎn)換工具V1.0 中文綠色版 
visual studio 2015離線版官方完整版 
Adobe AIRV33.1.1.932 官方最新版 
github離線安裝包64位版V2.9.11官方最新版(github desktop) 
mysql數(shù)據(jù)庫(kù).net開發(fā)驅(qū)動(dòng)(mysql connector net )8.0.11 官方最新版 
MSDN Library Visual Studio 6.0(VC、VB、VF、VJ)中文版win32開發(fā)人員必備 
版本控制軟件(SourceTree)v3.4.6 官方最新版 
Memory Analyzer (MAT)V1.01 免費(fèi)綠色版 
Delphi Distillerv1.85綠色版 
IBM內(nèi)存檢測(cè)工具(IBM Thread and Monitor Dump Analyzer for Java)V4.3.3 綠色版 
.NETv3.0 可再發(fā)行組件包 
一鍵安裝JSP環(huán)境安裝版