抓取診斷工具常見錯誤類型解析
1.url規(guī)范：百度支持抓取的url長度不超過1024，如果您的鏈接長度過長，請?jiān)诒ＷC正常訪問的情況下，適當(dāng)精簡，保證鏈接能被百度正常抓取和收錄。
2.重定向錯誤：重定向是指百度spider訪問鏈接時發(fā)生了跳轉(zhuǎn)，如果跳轉(zhuǎn)后的鏈接超長或者連續(xù)跳轉(zhuǎn)的次數(shù)超過5次，就會發(fā)生重定向錯誤而導(dǎo)致抓取失敗。
3.服務(wù)器連接錯誤：這種情況是指，由于服務(wù)器響應(yīng)過慢或您的網(wǎng)站屏蔽了百度spider，而導(dǎo)致百度無法訪問您的網(wǎng)站。從而會導(dǎo)致百度無法正常收錄或者更新您網(wǎng)站的內(nèi)容。您可能看到以下具體錯誤：連接超時、連接失敗、連接被拒、無響應(yīng)、響應(yīng)遭到截斷、連接重置、標(biāo)頭遭到截斷、超時。
