造成百度蜘蛛抓取異常的常見原因有哪些？( 二 ) _ign

1）針對百度搜索refer的異常，網頁針對來自百度的refer返回不同于正常內容的行業；
2）針對百度UA的異常，網頁對百度UA返回不同于頁面原內容的行為；
3）JS跳轉異常：網頁代碼中加載了百度無法識別的js跳轉代碼，導致用戶通過搜索進行網站頁面后就發生了跳轉行為；
4）網站抓取壓力過大引起的偶然封禁，百度搜索會根據網站的規劃、流量等情況，給網站設置一個合理的抓取壓力。
如果網站抓取壓力有異常情況，例如網站抓取壓力出現失控的情況，這時web服務器會根據自身負荷能力啟動臨時性的封禁，例如向用戶返回“Service Unavailable”，這里百度搜索會過段時間再來重新抓取網站鏈接，如果此時網站web服務器已恢復正常，則網站頁面就會被成功抓取。