搜索引擎抓取異常的原因有哪些
在SEO診斷過程中經(jīng)常遇到這樣的問題,有一些網(wǎng)頁,內(nèi)容優(yōu)質(zhì)、用戶也可以正常訪問,但是搜索引擎蜘蛛?yún)s無法正常訪問并抓取,造成搜索結(jié)果覆蓋率缺失,對搜索引擎對站點(diǎn)都是一種損失。百度把這種情況叫"抓取異常"對于大量內(nèi)容無法正常抓取的網(wǎng)站,搜索引擎會認(rèn)為網(wǎng)站存在用戶體驗(yàn)上的缺陷,并降低對網(wǎng)站的評價,其在抓取、索引、排序上都會受到一定程度的負(fù)面影響,最終影響到網(wǎng)站從百度獲取的流量。抓取異常主要有哪些原因呢?
一、鏈接異常
1、訪問被拒絕:爬蟲發(fā)起抓取,httpcode返回碼是403。
2、找不到頁面:爬蟲發(fā)起抓取,httpcode返回碼是404。
3、服務(wù)器錯誤:爬蟲發(fā)起抓取,httpcode返回碼是5XX。
4、其他錯誤:爬蟲發(fā)起抓取,httpcode返回碼是4XX,不包括403和404。
二、網(wǎng)站異常
1、dns異常:當(dāng)Baiduspider無法解析您網(wǎng)站的IP時,會出現(xiàn)DNS異常??赡苁悄木W(wǎng)站IP地址錯誤,或者域名服務(wù)商把Baiduspider封禁。請使用WHOIS或者h(yuǎn)ost查詢自己網(wǎng)站IP地址是否正確且可解析,如果不正確或無法解析,請與域名注冊商聯(lián)系,更新您的IP地址。
2、連接超時:抓取請求連接超時,可能原因服務(wù)器過載,網(wǎng)絡(luò)不穩(wěn)定。
3、抓取超時:抓取請求連接建立后,下載頁面速度過慢,導(dǎo)致超時,可能原因服務(wù)器過載,帶寬不足。
4、連接錯誤:無法連接或者連接建立后對方服務(wù)器拒絕。
優(yōu)化猩專注企業(yè)營銷型網(wǎng)站的建設(shè)與推廣,幫助無數(shù)家企業(yè)成功向網(wǎng)絡(luò)營銷方向轉(zhuǎn)型。我們不是為了做網(wǎng)站而做網(wǎng)站,不是為了推廣而推廣!而是為了營銷而做網(wǎng)站!為了效果而做推廣!如果您有意于營銷型網(wǎng)站建設(shè),歡迎您與我們聯(lián)系。
想了解更多網(wǎng)絡(luò)營銷的內(nèi)容,請?jiān)L問:網(wǎng)絡(luò)營銷