百度資源：網(wǎng)站建設(shè)與百度搜索引擎優(yōu)化（全文）
我們可以借用郭小四的名言來形容現(xiàn)今的搜索引擎時代——這是一個最好的時代，也是最壞的時代。搜索引擎技術(shù)飛速發(fā)展，對網(wǎng)站的解析越來越充分，而各家網(wǎng)站也面臨著強勁的對手競品，如何讓自己的網(wǎng)站對搜索引擎對百度更加友好，是站長要充分考慮的問題。 本篇的主旨就告訴站長：怎樣建設(shè)對搜索引擎友好的站點，目前分為五個章節(jié)：友好抓取；鏈接建設(shè)；網(wǎng)站安全；網(wǎng)站變更；其他。
如何正確識別Baiduspider移動ua
新版移動ua:
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
PC ua:
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
之前通過"+http://www.baidu.com/search/spider.html"進行識別的網(wǎng)站請注意！您需要修改識別方式，新的正確的識別Baiduspider移動ua的方法如下：
1. 通過關(guān)鍵詞"Android"或者"Mobile"來進行識別，判斷為移動訪問或者抓取。
2. 通過關(guān)鍵詞"Baiduspider/2.0",判斷為百度爬蟲。
另外需要強調(diào)的是，對于robots封禁，如果封禁的agent是Baiduspider，會對PC和移動同時生效。即，無論是PC還是移動Baiduspider，都不會對封禁對象進行抓取。之所以要強調(diào)這一點，是發(fā)現(xiàn)有些代碼適配站點（同一個url，PC ua打開的時候是PC頁，移動ua打開的時候是移動頁），想通過設(shè)置robots的agent封禁達到只讓移動Baiduspider抓取的目的，但由于PC和移動Baiduspider的agent都是Baiduspider,這種方法是非常不可取的。
如何識別百度蜘蛛
百度蜘蛛對于站長來說可謂上賓，可是我們曾經(jīng)遇到站長這樣提問：我們?nèi)绾闻袛喁偪褡ノ覀兙W(wǎng)站內(nèi)容的蜘蛛是不是百度的？其實站長可以通過DNS反查IP的方式判斷某只spider是否來自百度搜索引擎。根據(jù)平臺不同驗證方法不同，如linux/windows/os三種平臺下的驗證方法分別如下：
1、在linux平臺下，您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。
2、在windows平臺或者IBM OS/2平臺下，您可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 來判斷是否來自Baiduspider的抓取，Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。
3、 在mac os平臺下，您可以使用dig 命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入dig xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 來判斷是否來自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。
Baiduspider IP是多少
即便很多站長知道了如何判斷百度蜘蛛，仍然會不斷地問"百度蜘蛛IP是多少"。我們理解站長的意思，是想將百度蜘蛛所在IP加入白名單，只準白名單下IP對網(wǎng)站進行抓取，避免被采集等行為。
但我們不建議站長這樣做。雖然百度蜘蛛的確有一個IP池，真實IP在這個IP池內(nèi)切換，但是我們無法保證這個IP池整體不會發(fā)生變化。所以，我們建議站長勤看日志，發(fā)現(xiàn)惡意蜘蛛后放入黑名單，以保證百度的正常抓取。
同時，我們再次強調(diào)，通過IP來分辨百度蜘蛛的屬性是非?？尚Φ氖虑?，所謂的"沙盒蜘蛛""降權(quán)蜘蛛"等等是從來都不存在的。
robots寫法
robots是站點與spider溝通的重要渠道，站點通過robots文件聲明該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。請注意，僅當您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請勿建立robots.txt文件。
robots文件往往放置于根目錄下，包含一條或更多的記錄，這些記錄通過空行分開（以CR,CR/NL, or NL作為結(jié)束符），每一條記錄的格式如下所示：
"<field>:<optional space><value><optionalspace>"
在該文件中可以使用#進行注解，具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開始，后面加上若干Disallow和Allow行,詳細情況如下：
User-agent:該項的值用于描述搜索引擎robot的名字。在"robots.txt"文件中，如果有多條User-agent記錄說明有多個robot會受到"robots.txt"的限制，對該文件來說，至少要有一條User-agent記錄。如果該項的值設(shè)為*，則對任何robot均有效，在"robots.txt"文件中，"User-agent:*"這樣的記錄只能有一條。如果在"robots.txt"文件中，加入"User-agent:SomeBot"和若干Disallow、Allow行，那么名為"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。
Disallow:該項的值用于描述不希望被訪問的一組URL，這個值可以是一條完整的路徑，也可以是路徑的非空前綴，以Disallow項的值開頭的URL不會被 robot訪問。例如"Disallow:/help"禁止robot訪問/help.html、/helpabc.html、/help/index.html，而"Disallow:/help/"則允許robot訪問/help.html、/helpabc.html，不能訪問/help/index.html。"Disallow:"說明允許robot訪問該網(wǎng)站的所有url，在"/robots.txt"文件中，至少要有一條Disallow記錄。如果"/robots.txt"不存在或者為空文件，則對于所有的搜索引擎robot，該網(wǎng)站都是開放的。
Allow:該項的值用于描述希望被訪問的一組URL，與Disallow項相似，這個值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項的值開頭的URL 是允許robot訪問的。例如"Allow:/hibaidu"允許robot訪問/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一個網(wǎng)站的所有URL默認是Allow的，所以Allow通常與Disallow搭配使用，實現(xiàn)允許訪問一部分網(wǎng)頁同時禁止訪問其它所有URL的功能。
使用"*"and"$"：Baiduspider支持使用通配符"*"和"$"來模糊匹配url。
"*" 匹配0或多個任意字符
"$" 匹配行結(jié)束符。
最后需要說明的是：百度會嚴格遵守robots的相關(guān)協(xié)議，請注意區(qū)分您不想被抓取或收錄的目錄的大小寫，百度會對robots中所寫的文件和您不想被抓取和收錄的目錄做精確匹配，否則robots協(xié)議無法生效。
robots需求用法對應(yīng)表
上面說了那么多理論，有沒有簡單對照表格告訴我，怎樣的需求場景下應(yīng)該怎樣撰寫robots文件？有的：
除robots外其它禁止百度收錄的方法Meta robots標簽是頁面head部分標簽的一種，也是一種用于禁止搜索引擎索引頁面內(nèi)容的指令。目前百度僅支持nofollow和noarchive
nofollow：禁止搜索引擎跟蹤本頁面上的鏈接
如果您不想搜索引擎追蹤此網(wǎng)頁上的鏈接，且不傳遞鏈接的權(quán)重，請將此元標記置入網(wǎng)頁的<HEAD> 部分：<meta name="robots" content="nofollow">
如果您不想百度追蹤某一條特定鏈接，百度還支持更精確的控制，請將此標記直接寫在某條鏈接上：<a href="signin.php" rel="nofollow">signin</a>
要允許其他搜索引擎跟蹤，但僅防止百度跟蹤您網(wǎng)頁的鏈接，請將此元標記置入網(wǎng)頁的<HEAD> 部分：<meta name="Baiduspider" content="nofollow">
noarchive：禁止搜索引擎在搜索結(jié)果中顯示網(wǎng)頁快照
要防止所有搜索引擎顯示您網(wǎng)站的快照，請將此元標記置入網(wǎng)頁的<HEAD>部分：<meta name="robots" content="noarchive">
要允許其他搜索引擎顯示快照，但僅防止百度顯示，請使用以下標記：<meta name="Baiduspider" content="noarchive">
注：此標記只是禁止百度顯示該網(wǎng)頁的快照，百度會繼續(xù)為網(wǎng)頁建索引，并在搜索結(jié)果中顯示網(wǎng)頁摘要。
使用robots巧妙避免蜘蛛黑洞
對于百度搜索引擎來說，蜘蛛黑洞特指網(wǎng)站通過極低的成本制造出大量參數(shù)過多、內(nèi)容類同但url不同的動態(tài)URL ，就像一個無限循環(huán)的"黑洞"，將spider困住。spider浪費了大量資源抓取的卻是無效網(wǎng)頁。
如很多網(wǎng)站都有篩選功能，通過篩選功能產(chǎn)生的網(wǎng)頁經(jīng)常會被搜索引擎大量抓取，而這其中很大一部分是檢索價值低質(zhì)的頁面。如"500-1000之間價格的租房"，首先網(wǎng)站（包括現(xiàn)實中）上基本沒有相關(guān)資源，其次站內(nèi)用戶和搜索引擎用戶都沒有這種檢索習慣。這種網(wǎng)頁被搜索引擎大量抓取，只能是占用網(wǎng)站寶貴的抓取配額，那么該如何避免這種情況呢？
- 我們以北京美團網(wǎng)為例，看看美團網(wǎng)是如何利用robots巧妙避免這種蜘蛛黑洞的：
- 對于普通的篩選結(jié)果頁，使用了靜態(tài)鏈接，如：
- http://bj.meituan.com/category/zizhucan/weigongcun
- 同樣是條件篩選結(jié)果頁，當用戶選擇不同排序條件后，會生成帶有不同參數(shù)的動態(tài)鏈接，而且即使是同一種排序條件（如：都是按銷量降序排列），生成的參數(shù)也都是不同的。如：http://bj.meituan.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhekhttp://bj.meituan.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c
對于美團網(wǎng)來說，只讓搜索引擎抓取篩選結(jié)果頁就可以了，而各種帶參數(shù)的結(jié)果排序頁面則通過robots規(guī)則拒絕提供給搜索引擎。在robots.txt的文件用法中有這樣一條規(guī)則：Disallow: /*?* ，即禁止搜索引擎訪問網(wǎng)站中所有的動態(tài)頁面。美團網(wǎng)恰是通過這種方式，對spider優(yōu)先展示高質(zhì)量頁面、屏蔽了低質(zhì)量頁面，為spider提供了更友好的網(wǎng)站結(jié)構(gòu)，避免了黑洞的形成。
禁止百度圖片搜索收錄某些圖片的方法目前百度圖片搜索也使用了與百度網(wǎng)頁搜索相同的spider，如果想禁止Baiduspider抓取網(wǎng)站上所有圖片、禁止或允許Baiduspider抓取網(wǎng)站上的某種特定格式的圖片文件可以通過設(shè)置robots實現(xiàn)：
禁止Baiduspider抓取網(wǎng)站上所有圖片 | User-agent: Baiduspider |
僅允許Baiduspider抓取網(wǎng)頁和.gif格式圖片 | User-agent: Baiduspider |
僅禁止Baiduspider抓取.jpg格式圖片 | User-agent: Baiduspider |
503狀態(tài)碼的使用場景及與404的區(qū)別
Html狀態(tài)碼也是網(wǎng)站與spider進行交流的渠道之一，會告訴spider網(wǎng)頁目前的狀態(tài)，spider再來決定下一步該怎么做——抓or不抓or下次再來看看。對于200狀態(tài)碼大家已經(jīng)很熟了，那么我們來介紹幾種常見的失效網(wǎng)頁使用的狀態(tài)碼：
【404】404返回碼的含義是"NOT FOUND"，百度會認為網(wǎng)頁已經(jīng)失效，那么通常會從搜索結(jié)果中刪除，并且短期內(nèi)spider再次發(fā)現(xiàn)這條url也不會抓取。
【503】503返回碼的含義是"Service Unavailable"，百度會認為該網(wǎng)頁臨時不可訪問，通常網(wǎng)站臨時關(guān)閉，帶寬有限等會產(chǎn)生這種情況。對于網(wǎng)頁返回503，百度spider不會把這條url直接刪除，短期內(nèi)會再訪問。屆時如果網(wǎng)頁已恢復，則正常抓取；如果繼續(xù)返回503，短期內(nèi)還會反復訪問幾次。但是如果網(wǎng)頁長期返回503，那么這個url仍會被百度認為是失效鏈接，從搜索結(jié)果中刪除。
【301】301返回碼的含義是"Moved Permanently"，百度會認為網(wǎng)頁當前跳轉(zhuǎn)至新url。當遇到站點遷移，域名更換、站點改版的情況時，推薦使用301返回碼，盡量減少改版帶來的流量損失。雖然百度spider現(xiàn)在對301跳轉(zhuǎn)的響應(yīng)周期較長，但我們還是推薦大家這么做。
一些網(wǎng)站把未建好的頁面放到線上，并且這些頁面在被百度抓取的時候返回碼是404，于是頁面被百度抓取后會被當成死鏈直接刪除。但是這個頁面在第二天或者過幾天就會建好，并上線到網(wǎng)站內(nèi)展現(xiàn)出來，但是由于之前已經(jīng)被百度當做死鏈刪除，所以要再次等這些鏈接被發(fā)現(xiàn)，然后抓取才能展現(xiàn)，這樣的操作最終會導致一些頁面在一段時間內(nèi)不會在百度出現(xiàn)。比如某個大型門戶網(wǎng)站爆出大量新聞時效性很強的專題未被百度及時收錄的問題，經(jīng)檢查驗證后發(fā)現(xiàn)就是因為頁面未建成就放置在線上，并返回404狀態(tài)碼，被百度當成死鏈刪除，造成收錄和流量損失。
對于這樣的問題，建議網(wǎng)站使用503返回碼，這樣百度的抓取器接到503返回碼后，會在隔一段時間再去訪問這個地址，在您的頁面建好上線后，就又能被重新抓取，保證頁面及時被抓取和索引，避免未建好的內(nèi)容設(shè)為404后帶來不必要的收錄和流量損失。
其它建議和總結(jié)：
1、如果百度spider對您的站點抓取壓力過大，請盡量不要使用404，同樣建議返回503。這樣百度spider會過段時間再來嘗試抓取這個鏈接，如果那個時間站點空閑，那它就會被成功抓取了
2、如果站點臨時關(guān)閉或者頁面暫未建好上線，當網(wǎng)頁不能打開時以及沒有建好時，不要立即返回404，建議使用503狀態(tài)。503可以告知百度spider該頁面臨時不可訪問，請過段時間再重試。
連通率為0的前因后果及預防補救措施
在百度site站點時，遇到"連通率為0"說明Baiduspider在訪問站點時發(fā)現(xiàn)了問題，該問題非常嚴重，如果Baiduspider持續(xù)一天時間無法訪問有可能給站點帶來災難性的損失。
一、何謂連通率
既然為率，那么就是一個統(tǒng)計相關(guān)概念。我們不妨可以這樣理解一個網(wǎng)站的連通率：百度蜘蛛在抓取網(wǎng)站頁面的時候計算的一個概率，比如它抓取某網(wǎng)站中的N個頁面，這N個頁面都能打開并被蜘蛛成功抓取，這樣的連通率就是N/N=100%，反之蜘蛛抓取N個頁面有M個頁面能成功抓取，連通率就是M/N
這里先說明幾個常識：
1、不是網(wǎng)站被某算法懲罰而導致連通率為0，也不是網(wǎng)站流量下降而導致連通率數(shù)值很低；
2、連通率代表著百度蜘蛛獲取網(wǎng)站數(shù)據(jù)的情況，如果連通率數(shù)值很低或為0，那么可能連維持網(wǎng)站的正常收錄等都成問題；
3、假如網(wǎng)站被判定連通不了，那么如果讓一個連通不了的站點在百度中獲取排名，就會大大影響搜索用戶的體驗，于是百度就會采取對該站點有效引流的索引清除操作，一些站長就會發(fā)現(xiàn)自己的網(wǎng)站索引量突然大幅度下降，甚至索引被短暫清0了，接著就是網(wǎng)站百度搜索流量大幅度下降，這種突發(fā)性的事件又會造成站長們的揣測，以為自己的網(wǎng)站被百度懲罰了，其實站長們先應(yīng)該注意的是站點的連通情況。
二、提取核心詞
上述概念中，我們需要注意的幾個詞有："百度蜘蛛"； "在抓取"； "N個頁面"； "M個頁面"； "都能打開并被成功抓取"。
三、連通率很低或為0時
我們抓住上述5個提取出的核心詞進行分析。
（一）百度蜘蛛
1、謹防百度蜘蛛訪問被操控或禁止
（1）由于百度蜘蛛的抓取量等原因?qū)σ恍┓?wù)器造成壓力，而這些網(wǎng)絡(luò)商或網(wǎng)站運營方從某利益角度考慮，無意或有意的屏蔽百度蜘蛛，導致部分或全部百度蜘蛛ip獲取不到網(wǎng)站數(shù)據(jù)；
（2）一些網(wǎng)站運營方或網(wǎng)絡(luò)商對蜘蛛進行區(qū)別對待，比如國外蜘蛛ip、山東蜘蛛ip、北京蜘蛛ip等返回不同的數(shù)據(jù)，移花接木的手段層出不窮，而這個過程很可能造成百度蜘蛛的異常行為或異常狀態(tài)返回；
所以我們首先要確保百度蜘蛛的訪問有沒有被操控或禁止。
2、預防措施
（1）完善聯(lián)系方式獲得百度站長工具消息提醒
雖然一些網(wǎng)站異常情況會收到百度站長工具消息提醒，然而我想告訴大家不是所有自己站點異常都可以寄希望于消息提醒的，自己心里要知道連發(fā)郵件都可能出現(xiàn)收不到的情況，更何況各種復雜的異常情況，因此不要出問題了只會問"為什么站長工具沒有給我發(fā)消息"。
（2）利用抓取異常和抓取頻次工具觀察抓取情況
↓抓取異常工具的網(wǎng)址異常情況
↓抓取頻次工具的抓取統(tǒng)計情況
↓每個工具頁面的右側(cè)下方都有使用說明，如下
（3）抓取診斷工具是重中之重
為了保證網(wǎng)站對百度蜘蛛的穩(wěn)定訪問性能，日常我們需要養(yǎng)成定期抓取診斷的習慣，另外抓取診斷不是說光看看狀態(tài)是否"抓取成功"就行了。有下面幾步進行：
第一步：下拉選擇分"pc"、 "移動"進行抓取，"pc"意味著一般意義上的電腦端訪問診斷，"移動"則是如手機、平板等移動設(shè)備端訪問診斷；
第二步：網(wǎng)站主要的引流頁，如首頁、詳情頁、內(nèi)容頁、專題頁等都要進行抓取，另外可以重點幾個時間段（比如網(wǎng)站高峰時間段）每天定期進行測試；
第三步：抓取失敗了，點擊"抓取失敗"查看提示信息，如果自己沒有技術(shù)能力解決問題，可以跟空間商進行溝通，然后向工具提交報錯；
第四步：抓取成功后，也不能說就萬事大吉了，還要點擊"抓取成功"進去注意：提交網(wǎng)址、抓取網(wǎng)址、抓取UA、網(wǎng)站ip、下載時長、頭部信息（服務(wù)器返回狀態(tài)碼、gzip等相關(guān)信息）、網(wǎng)頁源碼是否都正常。
特別說明：有很多站長就光注意抓取成功，卻不知網(wǎng)站ip可能并非自己的實際ip，被網(wǎng)絡(luò)商搞到哪里去了都不知道，還可能每隔一段時間都變。當發(fā)現(xiàn)ip有問題，及時跟網(wǎng)絡(luò)商溝通，并在網(wǎng)站ip旁點擊"報錯"按鈕，百度會更新網(wǎng)站ip，但是切記不要ip變化頻繁。此外當然還可能出現(xiàn)實際抓取網(wǎng)址、頭部信息、網(wǎng)頁源碼等都不是自己本來設(shè)置的。
（二）在抓取
這是反映百度蜘蛛在抓取時的狀態(tài)，百度的工具顯示的數(shù)值肯定都是抓取后計算出來的數(shù)據(jù)，因此任何工具的連通率數(shù)據(jù)必定存在延遲性，另外這個計算過程也存在一定可能的錯誤，所以我們看到任何工具中關(guān)于連通率的數(shù)據(jù)，不要說"我網(wǎng)站用抓取診斷等工具檢查訪問情況都好好的，為什么連通率還是0"，因此除了上述建議的多抓取診斷測試外，自己可以加些監(jiān)控網(wǎng)站連接狀態(tài)的措施，筆者本人就曾經(jīng)接收了不少關(guān)于網(wǎng)站連接不通的提醒。這時我會及時跟網(wǎng)絡(luò)商溝通，然后及時用抓取診斷檢查蜘蛛的情況。
（三）N個頁面與M個頁面
這N、M個頁面，可能百度蜘蛛很湊巧就趕上高峰的時候或者一些假死頁面（執(zhí)行時間較長，超過蜘蛛的耐心），那么M這個數(shù)值就會很低，統(tǒng)計概率的東西大家都懂的，那么這時網(wǎng)站的連通率依舊很低或為0。因此若連通率為0，我們還可以知道自己應(yīng)該注意查看訪問日志，及時清理死鏈，或者并發(fā)連接數(shù)增大，或者增加內(nèi)存等等。
（四）都能打開并被成功抓取
這里主要注意DNS和空間的穩(wěn)定性。
1、DNS的問題
參考當心 dns服務(wù)器不穩(wěn)導致站點被屏
提醒大家注意的是現(xiàn)在不少云類ns服務(wù)器，這個過程中由于處理機制問題，包括回源障礙等等，較容易造成這個問題。另外國內(nèi)大型服務(wù)商提供，比如你使用了dnspod，并不代表你的dns就應(yīng)該是ok的。有的站長存在著對大型服務(wù)商的錯誤認識，如 "新網(wǎng)的dns就是不可靠的，我都用百度云加速"。我們要明白廉價的東西質(zhì)量都有一定局限性，所以需要自己檢查dns解析情況，具體上網(wǎng)找找相關(guān)資料或平臺，看看dns解析出的ip以及解析延遲情況等等。
2、空間的穩(wěn)定性
很多人都會用超級ping了，這個不多說了。但是我還要告訴大家有下面兩點需要注意：
A、不良的網(wǎng)絡(luò)商會對不同用戶ip進行不同處理，自己可以用vpn等工具觀察下不同地區(qū)ip段的網(wǎng)站訪問情況與返回內(nèi)容；
B、空間的資源不足，內(nèi)存、并發(fā)連接等等，當訪問量很少的時候，自己察覺不出，需要提高訪問量，增加連接時間。因此使用一些監(jiān)控工具時，發(fā)現(xiàn)監(jiān)控工具訪問測試量巨大，或者被人刷流量時，你應(yīng)該慶幸，而不是著急拒絕，因為你可以了解到自己的空間承壓能力。
四、連通率問題處理完畢后
如果你的網(wǎng)站索引由于連通率而非懲罰原因被清理了，處理完畢問題，可以在抓取頻次工具中提交增加抓取頻次的請求，將抓取頻次增加到一定額度（建議自己查看工具中對抓取頻次的說明后再根據(jù)網(wǎng)站實際情況調(diào)整），然后增加自己的網(wǎng)站數(shù)據(jù)更新頻率與質(zhì)量，加強與百度的數(shù)據(jù)溝通（如url提交、sitemap等等），很快就能恢復。相關(guān)工具展示如下（每個工具頁面的右側(cè)下方都有相關(guān)說明鏈接，可以點擊去了解使用注意事項）：
1、抓取頻次中的頻次調(diào)整工具：
2、鏈接提交工具：
3、鏈接提交工具中的主動推送、sitemap、手動提交方式：
https站點如何做才能對百度友好
2015年5月25日，百度站長平臺發(fā)布公告，宣布全面放開對https站點的收錄，https站點不再需要做任何額外工作即可被百度抓收。采用了本文之前建議的https站點可以關(guān)閉http版，或者將http頁面跳轉(zhuǎn)到對應(yīng)的https頁面。
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
百度搜索引擎目前不主動抓取https網(wǎng)頁，導致大部分https網(wǎng)頁無法收錄。但是如果網(wǎng)站一定要使用https加密協(xié)議的話該如何做到對百度搜索引擎友好呢。其實很簡單：
1，為需要被百度搜索引擎收錄的https頁面制作http可訪問版。
2，通過user-agent判斷來訪者，將Baiduspider定向到http頁面，普通用戶通過百度搜索引擎訪問該頁面時，通過301重定向至相應(yīng)的https頁面。如圖所示，上圖為百度收錄的http版本，下圖為用戶點擊后會自動跳入https版本。
3，http版本不是只為首頁制作，其它重要頁面也需要制作http版本，且互相鏈接，切不要出現(xiàn)這種情況：首頁http頁面上的鏈接依然鏈向https頁面，導致Baiduspider無法繼續(xù)抓取——我們曾經(jīng)遇到這種情況，導致整個網(wǎng)點我們只能收錄一個首頁。如下面這個做法就是錯誤的：http://www.abc.com/ 鏈向https://www.adc.com/bbs/
4，可以將部分不需要加密的內(nèi)容，如資訊等使用二級域名承載。比如支付寶站點，核心加密內(nèi)容放在https上，可以讓Baiduspider直接抓取的內(nèi)容都放置在二級域名上。
站點切換https不會對流量產(chǎn)生負面影響
問：對于http和https，Baiduspider會不會區(qū)別對待？
答：不會區(qū)別對待。說得再全整專業(yè)一些：Baiduspider在對于http和https站點的調(diào)度和解析方面沒有任何區(qū)別。至于建索引庫，年初的時候百度進行過升級，目前對https站點也是全力支持的。
問：Baiduspider可以抓取https網(wǎng)站嗎？站點https以后應(yīng)該做些什么？
答：在抓取方面，Baiduspider完全支持https鏈接的抓取。站長需要注意的一點是要保證http鏈接到https鏈接良好的重定向（使用301或302），這樣百度可以做到無縫切換。另外可以使用鏈接提交工具提交https鏈接，盡快通知百度。
問：站點切換https以后，新產(chǎn)生的https頁面，百度會將其視為新頁面重新收錄？重新計算排名？
答：不是的，不涉及重新收錄的問題。
問：https以后可以使用改版工具向百度提交http與https的對應(yīng)關(guān)系嗎？
答：http站和https站會被百度視為同一個站點，不屬于改版，不適用改版工具。
問：https以后，排序有可能發(fā)生什么變化？
答：在rank方面，現(xiàn)在對兩種鏈接無區(qū)別對待，從安全性考慮，以后可能會優(yōu)待https的鏈接。
禁止百度保留快照的代碼：noarchive
很多站點出于隱私的考慮不希望百度保留快照，網(wǎng)上也在討論如何禁止百度保留快照的方法。其實百度早已對此有過說明，但藏在一篇不起眼的文章中不引人注目，導致依然非常多的人不清楚該如何操作。上周恰好又有人問到這個問題，特意進行說明。
要防止所有搜索引擎顯示您網(wǎng)站的快照，請將此元標記置入網(wǎng)頁的<HEAD>部分：<meta name="robots" content="noarchive">
要允許其他搜索引擎顯示快照，但僅防止百度顯示，請使用以下標記：<meta name="Baiduspider" content="noarchive">
注：此標記只是禁止百度顯示該網(wǎng)頁的快照，并不會影響網(wǎng)頁建入索引，同時垃圾網(wǎng)頁也不可能依靠此手段逃避百度的判罰。
買賣鏈接對站點的危害
眾所周知，搜索引擎會對站點獲得鏈接的數(shù)量和質(zhì)量進行分析，從而做出對網(wǎng)站的評價，最終影響站點在搜索結(jié)果中的表現(xiàn)。在搜索引擎看來，站點的鏈接質(zhì)量比數(shù)量更為重要，然而愈演愈烈的鏈接買賣風潮，已經(jīng)開始威脅到搜索引擎的公正性。為此百度質(zhì)量團隊推出了綠蘿算法對買賣鏈接行為進行打擊。
搜索引擎認為站點每發(fā)出一個鏈接指向另一個站點，都是一次投票行為，請您珍惜每一次投票的權(quán)力，而不是將這個權(quán)力出售，更不應(yīng)該打包賣給鏈接中介公司。如果搜索引索發(fā)現(xiàn)站點有出售鏈接的行為，則會影響到站點在搜索引擎系統(tǒng)中的整體表現(xiàn)。對于廣告類的鏈接，請您使用nofollow屬性進行設(shè)置。除不出售鏈接外，您還應(yīng)該關(guān)注建站程序的安全更新，及時安裝補丁程序；經(jīng)常對網(wǎng)站發(fā)出的鏈接進行檢查，看是否有多余的、非主觀意愿存在的鏈接，以免站點在不知情的情況下被黑帽SEO添加鏈接。
建議您不要企圖求助于黑帽SEO和鏈接中介公司，他們很有可能使用極不正當?shù)氖侄瘟钫军c在短時間內(nèi)獲得一定效果，但是搜索引擎有專門的程序去識別各種手段和行為，一旦被發(fā)現(xiàn)，站點會無法得到預期的效果，甚至被搜索引擎懲罰處理。最后，希望各位站長放眼于長遠的未來，不要為眼前的蠅頭小利所迷惑。將精力放在在自身內(nèi)容和品牌建設(shè)上，拓展更多良性發(fā)展的盈利模式。
內(nèi)鏈建設(shè)的大忌
在《百度搜索引擎工作原理》課程中我們提到過，Baiduspider需要知道站點里哪個頁面更重要，其中一個渠道就是內(nèi)鏈。那么內(nèi)鏈建設(shè)有哪些大忌呢：
死循環(huán)鏈接：死循環(huán)鏈接是搜索引擎蜘蛛最郁悶的事情了，往往會把搜索引擎蜘蛛卡在一個角落中，無限的循環(huán)而走不出來，不僅白白浪費蜘蛛體力，也會占用網(wǎng)站大量爬取頻率，造成有價值的網(wǎng)頁抓取不全。比如萬年歷等非常實用的工具網(wǎng)站，很多時候這些工具你都可以無限的點擊，每次點擊都產(chǎn)生一個新的url，如果你沒有屏蔽蜘蛛爬取這些內(nèi)容，那么蜘蛛有可能會被帶入到一個無限循環(huán)的境地，這樣的做法對任何一個搜索引擎都是不友好的。
還有一種就是動態(tài)、帶"？"號的url。這是由于動態(tài)網(wǎng)站的一個動態(tài)文件（如.php）可以產(chǎn)生上萬個或者無數(shù)個鏈接，如果部分php文件內(nèi)部又再次鏈向自己。蜘蛛進去就很難再爬出來。
鏈接404后不消除內(nèi)鏈入口：頁面404后，除了需要向百度站長平臺提交外，應(yīng)該盡量關(guān)閉其在網(wǎng)站內(nèi)部的入口，一來死鏈對用戶的傷害是極大的，二來避免令蜘蛛產(chǎn)生錯覺，認為你網(wǎng)站死鏈嚴重。
只有入鏈沒有出鏈：有些人認為網(wǎng)頁上的出鏈太多會分散頁面本身的得分，所以在重要頁面上不設(shè)計出鏈，實際這與百度的認知是相悖的，百度認為一個優(yōu)質(zhì)的網(wǎng)站結(jié)構(gòu)應(yīng)該像一張網(wǎng)，所有頁面都會與其他頁面產(chǎn)生鏈接，蜘蛛會順著一個頁面遍歷所以頁面。只有入鏈而沒有出鏈的結(jié)構(gòu)對蜘蛛來說是不友好的。當然，整個網(wǎng)站僅一兩個網(wǎng)頁只有入鏈沒有出鏈是無所謂的，但數(shù)量千萬不要多。
無返回上級目錄的鏈接：我們提倡盡量在每個頁面上使用面包屑導航，以告訴搜索引擎頁面內(nèi)容與首頁的關(guān)系及距離；同時對于用戶來說，面包屑導航也是延長用戶平均訪問時長的重要工具。只有內(nèi)容而沒有返回上級目錄的頁面就像一本永遠無法訪問目錄的書，聽起來是不是怪怪的？
錯誤的錨文本：內(nèi)鏈的作用并不僅僅是頁面權(quán)值傳遞和內(nèi)部投票，百度還會通過錨文本輔助判斷網(wǎng)頁的內(nèi)容，錯誤的錨文本很可能會誤導百度對于相關(guān)性的計算，對搜索排序產(chǎn)生負面影響。同時對于只能通過錨文本來判斷是否要點擊打開新網(wǎng)頁的用戶來說，無疑也是一種傷害。
網(wǎng)站應(yīng)該拒絕哪些外鏈
百度搜索引擎雖然降低了對超鏈的依賴，但依然沒有放棄對不同質(zhì)量鏈接的識別，制定了一套針對優(yōu)質(zhì)外鏈、普通外鏈、垃圾外鏈、作弊外鏈的識別原則和方法。在繼續(xù)信任優(yōu)質(zhì)外鏈的同時，加大對作弊外鏈的打擊，同時對部分作弊外鏈的受益站點進行打擊。為了避免被百度搜索引擎懷疑為超鏈作弊，建議站長定期檢查站點的外鏈情況，發(fā)現(xiàn)異常及時通過百度站長平臺的拒絕外鏈工具進行自我保護。同時如果你之前有過購買鏈接、群發(fā)外鏈的行為，可以通過拒絕外鏈工具進行修正。
那么除了要拒絕被黑網(wǎng)頁發(fā)出的鏈接、買來的鏈接外，還有哪些鏈接應(yīng)該被拒絕呢。
1， 來自垃圾站群的鏈接：有些黑帽會通過非法手段在你的站點產(chǎn)生大量頁面，再組織站群發(fā)送外鏈至這批頁面上。這樣的鏈接必須及時處理。
2， 來自不相關(guān)低質(zhì)站點群的鏈接：百度認為相同主題網(wǎng)站之間的鏈接更友好，所以，如果你的網(wǎng)站被一批其它主題網(wǎng)站鏈接了，一定要及時查看這批網(wǎng)站的質(zhì)量，如果質(zhì)量不高，盡量拒絕。
使用拒絕外鏈工具還有一些注意事項：
1，您通過工具拒絕外鏈的需求將無法撤銷或刪除，所以需要謹慎使用
2，我們不能保證短時間內(nèi)就能去掉垃圾作弊外鏈對網(wǎng)站的負面影響，清理過程可能長達數(shù)周，請站長耐心等待
網(wǎng)站改版該如何通知百度
為了改變站點運營效果，部分站長會選擇對網(wǎng)站進行改版。百度站長平臺站在搜索引擎的角度給站長朋友一些建議：首先站長們應(yīng)該明確，網(wǎng)站只要發(fā)生大大的變化（如換域名、子目錄改版為二級域名等），流量就會受到損失；其次，百度站長平臺會幫助站長盡量將損失降到最低。請站長依次走完以下步驟以減少損失。
第一步：設(shè)置301跳轉(zhuǎn)
使用301跳轉(zhuǎn)進行重定向，跳轉(zhuǎn)最好有規(guī)律可循，百度搜索引擎會自動進行處理
提醒：301跳轉(zhuǎn)要保持一段時間，直至新網(wǎng)頁的抓取、收錄、排序達到預期。
第二步：使用改版工具
使用百度站長平臺工具，可加速百度搜索引擎對301跳轉(zhuǎn)的處理，盡快完成新舊內(nèi)容的銜接。目前改版工具除了支持換域名外，還可以支持站點級改版和目錄級改版，都是通過工具的"目錄改版"功能實現(xiàn)的。
工具地址：/rewrite/index
1，當站點級改版時，需要在"目錄改版 改版范圍"處提交站點級首頁URL
如www.example.com/，百度將會對該站點下的所有頁面進行改版處理。
2，當站點要進行目錄級改版時，依然在"目錄改版 改版范圍"處進行提交，但提交的應(yīng)該是需要改版的目錄，而非站點級首頁URL。
如提交"www.example.com/a/"，百度會對www.example.com/a/，包括www.example.com/a/b/進行改版處理。
具體使用方法可參考百度站長平臺已有的文章《網(wǎng)站改版工具幫助》
網(wǎng)站換域名該如何通知百度
部分站長會選擇通過換域名來提高站點運營效果，但站長們應(yīng)該明確一點：網(wǎng)站只要發(fā)生大大的變化（如換域名、子目錄改版為二級域名等），流量就會受到損失；其次，百度站長平臺會幫助站長盡量將損失降到最低。請站長依次走完以下步驟以減少損失。
第一步：通過301完成新舊內(nèi)容跳轉(zhuǎn)
使用301跳轉(zhuǎn)對頁面進行重定向，不僅首頁需要設(shè)置，舊域名所有頁面都應(yīng)該301指向新域名的相應(yīng)頁面。百度搜索引擎會自動進行處理
提醒：原網(wǎng)頁301跳轉(zhuǎn)要保持一段時間，直至新網(wǎng)頁的抓取、收錄、排序達到預期。
第二步：使用改版工具
使用改版工具，可加速百度搜索引擎對301跳轉(zhuǎn)的處理，盡快完成新舊內(nèi)容的銜接。
工具地址：/rewrite/index
要求站長在百度站長平臺驗證舊網(wǎng)站和新網(wǎng)站，驗證生效后在改版工具中選擇"域名改版"，填入舊網(wǎng)站域名后進行確認提交。
*改版工具還提供站點級改版、目錄級改版。具體使用方法可參考百度站長平臺已有的文章《網(wǎng)站改版工具幫助》
第三步：使用抓取異常工具
已在改版工具中提交改版規(guī)則后，隨時關(guān)注新內(nèi)容的抓取情況。如果不符合預期，可使用抓取異常工具查找部分原因，排除由服務(wù)器、運營商、DNS、IP、UA等導致的抓取不及時。
工具地址： /crawl/index
具體可參考百度站長平臺已有文章《抓取異常工具幫助》，里面對每項因素都有詳細說明和解決辦法。
第四步：使用抓取頻次工具
抓取頻次工具提供站點在百度近一個月的天級抓取量曲線圖，如果新內(nèi)容抓取量不符合預期可在工具中進行反饋，spider會根據(jù)站長的申請和實際情況對抓取頻次進行調(diào)整。
工具地址：/pressure/index
具體使用方法可參考百度站長平臺已有文章《抓取頻次工具幫助》
第五步：使用百度索引量工具
一個站點的被抓取量多與少并不是重點，重點是索引量，只有被建為索引的頁面才有可能展現(xiàn)在用戶面前。站長可以通過百度索引量工具來對比新舊內(nèi)容被建索引的數(shù)量，來確認改版后站點在百度搜索引擎的收錄是否已恢復正常。
工具地址：/indexs/index
該工具使用起來非常簡單，可參考百度站長平臺之前的文章《百度索引量工具幫助》
網(wǎng)站換空間（IP）該如何通知百度
在與站長朋友私下交流中，站長表示：最怕改版，最怕?lián)Q空間換IP，每次都是萬不得已身不由己。改版還好些，有改版工具可以使用。換了空間和IP都不知道怎么通知百度。其實，登錄百度站長平臺，使用抓取診斷工具，換空間和IP真的不是愁事。抓取診斷工具會檢查站點與百度的連接是否暢通，若站長發(fā)現(xiàn)IP信息還是老舊的，可以通過"報錯"通知百度搜索引擎更新IP，如下圖所示：
重要提示：由于spider精力有限，如遇報錯后網(wǎng)站IP依舊沒有變化，站長可進行多次嘗試，直至達到預期。
UGC站點如何進行防護工作
由于大多數(shù)UGC建站系統(tǒng)存在漏洞，攻克技術(shù)成本較低，且群發(fā)軟件價格低廉，容易被作弊者利用，近期我們發(fā)現(xiàn)大量UGC站點被群發(fā)的垃圾信息困擾。這些垃圾群發(fā)內(nèi)容無孔不入，除論壇、博客等傳統(tǒng)的UGC站點受到困擾外，現(xiàn)已蔓延到微博、SNS、B2B商情頁、公司黃頁、分類信息、視頻站、網(wǎng)盤等更多領(lǐng)域內(nèi)，甚至連新興的分享社區(qū)也受到了影響。從以前的論壇帖子、博客日志，擴展到供求信息頁、視頻頁、用戶資料頁，這些任何由用戶填寫和生成內(nèi)容的地方，都會被作弊者發(fā)掘利用，形成大量的UGC性質(zhì)的垃圾頁面。
搜索引擎在發(fā)現(xiàn)UGC性質(zhì)的垃圾頁面后必將做出相應(yīng)應(yīng)對，但對真正操作群發(fā)的作弊者很難有效的打擊，所以作弊者容易利用UGC站點極低成本且自身安全這些特點，做出更多危害網(wǎng)站、危害用戶、危害搜索引擎的行為。若網(wǎng)站自身管理不嚴控制不力，很容易成為垃圾內(nèi)容的溫床；有些網(wǎng)站為了短期流量而對垃圾內(nèi)容置之不理，這無異于飲鴆止渴。網(wǎng)站不應(yīng)僅僅是平臺的提供者，更應(yīng)該是內(nèi)容的管理者，積極維護網(wǎng)站自身質(zhì)量非常重要。若網(wǎng)站任由垃圾內(nèi)容滋長，不僅會影響網(wǎng)站的用戶體驗，同時也會破壞網(wǎng)站口碑和自身品牌建設(shè)，造成正常用戶流失，嚴重時，還會使搜索引擎降低對網(wǎng)站的評價。
對于作弊者來說，在UGC站點上發(fā)布垃圾內(nèi)容的目的就是被搜索引擎收錄，如果不能讓垃圾頁面在網(wǎng)站和搜索引擎上消失，他們依然會持續(xù)不斷地產(chǎn)生更多垃圾內(nèi)容。百度站長平臺希望和站長一起打擊垃圾頁面，幫助網(wǎng)站良性發(fā)展，共同維護互聯(lián)網(wǎng)生態(tài)環(huán)境。
一，UGC垃圾典型case
1、與網(wǎng)站或論壇版塊主題不符的內(nèi)容
2、欺騙搜索引擎用戶的內(nèi)容
1）使用夸大誘人的標題，或在內(nèi)容中穿插堆積熱門關(guān)鍵詞
2）有些文章看標題以為在說A事，而主要內(nèi)容卻在講B，且與A毫無關(guān)系
3）視頻或音頻文件標題所述不符
4）欺騙網(wǎng)站詐取分帳式廣告收益的內(nèi)容
5）專門利用UGC網(wǎng)站為自己做推廣、謀福利
6）詐騙中獎、虛假聯(lián)系電話、不良信息
二，UGC管理員該怎么做
1，刪除垃圾內(nèi)容，并將這些頁面設(shè)置為404頁面后，及時通過百度站長平臺的死鏈工具提交死鏈列表
2，提高注冊用戶門檻，限制機器注冊
? 群發(fā)軟件通常使用自動的程序探測論壇默認的注冊文件名、發(fā)帖文件名。管理員可以不定期的修改注冊用戶文件名、發(fā)帖文件名；注冊、發(fā)帖按鈕使用圖片；與程序默認的不同，可以防止被自動程序搜索到。
? 發(fā)帖機通常是機器注冊，行為模式單一。管理員可添加一些需要人工操作的步驟，有助于限制機器注冊。如使用驗證碼；限制同一郵箱注冊ID的數(shù)量，同時啟用郵箱驗證；使用更為復雜的驗證機制；經(jīng)常更換注冊問答。
? 除了在注冊處設(shè)置門檻外，還可以控制新用戶權(quán)限。如要求完成上傳頭像、完善用戶信息等人工操作步驟后才開放發(fā)帖功能；在一定時間內(nèi)限制新用戶發(fā)帖；限制新用戶發(fā)布帶鏈接的帖子，待達到一定級別后再放開。
3，嚴控機器發(fā)帖行為，如使用驗證碼、限制短時間內(nèi)連續(xù)發(fā)帖等
4，建立黑名單機制，將群發(fā)常用詞、廣告電話和網(wǎng)址等加入黑名單，對含有黑名單內(nèi)容的帖子進行限制或清除。黑名單應(yīng)該不斷維護
5，對站內(nèi)異常內(nèi)容進行監(jiān)控，發(fā)現(xiàn)爆增數(shù)據(jù)后及時查找原因
6，對站點內(nèi)用戶的行為進行監(jiān)控
? 部分異常用戶的ID結(jié)構(gòu)有別于普通用戶，如使用無意義的字母數(shù)字、或幾個單個漢字的無序組合
如：gtu4gn6dy1、蝶淑琴；使用商業(yè)詞作為ID，如：軸承天地7、hangkongfuwu123
? 發(fā)布內(nèi)容間隔過短
? 發(fā)布的內(nèi)容絕大部分非常類似
? 發(fā)布的大部分內(nèi)容里含有類似的特征，如某個網(wǎng)址、電話、QQ號碼等聯(lián)系方式
7，不允許發(fā)布帶有可執(zhí)行代碼的內(nèi)容，避免彈窗、跳轉(zhuǎn)等嚴重影響用戶體驗的情況發(fā)生。
8，對部分UGC位置提及的鏈接，使用"nofollow"進行標記，如：bbs簽名內(nèi)的鏈接、BLOG回復ID自置的鏈接
9，論壇中的廣告、灌水版塊，建議加上權(quán)限限制，或者禁止搜索引擎收錄。
10，關(guān)注建站程序的安全更新，及時安裝補丁程序。保障用戶賬號安全，避免發(fā)生盜用正常用戶賬號或歷史沉寂用戶賬號發(fā)布垃圾內(nèi)容的情況發(fā)生。
網(wǎng)站安全之防止被黑
這里所說的被黑，指黑客通過網(wǎng)站漏洞篡改網(wǎng)頁內(nèi)容、為網(wǎng)站惡意添加許多垃圾頁面，內(nèi)容往往與博彩、游戲等熱門關(guān)鍵詞有關(guān)，然后利于網(wǎng)站在搜索引擎中的天然優(yōu)勢騙取更多流量?；ヂ?lián)網(wǎng)上所有網(wǎng)站其實都存在被黑的可能，尤其是已在搜索引擎中獲得較好表現(xiàn)的站點更要注意，千萬不要讓被黑令自己的心血付之東流。
一，如何判斷網(wǎng)站被黑
先通過外界對網(wǎng)站進行觀察，如果有如下現(xiàn)象，那您的網(wǎng)站可能被黑了
1、通過百度站長平臺的索引量工具，發(fā)現(xiàn)站點收錄量大增；再通過搜索關(guān)鍵詞工具發(fā)現(xiàn)，站點獲得流量的關(guān)鍵詞中有很多與本站點無關(guān)。
2、通過Site語法查詢站點，顯示搜索引擎收錄了大量非本站應(yīng)有的頁面。
注：site查詢結(jié)合一些常見的色情、游戲、境外博彩類關(guān)鍵字，可幫助站長更快的找到異常頁面，例如"site:www.abcxyz.com 博彩"
3、從百度搜索結(jié)果中點擊站點頁面，跳轉(zhuǎn)到了其他站點。
4、站點內(nèi)容在搜索結(jié)果中被提示存在風險。
5、從搜索引擎帶來的流量短時間內(nèi)異常暴增。
二，進一步驗證網(wǎng)站是否被黑
通過上述方法站長懷疑自己的網(wǎng)站被黑了，那么該如何對黑出來的內(nèi)容進行排查呢？
1、分析系統(tǒng)和服務(wù)器日志，檢查自己站點的頁面數(shù)量、用戶訪問流量等是否有異常波動，是否存在異常訪問或操作日志；
2、檢查網(wǎng)站文件是否有不正常的修改，尤其是首頁等重點頁面；
3、網(wǎng)站頁面是否引用了未知站點的資源（圖片、JS等），是否被放置了異常鏈接；
4、檢查網(wǎng)站是否有不正常增加的文件或目錄；
5、檢查網(wǎng)站目錄中是否有非管理員打包的網(wǎng)站源碼、未知txt文件等；
6、使用百度站長平臺抓取診斷工具，診斷網(wǎng)頁是否被加了黒鏈、隱藏文本
*每個站點每月可使用300次，抓取結(jié)果只展現(xiàn)百度蜘蛛可見的前200KB內(nèi)容
【重要提示】若直接訪問網(wǎng)站時一切正常，但在百度的搜索結(jié)果展現(xiàn)了異常的快照內(nèi)容，這可能是黑客做了特殊處理，只讓百度蜘蛛抓取到異常的頁面，以此來增加隱蔽性，讓站長難以發(fā)現(xiàn)；同理，若直接訪問網(wǎng)站正常，但從百度搜索結(jié)果頁進行訪問時，出現(xiàn)了異常頁面，這是黑客針對百度來源（refer）做了特殊處理
三，網(wǎng)站被黑怎么辦
1、立即停止網(wǎng)站服務(wù)，避免用戶繼續(xù)受影響，防止繼續(xù)影響其他站點（建議使用503返回碼）。
2、如果同一主機提供商同期內(nèi)有多個站點被黑，您可以聯(lián)系主機提供商，敦促對方做出應(yīng)對。
3、清理已發(fā)現(xiàn)的被黑內(nèi)容，將被黑頁面設(shè)置為404死鏈，并通過百度站長平臺死鏈提交工具進行提交。
4、排查出可能的被黑時間，和服務(wù)器上的文件修改時間相比對，處理掉黑客上傳、修改過的文件；檢查服務(wù)器中的用戶管理設(shè)置，確認是否存在異常的變化；更改服務(wù)器的用戶訪問密碼。
注：可以從訪問日志中，確定可能的被黑時間。不過黑客可能也修改服務(wù)器的訪問日志。
5、做好安全工作，排查網(wǎng)站存在的漏洞，防止再次被黑。
網(wǎng)站安全之域名被劫持
2014年5月14日，前瞻網(wǎng)官方微博發(fā)布公告，宣布域名被盜損失過億。在黑客遍行的今天，域名被盜被劫持幾乎每天都在發(fā)生。百度搜索引擎希望站長在關(guān)注收錄、流量、變現(xiàn)的同時，多多關(guān)注域名安全，畢竟域名安全是生存之本。在之前與站長接觸中，發(fā)現(xiàn)站長都有如下心理：域名控制權(quán)完全在服務(wù)商，我們處于被動的一方。那么站長就真的什么都不用做、什么都無法做了么？
一，域名被劫持的嚴重后果
1，域名被解析到其它地址，用戶無法正常訪問，網(wǎng)站流量受損
2，通過泛解析生成大量子域名，共同指向其它地址（往往是惡意垃圾網(wǎng)站）
3，域名被解析到惡意釣魚網(wǎng)站，導致用戶財產(chǎn)損失
4，當域名被劫持后的內(nèi)容干擾搜索結(jié)果時，為保障用戶的使用體驗和安全，百度搜索引擎會暫時關(guān)閉對域名的收錄和展示，待嚴格審核確認后才會再度放開
二，如何降低域名被劫持風險,減少損失
1， 為域名注冊商和注冊用郵箱設(shè)置復雜密碼，且經(jīng)常更換。使用單獨的DNS服務(wù)，也需要對密碼進行上述設(shè)置。同時注意不要在多個重要注冊地使用相同的用戶名和密碼。
2， 將域名更新設(shè)置為鎖定狀態(tài)，不允許通過DNS服務(wù)商網(wǎng)站修改記錄
*使用此方法后，需要做域名解析都要通過服務(wù)商來完成，時效性較差
3， 定期檢查域名帳戶信息、域名whois信息，每天site網(wǎng)站檢查是否有預期外網(wǎng)頁，或使用百度云觀測進行監(jiān)控——當域名被解析到惡意站點時可以第一時間收到報警（百度云觀測關(guān)于域名安全的介紹）
4， 網(wǎng)站運營和優(yōu)化人員經(jīng)常詳細檢查網(wǎng)站索引和外鏈信息，有異常一定要檢查清楚
三，域名被劫持后該怎么做
1，立即修改域名服務(wù)商和郵箱密碼，使用復雜度高的密碼且經(jīng)常更換
2，刪除不屬于你的DNS解析，恢復DNS設(shè)置
3，如果使用的是第三方DNS服務(wù)，應(yīng)立即修改第三方DNS服務(wù)端帳戶密碼，鎖定帳戶信息，開啟帳戶短信郵箱類提醒
4， 收集全部被非法添加的頁面并設(shè)置404，使用百度站長平臺工具提交死鏈
5，如果該服務(wù)商下域名經(jīng)常出現(xiàn)被劫持事件，可考慮更換更安全穩(wěn)定的服務(wù)商。有能力的網(wǎng)站可自建DNS服務(wù)，自主運維自負風險
關(guān)于網(wǎng)站建設(shè)，其實還有很多零碎的問題要注意，所以在這里單啟一篇，日后再根據(jù)反饋不斷補充完善。
二級域名和子目錄，哪個更有利于SEO
一，二級域名的特點
搜索引擎往往將二級域名當作一個獨立的網(wǎng)站看待，同時會視情況將主域名的評價傳遞一部分給二級域名。使用二級域名會使同domain下站點變多，但是每個站點的體量變小。二級域名的SEO特點是：
1， 二級域名對用戶來說也是一個完整的域名，顯得更有權(quán)威性
2， 二級域名網(wǎng)頁之間相關(guān)性更強，對于搜索引擎來說主題更集中
3，相較子目錄更易形成品牌
二，子目錄的特點
將不同內(nèi)容通過子目錄的情況放在同一個網(wǎng)站下，會使網(wǎng)站體量變得越來越大，可以使網(wǎng)站積累更多的投票：
1， 相較二級域名，可以更好地繼承主域名的評價數(shù)據(jù)
2， 與站點關(guān)系更密切，同時不失靈活，搜索引擎對站點內(nèi)容的識別早以細化到目錄級別
三，二級域名與子目錄的選擇
選擇使用二級域名還是子目錄來分配網(wǎng)站內(nèi)容，對網(wǎng)站在搜索引擎中的表現(xiàn)會有較大的影響，為此百度站長平臺建議：
1， 在某個頻道的內(nèi)容沒有豐富到可以當作一個獨立站點存在之前，使用目錄形式；等頻道下積累了足夠的內(nèi)容，再通過改版成二級域名的形式。
一個網(wǎng)頁能否排到搜索引擎結(jié)果的前面，"出身"很重要，如果出自一個站點評價較高的網(wǎng)站，那排到前面的可能性就較大，反之則越小。通常情況下，二級域名會從主站點繼承一部分權(quán)重，繼承多少視二級域名質(zhì)量而定。
在內(nèi)容沒有豐富到可以作為一個獨立站點之前，使用子目錄更能在搜索引擎中獲得較好表現(xiàn)。
2， 內(nèi)容差異較大、關(guān)聯(lián)度不高的內(nèi)容，建立使用二級域名的形式。
搜索引擎會識別網(wǎng)站的主題，如果網(wǎng)站中各子目錄的內(nèi)容關(guān)聯(lián)度不高，可能導致搜索引擎錯誤地判斷網(wǎng)站的主題。所以，關(guān)聯(lián)度不高的內(nèi)容放在不同的二級域名中，可以幫助搜索引擎更好的理解網(wǎng)站的主題。
3， 二級域名間的服務(wù)器權(quán)限應(yīng)該嚴格控制，a.domain.com下的內(nèi)容，最好不能域名替換通過b.domain.com訪問。如：a.domain.com/abc.html 不應(yīng)該通過b.domain.com/abc.html訪問到。
二級域名的內(nèi)容能夠互相訪問，可能會被搜索引擎當作重復內(nèi)容進行去重處理，保留的URL不一定能符合站長預期。
4， 不要濫用二級域名
沒有豐富的內(nèi)容就大量啟用二級域名，極容易被搜索引擎當作作弊行為懲罰。
多域名同內(nèi)容的常見問題網(wǎng)站在生存發(fā)展中會遇到很多問題，會因為各種原因產(chǎn)生不同的域名，而這些域名的內(nèi)容卻都是相同的。百度一直在說拒絕重復內(nèi)容，那么，多域名同內(nèi)容是否會對SEO產(chǎn)生負影響呢？我們收集了眾多站長對多域名同內(nèi)容的問題后，請百度spider專家做了統(tǒng)一解答，現(xiàn)公布出來供各站長參考。
問：多個域名指向同一個域名算是作弊么?
答：如果某公司從品牌保護或長遠發(fā)展角度出發(fā)，注冊了多個域名，且多域名301重定向指向一個常用域名，那此行為本身不屬于作弊。但是如果進行301重定向的多域名本身有作弊行為，那么被指向的域名有可能受到牽連。
問：多個域名同內(nèi)容是否有利于提高排名？
答：此舉非常不利于提高排名，因為多個域名會分散原本應(yīng)該屬于單獨域名的外鏈進而影響權(quán)重，不利于單獨域名獲得更好的排名。
問：我們先推個測試域名，走上正軌后再啟用正式域名，會有什么影響嗎？
答：如果兩個域名的內(nèi)容完全一樣，對正式域名的收錄可能會有影響。搜索引擎會認為這兩個網(wǎng)站重復，在已經(jīng)收錄了前者的前提下，會對后者限制收錄。的確曾經(jīng)有某理財網(wǎng)站先搞一個臨時域名在搜索引擎試水，結(jié)果等正牌域名上線后卻遲遲得不到收錄的事情發(fā)生。
問：如果公司已經(jīng)有多個域名是相同內(nèi)容該怎么處理？
答：先確認一個好記易懂的域名作為"唯一域名"，進行重點宣傳推介，其余的域名也千萬不能放任自流，尤其是當測試域名已經(jīng)有了較好的收錄和排位時，可以設(shè)置301重定向，指向唯一域名。同時登錄百度站長平臺對新舊網(wǎng)站進行驗證，然后在網(wǎng)站改版工具中進行相應(yīng)的操作，可以讓"唯一域名"繼承原域名已獲得的權(quán)重。
想了解更多SEO資料的內(nèi)容，請訪問：SEO資料
