安裝完 wordpress站點后關于robots.txt文件的書寫一直煩惱著很多站長，Robots.txt文件協議又叫搜索引擎機器人協議，搜索引擎爬蟲在 爬取網站的時候，首先會看網站根目錄下是否有robots.txt文件，然后遵循robots.txt協議爬取網站主希望搜索引擎爬取的內容。 robots.txt文件意在告訴搜索引擎爬蟲哪些頁面可以爬取，哪些頁面不能爬取，可以有效的保護用戶的隱私，同時也有利于節省蜘蛛的帶寬，從而讓蜘蛛 爬取更加容易，促進收錄。
先來簡單的說下robots.txt文件的規則:
1、允許所有的搜索引起爬取任何內容
User-agent:*
Disallow:
這個意思就是允許所有的搜索引擎爬取所有的頁面，雖然Disallow是不允許的意思，但是后面是放空狀態，這意思是沒有不允許爬取的頁面。
2、屏蔽其中一種或者幾種搜索引擎的爬取，以最近比較火的360綜合搜索為例
User-agent:360spider
Disallow:/
User-agent:*
Disallow:
前兩行的意思是不允許360綜合搜索蜘蛛爬取任何頁面，后面的解釋見第一點。同理，如果除了屏蔽360綜合搜索也想屏蔽百度蜘蛛，那就在開頭繼續添加。
3、不允許搜索引擎抓取其中的某些頁面，這邊以不允許所有搜索引擎爬取wordpress的管理后臺頁面為例
User-agent:*
Disallow:/wp-admin/
我們都知道，wordpress的管理后臺在根目錄下的wp-admin文件夾里面，在disallow后面加上/wp-admin的意思就是不允許搜索引擎蜘蛛爬取。
至于不允許百度爬取后臺，允許其他搜索引擎爬取后臺，或者不允許360綜合搜索爬取后臺，允許其他搜索引擎爬取后臺等等組合，請參考以上三點內容進行組合。
再來說下wordpress的robots.txt文件書寫，其實wordpress的robots文件很簡單，主要看3個要點：
1、網站后臺不要蜘蛛爬取
首先設置不讓搜索引擎抓取wordpress后臺頁面，這幾乎是每個站長設置robots.txt文件首要的目的，不僅局限于wordpress，當然，不同的類型網站后臺頁面所在頁面的文件夾名稱不一樣。
2、靜態化后，動態url不要蜘蛛爬取
wordpress的url最好還是靜態化下，因為過多的動態參數不利于蜘蛛的爬取。但很多站長在靜態化url之后，每次發布文章時，搜索引擎收錄 總會同時收錄靜態的url和動態的url，這樣明顯會導致文章頁面權重的分散，而且會導致重復頁面過多最終受到搜索引擎的懲罰，其實避免這種情況的方法很 簡單，那就是在robots.txt文件里面設置，讓蜘蛛不爬取動態url，這樣動態的url就不會被百度收錄。
3、結尾加上xml格式的網站地圖
在robots.txt的結尾加上網站地圖，可以讓網站地圖在蜘蛛爬取網站的時候第一時間被抓取，更利于頁面的收錄。
于是，最簡單的wordpress的robots.txt的書寫如下
User-agent:*
Disallow:/wp-admin/
Disallow:/*?*
#這意思是不抓取中包含?的url，動態url特征是有?#
Sitemap：http://www.yourdomain.com/sitemap.xml
去掉含有#的那行，以及將sitemap中的yourdomain改成你的域名即可，這樣一個wordpress的robots.txt文件就完成了，最后將這文件上傳到根目錄下即可。
Robots.txt文件書寫還有幾點需要注意的：
1、斜杠問題
首先開頭的斜杠是一定要的，結尾有斜杠的話意思是這個目錄下的所有頁面，如果沒有斜杠那屏蔽的既有包括斜杠的，也有不包括斜杠的，比如/wp-admin.html，/wp-admin.php等等頁面(舉例)。這是兩個不同的概念，必須根據需要考慮后面是否加上斜杠。
2、大小寫問題
除了每行的首字母之外，其他都必須小寫。
3、Disallow和Allow
其實對于很多新手站長來說，掌握其中一種的寫法足以，因為同時被灌輸這兩種寫法很容易導致混繞，所以如果你是新手，那么robots.txt文件最 好只使用一種方法即可，防止混繞造成錯誤
更多信息請查看IT技術專欄
版權所有:易賢網
公眾號
事業單位
當前位置：
公考類
招聘類
各類考試