了解robots.txt的用法 優(yōu)化搜索引擎抓取和索引

通過給網站設置適當?shù)膔obots.txt對Google和百度seo優(yōu)化的作用是很明顯的。WordPress博客網站也一樣。

我們先看看robots.txt是什么，有什么作用？

robots.txt是什么？

我們都知道txt后綴的文件是純文本文檔，robots是機器人的意思，所以顧名思義，robots.txt文件也就是給搜索引擎蜘蛛這個機器人看 的純文本文件。robots.txt是搜索引擎公認遵循的一個規(guī)范文 檔，它告訴Google、百度等搜索引擎哪些網頁允許抓取、索引并在搜索結果中顯示，哪些網頁是被禁止收錄的。 搜索引擎蜘蛛 spider（Googlebot/Baiduspider）來訪問你的網站頁面的時候，首先會查看你的網站根目錄下是否有robots.txt文件，如 果有則按照里面設置的規(guī)則權限對你網站頁面進行抓取和索引。如淘寶網就通過設置robots.txt屏蔽百度搜索引擎：

robots.txt的作用

我們了解了什么是robots.txt，那它有什么作用，總體來說，robots.txt文件至少有下面兩方面的作用：

1、通過設置屏蔽搜索引擎訪問不必要被收錄的網站頁面，可以大大減少因spider抓取頁面所占用的網站帶寬，小網站不明顯，大型網站就很明顯了。

2、設置robots.txt可以指定google或百度不去索引哪些網址，比如我們通過url重寫將動態(tài)網址靜態(tài)化為永久固定鏈接之后，就可以通過robots.txt設置權限，阻止Google或百度等搜索引擎索引那些動態(tài)網址，從而大大減少了網站重復頁面，對SEO優(yōu)化起到了很明顯的作用。

robots.txt的寫法

關于如何寫robots.txt文件，在下面我們會以WordPress博客來作更具體舉例說明。這里先提示幾點robots.txt寫法中應該注意的地方。如robots.txt文件里寫入以下代碼：

robots.txt必須上傳到你的網站根名錄下，在子目錄下無效；

robots.txt，Disallow等必須注意大小寫，不能變化；

User-agent，Disallow等后面的冒號必須是英文狀態(tài)下的，冒號后面可以空一格，也可以不空格。網上有人說冒號后面必須有空格，其實沒有也是可以的，請看谷歌中文網站管理員博客的設置就是這樣：http://www.googlechinawebmaster.com/robots.txt ；

User-agent表示搜索引擎spider：星號“*”代表所有spider，Google的spider是“Googlebot”，百度是“Baiduspider”；

Disallow:表示不允許搜索引擎訪問和索引的目錄；

Allow:指明允許spider訪問和索引的目錄，Allow: / 表示允許所有，和Disallow: 等效。

robots.txt文件寫法舉例說明

Google和百度對robots.txt文件的介紹： Google robotstxt，百度 robots.txt。

文章來源：http://farlee.info/archives/robots-txt-seo-googlebot-baiduspider.html 作者：FarLee

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈