網(wǎng)站seo優(yōu)化之 robots.txt 的使用教程

　　首先，我來介紹一下什么是robots.txt：robots.txt是搜索引擎中訪問網(wǎng)站的時候要查 看的第一個文件。Robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。當(dāng)一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是 否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有 被口令保護的頁面。最后，robots.txt必須放置在一個站點的根目錄下。

　　大家可以參考一下谷歌、百度和騰訊的robots寫法：

　　http://www.google.com/robots.txt

　　http://www.baidu.com/robots.txt

　　http://www.qq.com/robots.txt

　　大家了解完robots.txt后，那么我們可以用robots.txt來做什么?

　　1、用robots.txt屏蔽相似度高的頁面或沒內(nèi)容的頁面。

　　我們知道，搜索引擎收錄網(wǎng)頁后，會對網(wǎng)頁進(jìn)行“審核”，而當(dāng)兩個網(wǎng)頁的相似度很高時，那么搜索引擎就會刪除掉其中一個，并且會降低一點你網(wǎng)站的得分。

　　假設(shè)以下這兩個鏈接，內(nèi)容其實差不多，那么第一個鏈接就應(yīng)該屏蔽掉。

　　/XXX?123

　　/123.html

　　像第一個的鏈接這樣的鏈接非常多，那么我們要怎么屏蔽呢?其實只要屏蔽/XXX?就可以屏蔽所有的鏈接了。

　　代碼如下：

　　Disallow： /XXX?

　　同理，一些沒有內(nèi)容的頁面我們也可以利用相同的辦法將其屏蔽掉。

　　2、用robots.txt屏蔽多余的鏈接，一般保留靜態(tài)的鏈接(既HTML、htm、shtml等)。

　　由于網(wǎng)站中經(jīng)常會出現(xiàn)多個鏈接指向同一個頁面的情況，而這樣會讓搜索引擎對網(wǎng)站的友好度降低。為了避免這一個情況，我們就可以通過robots.txt把 非主要的鏈接去掉。

　　比如以下兩個鏈接指向同樣的頁面：

　　/OOO?123

　　/123.html

　　那么我們就應(yīng)該去掉第一個垃圾，代碼如下：

　　Disallow： /OOO?123

　　3、用robots.txt屏蔽死鏈

　　死鏈就是曾經(jīng)存在的網(wǎng)頁，因為改版或其他原因而失去效用后就變成死鏈，也就是說看似一個正常的網(wǎng)頁鏈接，但點擊后不能打開相對應(yīng)的網(wǎng)頁頁面。

　　比如，原來在目錄為/seo下的所有鏈接，因為目錄地址的改變，現(xiàn)在都變成死鏈接了，那么我們可以用robots.txt把他屏蔽掉，代碼如下：

　　Disallow： /seo/

　　4、告訴搜索引擎你的sitemap.xml地址

　　利用robots.txt可以告訴搜索引擎你sitemap.xml文件的地址，而不需要在網(wǎng)站上添加sitemap.xml的鏈接。具體代碼如下：

　　Sitemap： 你的sitemap地址

　　以上就是robots.txt的基本用法，一個好的網(wǎng)站必定會有一個好的robots.txt，因為robots.txt是搜索引擎了解你網(wǎng)站的一 個途徑。另外在這里我推薦一下一個比較適合wordpress用戶使用的robots.txt寫法：

　　User-agent： *

　　Disallow： /wp-

　　Disallow： /feed/

　　Disallow： /comments/feed

　　Disallow： /trackback/

　　Sitemap： http://rainjer.com/sitemap.xml

　　最后，如果你覺得上面所說的還不能滿足你的需要，那么你可以在谷歌或百度官方提供的robots.txt使用指南學(xué)習(xí)：

　　百度：http://www.baidu.com/search/robots.html

　　谷歌：http://www.google.com/support/forum/p/webmasters/thread?tid=4dbbe5f3cd2f6a13&hl=zh-CN

　　原創(chuàng)文章，如需轉(zhuǎn)載，請注明：轉(zhuǎn)載自雨澤博客

　　本文鏈接：http://rainjer.com/seo/47.html

生活不易，碼農(nóng)辛苦
如果您覺得本網(wǎng)站對您的學(xué)習(xí)有所幫助,可以手機掃描二維碼進(jìn)行捐贈