robots.txt和meta name robots的使用與區(qū)別

搜索引擎和robots.txt到底是什么關(guān)系，meta name robots的設(shè)定又如何，他們對網(wǎng)站的優(yōu)化又有什么好處呢？

1.介紹robots.txt。

robots.txt是一個純文本文件，在這個文件中seo可以聲明該網(wǎng)站中不想被robots訪問的部分，

或者指定搜索引擎只收錄指定的內(nèi)容。

當(dāng)一個搜索機器人（有的叫搜索蜘蛛）訪問一個站點時，它首先爬行該站點根目錄下是否存在

robots.txt，如果存在，搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，

那么搜索機器人就沿著鏈接抓取。

其次，robots.txt必須放置在一個站點的根目錄下，而且文件名必須全部小寫。

2.robots.txt寫作語法

首先，我們來看一個robots.txt范例：/robots.txt

訪問以上具體地址，我們可以看到robots.txt的具體內(nèi)容如下：

# Robots.txt file from
# All robots will spider the domain

User-agent: *
Disallow:

以上文本表達(dá)的意思是允許所有的搜索機器人訪問www.wfuwu.com站點下的所有文件。

具體語法分析：其中#后面文字為說明信息；User-agent:后面為搜索機器人的名稱，后面如果是*，則泛指所有的搜索機器人；Disallow:后面為不允許訪問的文件目錄。

下面，我將列舉一些robots.txt的具體用法：

允許所有的robot訪問

User-agent: *
Disallow:

或者也可以建一個空文件 “/robots.txt” file

禁止所有搜索引擎訪問網(wǎng)站的任何部分

User-agent: *
Disallow: /

禁止所有搜索引擎訪問網(wǎng)站的幾個部分（下例中的01、02、03目錄）

User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/

禁止某個搜索引擎的訪問（下例中的BadBot）

User-agent: BadBot
Disallow: /

只允許某個搜索引擎的訪問（下例中的Crawler）

User-agent: Crawler
Disallow:

User-agent: *
Disallow: /

生活不易，碼農(nóng)辛苦
如果您覺得本網(wǎng)站對您的學(xué)習(xí)有所幫助,可以手機掃描二維碼進(jìn)行捐贈