谷歌給托管服務(wù)商和網(wǎng)站管理員的一些建議

全文內(nèi)容如下：

• 攔截Googlebot 抓取功能。這是一個(gè)非常普遍的問(wèn)題，通常因防火墻配置錯(cuò)誤或DoS保護(hù)系統(tǒng)所致，有時(shí)也因站點(diǎn)運(yùn)行的內(nèi)容管理系統(tǒng)所致。保護(hù)系統(tǒng)是形成好的托管服務(wù)的重要組成部分， 通過(guò)配置來(lái)攔截異常的服務(wù)器頻繁的請(qǐng)求，但有時(shí)也可自動(dòng)完成。然而Googlebot通常會(huì)執(zhí)行比個(gè)人用戶更多的請(qǐng)求，所以這些保護(hù)系統(tǒng)也會(huì)決定攔截 Googlebot，并阻止其抓取您的網(wǎng)站。如需查驗(yàn)此類問(wèn)題，您可以使用網(wǎng)站管理員工具中的Googlebot抓取方式功能，并查看網(wǎng)站管理員工具顯示的其它抓取錯(cuò)誤。

我們向那些希望更有效地控制Googlebot抓取功能并提高抓取效率的網(wǎng)站管理員和托管服務(wù)商提供了幾個(gè)工具：

我們就如何使用拒絕googlebot協(xié)議和配置 URL 參數(shù)來(lái)控制“Googlebot抓取方式”功能提供了詳細(xì)的幫助。

如果您擔(dān)心使用Googlebot的代理程序，我們提供了一個(gè)方法來(lái)驗(yàn)證該抓取工具是否為Googlebot。

如果您想改變Googlebot抓取您的站點(diǎn)的頻率，您可在網(wǎng)站管理員工具中驗(yàn)證您的網(wǎng)站，并且改變Googlebot的抓取速度。托管服務(wù)商也可驗(yàn)證他們IP地址的所有權(quán)。

• 可用性問(wèn)題。我們常見(jiàn)的另一類問(wèn)題是當(dāng)Googlebot (及用戶)試圖訪問(wèn)站點(diǎn)時(shí)，網(wǎng)站無(wú)法瀏覽。這通常是由DNS問(wèn)題、服務(wù)器過(guò)載引起的超時(shí)和拒絕鏈接問(wèn)題、錯(cuò)誤的內(nèi)容分發(fā)網(wǎng)絡(luò)配置(CDNs)、以及很多其它類型的錯(cuò)誤造成的。當(dāng)Googlebot遇到這些問(wèn)題時(shí)，我們將之視為網(wǎng)址無(wú)法訪問(wèn)錯(cuò)誤或抓取錯(cuò)誤并在網(wǎng)站管理員工具中報(bào)告該錯(cuò)誤。

• 無(wú)效SSL證書(shū)。 要想SSL證書(shū)對(duì)您的網(wǎng)站生效，必須將它們與站點(diǎn)名稱相匹配。常見(jiàn)問(wèn)題包括過(guò)期的SSL證書(shū)，以及因服務(wù)器上所有網(wǎng)站使用同一個(gè)證書(shū)而導(dǎo)致的服務(wù)器錯(cuò)誤配 置。在這些情況下，大部分瀏覽器會(huì)試圖警告用戶，Google則通過(guò)網(wǎng)站管理員工具發(fā)送一條信息來(lái)警告網(wǎng)站管理員。要解決這些問(wèn)題，就要確保您所使用的 SSL證書(shū)對(duì)所有網(wǎng)站的域名以及您用戶訪問(wèn)的子域名都有效。

• 通配符DNS。網(wǎng)站可通過(guò)配置來(lái)響應(yīng)所有子域名的請(qǐng)求。例如，example.com的網(wǎng)站可以通過(guò)配置用來(lái)響應(yīng)來(lái)自foo.example.com，made-up-name.example.com以及所有其它子域名的請(qǐng)求。

在某些情況下，這是網(wǎng)站管理員所希望發(fā)生的，例如一個(gè)用戶生成內(nèi)容的網(wǎng)站可自行選擇給予每個(gè)賬戶各自的子域名。但在某些情況下，網(wǎng)站管理員可能不希望發(fā)生這種行為，因?yàn)檫@也許會(huì)引起不同的主機(jī)名將內(nèi)容進(jìn)行不必要的復(fù)制，還可能影響Googlebot抓取功能。

若想盡量減少通配符DNS設(shè)置中的出現(xiàn)的各種問(wèn)題，您可以將您的網(wǎng)站設(shè)置成不使用它們，或者將您的服務(wù)器設(shè)置成對(duì)不存在的主機(jī)名不能成功響應(yīng)，亦或拒絕連接或直接返回HTTP 404 頁(yè)面。

• 虛擬主機(jī)錯(cuò)誤配置。這種問(wèn)題的特征是同一個(gè)服務(wù)器上托管的多主機(jī)和/或域名總是只返回一個(gè)站點(diǎn)的內(nèi)容。換言之，盡管服務(wù)器托管多個(gè)站點(diǎn)，但它不管請(qǐng)求內(nèi)容是什么卻只返回一個(gè)站點(diǎn)。要診斷此問(wèn)題，您需要驗(yàn)證服務(wù)器是否正確地響應(yīng)了HTTP 主頁(yè)面。

• 通過(guò)特定的URL托管復(fù)制內(nèi)容。 很多主機(jī)基于測(cè)試/開(kāi)發(fā)的目的，為您的網(wǎng)站提供URL。例如，如果您在托管網(wǎng)站example.com上托管http://a.com/，托管提供商可能 會(huì)提供如 http://a.example.com/ 或 http://example.com/~a/這樣的URL地址來(lái)作為您網(wǎng)站的入口。我們建議不要將這些特定的URL托管設(shè)置成可被公開(kāi)訪問(wèn)的狀態(tài)（通過(guò) 密碼保護(hù)它們）；即便這些URL可被訪問(wèn)，我們的算法通常選擇網(wǎng)站管理員所想要的URL地址。如果我們的算法選擇特定的URL托管，您可通過(guò)正確執(zhí)行規(guī)范化技術(shù)來(lái)對(duì)我們的算法做出改動(dòng)，從而選擇您首選的URL。

• 軟錯(cuò)誤頁(yè)面。某些托管服務(wù)商用HTTP 200狀態(tài)碼（表示“成功”）而不是HTTP錯(cuò)誤狀態(tài)碼來(lái)顯示錯(cuò)誤頁(yè)面。例如，一個(gè)出現(xiàn)“頁(yè)面無(wú)法訪問(wèn)”字樣的錯(cuò)誤頁(yè)面可能會(huì)返回HTTP 200而不是404，從而造成軟404頁(yè)面；一條“網(wǎng)站暫時(shí)無(wú)法訪問(wèn)”信息返回的可能是HTTP 200，而不是正確地返回503HTTP狀態(tài)碼。我們努力檢測(cè)軟錯(cuò)誤頁(yè)面，但當(dāng)我們的算法無(wú)法檢測(cè)出主機(jī)軟錯(cuò)誤頁(yè)面時(shí)，這些頁(yè)面的錯(cuò)誤內(nèi)容可能被列入索引，導(dǎo)致分級(jí)或跨域選擇網(wǎng)址的問(wèn)題。

檢測(cè)返回的狀態(tài)碼很簡(jiǎn)單：只需采用任一一種工具，如Googlebot抓取方式，查看服務(wù)器返回的HTTP頁(yè)面。如果一個(gè)錯(cuò)誤頁(yè)面返回的是HTTP 200，那么我們可以改變配置使其返回正確的HTTP錯(cuò)誤狀態(tài)碼。同樣，請(qǐng)留意網(wǎng)站管理員工具軟404報(bào)告中有關(guān)抓取錯(cuò)誤頁(yè)面的診斷方法。

• 內(nèi)容修改和框架（frames）。 網(wǎng)站管理員可能驚訝于看到頁(yè)面內(nèi)容被托管服務(wù)商修改，尤其是在頁(yè)面插入腳本或圖片。除此之外，主機(jī)還可能通過(guò)使用frames或iframe將內(nèi)容嵌入其 它頁(yè)面來(lái)托管內(nèi)容。如果想查看主機(jī)是否以您意料之外的方式修改您的內(nèi)容，只需查看主機(jī)托管頁(yè)面的源代碼，并將其與您上傳的代碼進(jìn)行比較。

請(qǐng)注意某些服務(wù)器端代碼的修改可能非常有用。例如，一個(gè)使用Google Apache加速模塊或其它工具的服務(wù)器可能會(huì)壓縮代碼來(lái)優(yōu)化頁(yè)面載入速度。

• 垃圾信息和惡意軟件。 我們經(jīng)常看見(jiàn)有部分主機(jī)和大量子域名服務(wù)成為惡意軟件和垃圾郵件的主要來(lái)源，鑒于此，我們進(jìn)行一些細(xì)微的操作來(lái)保護(hù)用戶和提高搜索質(zhì)量，但如果我們發(fā)現(xiàn)特 定的主機(jī)上絕大部分站點(diǎn)發(fā)送垃圾信息或傳播惡意軟件時(shí)，我們就不得不對(duì)整個(gè)主機(jī)采取行動(dòng)。為幫您控制惡意軟件，我們提供：

o 適用于托管服務(wù)商的網(wǎng)絡(luò)管理員安全瀏覽警報(bào)

o 適用于個(gè)人網(wǎng)站的管理員工具的惡意軟件通知

o 適用于開(kāi)發(fā)人員的安全瀏覽API

生活不易，碼農(nóng)辛苦
如果您覺(jué)得本網(wǎng)站對(duì)您的學(xué)習(xí)有所幫助,可以手機(jī)掃描二維碼進(jìn)行捐贈(zèng)