Sitemap文件會影響搜索引擎蜘蛛抓取嗎？

　　看了這篇文章，你也要思考一下是否使用Sitemap生成器來生成Sitemap。對一個 wordpress博客來說，它的網站鏈接結構很好，不會影響搜索引擎蜘蛛(也有譯做搜索引擎機器人)自然爬行，所以為了使Google盡快收錄，最好使 用Google XML Sitemaps生成器(Google XML網站地圖生成器)來生成并提交你的Sitemap。我從一開始就使用了這個插件，發現Google收錄我的新文章確實非常快，具體時間沒有測試，應該在半小時內。

　　就像其它人一樣，我也形成了習慣，好的壞的都有。最近正為一個客戶的網站工作，就像我一直以來的做法那樣，我創建了一個sitemap，把它提交給了搜索引擎。我開始思考這樣做是否真的對網站有幫助，以及當我提交sitemap時的影響是什么。

　　我聯系到我的一個客戶，他有一個受歡迎的博客，使用了WordPress和Wordpress的Google XML Sitemaps生成器插 件。我請求他給我權限在他們的網站上安裝一個監控搜索引擎蜘蛛行蹤的腳本。對那些不知道Google XML網站地圖生成器的人解釋一下，這個插件當你每次在WordProess里編輯或創建文章時，都會生成一個新的Sitemap，并把Sitemap提 交給主要的搜索引擎。

　　我的客戶經常在他們的博客上增加原創文章，通常一周2至3篇。我在他們網站上安裝的腳本用PHP寫 的，會把搜索引擎蜘蛛每次訪問Sitemap、每次提交Sitemap、以及搜索引擎蜘蛛每次在網站上爬過的網頁記錄下來。這個腳本會把時間戳信息、IP 地址、以及用戶客戶端記錄到一個MySQL數據庫中。我也修改了一下Google XML網站地圖生成器，加入了給搜索引擎提交Sitemap的時間戳。

　　看一看數據!

　　這個實驗的目的是看是否提交Sitemap到Google和Yahoo可以縮短Google爬行和收 錄頁面的時間。在這個博客的測試結果讓人吃驚!當提交Sitemap時，Google搜索引擎蜘蛛訪問新文章頁面的平均時間是14分鐘，Yahoo是 245分鐘。當不提交Sitemap時，搜索引擎搜索引擎蜘蛛必須自己爬行到新的文章頁面，Google用了1375分鐘，而Yahoo用了1773分 鐘。這個平均值基于12篇文章計算，6篇提交Sitemap，6篇不提交。

　　當算出這個結果時，我想這應該是一個錯誤。我回到我的網站(GR Web Designs)，然后迅速發表一篇文章并提交Sitemap到Google和Yahoo。30分鐘后我檢查我的監控腳本，Google已經訪問過了，并且新頁面已經被收錄。Yahoo在Google后不久也這樣做了。

　　看到搜索引擎蜘蛛在 沒有Sitemap的情況下爬行到新頁面后的時間后，我一度以為這個網站的結構有問題，導致搜索引擎蜘蛛不能爬到新頁面。但我和其它人都測試了網站的爬 行，沒有發現問題。我甚至發現搜索引擎蜘蛛已經爬到包含這篇新文章鏈接的頁面，但卻沒有立即訪問這篇新文章，而是后來才訪問的。

　　我正在寫這篇文章時，發現了Rand的My Advice on Google Sitemaps – Verify, but Don’t Submit， 我由此感到很困惑。我提交Sitemap獲得這么多好處，為什么還Rand告訴我不要提交Sitemap?在讀完這篇文章后，我發現他對獲得有價值的爬行 數據更感興趣。我使用的是WordPress，所有的頁面都允許搜索引擎蜘蛛爬，為什么不提交Sitemap呢?特別是提交了有這么大的好處。

　　對那些和這個試驗站點類似的網站，也就是知道自己的網站不存在影響搜索引擎蜘蛛自然爬行的網站，我建議他們提交Sitemap，因為這會使網頁更快 的被爬行和收錄。如果你有一個網站你并不知道網站的結構是否有問題，我建議你不要提交網站地圖，這可以幫助你確定你的網站結構是否存在問題。對那些有良好 鏈接結構的網站，為什么不今天就提交Sitemap，那事情進行的更迅速呢?

　　我很高興聽到SEOmoz社區說他們也在使用網站地圖，記住，這個實驗只是在一個網站上完成的，如果從你們那獲得更多的回饋，我會做更多關于Sitemap的研究。

　　譯文首發于：http://easwy.com/blog/archives/do-sitemaps-effect-crawlers/

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈