百度對robots.txt的反應大概是多久呢?小編做了一個試驗,情況大約是這樣子的,我之前在博客,因為一些模板上的失誤,在一些“.html”后面加入了一個問號,變成了“.html?”,后來我觀察了搜索引擎,發現它們都將“.html”和“.html?”這兩個URL當成了兩個不同的URL(只有google例外,我估計它會自動處理掉一次空的查詢)。所以我決定用“robots.txt”將這種情況改過來,順便說下這次更改對博客的影響,我當時博客的情況是:
發表文章3小時內獲取收錄還有排名(搜索相關的關鍵詞可以找得到,長尾關鍵詞可以在第一頁找到)
內頁有近一半的URL是“.html?”的形式
我在6月29號開始修改robots.txt,禁止收錄.html?這種格式的URL,同時將模板上的BUG修復。接著繼續發表文章,不過文章沒有在3小時內被收錄了,等到周四更新的時候才放出來,這時,依舊獲得不錯的排名,并沒有因此被降權或是干嗎。
到了7月2-3號,收錄開始下降了,到周四的更新,收錄只有39了。基本上大量“.html?”全被K掉了,只留了少量的,不知道是不是ZZ沒有重新爬那幾個URL的原因,這一點不好說,有空分析下日志再看看。
修改robots.txt在百度的影響
綜上所述,修改robots.txt禁止一些收錄的URL對百度的影響還是有一些的:至少影響了網站的信任度(收錄沒那么快了)。而且還有一個未知的原因,那些被禁止的“.html?”的正規URL“.html”的收錄不知道會在幾時,會不會被認為是重復頁面給K掉了,這些都不好說,只有等待觀察了