我記得很多人知道我的博客是因?yàn)橐黄P(guān)于nofollow的文章,恰好是在2年前寫的。真沒想到兩年就這樣轉(zhuǎn)眼而過。現(xiàn)在我就來講一下那篇文章中提到的那個(gè)nofollow做得好網(wǎng)站是哪個(gè),以及他們?nèi)绾巫鰊ofollow的吧。這個(gè)例子是我各種培訓(xùn)中都會(huì)講到的,都已經(jīng)講得快起繭所以不想以后再說了。同時(shí)也為了讓大家看看數(shù)據(jù)分析是如何指導(dǎo)SEO的。
這個(gè)網(wǎng)站就是曾經(jīng)在外貿(mào)B2B領(lǐng)域做得很成功的網(wǎng)站–Tradekey。這里先介紹一下這個(gè)網(wǎng)站的歷史:這是一個(gè)完全依靠SEO起家的網(wǎng)站,總部在迪拜,現(xiàn)在是一家跨國(guó)公司,創(chuàng)始人非常年輕。我以前寫過一篇《依靠SEO去打造一個(gè)成功的網(wǎng)站》,那這個(gè)網(wǎng)站就是經(jīng)典案例。在外貿(mào)B2B領(lǐng)域,曾經(jīng)有的網(wǎng)站一年都需要十來萬費(fèi)用,還拿不到多少詢盤。但是曾經(jīng)在Tradekey上,免費(fèi)會(huì)員都能拿到很多不錯(cuò)的詢盤。所以它依靠口碑在B2B領(lǐng)域慢慢流行起來,被譽(yù)為“B2B領(lǐng)域的一匹黑馬”。在國(guó)內(nèi)一些都比較懂網(wǎng)絡(luò)的外貿(mào)人群中也很流行,以至于有段時(shí)間國(guó)內(nèi)都出現(xiàn)了很多tradekey的偽代理。Tradekey是如此的強(qiáng)勢(shì),所以它后來基本關(guān)掉了免費(fèi)會(huì)員,也就是所有在這個(gè)網(wǎng)站上發(fā)布產(chǎn)品的供應(yīng)商,都要成為付費(fèi)會(huì)員才可以。 在B2B領(lǐng)域,基本都是靠免費(fèi)會(huì)員來拉人的,這樣做真的需要底氣。
Tradekey的底氣,就來源于它不錯(cuò)的SEO技術(shù)。很多做英文SEO的人都應(yīng)該知道,在google上搜索很多的產(chǎn)品關(guān)鍵詞,它都能有不錯(cuò)的排名,它的SEO流量非常的可觀。加上和那些熱門平臺(tái)相比,它的供應(yīng)商數(shù)量不是很多,所以大家的效果相對(duì)都能得到保證一些。
這個(gè)網(wǎng)站也是我唯一見過的收錄量曾經(jīng)達(dá)到100%的大中型網(wǎng)站。我要講的nofollow 的應(yīng)用,就從這個(gè)網(wǎng)站如何提升收錄開始。
現(xiàn)在很多人都會(huì)把類似“注冊(cè)”或“登錄”這樣的鏈接nofollow掉,這是因?yàn)間oogle官方就建議這樣做,當(dāng)然tradekey也做了。
紅色框內(nèi)的是nofollow的鏈接
不過一個(gè)網(wǎng)站中可以加nofollow的地方還有更多。我們來看它的導(dǎo)航條,在主頁上,只有“Member Area” 這個(gè)鏈接被加了nofollow。 (如上圖)
但是在這個(gè)網(wǎng)站的其他網(wǎng)頁上,導(dǎo)航條上所有的鏈接都被nofollow了。
導(dǎo)航條更多的nofollow
很少有人能敢把導(dǎo)航條上的鏈接nofollow掉,它這么做的原因,通過數(shù)據(jù)來分析一下也就明白了。
如果你經(jīng)常使用《光年日志分析系統(tǒng)》這樣的軟件來分析日志,就會(huì)發(fā)現(xiàn)一個(gè)網(wǎng)站中有很多的鏈接在一天之內(nèi)是能被訪問很多次的。如:以下就是這個(gè)軟件統(tǒng)計(jì)出來的某個(gè)網(wǎng)頁一天內(nèi)被搜索引擎爬蟲訪問的數(shù)據(jù):
一天內(nèi)不同蜘蛛的訪問次數(shù)
理論上來說,如果一個(gè)網(wǎng)頁上的內(nèi)容更新得不是很頻繁,那這個(gè)網(wǎng)頁一天被抓取一次就可以了。對(duì)于那種已經(jīng)被收錄而且內(nèi)容一直不變的頁面,一天被抓取一次都太多了。就算是更新很頻繁的網(wǎng)頁,一天被訪問50次也完全夠了。不過實(shí)際情況遠(yuǎn)比理論上的糟糕,就像上面的這個(gè)抓取數(shù)據(jù),一個(gè)無關(guān)緊要的頁面,百度爬蟲一天都能抓取166次。大中型網(wǎng)站更糟,有一次我們分析完一個(gè)大型網(wǎng)站的數(shù)據(jù),發(fā)現(xiàn)這個(gè)網(wǎng)站爬蟲每天的抓取量雖然有120多萬,但是其中有16萬次抓取都是在抓首頁這么一個(gè)網(wǎng)頁,可以想象其他網(wǎng)頁又有多嚴(yán)重。
為什么我們要這么在意一個(gè)網(wǎng)頁被重復(fù)抓取的幾率呢? 這是因?yàn)橐粋€(gè)網(wǎng)站中還有很多其他的網(wǎng)頁,爬蟲壓根就抓取不到。哪怕你的網(wǎng)站只有幾百個(gè)網(wǎng)頁,都可能面臨著這個(gè)問題。一個(gè)網(wǎng)站如果每個(gè)頁面平均被重復(fù)抓取10次,盡管可能爬蟲每天的抓取量有100萬,那也只有10萬個(gè)頁面被抓取了。一天之內(nèi)的情況是如此,時(shí)間拉長(zhǎng)到一個(gè)月內(nèi)、半年內(nèi),情況不會(huì)有多大改善。雖然搜索引擎也試圖解決重復(fù)抓取的狀況,但是由于各種原因,會(huì)導(dǎo)致今天重復(fù)抓取的頁面,明天還是會(huì)重復(fù)抓取的。所以很多的大中型網(wǎng)站,一年下來,還有一半的網(wǎng)頁,爬蟲壓根都沒看到過。 如果不是分析了很多網(wǎng)站的數(shù)據(jù),很多人都是無法想象情況有這么嚴(yán)重的。
在抓取量一定的情況下,適當(dāng)減低一些頁面的重復(fù)抓取量,那會(huì)有更多的其他頁面會(huì)被抓取到。 一個(gè)網(wǎng)站中,最容易被過度抓取的頁面,就是那些經(jīng)常曝光的頁面,導(dǎo)航條上的鏈接就是經(jīng)常曝光的。所以Tradekey的解決辦法很簡(jiǎn)單,就是在首頁這么一個(gè)頁面上,給爬蟲留下入口去抓取導(dǎo)航條上的鏈接,但是在其他網(wǎng)頁上,就把導(dǎo)航條上的鏈接nofollow掉。這樣處理,會(huì)使導(dǎo)航條上鏈接的抓取量,從以前被抓取上萬次降低到現(xiàn)在被抓取幾十次。雖然不能達(dá)到理想中的狀況,但是也比以前好了非常多。
Tradekey就用這種思想處理了網(wǎng)站上的很多鏈接。如:
大量應(yīng)用nofollow
精彩內(nèi)容,請(qǐng)點(diǎn)擊下一頁!
下一篇 PHP中變量和變量定義