關(guān)于百度蜘蛛(Baiduspider)的真?zhèn)螁栴},網(wǎng)以前就發(fā)表過《如何判斷百度蜘蛛(Baiduspider)是否為假冒,真?zhèn)闻袛唷芬晃摹7浅G傻氖牵蛉障挛缭诎俣日鹃L俱樂部,百度官方工作人員LEE再次重審了這一話題,以下為原文:
目前中文互聯(lián)網(wǎng)上有少量spider冒充Baiduspider抓取網(wǎng)頁,周六madcon會上,發(fā)現(xiàn)很多同學不知道如何判斷Baiduspider的真假,再次說明一下:
中文互聯(lián)網(wǎng)上,Baiduspider ip的hostname以 *.baidu.com的格式命名,非 *.baidu.com即為冒充,建議您使用DNS反查方式來確定抓取來源的ip是否屬于百度。
例如,在linux平臺下,您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer
baiduspider-123-125-66-120.crawl.baidu.com.
在windows平臺下,可以用nslookup命令反解ip來判斷是否來自Baiduspider的抓取。
點擊“開始”-“運行”-“cmd”-“輸入nslookup IP地址”-“回車”
C:Documents and Settingswangtao>nslookup 123.125.66.120
Name: baiduspider-123-125-66-120.crawl.baidu.com
Address: 123.125.66.120
詳請參考:
http://www.baidu.com/search/spider_chinese.html
PS:Baiduspider絕對不會以匿名的方式抓取網(wǎng)頁。