您當前位置：首頁 > web前端 > 網絡優化 > WukongSpider 悟空搜索蜘蛛的去留問題

WukongSpider 悟空搜索蜘蛛的去留問題

來源：程序員人生發布時間：2014-06-13 05:11:19 閱讀次數：2972次

　　今天在查看IIS日志時發現，“WukongSpider”竟然占了很大的量，在其中一天的日志中，WukongSpider竟然達1萬多條，一萬多PV啊，就這么被這個可惡的悟空搜索給霸占了，并且WukongSpider出現頻率過高，已經超過Google / Baidu / Yahoo / Youdao / Soso等正規搜索引擎的抓取條數了。

　　網上查了一下這個站：

唔箜搜索
唔箜搜索是綜合型的手機搜索引擎,提供分類定向搜索,共有手機圖片、手機鈴聲、mp3、手機地圖、手機游戲等17個類別的搜索和下載.
wukong.net

　　從界面上看是個手機瀏覽網站，Alexa排名在30多萬位，但不知道手機終端瀏覽者是否多，小編提示各位站長朋友，即使是手機訪問量很大的站點，到目前為止在收入上也是一片空白，建議大家干掉悟空搜索的蜘蛛，不要再讓它到處爬了。

　　方法一：

　　將WukongSpider添加到Robots.txt，相信這個家伙也是遵循搜索引擎抓取規則的。

　　方法二：

　　將WukongSpider的IP地址加入到黑名單中，禁止該IP來訪，可以大大減輕服務器的壓力。

　　推薦：以上兩個方法都使用，PS：如果你的網站是手機類站點，就不要屏蔽了！

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈
程序員人生