會員 | 【轉貼】建議大家把百度搜尋機器人封鎖,免得浪費頻寬和流量 這是我在YAHOO搜尋找搜尋機器人時發現的文章 看了這幾天log的某個數字差點昏倒 今天回家後,花了一點時間看了一下這幾天網站的log報表,看到某個數字差點昏倒。 有一個使用者,他居然下載了高達1GB多的資料,創造了7萬多次的hits。 到底是誰?61.135.145.208這個IP到底是誰的?= = 透過APNIC查,IP是在中國北京沒錯,可是所屬單位中國網通實在是看不出來為什麼要下載那麼多資料。 只好上網找找看,結果好像是中國最大搜尋引擎百度的搜尋機器人。可是我還是不知道為什麼它要讀取那麼多資料,真的是超怪。網路上好像也有很多使用者碰到這個問題,同樣是機器人,為什麼yahoo、google的就不會這樣呢? 我再繼續自己網站看log報表中有關機器人的資料,Yahoo! Slurp搜尋機器人來訪的次數最高,與自己上次看的資料一致,但第二名就從Googlebot變成Baiduspider了,而MSN Robot從第四名升到第三名,Googlebot讀取本站的次數掉到第四名。 這樣的結果,只能說Yahoo、百度他們很拼命吧,要把搜尋做得更好些。 我看中國的百度 論起百度,中國都會說這是中文搜尋門戶網站的龍頭,在中國是超越Google的search engine。本來之前就想抱怨一下百度的,因為它的搜尋機器人讓我很火,不過因為我不是百度的日常用戶與主要觸及的族群,故隱忍不發。 日前瞥見互連網上有人評論百度的事情,既然有人起了頭,就跟吧。 我用百度來搜尋一些關鍵字,同樣會碰到一堆廣告為主的結果,真正要的東西往往不會是在前面的地方。Google確實在這方面就好很多,讓人很清楚知道哪些是廣告,雖然有些關鍵字還是會有廣告成分較高的網頁連結在前面,但只要關鍵字運用得體,還是很快能找到自己要的結果。 百度另一個問題是它的搜尋機器人。對搜尋引擎網站而言,網頁搜尋機器人能夠幫助它們建立各網站的索引檔案,讓使用者搜尋時能夠搜尋到。但百度的機器人逛過我的網站後,即便是某些網頁已經移除了,它還會持續不斷地找,嘗試著去訪問不存在的路徑。Google的搜尋機器人GoogleBot就比較沒這問題,很少有嘗試連接不存在頁面的情形,它會自己將不存在連結移自下次的索引。 百度抓取網頁資料的頻率很高,固然可以達到索引量大的結果,但會對一般網站造成負擔。有時候我發現伺服器的頻寬和處理時間,在每天的特定時刻,都是被自動搜尋機器人給吃掉的。 曾經,我萌生了把百度機器人排除在外的念頭,但後來想想這樣百度的用戶搜尋不到我的網頁索引,就有點猶豫。也許,禁止百度的機器人瀏覽,或許對網站會更好呢。 禁止中國百度存取 剛剛網站突然變得非常慢,伺服器效能都被吃掉了,發現又是該死的中國百度搜尋機器人baiduspider,這個惡名昭彰的robot同時大量在存取不同的頁面。 我覺得之前禁止百度機器人造訪沒什麼用,火大就把中國百度所有的IP通通檔掉。 我要叫所有朋友的大小網站把中國百度通通封鎖起來! 如果不想被讓百度蜘蛛這個機器人索引你網站的網頁,加上這一段即可: User-agent: baiduspider Disallow: / |
回覆 |
拉登長官 | 回覆: 【轉貼】建議大家把百度搜尋機器人封鎖,免得浪費頻寬和流量 加那個是沒有用的, 百度一樣會 search 檔住 User-Agent BaiDuSpider 吧 |
回覆 |
會員 | 回覆: 【轉貼】建議大家把百度搜尋機器人封鎖,免得浪費頻寬和流量 請問 IIS 的 網站 要怎麼來擋 這個 |
回覆 |
會員 | 回覆: 【轉貼】建議大家把百度搜尋機器人封鎖,免得浪費頻寬和流量 百x的豬豬人是和其他搜尋(如SOxGU、Yxhoo.cn)引擎一樣非常沒有禮貌的 即使有ROBOTS.TXT,照樣狂抓。 目前除了消極封鎖其整個網段IP外,還有一種阻擋方式供參考。 http://twntwn.info/blog/ajer001/archives/931 http://blog.gslin.org/archives/2006/02/26/416/ 而GOOGLE的豬豬人就值得稱讚了。 因為當它看到ROBOTS.TXT時,就會禮貌性的迴避。 目前小弟會檢視虛擬主機的紀錄,如果一個IP來拜訪時發現它只有看REBOTS.TXT或是識別不明,通常都會拒絕該網段。 此篇文章於 2006-07-06 10:42 PM 被 JXPC 編輯。. |
回覆 |
會員 | 回覆: 【轉貼】建議大家把百度搜尋機器人封鎖,免得浪費頻寬和流量 再沒用就封鎖百度的IP網段。 |
回覆 |
會員 | 回覆: 【轉貼】建議大家把百度搜尋機器人封鎖,免得浪費頻寬和流量 其實不用這麼麻煩啦, 在內容寫一些 法X功,自游,民煮 之類的 ,GFW 就會自動把你擋下來了。 |
回覆 |
會員 | 回覆: 【轉貼】建議大家把百度搜尋機器人封鎖,免得浪費頻寬和流量 引用:
| |
回覆 |
會員 | 回覆: 【轉貼】建議大家把百度搜尋機器人封鎖,免得浪費頻寬和流量 請問用windows系統架的apache要怎麼設定? |
回覆 |
會員 | 回覆: 【轉貼】建議大家把百度搜尋機器人封鎖,免得浪費頻寬和流量 請問那個.htaccess放在/var/www/html裡頭就可以了嗎 |
回覆 |
會員 | 回覆: 【轉貼】建議大家把百度搜尋機器人封鎖,免得浪費頻寬和流量 可以看看這篇 http://www.baidu.com/search/spider.htm 如果有用 mod_security, 可以加 SecFilterSelective "HTTP_USER_AGENT" "Baiduspider" |
回覆 |
XML | RSS 2.0 | RSS |
本論壇所有文章僅代表留言者個人意見,並不代表本站之立場,討論區以「即時留言」方式運作,故無法完全監察所有即時留言,若您發現文章可能有異議,請 email :[email protected] 處理。