【問題】有可能頻寬被搜尋引擎吃光嗎

[benete]

剛收到通知,月底還差幾天,因為頻寬已用完被迫關站
這還是頭一次發生,查了一下流量記錄,發現有關搜尋引擎到訪的統計如下
********************
搜尋引擎網站的漫遊器
9 個漫遊器 檔案數 位元組
Unknown robot (identified by 'spider') 131105 4.54 G個位元組
Yahoo Slurp 2142 53.79 M個位元組
Googlebot 1480 38.29 M個位元組
MSNBot-media 624 20.41 M個位元組
Unknown robot (identified by 'robot') 79 1.80 M個位元組
Yahoo! Slurp China 20 248.91 K個位元組
Unknown robot (identified by 'crawl') 16 328.06 K個位元組
MSNBot 15 344.24 K個位元組
Unknown robot (identified by 'bot/' or 'bot-') 11 35.37 K個位元組
********************
不好意思,空格有點亂,主要是第一名Unknow的部分,佔了4G.(小站使用的方案是5G的)
請問各位這是否就是主凶?該如何因應才好.謝謝各位

[blueno]

試試看在根目錄下建一個文件。

robots.txt

內容為

# Disallow
User-agent: *
Disallow: /

應該可以阻擋部份搜尋引擎的掃描，不過也有可能阻礙在搜尋引擎上的排名，
對於 spider 類型搜尋引擎可能無法阻擋（如：百度）