如何預防百度和Google對我家的網站進行Query？

[iamyy]

日前突然發現我們的Web主機的Connection數突然爆增，去資料庫中查了一下這些Query居然是來自百度和Google，基本上我們家的網站是沒有什麼機密資料啦，不過一下子衝進來那麼多的Query可真是讓IIS主機操死了，請問有沒有什麼辦法可以阻止百度和Google對我家的網站進行Query呢？使用URLScan可以嗎？謝謝

PS.我家的網站是指我公司的網站，這樣叫習慣了~~

[even]

直接想到的是在iis裡把ip擋掉

[wangcm]

查一查啥叫robots.txt吧 ....

[iamyy]

查一查啥叫robots.txt吧 ....

就是這個光，感謝您了~~Google、百度皆可用

[dou0228]

robots.txt 對 百度無效

[iamyy]

robots.txt 對 百度無效

真的嗎？如果這樣的話，百度的這個網頁不就是寫假的了

http://www.baidu.com/search/guide.html#1

[dou0228]

很久以前試過沒用, 所以都用 Apache mod_env 檔下..

    # stop fu*king BaiDu Spider
    <IfModule mod_env.c>
      SetEnvIfNoCase User-Agent BaiDuSpider is_robot
      <Directory /usr/local/www/xoops2>
        Order Allow,Deny
        Allow from all
        Deny from env=is_robot
      </Directory>
    </IfModule>

[hcchen]

User-agent: Googlebot
Disallow:/*.bak$
Disallow:/*.exe$
Disallow:/*.cgi$
Disallow:/*.js$
Disallow:/*.php$
Disallow:/*.rar$
Disallow:/*.zip$
Disallow:/*.mp3$
Disallow:/*.iso$
Disallow:/*.mpg$
Disallow:/*.txt$
Disallow: /*?

User-agent: BaiDuSpider
Disallow: /

User-agent: felix
Disallow: /

User-agent: Googlebot-Image
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*?


User-agent: *
Disallow: /~phpMyAdmin/
Disallow: /~updata/
Disallow: /~usercgi/


好像有點用.......@@a