一般站台進去第一個畫面，如果看到需要登入，或是出現錯誤，那麼都很難被抓到資料。
樓主說的這個站，
http://www.abc-xyz.com/
想說連進去看個首頁，結果卻出現:
--------
Error! You do not have access to this directory.

You cannot access a listing of this directory. To access the specific subdirectory or file you want, use the full URL of the form:

http://www.abc-xyz.com/[directory]

--------以下略--------

基本上連正常訪問都不行了。又怎麼讓搜尋引擎抓資料呢?
最好還是去請教一下該站站長吧，說不定該站就是固定這樣設定好讓人抓不到資料的。

一般站台進去第一個畫面，如果看到需要登入，或是出現錯誤，那麼都很難被抓到資料。
樓主說的這個站，
http://www.abc-xyz.com/
想說連進去看個首頁，結果卻出現:
--------
Error! You do not have access to this directory.

You cannot access a listing of this directory. To access the specific subdirectory or file you want, use the full URL of the form:

http://www.abc-xyz.com/[directory]

--------以下略--------

基本上連正常訪問都不行了。又怎麼讓搜尋引擎抓資料呢?
最好還是去請教一下該站站長吧，說不定該站就是固定這樣設定好讓人抓不到資料的。
不好意思，www.abc-xyz.com只是亂打舉例而以，
我說的網站測試robots.txt的結果：
--------------------------------------------
User-agent: *
Disallow: /
--------------------------------------------
這樣表示這網站不讓任何搜索引擎抓取根目錄底下任何資料？也就是整個網站不給抓？
那我要去問一下那網站的站長，
感謝大家解說。