robots.txt 鬼打牆事件簿



贊助商連結


supermonkey
2011-06-18, 05:42 PM
為什麼別人的robots.txt都是整齊的列表,我的全都黏在一起???我用流覽器看很多網站的robots.txt都是整齊的列表,但是我的並不是。

不管我怎麼試,包括直接下載CNN的robots.txt ,再用FTP上傳,但是用瀏覽器瀏覽時還是一樣全都黏在一起,明明CNN是列表,只是DOWNLOAD又上傳到我的空間,但是為何結果不一樣???

請求高手協助,我試2-3個小時,能想到的方法都試了。。。:cry:

拜託:lovely:

圖一是CNN
圖二是我的(是上傳CNN的robots.txt)

我會執著於這個,是因為我用一個測是網站是否正常的網站測是我的網站,他有錯誤提示:
Your robots.txt file Content-type should be text/plain not text/html

我的txt明明就是用windows開的純文字檔
再說,我下載CNN再直接FTP上傳,結果也全都黏在一起,這也無法解釋。。。
:rolleyes:

贊助商連結


tvirus
2011-06-18, 08:44 PM
1.BOM?FTP傳輸方式?(請固定用Binary方式丟,或者是...)
2.以HTML方式看TXT,本來就是不會斷行,因為<br>跟\r\n是兩碼子事

supermonkey
2011-06-19, 03:03 AM
1.BOM?FTP傳輸方式?(請固定用Binary方式丟,或者是...)
2.以HTML方式看TXT,本來就是不會斷行,因為<br>跟\r\n是兩碼子事

1.use global setting的型態上傳。我不知道什麼是BOM,我貼圖上來,煩請看一下
2.請問您有看到上面的附加檔案嗎?用IE、CHROME瀏覽器看時都一樣,所有的大站,如CNN等等,都會自己換行,整齊排列,唯獨我的不會斷行!即使我複製他們的robots.txt上傳至我的空間,還是一樣。

用線上網站測試ROBOTS.TXT,結果顯示:
Your robots.txt file Content-type should be text/plain not text/html (see here (http://www.google.com/support/webmasters/bin/answer.py?answer=35237)).

我測是如CNN等或是一般個人網站,都是通過測試,唯獨我的無法通過。
我用IE、CHROME瀏覽器看他們的ROBOTS.txt也都是有換行,如同上面複的CNN圖片,但是我的全都黏在一起。

:cry:

http://i.imm.io/6A7F.png

附上上次的圖片,同一瀏覽器,上圖是CNN,下圖是我的網站:
http://i.imm.io/6A7Q.png

http://i.imm.io/6A80.png

tvirus
2011-06-19, 03:33 AM
你不如附上你的robots.txt
或者是你網站的robots.txt路徑( hxxp://xxx.xxx.xxx/robots.txt )比較快
附上圖檔,沒啥意義

carloschen
2011-06-19, 10:14 AM
用Windows的記事本開啟robots.txt,編輯完成另存新檔,編碼必須為ANSI。
FTP傳輸類型改成二進位檔案試試。

supermonkey
2011-06-19, 10:12 PM
用Windows的記事本開啟robots.txt,編輯完成另存新檔,編碼必須為ANSI。
FTP傳輸類型改成二進位檔案試試。

我試了,如圖,但是沒有用。
我測試
http://www.pczone.com.tw/robots.txt
也是像CNN在瀏覽器瀏覽下會換行

我用您說的方式,二進位上傳,但是沒有效
我嘗試用CONTROL PANEL的線上檔案管理模式上傳,也沒有用。。。:rolleyes:


你不如附上你的robots.txt
或者是你網站的robots.txt路徑( hxxp://xxx.xxx.xxx/robots.txt )比較快
附上圖檔,沒啥意義

http://www.babydolls.tk/robots.txt

:cry:

tvirus
2011-06-19, 11:01 PM
這...Apache Mime Type設定的關係?!
你的robots.txt內容確定為一般Unix ASCII格式,跟一般網站的一樣
只是mime type...

[root@xxxx tmp]# wget http://xxxx.xxxx.tw/robots.txt
--2011-06-19 23:00:29-- http://xxxx.xxxx.tw/robots.txt
正在查找主機 xxxx.xxxx.tw... 123.204.OO.OO
正在連接 xxxx.xxxx.tw|123.204.OO.OO|:80... 連上了。
已送出 HTTP 要求,正在等候回應... 200 OK
長度: 348 [text/plain]
Saving to: `robots.txt.2'

100%[======================================>] 348 --.-K/s in 0s

2011-06-19 23:00:29 (26.8 MB/s) -- 已儲存 ‘robots.txt.2’ [348/348])

[root@xxxx tmp]# wget http://www.babydolls.tk/robots.txt
--2011-06-19 23:00:31-- http://www.babydolls.tk/robots.txt
正在查找主機 www.babydolls.tk... 66.197.192.150
正在連接 www.babydolls.tk|66.197.192.150|:80... 連上了。
已送出 HTTP 要求,正在等候回應... 200 OK
長度: 750 [text/html]
Saving to: `robots.txt.3'

100%[======================================>] 750 --.-K/s in 0s

2011-06-19 23:00:32 (64.5 MB/s) -- 已儲存 ‘robots.txt.3’ [750/750])

supermonkey
2011-06-21, 04:14 PM
這...Apache Mime Type設定的關係?!
你的robots.txt內容確定為一般Unix ASCII格式,跟一般網站的一樣
只是mime type...

:eye:

請問mime type可以自己改嗎?要怎麼改?
還是那是根主機整體設定有關?

謝謝您