【建議】擴大網站對外頻寬的新服務 - GIGA Web-Amp

[FYI]

問題不在 Giga, 而是出在你根本就不會用 wget
wget 續傳請加上 -c 再試看看吧

如果用戶到Web-AMP 是單線程, 那麼不管Web-AMP 到伺服器是單線程或多線程, 問題都應該更單純才對啊! 不過由drmaster 網友在本站的另一篇測試Web-AMP 文章看來, 成功抓下500MB 以上檔案大有人在, 只是快慢不同, 所以100~200MB 並非Web-AMP 真正的限制, 還是得請mis_waiszli 換個方法再試

由於敝公司網站前一陣子出了點狀況, 加上無法申請對稱式光纖, 所以小弟對於 "利用 Web-AMP 提高網站安全性"

WebAMP 的另外一個很重要的特色就是提供網站一個隱藏網站
真實位址的能力，使得網際網路上的入侵者因為無法得知你真實
網址，所以無從對你的網站進行攻擊。

很感興趣, 不過Web-AMP 的首頁和技術專區久未更新, 是否永續經營? 令人疑慮

[cheerx]

其實很有趣,之前天空超網路的業務跑來找小弟,他們也不知道這個業務還要不要繼續賣.其實小弟是認為蠻可惜的,WEB AMP這個服務當初如果不是在GIGA推出,應該是非常有競爭力的服務.如果是台固或是其他大型ISP願意做的話,可以很有效的降低對中華的流量才是.

不過FYI兄真慘,想申請天空的光纖都沒人理.

[nopy]

其實很有趣,之前天空超網路的業務跑來找小弟,他們也不知道這個業務還要不要繼續賣.其實小弟是認為蠻可惜的,WEB AMP這個服務當初如果不是在GIGA推出,應該是非常有競爭力的服務.如果是台固或是其他大型ISP願意做的話,可以很有效的降低對中華的流量才是.

不過FYI兄真慘,想申請天空的光纖都沒人理.

WebAMP 還是屬於和信超媒體的業務範圍喔，只有 ADSL 部份才是 yam 天空的

[FYI]

小弟有點認真替公司考慮是否該轉換到虛擬主機或Web-AMP, 所以就特別做了點功課

問題不在 Giga, 而是出在你根本就不會用 wget
wget 續傳請加上 -c 再試看看吧

小弟重新研究了Web-AMP 的特色, waiszli 網友的問題應該不在於續傳, 如果檔案不曾完整的被Web-AMP 快取住, 那麼Web-AMP 還是必須重頭來過, 所以客戶端是否採用續傳並不影響結果

GIGA 網路資訊測試站 • 檢視主題 - 請問cache可以支援續傳嗎

如果用戶端經由 WebAMP 從 Server 下載一個大型檔案：

Client <==1== WebAMP <==2== Server

那麼中途網路斷線有兩種情況，第一種情況是上面的 =1= 這一段斷線，
這時候 WebAMP 並不會受到影響，仍然會持續把這個檔案傳送完畢\r

但是如果是 =2= 這一段斷線，那整個檔案都會失效，WebAMP 不會重試或續傳，
這主要是因為 WebAMP 要同時服務成千上萬個存取需求，
不可能為了特定一個檔案就停止在那邊一直重試\r

... (恕刪)

事實上您可以自己強制 WebAMP 伺服器重抓檔案，最簡單就是用 IE 按 Ctrl-F5，
或者自己利用 wget 的 --no-cache 選項強制重抓

# wget -S --no-cache --delete-after http://url.foobar.xyz/xxx.iso

"=2=" 這一段不支援續傳是可以理解的, 所以 "=2=" 這一段的穩定性很重要, 否則會浪費頻寬和時間, 不過小弟猜測Web-AMP 的快取原則應該會針對網頁或檔案大小而有所不同, 畢竟這是快取服務, 不必因為使用者中斷就停止快取

而 "=1=" 這一段則支援續傳和多線程, 既然Web-AMP 支援多線程, 那麼首次下載使用多線程, 讓Web-AMP 快取住檔案就非常關鍵, 多線程的目的是確保連線不會完全中斷, 否則一旦完全中斷, 根據Web-AMP 的機制, 下次就得重新再來, 然而Windows Wget 應該是單線程, 又只提供指令模式, 所以建議換個軟體測試

不過小弟不建議下 "--no-cache" 選項, 而且小弟也不認為Web-AMP 允許客戶端要求重新自原始網站下載 (Pragma: no-cache), 尤其是對於超大檔案, 因為這樣會打亂原本的快取機制, 如果遇上網路蜘蛛也這麼玩, 不知道會是何種情況?

GIGA 網路資訊測試站 • 檢視主題 - 同樣檔案,卻無法cache

您的網站對於 http://gogo.sclub.com.tw/sevensword.rar 的輸出標頭為:

HTTP/1.0 200 OK
Date: Sat, 03 Jan 2004 14:04:30 GMT
Server: Apache/2.0.54 (Win32) PHP/5.0.4
Last-Modified: Sat, 03 Jan 2004 14:04:30 GMT
ETag: W/"3169-56e890f7-269967d7"
Accept-Ranges: bytes
Content-Length: 1458082039
Cache-Control: max-age=999999
Expires: Thu, 15 Jan 2004 03:51:09 GMT
Content-Type: application/rar

... (恕刪)

也就是，你的網站回報給 Webamp 的資訊中，已經指明第一個檔案已經過期了，
要求 Webamp 捨棄 CACHE 的資料，重新抓取一份\r

網頁有效期限也得注意

GIGA 網路資訊測試站 • 檢視主題 - 有關WebAMP的問題

WebAMP 是需要被「養」的... 新加入的網站通常要過幾天才會看到完整的效果。
WebAMP 平均每個檔案要完整被下載過2~3次後，才會被伺服器完整 CACHE 住

上面這個大檔可能還要完整下載幾次才行，但因為檔案太大，有時候傳到一半就不明原因斷線了...

GIGA 網路資訊測試站 • 檢視主題 - 請問Webamp

這並沒有一定的規則，WebAMP 會自動視當時的空間容量與使用效能決定哪些檔案先暫時被移出去 CACHE，而且會動態調整

所以並非只有waiszli 網友會遇上不明原因斷線, 既要 "完整被下載過2~3次", 又可能 "暫時被移出去 CACHE", 說 "暫時" 實在是太含蓄了, 難道被移出快取之後, 還能迅速復原嗎? 建議Web-AMP 比照一般虛擬主機的標準, 明訂網頁(快取)空間的大小, 以及快取的原則, 免得讓人霧裡看花, 不知道葫蘆裡賣什麼藥

[cheerx]

FYI兄 我想重點在於,您的檔案大小多在甚麼範圍,小弟之前測試約20-30MB的檔案都還蠻順暢的,不過那已經是很久之前了.

另外謝謝nopy兄指點,原來和信超媒體還有業務沒有出售阿!

[dou0228]

所以並非只有waiszli 網友會遇上不明原因斷線, 既要 "完整被下載過2~3次", 又可能 "暫時被移出去 CACHE", 說 "暫時" 實在是太含蓄了, 難道被移出快取之後, 還能迅速復原嗎? 建議Web-AMP 比照一般虛擬主機的標準, 明訂網頁(快取)空間的大小, 以及快取的原則, 免得讓人霧裡看花, 不知道葫蘆裡賣什麼藥

WebAmp 就算告訴你空間大小也沒用, 同時間服務的站那麼多
總不可能一直 cache 你的檔案吧

重點在於, 若 client 端使用 非續傳軟體, 那是客人自找麻煩
不認為中途停止算是 WebAmp 的問題

試想, 若 WebAmp 支援的大小是 max 1GB 好了
先準備一個檔案 1G 大小
再來幫他準備上千, 上萬個 symbol link(實際上只有一個連結)
再去分別不停的要, 攻擊者只須要 1G 檔案空間, 但是 WebAmp 須要吃掉數 TB 以上的空間!

重點在於, 續傳啟用後, client 的檔案是否能正常下載完畢..

[nopy]

WebAmp 就算告訴你空間大小也沒用, 同時間服務的站那麼多
總不可能一直 cache 你的檔案吧
重點在於, 若 client 端使用 非續傳軟體, 那是客人自找麻煩
不認為中途停止算是 WebAmp 的問題

因為 WebAMP 檔案系統設計的關係，WebAMP 不會只 CACHE 檔案的部份內容，
一定是 CACHE 一個完整的檔案 (比較容易作 HASH)

也就是說，若檔案尚未被完整 CACHE 一次，這時候斷線，就很有可能要重頭再下載一次，
不完整的檔案並不會被(部份)儲存下來

使用者端當然還是可以指定續傳 (也就是只下載部份內容，而不是從頭下載），
但對 WebAMP 而言，若沒有一個完整的檔案存在，就會從頭自伺服器下載一次

如果檔案太大，第一次下載的時間就會拖得比較長，當然斷線的機率就會增加，
造成檔案一直沒有辦法被 CACHE 住，這也是我們建議使用者儘量不要使用太大檔案的原因
(對大檔案作些許切割，對系統效能是有幫助的)

試想, 若 WebAmp 支援的大小是 max 1GB 好了
先準備一個檔案 1G 大小
再來幫他準備上千, 上萬個 symbol link(實際上只有一個連結)
再去分別不停的要, 攻擊者只須要 1G 檔案空間, 但是 WebAmp 須要吃掉數 TB 以上的空間!

WebAMP 沒有辦法分辨不同的網址是否為同一個檔案，所以以您的例子而言，同一個檔案會被重複CACHE

如果每個不同連結被使用頻率都還有一定程度，WebAMP 自然還是會通通保留一份在 CACHE 中，
但若只使用過一兩次就沒有人再來要求，WebAMP 就會把它列入優先刪除的考慮對象，
當CACHE空間不足時，自然就可能會被刪除

不過因為 WebAMP 客戶數量一直在增加，所以我們也一直有在增加可用的 CACHE 空間(硬碟越來越便宜)，
目前僅不到 80% 的使用率，所以照道理講應該還不會有檔案因為不常使用而被移出 CACHE 的情形發生

當然，WebAMP 系統若有作一些變動或增加伺服器群組，
有些已經 CACHE 的檔案可能還是要重新被下載一次才會再被 CACHE 住就是了

[dou0228]

WebAMP 沒有辦法分辨不同的網址是否為同一個檔案，所以以您的例子而言，同一個檔案會被重複CACHE

如果每個不同連結被使用頻率都還有一定程度，WebAMP 自然還是會通通保留一份在 CACHE 中，
所以理論上若只使用過一次就沒有人再來要求了，WebAMP 就會把它列入優先刪除的考慮對象，
當CACHE空間不足時，就會被刪除

不過因為 WebAMP 客戶數量一直在增加，所以我們也一直有在增加可用的 CACHE 空間，
目前僅不到 80% 的使用率，所以照道理講應該還不會有檔案因為不常使用而被移出 CACHE 的情形發生

當然, 只要客戶端開啟續傳, 他的相對損失就會小的多(時間)
只是說明, 檔案絕不可能無限上綱的快取, 就算 WebAMP 能查出這是相同檔案的 hash 也沒用
只要送給 WebAmp 的時候改變幾個 byte, hash 值就會天差地遠了

[FYI]

WebAMP 沒有辦法分辨不同的網址是否為同一個檔案，所以以您的例子而言，同一個檔案會被重複CACHE

感謝您的指正, 這點是小弟考慮不夠仔細的地方, 也正是網頁快取和虛擬主機不同之處, 小弟原先所想的是假設比照虛擬主機的標準, 給輕量級客戶1~10GB 的網頁空間, 給重量級客戶100~200GB 的網頁空間, 只要不超過規定上限, 那麼客戶就有辦法自己控制快取內容才對, 這個原理其實和頻寬管理一樣, 也就是不要用盡所有的頻寬, 就能夠自己掌握Queue 的優先權, 而不是讓ISP 替你決定, 所以也就忽略了快取的性質不同於虛擬主機, 同一檔案如果以不同形式展現, 則有可能被重複快取, 以至於超出規定上限

WebAmp 就算告訴你空間大小也沒用, 同時間服務的站那麼多
總不可能一直 cache 你的檔案吧

這點小弟並不認同, 如果以一般經濟型虛擬主機的標準, 網頁空間不是500MB 就是1GB, 如果這樣還會被踢出快取, 那就沒人上門了, 至於drmaster 網友的佛堂由於都是超大檔案, 所以另當別論

重點在於, 若 client 端使用 非續傳軟體, 那是客人自找麻煩
不認為中途停止算是 WebAmp 的問題

拉登長官可能並未仔細研究waiszli 網友所遇到的狀況, 小弟並未否認續傳的重要, 小弟也確認Web-AMP 支援續傳, 但是以網頁快取的特性來說, 第一次下載是否採用續傳並不重要, 萬一不明原因中斷, 就得重頭來, 因為檔案尚未被完整快取, 也就沒有保存於Web-AMP, 所以根本沒機會續傳, 小弟所不瞭解的是Wget 的設計包含了重試的機制, 預設是20 次 (-t number), 間隔則不清楚, 那麼是什麼原因造成waiszli 網友多次下載失敗呢? Wget 下載採用TCP, 應該有容錯的機制才對啊! 所以小弟想請waiszli 網友做個實驗, 在相同的網路環境下, 以Wget 重新下載之前下載失敗的檔案, 請將 "www.buddhist.idv.tw" 改成 "buddhist.faith.idv.tw", 並且設定"http_proxy = http://proxy.hinet.net:80/", 方法請參考 "GNU Wget 1.11.2 Manual", 以上用意是要以Hinet Proxy Server 做比較, 以便釐清問題在於第一段還是第二段? 雖然不完全準確, 但還是有參考意義

[mis_waiszli]

拉登長官多謝您的指教小弟是真的不懂Wget指令所以才去官網查詢如何測試
小弟的指令也是去官網討論版看到有人這樣測試才這樣做的
結果被您這麼快就點出來我不會用~真是厲害~高深的經驗真是配服呀
原來問題是出在我呀那我還真的是錯怪了GIGA 真是抱歉呀
那我再貼一張圖，您方便給小弟一個解釋給小弟指教一下好嗎

以上這張圖片法寶網站公告的容量是351MB
可是大家看看~我用Firefox抓的就發現這個情況
難到是我很龜毛嗎我在搞Giga嗎