【建議】擴大網站對外頻寬的新服務 - GIGA Web-Amp

[QUOTE=dou0228;1016546]問題不在 Giga, 而是出在你根本就不會用 wget :cool:
wget 續傳請加上 -c 再試看看吧[/QUOTE]
如果用戶到Web-AMP 是單線程, 那麼不管Web-AMP 到伺服器是單線程或多線程, 問題都應該更單純才對啊! 不過由drmaster 網友在本站的另一篇測試Web-AMP 文章看來, 成功抓下500MB 以上檔案大有人在, 只是快慢不同, 所以100~200MB 並非Web-AMP 真正的限制, 還是得請mis_waiszli 換個方法再試

由於敝公司網站前一陣子出了點狀況, 加上無法申請對稱式光纖, 所以小弟對於 "[URL="http://webamp.giga.net.tw/blog.php?p=16"]利用 Web-AMP 提高網站安全性[/URL]"
[INDENT]WebAMP 的另外一個很重要的特色就是提供網站一個隱藏網站
真實位址的能力，使得網際網路上的入侵者因為無法得知你真實
網址，所以無從對你的網站進行攻擊。[/INDENT]
很感興趣, 不過Web-AMP 的[URL="http://webamp.giga.net.tw"]首頁[/URL]和[URL="http://webamp.giga.net.tw/blog.php"]技術專區[/URL]久未更新, 是否永續經營? 令人疑慮

其實很有趣,之前天空超網路的業務跑來找小弟,他們也不知道這個業務還要不要繼續賣.其實小弟是認為蠻可惜的,WEB AMP這個服務當初如果不是在GIGA推出,應該是非常有競爭力的服務.如果是台固或是其他大型ISP願意做的話,可以很有效的降低對中華的流量才是.

不過FYI兄真慘,想申請天空的光纖都沒人理.

[QUOTE=cheerx;1016610]其實很有趣,之前天空超網路的業務跑來找小弟,他們也不知道這個業務還要不要繼續賣.其實小弟是認為蠻可惜的,WEB AMP這個服務當初如果不是在GIGA推出,應該是非常有競爭力的服務.如果是台固或是其他大型ISP願意做的話,可以很有效的降低對中華的流量才是.

不過FYI兄真慘,想申請天空的光纖都沒人理.[/QUOTE]

WebAMP 還是屬於和信超媒體的業務範圍喔，只有 ADSL 部份才是 yam 天空的

小弟有點認真替公司考慮是否該轉換到虛擬主機或Web-AMP, 所以就特別做了點功課
[QUOTE=dou0228;1016546]問題不在 Giga, 而是出在你根本就不會用 wget :cool:
wget 續傳請加上 -c 再試看看吧[/QUOTE]
小弟重新研究了Web-AMP 的特色, waiszli 網友的問題應該不在於續傳, 如果檔案不曾完整的被Web-AMP 快取住, 那麼Web-AMP 還是必須重頭來過, 所以客戶端是否採用續傳並不影響結果
[quote][URL="http://bbs.giga.net.tw/viewtopic.php?f=21&t=608"]GIGA 網路資訊測試站 • 檢視主題 - 請問cache可以支援續傳嗎[/URL]
[INDENT]如果用戶端經由 WebAMP 從 Server 下載一個大型檔案：

Client <==1== WebAMP <==2== Server

那麼中途網路斷線有兩種情況，第一種情況是上面的 =1= 這一段斷線，
這時候 WebAMP 並不會受到影響，仍然會持續把這個檔案傳送完畢\r

但是如果是 =2= 這一段斷線，那整個檔案都會失效，[B]WebAMP 不會重試或續傳[/B]，
這主要是因為 WebAMP 要同時服務成千上萬個存取需求，
不可能為了特定一個檔案就停止在那邊一直重試\r

... (恕刪)

事實上您可以自己強制 WebAMP 伺服器重抓檔案，最簡單就是用 IE 按 Ctrl-F5，
或者自己利用 [URL="http://www.gnu.org/software/wget/"][U]wget[/U][/URL] 的 --no-cache 選項強制重抓

# wget -S --[B]no-cache[/B] --delete-after [url]http://url.foobar.xyz/xxx.iso[/url][/INDENT][/quote]
"=2=" 這一段不支援續傳是可以理解的, 所以 "=2=" 這一段的穩定性很重要, 否則會浪費頻寬和時間, 不過小弟猜測Web-AMP 的快取原則應該會針對網頁或檔案[B]大小[/B]而有所不同, 畢竟這是[B]快取[/B]服務, 不必因為使用者中斷就停止快取

而 "=1=" 這一段則[B]支援續傳和多線程[/B], 既然Web-AMP 支援多線程, 那麼首次下載使用多線程, 讓Web-AMP 快取住檔案就非常關鍵, 多線程的目的是確保連線[B]不會完全中斷[/B], 否則一旦完全中斷, 根據Web-AMP 的機制, 下次就得重新再來, 然而[URL="http://www.christopherlewis.com/WGet/WGetFiles.htm"]Windows Wget[/URL] 應該是單線程, 又只提供指令模式, 所以建議換個軟體測試

不過小弟不建議下 "--[B]no-cache[/B]" 選項, 而且小弟也不認為Web-AMP 允許客戶端要求重新自原始網站下載 (Pragma: no-cache), 尤其是對於[B]超大檔案[/B], 因為這樣會打亂原本的快取機制, 如果遇上[B]網路蜘蛛[/B]也這麼玩, 不知道會是何種情況?
[quote][URL="http://bbs.giga.net.tw/viewtopic.php?f=21&t=594"]GIGA 網路資訊測試站 • 檢視主題 - 同樣檔案,卻無法cache[/URL]
[indent]您的網站對於 [url]http://gogo.sclub.com.tw/sevensword.rar[/url] 的輸出標頭為:

HTTP/1.0 200 OK
Date: Sat, 03 Jan 2004 14:04:30 GMT
Server: Apache/2.0.54 (Win32) PHP/5.0.4
[B]Last-Modified: Sat, 03 Jan 2004 14:04:30 GMT[/B]
ETag: W/"3169-56e890f7-269967d7"
Accept-Ranges: bytes
Content-Length: 1458082039
[B]Cache-Control: max-age=999999
Expires: Thu, 15 Jan 2004 03:51:09 GMT[/B]
Content-Type: application/rar

... (恕刪)

也就是，你的網站回報給 Webamp 的資訊中，已經指明第一個檔案已經過期了，
要求 Webamp 捨棄 CACHE 的資料，重新抓取一份\r[/indent][/quote]
網頁有效期限也得注意
[QUOTE][URL="http://bbs.giga.net.tw/viewtopic.php?f=21&t=1099"]GIGA 網路資訊測試站 • 檢視主題 - 有關WebAMP的問題[/URL]
[INDENT]WebAMP 是需要被「養」的... 新加入的網站通常要過幾天才會看到完整的效果。
WebAMP 平均每個檔案要[B]完整被下載過2~3次[/B]後，才會被伺服器完整 CACHE 住

[B]上面這個大檔可能還要完整下載幾次才行，但因為檔案太大，有時候傳到一半就[COLOR="Red"]不明原因斷線了...[/COLOR][/B][/INDENT]
[URL="http://bbs.giga.net.tw/viewtopic.php?f=21&t=1101"]GIGA 網路資訊測試站 • 檢視主題 - 請問Webamp[/URL]
[INDENT]這並沒有一定的規則，WebAMP 會自動視當時的空間容量與使用效能決定哪些檔案先[B]暫時被移出去 CACHE[/B]，而且會動態調整[/INDENT][/QUOTE]
所以並非只有waiszli 網友會遇上不明原因斷線, 既要 "[B]完整被下載過2~3次[/B]", 又可能 "[B]暫時被移出去 CACHE[/B]", 說 "[B]暫時[/B]" 實在是太含蓄了, 難道被移出快取之後, 還能迅速復原嗎? 建議Web-AMP 比照一般虛擬主機的標準, 明訂網頁(快取)空間的大小, 以及快取的原則, 免得讓人霧裡看花, 不知道葫蘆裡賣什麼藥

FYI兄 我想重點在於,您的檔案大小多在甚麼範圍,小弟之前測試約20-30MB的檔案都還蠻順暢的,不過那已經是很久之前了.

另外謝謝nopy兄指點,原來和信超媒體還有業務沒有出售阿!

[QUOTE=FYI]
所以並非只有waiszli 網友會遇上不明原因斷線, 既要 "[B]完整被下載過2~3次[/B]", 又可能 "[B]暫時被移出去 CACHE[/B]", 說 "[B]暫時[/B]" 實在是太含蓄了, 難道被移出快取之後, 還能迅速復原嗎? 建議Web-AMP 比照一般虛擬主機的標準, 明訂網頁(快取)空間的大小, 以及快取的原則, 免得讓人霧裡看花, 不知道葫蘆裡賣什麼藥[/QUOTE]

WebAmp 就算告訴你空間大小也沒用, 同時間服務的站那麼多
總不可能一直 cache 你的檔案吧

重點在於, 若 client 端使用 [B]非續傳軟體[/B], 那是客人自找麻煩
不認為中途停止算是 WebAmp 的問題

試想, 若 WebAmp 支援的大小是 max 1GB 好了
先準備一個檔案 1G 大小
再來幫他準備上千, 上萬個 symbol link(實際上只有一個連結)
再去分別不停的要, 攻擊者只須要 1G 檔案空間, 但是 WebAmp 須要吃掉數 TB 以上的空間!

重點在於, 續傳啟用後, client 的檔案是否能正常下載[B]完畢[/B]..

[QUOTE=dou0228;1016672]WebAmp 就算告訴你空間大小也沒用, 同時間服務的站那麼多
總不可能一直 cache 你的檔案吧
重點在於, 若 client 端使用 [B]非續傳軟體[/B], 那是客人自找麻煩
不認為中途停止算是 WebAmp 的問題[/QUOTE]
因為 WebAMP 檔案系統設計的關係，WebAMP 不會只 CACHE 檔案的部份內容，
一定是 CACHE 一個完整的檔案 (比較容易作 HASH)

也就是說，若檔案尚未被完整 CACHE 一次，這時候斷線，就很有可能要重頭再下載一次，
不完整的檔案並不會被(部份)儲存下來

使用者端當然還是可以指定續傳 (也就是只下載部份內容，而不是從頭下載），
但對 WebAMP 而言，若沒有一個完整的檔案存在，就會從頭自伺服器下載一次

如果檔案太大，第一次下載的時間就會拖得比較長，當然斷線的機率就會增加，
造成檔案一直沒有辦法被 CACHE 住，這也是我們建議使用者儘量不要使用太大檔案的原因
(對大檔案作些許切割，對系統效能是有幫助的)

[QUOTE=dou0228;1016672]試想, 若 WebAmp 支援的大小是 max 1GB 好了
先準備一個檔案 1G 大小
再來幫他準備上千, 上萬個 symbol link(實際上只有一個連結)
再去分別不停的要, 攻擊者只須要 1G 檔案空間, 但是 WebAmp 須要吃掉數 TB 以上的空間![/QUOTE]
WebAMP 沒有辦法分辨不同的網址是否為同一個檔案，所以以您的例子而言，同一個檔案會被重複CACHE

如果每個不同連結被使用頻率都還有一定程度，WebAMP 自然還是會通通保留一份在 CACHE 中，
但若只使用過一兩次就沒有人再來要求，WebAMP 就會把它列入優先刪除的考慮對象，
當CACHE空間不足時，自然就可能會被刪除

不過因為 WebAMP 客戶數量一直在增加，所以我們也一直有在增加可用的 CACHE 空間(硬碟越來越便宜)，
目前僅不到 80% 的使用率，所以照道理講應該還不會有檔案因為不常使用而被移出 CACHE 的情形發生

當然，WebAMP 系統若有作一些變動或增加伺服器群組，
有些已經 CACHE 的檔案可能還是要重新被下載一次才會再被 CACHE 住就是了

[QUOTE=nopy]
WebAMP 沒有辦法分辨不同的網址是否為同一個檔案，所以以您的例子而言，同一個檔案會被重複CACHE

如果每個不同連結被使用頻率都還有一定程度，WebAMP 自然還是會通通保留一份在 CACHE 中，
所以理論上若只使用過一次就沒有人再來要求了，WebAMP 就會把它列入優先刪除的考慮對象，
當CACHE空間不足時，就會被刪除

不過因為 WebAMP 客戶數量一直在增加，所以我們也一直有在增加可用的 CACHE 空間，
目前僅不到 80% 的使用率，所以照道理講應該還不會有檔案因為不常使用而被移出 CACHE 的情形發生
[/QUOTE]

當然, 只要客戶端開啟續傳, 他的相對損失就會小的多(時間)
只是說明, 檔案[B]絕不可能[/B][SIZE="5"][B]無限上綱[/B][/SIZE]的快取, 就算 WebAMP 能查出這是相同檔案的 hash 也沒用
只要送給 WebAmp 的時候改變幾個 byte, hash 值就會天差地遠了

[QUOTE=nopy;1016677]WebAMP 沒有辦法分辨不同的網址是否為同一個檔案，所以以您的例子而言，同一個檔案會被重複CACHE[/QUOTE]
感謝您的指正, 這點是小弟考慮不夠仔細的地方, 也正是網頁快取和虛擬主機不同之處, 小弟原先所想的是假設比照虛擬主機的標準, 給輕量級客戶1~10GB 的網頁空間, 給重量級客戶100~200GB 的網頁空間, 只要不超過規定上限, 那麼客戶就有辦法自己控制快取內容才對, 這個原理其實和頻寬管理一樣, 也就是不要用盡所有的頻寬, 就能夠自己掌握Queue 的優先權, 而不是讓ISP 替你決定, 所以也就忽略了快取的性質不同於虛擬主機, 同一檔案如果以不同形式展現, 則有可能被重複快取, 以至於超出規定上限
[QUOTE=dou0228;1016672]WebAmp 就算告訴你空間大小也沒用, 同時間服務的站那麼多
總不可能一直 cache 你的檔案吧[/quote]
這點小弟並不認同, 如果以一般經濟型虛擬主機的標準, 網頁空間不是500MB 就是1GB, 如果這樣還會被踢出快取, 那就沒人上門了, 至於drmaster 網友的佛堂由於都是超大檔案, 所以另當別論
[QUOTE=dou0228;1016672]重點在於, 若 client 端使用 [B]非續傳軟體[/B], 那是客人自找麻煩
不認為中途停止算是 WebAmp 的問題[/quote]
拉登長官可能並未仔細研究waiszli 網友所遇到的狀況, 小弟並未否認續傳的重要, 小弟也確認Web-AMP 支援續傳, 但是以網頁快取的特性來說, 第一次下載是否採用續傳並不重要, 萬一不明原因中斷, 就得重頭來, 因為檔案尚未被完整快取, 也就沒有保存於Web-AMP, 所以根本沒機會續傳, 小弟所不瞭解的是Wget 的設計包含了重試的機制, 預設是20 次 (-t number), 間隔則不清楚, 那麼是什麼原因造成waiszli 網友多次下載失敗呢? Wget 下載採用TCP, 應該有容錯的機制才對啊! 所以小弟想請waiszli 網友做個實驗, 在相同的網路環境下, 以Wget 重新下載之前下載失敗的檔案, 請將 "www.buddhist.idv.tw" 改成 "buddhist.faith.idv.tw", 並且設定"http_proxy = http://proxy.hinet.net:80/", 方法請參考 "[URL="http://www.gnu.org/software/wget/manual/wget.html#Proxies"]GNU Wget 1.11.2 Manual[/URL]", 以上用意是要以Hinet Proxy Server 做比較, 以便釐清問題在於第一段還是第二段? 雖然不完全準確, 但還是有參考意義

拉登長官多謝您的指教小弟是真的不懂Wget指令所以才去官網查詢如何測試
小弟的指令也是去官網討論版看到有人這樣測試才這樣做的
結果被您這麼快就點出來我不會用~真是厲害~高深的經驗真是配服呀
原來問題是出在我呀那我還真的是錯怪了GIGA 真是抱歉呀
那我再貼一張圖，您方便給小弟一個解釋給小弟指教一下好嗎:|||:
[IMG]http://i233.photobucket.com/albums/ee284/waiszli/gigatest20080519006.jpg[/IMG]
以上這張圖片法寶網站公告的容量是351MB
可是大家看看~我用Firefox抓的就發現這個情況
難到是我很龜毛嗎我在搞Giga嗎:jump2: