数GBのファイルをHTTPでPOSTできるか?

先日、ファイルアップロードを受け付ける ASP.NET アプリを書いていて、テスターに十数MBほどのサイズのファイルアップロードを試され、迂闊にも例外発生に遭遇してしまった。

まぁ、このへんの話は FAQ レベルで、.config にファイルサイズ上限設定しなおしましょうだとか、そうはいっても ASP.NET ページではブラウザ要求をいったんメモリに乗せるのでメモリ喰いまくるからね、だとか、そういうことである。

さて本件は要求仕様が10MB未満なので問題にもならなかったが、ふと、「じゃぁ、HTTPでPOSTできるファイルサイズの上限って?」と疑問が浮かんだ。

サーバーサイドはこちらの土俵なので、最悪、ATLサーバー(知ってますか?)とかISAPIエクステンションをC++で書き下ろしとか、どうとでも対応できるような気がする。

はてさてしかし、ブラウザ側の上限はどうなのだろうか?

今回はネットで検索せずに、いきなり実験してみた。

まずは、Visual Studio の開発 Web サーバーでいいので適当なHTTPサーバーを起動しておく。
次に、この HTTP サーバーに宛てて、問答無用でファイルを POST する HTML ファイルをローカルファイル上に書いた。
これを Internet Explorer 8 RC で開いて、実際に巨大サイズのファイルを指定して送信する(*1)。
で、そのときの要求ヘッダを WebDevHelper でログをとって眺めてみた。

不安は的中。

要求ヘッダ中、Content-length が、どうやら 32bit までしか正式に対応していないようで、2GB を越えると負の値に反転してしまうのである。
RFC で規定されているのだろうか?

Firefox 3.0 でも試してみたが、Firefox の場合はまた様相が異なり、アップロードしようとしているファイルのサイズが2GBを越えていると、そもそも要求送信すらしない(Submitボタンを押しても、うんともすんとも言わない)のだ。

IE8 ではもしかしたら、負数から 64bit 値を割り出せるかもしれないが、そもそも要求送信すらしない Firefox の場合はお手上げである。

遅まきながらネットで検索してみると、アップロードに関しては情報が乏しいのだが、ダウンロードに関して、やはり Content-length ヘッダの解釈が問題となっていると報じているページが良くヒットした。
(たとえば、NyaRuRu さんのこちらの記事とか)
アップロードとダウンロードとでは話が違うとはいえ、Content-length ヘッダの解釈仕様という点でどうも共通の問題であるとも見える。

どうやら、クライアント側、すなわちブラウザの事情(ないしはRFCの規定か?)で、単純に HTTP で POST できるファイルサイズの上限は、事実上、2GB が境界値であるらしい。

この限界を突破するには、Java や Flash、はたまた、Silverlight などでアプレットを作って、このブラウザ上のアプレットにてクライアント側でファイルを分割し、細切れにして POST するしかなさそうな気がする。
検索してみたところ、こんな議論も見つけた。
http://cakephp.jp/modules/newbb/viewtopic.php?topic_id=1430&forum=9&post_id=3120
いくつかリンクをたぐると、Java製の分割アップロードアプレットもあるようだ(未確認)。

クライアント側、ブラウザ側の事情はこんなところか。

さて、サーバー側である。

先に "サーバー側はどうとでもなる気がする" と書いたが本当だろうか?

まず、.config ファイルに、「2GBのファイルアップロード、OK!」と書いたところで通用しないのは承知のとおり(ASP.NET ページは要求をいったんすべてメモリに収めるため。たかだか1要求の処理のためだけに2GB超ものメモリ空間を確保できません!)。

ブラウザ側のアップロード可能なファイルサイズ上限が 2GB だとして、では、サーバー側でも 2GB ファイルのアップロードに耐えられるように実装可能なのだろうか?

引き続き考えてみることにする。

註：*1) ... もちろんサーバーの側にしてみたらはわけのわからない要求を送られてくるので、サーバーからはエラーステータスが返ってくることになる。しかし今回は要求ヘッダを観察したいだけなので、エラーを返してこようが関知しない。