数GBのファイルをHTTPでPOSTできるか? (3) 完結

"数GBのファイルをHTTPでポストできるか?" サーバー側編続編である。

前回の投稿で、(ASP.NET でいうところの) HTTP ハンドラ、いわゆる .ashx であれば、要求すべてがメモリに溜められることなく、ProcessRequest メソッドが呼び出されることがわかった。
しかし、HttpRequest.InputStream を参照した時点で、やっぱり要求すべてをメモリに収めてから返すことが判明。
さてどうしたものか、といったところであった。

System.Web.HttpRequest クラスの GetEntireRawContent メソッドがどうやら犯人らしいことはわかったので、こういうときこそとばかりに、ソースをひもといてみる。


ソースから学んだことは、ブラウザからの要求ストリームに生に近い形で近づくには、HttpContext とか HttpRequest とかを超えて、HttpWorkerRequest にまでさかのぼる必要がある、ということ。

ということで、現在の要求コンテキストにおける HttpWorkerRequest オブジェクトを手に入れる必要があるわけだが、これがちょっとわかりづらい。

HttpContext は IServiceProvider インターフェースを備えていて、直接 Has 関係にはないけれども関連はある他のオブジェクトの参照を手に入れることができるようになっている。
つまり、HttpContext オブジェクトに対して、IServiceProvider インターフェース経由で "あなたのお知り合いの HttpWorkerRequest オブジェクトを紹介してちょうだい" と GetService 呼び出しすると、HttpWorkerRequest オブジェクトが返ってくる寸法だ。

public void ProcessRequest(HttpContext context)
{
　var provider = context as IServiceProvider;
　var wr = provider.GetService(typeof(HttpWorkerRequest)) as HttpWorkerRequest;

HttpWorkerRequest には、そのものずばりの ReadEntityBody といったメソッドが公開されているので、あとは、GetEntireRawContent メソッドのソースを参考に、これらメソッド呼び出しを駆使して実装すればよい。

ただ、一点、要求ボディからバイト列を読み込む都度、HttpWorkerRequest の UpdateRequestCounters メソッドを呼び出してやる必要があるらしいのだが、この UpdateRequestCounters メソッドがなんと非 public。

だが、まぁ、そこは "禁断の" リフレクションでどうにかしのいだ。
下記は一例（※InvokeMemberじゃなくて、さきに MethodInfo を取り出しておいてから Invoke したほうが繰り返し呼び出す場合はパフォーマンスよいのかな?）。

var wrType = wr.GetType();
wrType.InvokeMember("UpdateRequestCounters", BindingFlags.NonPublic | BindingFlags.Instance | BindingFlags.InvokeMethod, null, wr, new object[] { 読んだバイト数 });

以上で、2GB のファイルアップロードを受け付けられる目処が立った。
なお、開発サーバーで試しただけなので、もしかしたら IIS ではなにかまた別の壁があるかもしれないので注意されたし。

さて、本当に2GB ものファイルがアップロードされるとなると、実際にはまだまだ壁がある。

本来なら multipart/form-data をさらにパースして、正味のファイルだけを取り出したりそのほかの form 変数を参照したりするコードも書かねばなるまい。

また、相当に時間がかかるであろうからワーカースレッドがタイムアウトしてしまう問題とか、それこそ長時間ワーカースレッドを占有するのでスレッドプール枯渇の問題とか。
アップロードされたファイルを保存する先のストレージの空き容量も懸念されるし(まぁ、今は1TBくらい普通だから余裕か?)、そもそもDoS攻撃の格好の餌食だ (ただし、ASP.NET の Forms認証が効くのは確認できた)。

とはいえ、この技法を応用して要求ボディを本来の意味での "ストリーム" として受け付けることができるようになれば、アップロードされるファイルのサイズにかかわらず ASP.NET ワーカープロセスの消費メモリは一定だろう。
100MB単位のアップロードを受け付ける程度はじゅうぶん現実的になるのではないだろうか。

とりあえず、開発サーバーでは 1GB超のファイルアップロードに成功。
かつ、その間、メモリ消費量は増えなかった。