数GBのファイルをHTTPでPOSTできるか? (2) サーバー編

さて、"数GBのファイルをHTTPでポストできるか?" サーバー側編である。

前回の投稿で、クライアント(ブラウザ)側は事実上、アップロード可能なファイルサイズは2GBまでが限界であるとの結論に達した。

ではサーバー側はどうか?
ASP.NET ページは、要求を処理するのにすべての要求コンテンツをいったんメモリに収めるため、さすがに 2GB の要求は処理できないのは周知のとおり。
実務的には数MBから数十MBがせいぜいだろう。

しかしこれは、ASP.NET ページ、すなわち、.aspx、System.Web.UI.Page クラスの話である。

(ASP.NET用語でいうところの) HTTP モジュール、HTTPハンドラを自分で書いた場合はどうだろうか?

ということで早速実験。
簡単に書けるので、まずは .ashx による HTTP ハンドラで試してみることにした。

あと、必要なのはテスト用のクライアント。
要求のボディ部分を即送信せず、1行ごとにゆっくり送信する特製のクライアントを作ることにした。
こんな感じの電文を、TcpClient を使って localhost のポート80番に 1行200ミリ秒ずつくらいの間隔でちまちま送信する。

POST /Handler1.ashx HTTP/1.1
Content-Type: multipart/form-data; boundary=---------------------------7d93b1123e11f8
Content-Length: 8192

-----------------------------7d93b1123e11f8
Content-Disposition: form-data; name="BigFile"; filename="bigfile.txt"
Content-Type: text/plain

AAAAAAAABBBBBBBBCCCCCCCC...

このテスト用クライアントとあわせて、.ashx の動作をデバッガで監視し、要求全部が送信し終わるまで .ashx の ProcessRequest が呼び出されないのか、すなわち、要求すべてをメモリに収めてから HTTP ハンドラが呼び出されるのかどうかを、確かめる目論見だ。

で、わかったこと。

まず、要求ヘッダと、最初のバウンダリの Content-Type 行までが送信された時点で、.ashx の ProcessRequest が呼び出されるようだ。
つまり、要求全部が届く前に、自前のコードでなにか始められる、ということだ。
これはうれしい結果である。
HTTPハンドラであれば、要求すべてがメモリに溜められることもなく、また、それを待つ必要もないというわけだ。

ではではと、続けて、ProcessRequest の引数に渡された HttpContext オブジェクトの Request プロパティを参照し、InputStream プロパティを使って、要求ボディを読み取ろうと試みた。
コードはこんな感じ。

public void ProcessRequest(HttpContext context)
{
　...
　using (var rd = new StreamReader(context.Request.InputStream, Encoding.UTF8))
　{
　　...

ところがここで壁にぶつかった。
InputStream プロパティを参照しようとすると、要求すべてが送信されるまで、呼び出しから返ってこないことが判明したのだ。

デバッガ上でコールスタックなどを観察していると、System.Web.HttpRequest.GetEntireRawContent() という名前のメソッド内でとどまっていることがわかってきた。

GetEntireRawContent? "Entire" ?? "全部" ですか???

どうやら、要求ボディを読み取ろうとして HttpRequest.InputStream を参照したその時点で、結局、要求ボディすべてをメモリに収める動作であるようだ。

うーむ。
他に術はないのか?

... 実は、考えあぐねた末に、無事解決できた。その顛末はまた後日。