W3C 拡張形式の Web サーバーアクセスログを、Excel で開いて探索する

Webアプリ/サービスを運営していての話。

なお、自分は企業内向けの Web アプリ/サービスの運営しか経験なく、コンシューマ向け/大量アクセスを伴う Web アプリ/サービスを運営したことはない。

このブログ記事も、そういったアクセスは割と少ない Web アプリ/サービスを前提とした内容である。

さて。

アプリの不具合対応で...

Web アプリ/サービスを運営していると、どうしてもそのWebアプリの不具合に遭遇してしまうことがある。

コードレベルでのバグでアプリがクラッシュしてしまうようなこともあれば、"アイテムを検索したら、条件に合うはずなのにヒットしない" みたいな不具合など様々だ。

そうしたときに結構出番があるのが、Webサーバーのアクセスログ。

アクセスログを頼りに、不具合に至るまでのユーザーの "足取り" を掴むのだ。

「不具合に遭遇しているユーザーは、ログインページを開いてからではなく、ページAに直行してログインページにリダイレクトされているようだ」

などといった具合。

アプリがクラッシュして、クラッシュログが残されているようなケースは、大抵はクラッシュログから解決に向かうことが多い。
しかしアプリがクラッシュするわけではなく、期待値と異なる結果を吐くような場合は、不具合再現や原因究明のために、こういったユーザー行動の把握は大変役に立つ。

アクセスログの探索に...Excel!?

このように、アドホックに Web サーバーのアクセスログを解析・探索したいとき、皆さんはどのようにやっていらっしゃるだろうか?

すでにブログタイトルでネタバレしてるが、自分は、なんと、Excel 派 である。

Windows OS 上で Excel で W3C 拡張形式の Web サーバーのアクセスログファイルを開いて、あーでもないこーでもない、とログを探索して回るのだ。

Excel でログを探索するにあたり何が便利かと言えば、

• カラムフィルタで .js や .css などへのアクセスログを除外したり、
• 同様に特定の日時範囲に絞りこんだり、
• 条件付き書式で GET や POST などの HTTP Method の違いを色分けして見やすくしたり、
• データバーで処理時間やバイト数をセル内にグラフ表示して可視化したり

といった感じだ。

LogParser も使ったことがある。
たしかに LogParser は、特定すべきログが明確にわかっているときや、(本記事とは場面の異なる) 各種集計作業、定型の処理などにはよいのだろう。
しかし先に書いているとおり、アドホックに解析・探索・推測したい場合はあまり向いていないように感じた。

それで結局は Excel に落ち着いたという経緯。

Excel で開くまでが面倒

ただちょっと厄介なのは、W3C 拡張形式のアクセスログファイルを、Excel に読み込ませるまでの手順が面倒なこと。

いや、ひとつひとつの手順は難しいことはない。
しかしダブルクリックで開けば OK というわけにはいかない。

• Excel のテキストインポートウィザード経由で「区切り文字はスペースで...」と指定して読み込ませたり、
• 「#～」で始まるコメント行を始末したり、
• タイムスタンプは日付と時刻に分かれていてフィルタで扱いにくいので計算式付け足したり

などなど。

さすがに、しょっちゅうトラブってるわけではないので、稀に不具合発生にて Excel でログ解析の需要が発生しても、がまんして上記手順を踏んで、Excel で開けたあとは縦横無尽にログ解析にいそしんでいた。

しかし最近、そろそろ我慢できなくなってきた。

ということで、Windows Forms 製の変換プログラムを作ってみました。

Open W3C log with Excel

プログラムの名前は「Open W3C log with Excel」。
直球勝負にしてみたのだが、なんだか長ったらしくなってしまったのが残念。

さておき、Open W3C log with Excel は ClickOnce Get サイトからインストール可能。

Check out "Open W3C log with Excel" on #ClickOnceGet! https://t.co/nxAutY4xbC

— jsakamoto (@jsakamoto) January 19, 2016

利用は無償で OK だ。
ソースコードは GPL v2 で GitHub 上に公開している。

こうして Open W3C log wth Excel をインストールしたあとは、拡張子が .log か .txt の W3C 拡張形式のアクセスログファイルを、Window エクスプローラー上からダブルクリックすると、Open W3C Log with Excel が起動してこの .log または .txt ファイルを Excel 2007 形式 (.xlsx) の一時ファイルに変換し、Excel で開くようになるのだ。

しかも、

• タイムスタンプは1セルにまとめて "yyyy/mm/dd hh:mm:ss" 形式で書式設定済み、
• 不要な「#～」コメントは除去済み、
• カラムフィルタは有効化済み、
• 列幅は自動調整済み

な .xlsx に変換してある。ようするに、.log または .txt をダブルクリックすると、いい感じで Excel で開いてくれる、というわけ。

W3Cログじゃなさそうであれば既定の "開く" 動作

また、先のアニメーション GIF からもうかがい知れるように、開こうとした .log または　.txt ファイルが W3C 拡張形式アクセスログファイルではないようだと判定した場合は、既定の "開く" 動詞でそのファイルを開くようにしてある。

アクセスログではないテキストファイルを開いたときは、ちゃんとテキストエディタが起動する仕掛けだ。

拡張子関連付けの仕組み

.log または .txt をダブルクリックしたときに Open W3C log with Excel が起動するようにするため、ClickOnce Get 経由でインストールしたときに拡張子関連付けを変更している。

ただし拡張子関連付けの変更とは言っても、"開く" 動詞を書き換えることはしていない。
代わりに "Open with Excel" という動詞を新たに追加し、これを既定の動詞としているだけだ。

はじめから Open W3C log with Excel を迂回したい場合は、ファイルを右クリックして明示的に "開く" などを選択すればよい。アンインストール時はもちろん、動詞 "Open with Excel" を削除して、既定の動詞を "開く" に戻している。

Zipアーカイブ版もあります

ClickOnce Get からのインストールは不安すぎるであるとか、ClickOnce インストールするとどうであれ拡張子関連付けが変更されるのが嬉しくない場合は、Zipアーカイブしたビルド済みバイナリも GitHub 上で公開しているので、そちらをダウンロードして手動で設置すればよい。

Zipアーカイブ版はこちらからどうぞ
https://github.com/jsakamoto/OpenW3CLogWithExcel/releases


以上、もしも W3C 拡張形式の Web サーバーのアクセスログを開くには是非 Excel で、という同志の方がいらっしゃれば、Open W3C log with Excel がお役に立てば幸いである。

あるいはまた、
アプリ自作までしてご苦労なことだな、○○使えよフツー
みたいな、ログ探索の定番などあればコメントなどいただけると大変ありがたい。