検索
タグ
ASP.NET
.NET
ASP.NET MVC
Visual Studio
F#
Azure
ASP.NET Core
ライトニングトーク
Plone
Selenium
AJAX
C#
jQuery
ADO.NET Entity Framework
SQL Server
JavaScript
LINQ
EFCore
WebMatrix
PowerShell
カテゴリ
最新の記事
最新のコメント
記事ランキング
最新のトラックバック
以前の記事
2024年 10月 2024年 09月 2024年 08月 2024年 04月 2024年 03月 2024年 02月 2024年 01月 2023年 12月 2023年 11月 2023年 10月 2023年 09月 2023年 08月 2023年 07月 2023年 06月 2023年 05月 2023年 04月 2023年 03月 2023年 02月 2023年 01月 2022年 12月 2022年 11月 2022年 10月 2022年 09月 2022年 08月 2022年 07月 2022年 06月 2022年 05月 2022年 04月 2022年 03月 2022年 02月 2022年 01月 2021年 12月 2021年 11月 2021年 10月 2021年 09月 2021年 08月 2021年 07月 2021年 06月 2021年 05月 2021年 04月 2021年 03月 2021年 02月 2021年 01月 2020年 12月 2020年 11月 2020年 10月 2020年 09月 2020年 08月 2020年 07月 2020年 06月 2020年 05月 2020年 04月 2020年 03月 2020年 02月 2020年 01月 2019年 12月 2019年 11月 2019年 10月 2019年 09月 2019年 08月 2019年 07月 2019年 06月 2019年 05月 2019年 04月 2019年 03月 2019年 02月 2019年 01月 2018年 12月 2018年 11月 2018年 10月 2018年 09月 2018年 08月 2018年 07月 2018年 06月 2018年 05月 2018年 04月 2018年 03月 2018年 02月 2018年 01月 2017年 12月 2017年 11月 2017年 10月 2017年 09月 2017年 08月 2017年 07月 2017年 06月 2017年 05月 2017年 04月 2017年 02月 2017年 01月 2016年 12月 2016年 11月 2016年 10月 2016年 09月 2016年 08月 2016年 07月 2016年 06月 2016年 05月 2016年 04月 2016年 03月 2016年 02月 2016年 01月 2015年 12月 2015年 11月 2015年 10月 2015年 09月 2015年 08月 2015年 07月 2015年 05月 2015年 04月 2015年 03月 2015年 02月 2015年 01月 2014年 12月 2014年 11月 2014年 10月 2014年 09月 2014年 08月 2014年 06月 2014年 04月 2014年 03月 2014年 02月 2014年 01月 2013年 12月 2013年 10月 2013年 09月 2013年 08月 2013年 07月 2013年 06月 2013年 05月 2013年 04月 2013年 03月 2013年 02月 2013年 01月 2012年 12月 2012年 11月 2012年 10月 2012年 09月 2012年 08月 2012年 07月 2012年 06月 2012年 05月 2012年 04月 2012年 03月 2012年 02月 2012年 01月 2011年 12月 2011年 11月 2011年 10月 2011年 09月 2011年 08月 2011年 07月 2011年 06月 2011年 05月 2011年 04月 2011年 03月 2011年 02月 2011年 01月 2010年 12月 2010年 11月 2010年 10月 2010年 09月 2010年 08月 2010年 07月 2010年 06月 2010年 05月 2010年 04月 2010年 03月 2010年 02月 2010年 01月 2009年 12月 2009年 10月 2009年 09月 2009年 07月 2009年 06月 2009年 05月 2009年 04月 2009年 03月 2009年 02月 2009年 01月 2008年 12月 2008年 11月 2008年 10月 2008年 09月 2008年 08月 2008年 07月 2008年 06月 2008年 05月 2008年 04月 2008年 03月 2008年 02月 2008年 01月 2007年 12月 2007年 11月 2007年 04月 2007年 03月 2007年 02月 2007年 01月 2006年 11月 2006年 10月 2006年 09月 2006年 08月 2006年 07月 |
2024年 01月 30日
C# プログラミングにおけるデータベースアクセスの話。 C# プログラミングにおいてデータベースの読み書きを行なうにはいろいろな方法があるが、ひとつのよく使われる方法として、"EntityFramework Core" という、いわゆる "O/R マッパー" に分類されるようなライブラリを利用する方法がある。 今回はふとした思いつきから、この EntityFramework Core を使い、データベースから百万件のレコードを C# のオブジェクトにマップしながら列挙、コンソールに各レコードをひたすら表示するだけのプログラムを作成・実行したときに、どれくらいメモリが消費されるのか、実際にそのようなプログラムを作って調べてみることにした。 データベースの選定と百万件のレコードの用意この際、データベースは PostgreSQL でも MySQL でも何でもよいのだが、とりあえず自分が慣れ親しんでいる Microsoft SQL Server を使うことにした。百万件の実レコードを含む実テーブルを作るのはだるかったので、下記の SQL を使って、On the fly で百万件のレコードを生成することにした。 SELECT TOP 1000000 Z.Id, CONVERT(nvarchar(36), NEWID()) AS Text1, CONVERT(nvarchar(36), NEWID()) AS Text2, CONVERT(nvarchar(36), NEWID()) AS Text3 FROM (SELECT ROW_NUMBER() OVER (ORDER BY X.object_id) AS Id FROM sys.all_objects X CROSS JOIN sys.all_objects Y) Z これを実行すると、64 bit 整数値の列 x 1 つと ("Id" 列)、36文字の文字列型の列 x 3 列 ("Text1", "Text2", "Text3") をもつレコードが百万件ほど返る。雑な計算で、正味のデータ量だけも 110 MB 以上になるデータ量だ。 C# プログラムの実装C# 側を実装しよう。まずはコンソールアプリケーションのプロジェクトをひとつ新規に作成する。 続けて、先の SQL 文の実行結果 (百万件のレコード) を、EntityFramework Core を使って C# のオブジェクトにマップしながら列挙したいので、そのマップ先の C# クラスを実装する。前述の SQL 文が返す結果に合せて、以下のように実装。 public class MyRecord { public Int64 Id { get; set; } public string? Text1 { get; set; } public string? Text2 { get; set; } public string? Text3 { get; set; } } あとは接続のためのデータベースコンテキストクラスを用意して (下記)、 using Microsoft.EntityFrameworkCore; public class MyDbContext : DbContext { public DbSet<MyRecord> MyRecords => Set<MyRecord>(); public MyDbContext(DbContextOptions<MyDbContext> options) : base(options) { } } これらを使用して Program.cs を以下のように実装した。 using Microsoft.EntityFrameworkCore; var option = new DbContextOptionsBuilder<MyDbContext>() .UseSqlServer("Server=(省略)") .Options; using var dbContext = new MyDbContext(option); var sql = @"(先に掲載の SQL)"; var records = dbContext.MyRecords.FromSqlRaw(sql).AsNoTracking(); foreach (var record in records) { Console.WriteLine($"{record.Id} - {record.Text1}, {record.Text2}, {record.Text3}"); } ここでちょっと注意点。 このプログラムにおいては、クエリの最後に「AsNoTracking()」メソッド呼び出しを追加しておく必要がある。そうしないと、列挙によって生成・マップされたオブジェクトが、その後に書き換えられたり削除用にマークされてたりしないかを "追跡 (Tracking)" できるようにするため、それらすべての生成されたオブジェクトへの参照をデータベースコンテキストが握ってしまうのだ。 今回のプログラムは、ひたすらクエリ結果のレコードを列挙しては、1レコードごとコンソールに表示しておしまい、である。なので、用が済んだレコードのオブジェクトは次々破棄したい。そのために、"NoTracking"、"このクエリの結果については追跡不要" とデータベースコンテキストに示すことで、データベースコンテキストが、マップ先として生成したオブジェクトを参照を掴んだままにしないように指示している。 実行ではいよいよ実行である。 自分は Windows 上で Visual Studio を使って実装していたので、このままデバッグ実行を開始。Visual Studio の診断ツールウィンドウでプロセスメモリの欄を眺めてみた。 そうして、プログラムを実行開始してから、百万件を列挙しきるまでの結果が以下のとおり。 グラフを見る限り、消費メモリはまったく増えていない。 プロセスメモリのグラフはほぼ平ら、というか、むしろ右肩下がりで減っている。実行時間が数十秒に及んだせいか、プログラムが暖まってきてガベージコレクション (GC) によって開始直後よりも消費メモリが減ったのかもしれない。上図でわかるように、百万件を列挙し終わる少し前の時点で 28 MB ほどであった。ちなみに開始直後は 32MB ほど。また、試しにデータベースに対してクエリを実行しなかった場合のプロセスメモリも見てみたが、その場合は 14 MB だった。 まとめO/R マッパーに分類されるであろう、C# プログラミングにおけるデータベースアクセス用ライブラリの定番 EntityFramework Core を使って、百万件のレコードをオブジェクトにマップしながら列挙しつつ、コンソール出力を行なってみた。 そのような C# コンソールプログラムの消費メモリの変化を観察してみたが、プログラム開始直後からメモリ消費量はほぼ変わらずのまま (というかむしろ減るくらい)、百万件のレコードを列挙しきることができた。 大量のレコードを EntityFramework Core を使ってオブジェクトにマップしながら読み取る場合でも、読み取るだけ、かつ、数レコードずつ列挙しながら処理するだけであれば、メモリを大量消費するようなことはないことが確認できた。 もちろん、前述のとおり、"AsNoTracking" を指定しなかった場合は、マップ先として生成したオブジェクトはガベージコレクタに回収されず (データベースコンテキストがその参照を保持しているため)、そうなるとすべてのレコードぶんのオブジェクトがプロセスメモリ内に存在したままとなり、相当な量のメモリが消費されることだろう。ToArray() や ToList() などを呼び出して、全レコードをメモリ上の配列や List<T> に収納しようとしても同様のことが起きる。あくまでも、foreach などを使って、IEnumerable<T> 越しにちょっとずつフェッチするぶんには、そのときに必要なメモリしか消費されない、という理解が必要である。
by developer-adjust
| 2024-01-30 23:46
| .NET
|
ファン申請 |
||