近日處理我們公司某個使用 my sql 的專案，已經被雷的幾次，紀錄一下

1.  使用 EF Scaffolding 指令去更新 Model ，有些欄位原本是明確型別 變成 可null型別
     也就是本來是 datetime 變成 datetime?, int 變成 int?
     看起來是一些 view 的欄位會有這些狀況，這時就要去 git revert ，避免build專案又一堆錯誤
2.  使用 IQueryable 語法處理時間要小心，不要在裡面計算時間。
     

DateTime shouldBeGiveCoinDateTime = DateTime.Now.AddDays(-14);

return dbContext.ViewOrderForCoinCronJob.AsNoTracking().Where(x =>

    x.CompletedAt <= shouldBeGiveCoinDateTime

    && x.CreatedAt >= DateTime.Now.AddYears(-1) // -> 這裡轉換mysql指令會出錯

    && x.DeletedAt == null

    && x.CoinAmount > 0

    && x.Status == (byte)ORDER_STATUS.COMPLETED

    && dbContext.PackingMain.Any(y => y.OrderId == x.Id)

    && x.IsGiveCoin != 0

    && !dbContext.CoinLog.Any(y =>

        y.OrderId == x.Id

        && y.StrKey.Contains(COIN_LOG.STRING_KEY_PREFIX.ORDER_ACCUMULATION)

    )

).ToList();

要把時間計算先算出來，再帶入式子

DateTime shouldBeGiveCoinDateTime = DateTime.Now.AddDays(-14);

DateTime createDateStartAt = DateTime.Now.AddYears(-1); // -> 先算出日期

return dbContext.ViewOrderForCoinCronJob.AsNoTracking().Where(x =>

    x.CompletedAt <= shouldBeGiveCoinDateTime

    && x.CreatedAt >= createDateStartAt // -> 帶入算好的日期

    && x.DeletedAt == null

    && x.CoinAmount > 0

    && x.Status == (byte)ORDER_STATUS.COMPLETED

    && dbContext.PackingMain.Any(y => y.OrderId == x.Id)

    && x.IsGiveCoin != 0

    && !dbContext.CoinLog.Any(y =>

        y.OrderId == x.Id

        && y.StrKey.Contains(COIN_LOG.STRING_KEY_PREFIX.ORDER_ACCUMULATION)

    )

).ToList();

 

Entity Framework 提供了 ExecuteSqlRawAsync 和 FromSqlRaw  之後，可以和 Dapper 非常類似的用法。

我們在用 Dapper 時。最常用的就是 sql command 加上一個物件做為參數，就可以執行 CRUD 的動作。

其實用 Entity Framework 的 ExecuteSqlRawAsync 和 FromSqlRaw 也可以逹到幾乎一樣的效果。

ExecuteSqlRawAsync 和 FromSqlRaw 接受的參數是 object array (其實是 Microsoft.Data.SqlClient.SqlParameter 的 array)

所以我們先做一個 Object to Microsoft.Data.SqlClient.SqlParameter Array 的擴充, 可參考: https://gist.github.com/aliozgur/75182b2e9b0a58b83443

不過很奇怪的是，原作者提供的擴充轉出來的會是 System.Data.SqlClient.SqlParameter  Array 無法直接使用於 ExecuteSqlRawAsync 和 FromSqlRaw，所以要稍微改一下，把 using System.Data.SqlClient; 改為 using Microsoft.Data.SqlClient; 即可:



另外，我們再自行 對 DbContext 做一個擴充如下:

        /// <summary>

        /// 會把物件 Parameter 的各 Property 帶入 SQL 中.

        /// </summary>

        /// <param name="dbct"></param>

        /// <param name="sql"></param>

        /// <param name="parameters"></param>

        /// <returns></returns>

        public static async Task<int> ExecuteParameterSqlAsync(this DbContext dbct, string sql, object parameters)

        {

            return await dbct.Database.ExecuteSqlRawAsync(sql, parameters.ToSqlParamsArray());

        }

最後的結果可以做到以下的效果: (res3 和 res4 是配合 FormattableString 的範例 )

 
範例程式碼:

        public async Task<object> EfTest()

        {

            var dbct = Ds.NewContext.GvContext;

            var insertSql = @"Insert into ProfileEvent(JobId,[Name],GvShoplineId,LiShoplineId,Phone,Email,LineId,GaClientId)

            Values(@JobId, @Name, null , null , null , @Email, @GaClientId , @GaClientId )";



            //執行 SQL 的原生寫法

            await dbct.Database.ExecuteSqlRawAsync(insertSql, new object[]

            {

                new SqlParameter("@JobId", 10),

                new SqlParameter("@Email", "XX'TT"),

                new SqlParameter("@Name", "AA'BB"),

                new SqlParameter("@GaClientId", "GaClientId"),

            });



            //執行 SQL 的擴充寫法

            await dbct.ExecuteParameterSqlAsync(insertSql, new

            {

                JobId = 10,

                Email = "XX'TT",

                Name = "AA'BB",

                GaClientId = "GaClientId"

            });



            //關於查詢

            string name = "%'B%";

            //原生寫法

            var res1 = await dbct.ProfileEvents.FromSqlRaw("Select top 100 * from ProfileEvent where Name like @name",

                new object[]

                    {

                        new SqlParameter("@name", "%'B%")

                    })

                .ToListAsync();



            //擴充, object to SqlParameter array

            var res2 = await dbct.ProfileEvents.FromSqlRaw("Select top 100 * from ProfileEvent where Name like @name",

                new { name }.ToSqlParamsArray())

                .ToListAsync();



            var res3 = await dbct.ProfileEvents.FromSql($"Select top 100 * from ProfileEvent where Name like {name}")

                .ToListAsync();



            var res4 = await dbct.ProfileEvents.FromSqlInterpolated($"Select top 100 * from ProfileEvent where Name like {name}")

                .ToListAsync();



            return new { res1, res2, res3, res4 };

        }

 

錯誤訊息：
dotnet : 因為找不到指定的命令或檔案，所以無法執行。
位於 線路:1 字元:1
+ dotnet ef dbcontext scaffold "Host=xxxxxxxxxxxxx;CommandTimeout=500 ...
+ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    + CategoryInfo          : NotSpecified: (因為找不到指定的命令或檔案，所以無法執行。:String) [], RemoteException
    + FullyQualifiedErrorId : NativeCommandError
 
可能的原因包括:
  * 內建 dotnet 命令拼寫錯誤。
  * 您預計要執行 .NET 程式，但不存在 dotnet-ef。
  * 您預計要執行全域工具，但在 PATH 上找不到此名稱且開頭為 dotnet 的可執行檔。
 
解決方法：
重新安裝套件，安裝指令：dotnet tool install --global dotnet-ef


 

參考：
dotnet ef 找不到指定的命令
 

關於Scaffold的參數，官網雖然有文件但不是很好找，因此在此紀錄一下。
(於PM Console輸入'dotnet ef dbcontext scaffold -h'也可以查看)

-d | --data-annotations : 使用屬性定義模型
-c | --context <NAME> : 產生的DbContext名稱
--context-dir <PATH> : 產生的DbContext位置
-f | --force : 覆寫現有檔案
-o | --output-dir <PATH> : 產生的Entity Model位置
--schema <SCHEMA_NAME1>, <SCHEMA_NAME2>... : 指定Schemas產生Entity
-t | --table <TABLE_NAME1>, <TABLE_NAME2>... : 指定Table產生Entity
--use-database-names : 強制使用DB中Table與Column Name
--json : 輸出Json格式資料表於PM Console
-n | --namespace <NAMESPACE> : 指定命名空間，預設會依照專案與資料夾命名
--context-namespace <NAMESPACE> : 指定DbContext命名空間，預設會依照專案與資料夾命名
--no-onconfiguring : 不產生DbContext中的OnConfiguring
--no-pluralize : 關閉自動複數判別
-p | --project <PROJECT> : 指定專案
-s | --startup-project <PROJECT> : 指定指令執行時起始專案
--framework <FRAMEWORK> : 指定框架版本
--configuration <CONFIGURATION> : 指定配置
--no-build : 跳過專案建置

比較方式: 對相同的資料表讀取 1000 次，來比較速度。
資料庫為 MS SQL

這裡做了 4 個 Case:

Case 1: 
使用 Entity Framework，DbContext 為每次 new 一個。

Case 2:
使用 Entity Framework，使用同一個 DbContext。

Case 3:
用 DAO，轉為 Data Table 的格式 (使用 DtFromSql)。

Case 4:
使用 Dapper。

專案啟動時的記憶體使用量約為:  123 MB



測試一:
第一次讀取
Case 1, 時間: 3673.0303 ms, 記憶體: 566 MB

Case 2, 時間:  3889.9379 ms, 記憶體: 304 MB  (這個時間有時會測試到 3000 ms)

Case 3, 時間:  1665.7748 ms, 記憶體: 205 MB

Case 4, 時間:  1639.7211 ms, 記憶體: 193 MB

讀取五次
Case 1, 時間: 1984.6395, 記憶體: 544MB (有發生 GC)


Case 2, 時間:  2367.9792 ms, 記憶體: 627 MB (沒有發生 GC)


Case 3, 時間:  1395.1132 ms, 記憶體: 280 MB (有發生 GC)



Case 4, 時間:  1531.3555 ms, 記憶體: 271 MB


結果: Dapper 看來完勝，速度上和直接使用 DAO 轉進 Data Table 的速度相近。但 Dapper 傳回的結果已經轉換為物件 List， 操作上會更為方便。

Entity Framework 一如預期的較慢，且花費較多的記憶體。但和想像中最大的差異是，使用同一個 DbContext 比 new 1000 個 DbContext  的速度還要慢， 花費的記憶體在 GC 之後，差異不大。

所以不一定要用 DI 注入 DbContext, 在各 function 中一直傳遞 DbContext. 在 Static 的 function 中，可以安心的 new 一個 DbContext 出來使用吧，只是要記得用 using 哦，否則可能會有 connection 沒有關閉的問題。