近日處理我們公司某個使用 my sql 的專案，已經被雷的幾次，紀錄一下

1.  使用 EF Scaffolding 指令去更新 Model ，有些欄位原本是明確型別 變成 可null型別
     也就是本來是 datetime 變成 datetime?, int 變成 int?
     看起來是一些 view 的欄位會有這些狀況，這時就要去 git revert ，避免build專案又一堆錯誤
2.  使用 IQueryable 語法處理時間要小心，不要在裡面計算時間。
     

DateTime shouldBeGiveCoinDateTime = DateTime.Now.AddDays(-14);

return dbContext.ViewOrderForCoinCronJob.AsNoTracking().Where(x =>

    x.CompletedAt <= shouldBeGiveCoinDateTime

    && x.CreatedAt >= DateTime.Now.AddYears(-1) // -> 這裡轉換mysql指令會出錯

    && x.DeletedAt == null

    && x.CoinAmount > 0

    && x.Status == (byte)ORDER_STATUS.COMPLETED

    && dbContext.PackingMain.Any(y => y.OrderId == x.Id)

    && x.IsGiveCoin != 0

    && !dbContext.CoinLog.Any(y =>

        y.OrderId == x.Id

        && y.StrKey.Contains(COIN_LOG.STRING_KEY_PREFIX.ORDER_ACCUMULATION)

    )

).ToList();

要把時間計算先算出來，再帶入式子

DateTime shouldBeGiveCoinDateTime = DateTime.Now.AddDays(-14);

DateTime createDateStartAt = DateTime.Now.AddYears(-1); // -> 先算出日期

return dbContext.ViewOrderForCoinCronJob.AsNoTracking().Where(x =>

    x.CompletedAt <= shouldBeGiveCoinDateTime

    && x.CreatedAt >= createDateStartAt // -> 帶入算好的日期

    && x.DeletedAt == null

    && x.CoinAmount > 0

    && x.Status == (byte)ORDER_STATUS.COMPLETED

    && dbContext.PackingMain.Any(y => y.OrderId == x.Id)

    && x.IsGiveCoin != 0

    && !dbContext.CoinLog.Any(y =>

        y.OrderId == x.Id

        && y.StrKey.Contains(COIN_LOG.STRING_KEY_PREFIX.ORDER_ACCUMULATION)

    )

).ToList();

 

用以下指令可以對 Ms-SQL Server 查出所有正在執行的 SQL 指令，並且依 執行總時間 反向排序

SELECT      r.scheduler_id as 排程器識別碼,

            status         as 要求的狀態,

            r.session_id   as SPID,

            r.blocking_session_id as BlkBy,

            substring(

                ltrim(q.text),

                r.statement_start_offset/2+1,

                (CASE

                 WHEN r.statement_end_offset = -1

                 THEN LEN(CONVERT(nvarchar(MAX), q.text)) * 2

                 ELSE r.statement_end_offset

                 END - r.statement_start_offset)/2)

                 AS [正在執行的 T-SQL 命令],

            r.cpu_time      as [CPU Time(ms)],

            r.start_time    as [開始時間],

            r.total_elapsed_time as [執行總時間],

            r.reads              as [讀取數],

            r.writes             as [寫入數],

            r.logical_reads      as [邏輯讀取數],

            -- q.text, /* 完整的 T-SQL 指令碼 */

            d.name               as [資料庫名稱]

FROM        sys.dm_exec_requests r 

            CROSS APPLY sys.dm_exec_sql_text(sql_handle) AS q

            LEFT JOIN sys.databases d ON (r.database_id=d.database_id)

WHERE       r.session_id <> @@SPID

ORDER BY    r.total_elapsed_time desc

1. 使用 "具名的 ConnectionString"時，必需在 ODBC Data Sources (32-bit) 中設定，不是  ODBC Data Sources (64-bit)



2. 若日期或數字欄位為 Null 時，會無法轉換，此時必需用 "寫入查詢來指定要傳送的資料"

 

可參考本文章:

https://dba.stackexchange.com/questions/245990/postgresql-extremely-slow-count-with-index-simple-query

vacuum analyze insider_event;
執行了 7 分鐘

ALTER TABLE insider_event SET (autovacuum_vacuum_scale_factor = 0, autovacuum_analyze_scale_factor = 0,  autovacuum_vacuum_threshold = 10000, autovacuum_analyze_threshold = 10000);

跑了 1.2 分鐘

修改 work_mem:
https://www.pgmustard.com/blog/work-mem

記憶體調整
https://www.enterprisedb.com/postgres-tutorials/how-tune-postgresql-memory

DECLARE @tblVariable TABLE(SPID INT, Status VARCHAR(200), [Login] VARCHAR(200), HostName VARCHAR(200), 
    BlkBy VARCHAR(200), DBName VARCHAR(200), Command VARCHAR(200), CPUTime INT, 
    DiskIO INT, LastBatch VARCHAR(200), ProgramName VARCHAR(200), _SPID INT, 
    RequestID INT)

INSERT INTO @tblVariable
EXEC Master.dbo.sp_who2

SELECT v.*, t.TEXT 
FROM @tblVariable v
INNER JOIN sys.sysprocesses sp ON sp.spid = v.SPID
CROSS APPLY sys.dm_exec_sql_text(sp.sql_handle) AS t
ORDER BY BlkBy DESC, CPUTime DESC

kill xxx

參考: https://learn.microsoft.com/en-us/answers/questions/842347/sql-server-how-to-find-out-who-lock-my-specific-ta

WITH DepartmentTree AS (
    SELECT       
        Id, 
        Code,
        Name,
        UpDepartmentId,
        1 as Level
    FROM       
        SaintEir_Department
    WHERE Id  = 1
    UNION ALL
    SELECT 
        e.Id, 
        e.Code,
        e.Name,
        e.UpDepartmentId,
        o.Level + 1 as Level
    FROM 
        SaintEir_Department e
        INNER JOIN DepartmentTree o 
            ON o.Id = e.UpDepartmentId
)
SELECT * FROM DepartmentTree;

Entity Framework 提供了 ExecuteSqlRawAsync 和 FromSqlRaw  之後，可以和 Dapper 非常類似的用法。

我們在用 Dapper 時。最常用的就是 sql command 加上一個物件做為參數，就可以執行 CRUD 的動作。

其實用 Entity Framework 的 ExecuteSqlRawAsync 和 FromSqlRaw 也可以逹到幾乎一樣的效果。

ExecuteSqlRawAsync 和 FromSqlRaw 接受的參數是 object array (其實是 Microsoft.Data.SqlClient.SqlParameter 的 array)

所以我們先做一個 Object to Microsoft.Data.SqlClient.SqlParameter Array 的擴充, 可參考: https://gist.github.com/aliozgur/75182b2e9b0a58b83443

不過很奇怪的是，原作者提供的擴充轉出來的會是 System.Data.SqlClient.SqlParameter  Array 無法直接使用於 ExecuteSqlRawAsync 和 FromSqlRaw，所以要稍微改一下，把 using System.Data.SqlClient; 改為 using Microsoft.Data.SqlClient; 即可:



另外，我們再自行 對 DbContext 做一個擴充如下:

        /// <summary>

        /// 會把物件 Parameter 的各 Property 帶入 SQL 中.

        /// </summary>

        /// <param name="dbct"></param>

        /// <param name="sql"></param>

        /// <param name="parameters"></param>

        /// <returns></returns>

        public static async Task<int> ExecuteParameterSqlAsync(this DbContext dbct, string sql, object parameters)

        {

            return await dbct.Database.ExecuteSqlRawAsync(sql, parameters.ToSqlParamsArray());

        }

最後的結果可以做到以下的效果: (res3 和 res4 是配合 FormattableString 的範例 )

 
範例程式碼:

        public async Task<object> EfTest()

        {

            var dbct = Ds.NewContext.GvContext;

            var insertSql = @"Insert into ProfileEvent(JobId,[Name],GvShoplineId,LiShoplineId,Phone,Email,LineId,GaClientId)

            Values(@JobId, @Name, null , null , null , @Email, @GaClientId , @GaClientId )";



            //執行 SQL 的原生寫法

            await dbct.Database.ExecuteSqlRawAsync(insertSql, new object[]

            {

                new SqlParameter("@JobId", 10),

                new SqlParameter("@Email", "XX'TT"),

                new SqlParameter("@Name", "AA'BB"),

                new SqlParameter("@GaClientId", "GaClientId"),

            });



            //執行 SQL 的擴充寫法

            await dbct.ExecuteParameterSqlAsync(insertSql, new

            {

                JobId = 10,

                Email = "XX'TT",

                Name = "AA'BB",

                GaClientId = "GaClientId"

            });



            //關於查詢

            string name = "%'B%";

            //原生寫法

            var res1 = await dbct.ProfileEvents.FromSqlRaw("Select top 100 * from ProfileEvent where Name like @name",

                new object[]

                    {

                        new SqlParameter("@name", "%'B%")

                    })

                .ToListAsync();



            //擴充, object to SqlParameter array

            var res2 = await dbct.ProfileEvents.FromSqlRaw("Select top 100 * from ProfileEvent where Name like @name",

                new { name }.ToSqlParamsArray())

                .ToListAsync();



            var res3 = await dbct.ProfileEvents.FromSql($"Select top 100 * from ProfileEvent where Name like {name}")

                .ToListAsync();



            var res4 = await dbct.ProfileEvents.FromSqlInterpolated($"Select top 100 * from ProfileEvent where Name like {name}")

                .ToListAsync();



            return new { res1, res2, res3, res4 };

        }

 

 開啟TCPIP
 

重啟SQL Server
 
注意連線可能有port要記得設定
 



 

這個指令還是會把所有的資料 Select 出來，再更新

原指令:

UPDATE Job Set En_Status = 200 Where En_Status = 100 and LastTouchAt < '2023-05-06 12:34:56'
其中  '2023-05-06 12:34:56' 是 DateTime.Now.AddMinutes(-2) 的結果(Web Server 端的時間扣 2 分鐘)

但，若是改使用 UpdateFromQueryAsync 如下:
var c = await Ds.NewContext.GvContext.Jobs.Where(j => j.En_Status == Cst.Job.Status.Running && j.LastTouchAt < DateTime.Now.AddMinutes(-2))
                .UpdateFromQueryAsync(j => new Ds.Gv.Job { En_Status = Cst.Job.Status.ReStarting });

產生的 SQL 如下:
UPDATE A 
SET A.[En_Status] = @zzz_BatchUpdate_0
FROM [Job] AS A
INNER JOIN ( SELECT [j].[Id], [j].[CancelledAt], [j].[CancelledBy], [j].[En_Status], [j].[EndAt], [j].[Exception], [j].[Filename], [j].[InformationJson], [j].[InitAt], [j].[Is_CheckOnly], [j].[LastTouchAt], [j].[LastTouchMessage], [j].[LoopStartAt], [j].[Name], [j].[ScheduleId], [j].[TotalTouch], [j].[TouchCount]
FROM [Job] AS [j]
WHERE [j].[En_Status] = 100 AND [j].[LastTouchAt] < DATEADD(minute, CAST(-2.0E0 AS int), GETDATE())
           ) AS B ON A.[Id] = B.[Id]

有兩個要注意的地方:
1. 它會先 Select 全欄位，再做更新

2. 它的時間是 DB Server 的現在時間。不是 Web Server 端的時間。


順便記錄一下。若是要執行 Update xx Ser cc = cc + 1 Where ...

EF 可寫為:
var c = await Ds.NewContext.GvContext.Jobs.Where(j => j.En_Status == Cst.Job.Status.Running && j.LastTouchAt < DateTime.Now.AddMinutes(-2))
                .UpdateFromQueryAsync(j => new Ds.Gv.Job { TotalTouch = j.TotalTouch + 1 });

轉換的 SQL 為:
UPDATE A 
SET A.[TotalTouch] = B.[TotalTouch] + 1
FROM [Job] AS A
INNER JOIN ( SELECT [j].[Id], [j].[CancelledAt], [j].[CancelledBy], [j].[En_Status], [j].[EndAt], [j].[Exception], [j].[Filename], [j].[InformationJson], [j].[InitAt], [j].[Is_CheckOnly], [j].[LastTouchAt], [j].[LastTouchMessage], [j].[LoopStartAt], [j].[Name], [j].[ScheduleId], [j].[TotalTouch], [j].[TouchCount]
FROM [Job] AS [j]
WHERE [j].[En_Status] = 100 AND [j].[LastTouchAt] < DATEADD(minute, CAST(-2.0E0 AS int), GETDATE())
           ) AS B ON A.[Id] = B.[Id]

試了這兩個 Sample:

https://learn.microsoft.com/en-us/training/modules/store-local-data/4-exercise-store-data-locally-with-sqlite

和 

https://blazorhelpwebsite.com/ViewBlogPost/61

結果專案在 Windows 環境下都可以正常執行，但切換到 Android Emulator 就無法存檔。

在查了很多資料後，發現需要裝額外的 Package，需安裝的 Package 如下:

    <ItemGroup>

     <PackageReference Include="sqlite-net-pcl" Version="1.8.116" />

     <PackageReference Include="SQLiteNetExtensions.Async" Version="2.1.0" />

     <PackageReference Include="SQLitePCLRaw.bundle_green" Version="2.1.4" />

     <PackageReference Include="SQLitePCLRaw.core" Version="2.1.4" />

     <PackageReference Include="SQLitePCLRaw.lib.e_sqlite3" Version="2.1.4" />

     <PackageReference Include="SQLitePCLRaw.provider.dynamic_cdecl" Version="2.1.4" />

     <PackageReference Include="System.Data.DataSetExtensions" Version="4.5.0" />

    </ItemGroup>

其它的發現為:
1. 雙點專案，就可以開啟 csproj 檔案。下方的 ItemGroup 就是已安裝的 package

2. 可以把 chrome 連接到 Android Emulator 的方法，在網址列輸入以下指令:
chrome://inspect/#devices