近日處理我們公司某個使用 my sql 的專案，已經被雷的幾次，紀錄一下

1.  使用 EF Scaffolding 指令去更新 Model ，有些欄位原本是明確型別 變成 可null型別
     也就是本來是 datetime 變成 datetime?, int 變成 int?
     看起來是一些 view 的欄位會有這些狀況，這時就要去 git revert ，避免build專案又一堆錯誤
2.  使用 IQueryable 語法處理時間要小心，不要在裡面計算時間。
     

DateTime shouldBeGiveCoinDateTime = DateTime.Now.AddDays(-14);

return dbContext.ViewOrderForCoinCronJob.AsNoTracking().Where(x =>

    x.CompletedAt <= shouldBeGiveCoinDateTime

    && x.CreatedAt >= DateTime.Now.AddYears(-1) // -> 這裡轉換mysql指令會出錯

    && x.DeletedAt == null

    && x.CoinAmount > 0

    && x.Status == (byte)ORDER_STATUS.COMPLETED

    && dbContext.PackingMain.Any(y => y.OrderId == x.Id)

    && x.IsGiveCoin != 0

    && !dbContext.CoinLog.Any(y =>

        y.OrderId == x.Id

        && y.StrKey.Contains(COIN_LOG.STRING_KEY_PREFIX.ORDER_ACCUMULATION)

    )

).ToList();

要把時間計算先算出來，再帶入式子

DateTime shouldBeGiveCoinDateTime = DateTime.Now.AddDays(-14);

DateTime createDateStartAt = DateTime.Now.AddYears(-1); // -> 先算出日期

return dbContext.ViewOrderForCoinCronJob.AsNoTracking().Where(x =>

    x.CompletedAt <= shouldBeGiveCoinDateTime

    && x.CreatedAt >= createDateStartAt // -> 帶入算好的日期

    && x.DeletedAt == null

    && x.CoinAmount > 0

    && x.Status == (byte)ORDER_STATUS.COMPLETED

    && dbContext.PackingMain.Any(y => y.OrderId == x.Id)

    && x.IsGiveCoin != 0

    && !dbContext.CoinLog.Any(y =>

        y.OrderId == x.Id

        && y.StrKey.Contains(COIN_LOG.STRING_KEY_PREFIX.ORDER_ACCUMULATION)

    )

).ToList();

 

用以下指令可以對 Ms-SQL Server 查出所有正在執行的 SQL 指令，並且依 執行總時間 反向排序

SELECT      r.scheduler_id as 排程器識別碼,

            status         as 要求的狀態,

            r.session_id   as SPID,

            r.blocking_session_id as BlkBy,

            substring(

                ltrim(q.text),

                r.statement_start_offset/2+1,

                (CASE

                 WHEN r.statement_end_offset = -1

                 THEN LEN(CONVERT(nvarchar(MAX), q.text)) * 2

                 ELSE r.statement_end_offset

                 END - r.statement_start_offset)/2)

                 AS [正在執行的 T-SQL 命令],

            r.cpu_time      as [CPU Time(ms)],

            r.start_time    as [開始時間],

            r.total_elapsed_time as [執行總時間],

            r.reads              as [讀取數],

            r.writes             as [寫入數],

            r.logical_reads      as [邏輯讀取數],

            -- q.text, /* 完整的 T-SQL 指令碼 */

            d.name               as [資料庫名稱]

FROM        sys.dm_exec_requests r 

            CROSS APPLY sys.dm_exec_sql_text(sql_handle) AS q

            LEFT JOIN sys.databases d ON (r.database_id=d.database_id)

WHERE       r.session_id <> @@SPID

ORDER BY    r.total_elapsed_time desc

1. 使用 "具名的 ConnectionString"時，必需在 ODBC Data Sources (32-bit) 中設定，不是  ODBC Data Sources (64-bit)



2. 若日期或數字欄位為 Null 時，會無法轉換，此時必需用 "寫入查詢來指定要傳送的資料"

 

可參考本文章:

https://dba.stackexchange.com/questions/245990/postgresql-extremely-slow-count-with-index-simple-query

vacuum analyze insider_event;
執行了 7 分鐘

ALTER TABLE insider_event SET (autovacuum_vacuum_scale_factor = 0, autovacuum_analyze_scale_factor = 0,  autovacuum_vacuum_threshold = 10000, autovacuum_analyze_threshold = 10000);

跑了 1.2 分鐘

修改 work_mem:
https://www.pgmustard.com/blog/work-mem

記憶體調整
https://www.enterprisedb.com/postgres-tutorials/how-tune-postgresql-memory

Entity Framework 提供了 ExecuteSqlRawAsync 和 FromSqlRaw  之後，可以和 Dapper 非常類似的用法。

我們在用 Dapper 時。最常用的就是 sql command 加上一個物件做為參數，就可以執行 CRUD 的動作。

其實用 Entity Framework 的 ExecuteSqlRawAsync 和 FromSqlRaw 也可以逹到幾乎一樣的效果。

ExecuteSqlRawAsync 和 FromSqlRaw 接受的參數是 object array (其實是 Microsoft.Data.SqlClient.SqlParameter 的 array)

所以我們先做一個 Object to Microsoft.Data.SqlClient.SqlParameter Array 的擴充, 可參考: https://gist.github.com/aliozgur/75182b2e9b0a58b83443

不過很奇怪的是，原作者提供的擴充轉出來的會是 System.Data.SqlClient.SqlParameter  Array 無法直接使用於 ExecuteSqlRawAsync 和 FromSqlRaw，所以要稍微改一下，把 using System.Data.SqlClient; 改為 using Microsoft.Data.SqlClient; 即可:



另外，我們再自行 對 DbContext 做一個擴充如下:

        /// <summary>

        /// 會把物件 Parameter 的各 Property 帶入 SQL 中.

        /// </summary>

        /// <param name="dbct"></param>

        /// <param name="sql"></param>

        /// <param name="parameters"></param>

        /// <returns></returns>

        public static async Task<int> ExecuteParameterSqlAsync(this DbContext dbct, string sql, object parameters)

        {

            return await dbct.Database.ExecuteSqlRawAsync(sql, parameters.ToSqlParamsArray());

        }

最後的結果可以做到以下的效果: (res3 和 res4 是配合 FormattableString 的範例 )

 
範例程式碼:

        public async Task<object> EfTest()

        {

            var dbct = Ds.NewContext.GvContext;

            var insertSql = @"Insert into ProfileEvent(JobId,[Name],GvShoplineId,LiShoplineId,Phone,Email,LineId,GaClientId)

            Values(@JobId, @Name, null , null , null , @Email, @GaClientId , @GaClientId )";



            //執行 SQL 的原生寫法

            await dbct.Database.ExecuteSqlRawAsync(insertSql, new object[]

            {

                new SqlParameter("@JobId", 10),

                new SqlParameter("@Email", "XX'TT"),

                new SqlParameter("@Name", "AA'BB"),

                new SqlParameter("@GaClientId", "GaClientId"),

            });



            //執行 SQL 的擴充寫法

            await dbct.ExecuteParameterSqlAsync(insertSql, new

            {

                JobId = 10,

                Email = "XX'TT",

                Name = "AA'BB",

                GaClientId = "GaClientId"

            });



            //關於查詢

            string name = "%'B%";

            //原生寫法

            var res1 = await dbct.ProfileEvents.FromSqlRaw("Select top 100 * from ProfileEvent where Name like @name",

                new object[]

                    {

                        new SqlParameter("@name", "%'B%")

                    })

                .ToListAsync();



            //擴充, object to SqlParameter array

            var res2 = await dbct.ProfileEvents.FromSqlRaw("Select top 100 * from ProfileEvent where Name like @name",

                new { name }.ToSqlParamsArray())

                .ToListAsync();



            var res3 = await dbct.ProfileEvents.FromSql($"Select top 100 * from ProfileEvent where Name like {name}")

                .ToListAsync();



            var res4 = await dbct.ProfileEvents.FromSqlInterpolated($"Select top 100 * from ProfileEvent where Name like {name}")

                .ToListAsync();



            return new { res1, res2, res3, res4 };

        }

 

 開啟TCPIP
 

重啟SQL Server
 
注意連線可能有port要記得設定
 



 

這個指令還是會把所有的資料 Select 出來，再更新

原指令:

UPDATE Job Set En_Status = 200 Where En_Status = 100 and LastTouchAt < '2023-05-06 12:34:56'
其中  '2023-05-06 12:34:56' 是 DateTime.Now.AddMinutes(-2) 的結果(Web Server 端的時間扣 2 分鐘)

但，若是改使用 UpdateFromQueryAsync 如下:
var c = await Ds.NewContext.GvContext.Jobs.Where(j => j.En_Status == Cst.Job.Status.Running && j.LastTouchAt < DateTime.Now.AddMinutes(-2))
                .UpdateFromQueryAsync(j => new Ds.Gv.Job { En_Status = Cst.Job.Status.ReStarting });

產生的 SQL 如下:
UPDATE A 
SET A.[En_Status] = @zzz_BatchUpdate_0
FROM [Job] AS A
INNER JOIN ( SELECT [j].[Id], [j].[CancelledAt], [j].[CancelledBy], [j].[En_Status], [j].[EndAt], [j].[Exception], [j].[Filename], [j].[InformationJson], [j].[InitAt], [j].[Is_CheckOnly], [j].[LastTouchAt], [j].[LastTouchMessage], [j].[LoopStartAt], [j].[Name], [j].[ScheduleId], [j].[TotalTouch], [j].[TouchCount]
FROM [Job] AS [j]
WHERE [j].[En_Status] = 100 AND [j].[LastTouchAt] < DATEADD(minute, CAST(-2.0E0 AS int), GETDATE())
           ) AS B ON A.[Id] = B.[Id]

有兩個要注意的地方:
1. 它會先 Select 全欄位，再做更新

2. 它的時間是 DB Server 的現在時間。不是 Web Server 端的時間。


順便記錄一下。若是要執行 Update xx Ser cc = cc + 1 Where ...

EF 可寫為:
var c = await Ds.NewContext.GvContext.Jobs.Where(j => j.En_Status == Cst.Job.Status.Running && j.LastTouchAt < DateTime.Now.AddMinutes(-2))
                .UpdateFromQueryAsync(j => new Ds.Gv.Job { TotalTouch = j.TotalTouch + 1 });

轉換的 SQL 為:
UPDATE A 
SET A.[TotalTouch] = B.[TotalTouch] + 1
FROM [Job] AS A
INNER JOIN ( SELECT [j].[Id], [j].[CancelledAt], [j].[CancelledBy], [j].[En_Status], [j].[EndAt], [j].[Exception], [j].[Filename], [j].[InformationJson], [j].[InitAt], [j].[Is_CheckOnly], [j].[LastTouchAt], [j].[LastTouchMessage], [j].[LoopStartAt], [j].[Name], [j].[ScheduleId], [j].[TotalTouch], [j].[TouchCount]
FROM [Job] AS [j]
WHERE [j].[En_Status] = 100 AND [j].[LastTouchAt] < DATEADD(minute, CAST(-2.0E0 AS int), GETDATE())
           ) AS B ON A.[Id] = B.[Id]

最近剛好發生跟 MS SQL 有關的狀況，所以就記錄一下

1. where 字串欄位要不要加 N''  (unicode)
    範例: Select * from OrderDetail where OrderDetailId= N'20220923084533'
    基本上，欄位是 char、varchar 就不需要。nvarchar nchar 就要加 N
    這好像是廢話，但往往寫程式會沒注意，甚至是會覺得通通加 N 比較沒問題
    但如果欄位牽涉到 index 就會影響搜尋 ，所以寫程式當下要注意

-- 假設 OrderDetailId 是 varchar(20)

-- OrderDetail 有千萬筆資料



Select * from OrderDetail where OrderDetailId= N'20220923084533'

-- 結果跑超級久 (未使用 PK 找，掃整個 table)

Select * from OrderDetail where OrderDetailId= '20220923084533'

-- 結果一下就出來 (使用 PK 找)

-- **資料庫設計最好以數值來當 key 比較好

    
2.  當欄位有 null 值，where [clumnName] not in ('A')  也會排除 null 的狀況
     直覺上，只要下 not in (..)  那會其他項目都會抓出，但是實際上，該欄位是 null的資料也會被排除
     因為資料庫一旦你對某欄位下條件，他就會排除 null 的欄位，除非你指定  [clumnName] is null 才會有資料
 

--建立 table (要記得改 XXX)
CREATE TABLE IF NOT EXISTS public.table_monitor
(
    table_name text COLLATE pg_catalog."default" NOT NULL,
    update_at timestamp without time zone NOT NULL DEFAULT now(),
    update_count bigint NOT NULL DEFAULT 0,
    CONSTRAINT table_monitor_pkey PRIMARY KEY (table_name)
)

TABLESPACE pg_default;

ALTER TABLE IF EXISTS public.table_monitor
    OWNER to XXX;

-- 這一段只要執行一次
CREATE OR REPLACE FUNCTION public.table_monitor_trigger_fnc()
    RETURNS trigger
    LANGUAGE 'plpgsql'
    COST 100
    VOLATILE NOT LEAKPROOF
AS $BODY$
BEGIN
     Update public.table_monitor Set update_count = update_count + 1, update_at = now()  Where table_name = TG_TABLE_NAME; 
RETURN NEW;
END;
$BODY$;

ALTER FUNCTION public.table_monitor_trigger_fnc()
    OWNER TO XXX;

-- 對於被監控的 table, 要執行以下的指令，記得 monitor_table_name 要改為 table 的名字(要符合大小寫)
INSERT INTO public.table_monitor (table_name, update_at, update_count) VALUES ('monitor_table_name', '2000-01-01', 0) ON CONFLICT DO NOTHING;

CREATE OR REPLACE TRIGGER table_monitor_trigger
    AFTER INSERT OR DELETE OR UPDATE 
    ON monitor_table_name
    FOR EACH STATEMENT
    EXECUTE FUNCTION public.table_monitor_trigger_fnc();

監控用的程式碼:

public static void UpdateTableCache()

{

    //標記自已是正在執行的 Thread. 讓舊的 Thread 在執行完畢之後, 應該會自動結束. 以防舊的 Thread 執行超過 10 秒.

    CurrentThreadId = System.Threading.Thread.CurrentThread.ManagedThreadId;



    try

    {

        //確認自已是正在執行的 Thread, 重覆執行. (另一個 Thread 插入執行)

        while (CurrentThreadId == System.Threading.Thread.CurrentThread.ManagedThreadId)

        {

            LastUpdateDate = DateTime.Now;



            foreach (var dbId in CachedDbs)

            {

                var sql = @"select * from table_monitor";



                var dt = Su.PgSql.DtFromSql(sql, dbId);



                foreach (DataRow row in dt.Rows)

                {

                    string changeId = row["update_count"].DBNullToDefault();

                    string CacheKey = TableCacheKey(dbId, row["table_name"].DBNullToDefault());

                    ObjectCache cache = MemoryCache.Default;



                    string OldValue = (string)cache[CacheKey];



                    if (OldValue == null)

                    {

                        cache.Set(CacheKey, changeId, DateTime.MaxValue);

                    }

                    else

                    {

                        if (changeId != OldValue)

                        {

                            cache.Remove(CacheKey);

                            cache.Set(CacheKey, changeId, DateTime.MaxValue);

                        }

                    }

                }

            }



            //每兩秒檢查一次

            System.Threading.Thread.Sleep(2000);

        }

    }

    catch (Exception)

    {

        //依經驗, 只要 DB 能通, 這裡幾乎不會有問題, 所以這裡暫時不處理, 未來有問題時可以考慮寫入文字檔比較好.

    }

}

感覺上, Oracle 的 table space 和 MS-SQL 的 DB 是一樣的。都是用來指定實體檔案。

google 到的範例居然有小 bug, 記錄一個修正版如下: 

CREATE TABLESPACE TABPE_SPACE_NAME
   DATAFILE 'TABPE_SPACE_NAME.dbf'
   SIZE 1m
   AUTOEXTEND ON;

完成之後，可以列出所有 table space:

SELECT A.TABLESPACE_NAME, A.FILE_NAME,
  ROUND(B.FREE_GB,2) AS FREE_GB , 
  ROUND(A.TOTAL_GB - b.FREE_GB) AS USED_GB ,
  ROUND(A.TOTAL_GB,2) AS TOTAL_GB , 
  ROUND(((A.TOTAL_GB - B.FREE_GB)/ A.TOTAL_GB )*100,2) AS USED_PERCENT,
  ROUND((B.FREE_GB/ A.TOTAL_GB )*100,2) AS FREE_PERCENT
FROM   
  (
    SELECT TABLESPACE_NAME, FILE_NAME,
      SUM(BYTES)/ (1024*1024*1024) AS TOTAL_GB
    FROM DBA_DATA_FILES  
    -- WHERE TABLESPACE_NAME='My_TableSpace_Name'
    GROUP  BY TABLESPACE_NAME, FILE_NAME
  )A,
  (
    SELECT TABLESPACE_NAME,    
      SUM(BYTES) / (1024*1024*1024) AS FREE_GB 
    FROM DBA_FREE_SPACE 
    -- WHERE  TABLESPACE_NAME='My_TableSpace_Name'
    GROUP BY TABLESPACE_NAME
   ) B
WHERE A.TABLESPACE_NAME= B.TABLESPACE_NAME ;