Entity Framework 提供了 ExecuteSqlRawAsync 和 FromSqlRaw  之後，可以和 Dapper 非常類似的用法。

我們在用 Dapper 時。最常用的就是 sql command 加上一個物件做為參數，就可以執行 CRUD 的動作。

其實用 Entity Framework 的 ExecuteSqlRawAsync 和 FromSqlRaw 也可以逹到幾乎一樣的效果。

ExecuteSqlRawAsync 和 FromSqlRaw 接受的參數是 object array (其實是 Microsoft.Data.SqlClient.SqlParameter 的 array)

所以我們先做一個 Object to Microsoft.Data.SqlClient.SqlParameter Array 的擴充, 可參考: https://gist.github.com/aliozgur/75182b2e9b0a58b83443

不過很奇怪的是，原作者提供的擴充轉出來的會是 System.Data.SqlClient.SqlParameter  Array 無法直接使用於 ExecuteSqlRawAsync 和 FromSqlRaw，所以要稍微改一下，把 using System.Data.SqlClient; 改為 using Microsoft.Data.SqlClient; 即可:



另外，我們再自行 對 DbContext 做一個擴充如下:

        /// <summary>

        /// 會把物件 Parameter 的各 Property 帶入 SQL 中.

        /// </summary>

        /// <param name="dbct"></param>

        /// <param name="sql"></param>

        /// <param name="parameters"></param>

        /// <returns></returns>

        public static async Task<int> ExecuteParameterSqlAsync(this DbContext dbct, string sql, object parameters)

        {

            return await dbct.Database.ExecuteSqlRawAsync(sql, parameters.ToSqlParamsArray());

        }

最後的結果可以做到以下的效果: (res3 和 res4 是配合 FormattableString 的範例 )

 
範例程式碼:

        public async Task<object> EfTest()

        {

            var dbct = Ds.NewContext.GvContext;

            var insertSql = @"Insert into ProfileEvent(JobId,[Name],GvShoplineId,LiShoplineId,Phone,Email,LineId,GaClientId)

            Values(@JobId, @Name, null , null , null , @Email, @GaClientId , @GaClientId )";



            //執行 SQL 的原生寫法

            await dbct.Database.ExecuteSqlRawAsync(insertSql, new object[]

            {

                new SqlParameter("@JobId", 10),

                new SqlParameter("@Email", "XX'TT"),

                new SqlParameter("@Name", "AA'BB"),

                new SqlParameter("@GaClientId", "GaClientId"),

            });



            //執行 SQL 的擴充寫法

            await dbct.ExecuteParameterSqlAsync(insertSql, new

            {

                JobId = 10,

                Email = "XX'TT",

                Name = "AA'BB",

                GaClientId = "GaClientId"

            });



            //關於查詢

            string name = "%'B%";

            //原生寫法

            var res1 = await dbct.ProfileEvents.FromSqlRaw("Select top 100 * from ProfileEvent where Name like @name",

                new object[]

                    {

                        new SqlParameter("@name", "%'B%")

                    })

                .ToListAsync();



            //擴充, object to SqlParameter array

            var res2 = await dbct.ProfileEvents.FromSqlRaw("Select top 100 * from ProfileEvent where Name like @name",

                new { name }.ToSqlParamsArray())

                .ToListAsync();



            var res3 = await dbct.ProfileEvents.FromSql($"Select top 100 * from ProfileEvent where Name like {name}")

                .ToListAsync();



            var res4 = await dbct.ProfileEvents.FromSqlInterpolated($"Select top 100 * from ProfileEvent where Name like {name}")

                .ToListAsync();



            return new { res1, res2, res3, res4 };

        }

 

這裡是我測試 Gmail API 和 Google API 憑証的一些記錄。

如果你的目的是要使用 Gmail Api 取代舊的 Gmail SMTP 來發送通知信，建議你先跳到最下方看一下結論。

如果你是想要看一下 Gmail API 和 Google API 憑証的使用方法，可以看一下這篇文章。

1. 在 google cloud platform 建立新的專案.
https://console.cloud.google.com/

 
 



啟用 Gmail API







 



 


 
 



因為我們要透過 OAuth  取得使用者授權，所以要設定使用 OAuth 的同意畫面。

 
指定授權的範圍
 

 
因為剛建立的專案，不會被公開，所以要指定測試使用者
 
如果要給任意使用者，必需經過發布的流程，但準備工作有點麻煩，所以這次就不發布了。
 




建立 OAuth 2.0 用戶端 ID 憑証
 
這裡除了名稱外，還有一個設定重導 Uri 的項目。現在不填寫，但稍後要回來補這個資料。
 
 
 下載 json 之後，命名為 client_secret.json 保留後續使用。


再來就要建立專案了. 用 VS2022 建立一個新專案
  


 




記錄網址, 本測試專案是 https://localhost:44340/ ，請依實際網址為準。



回到 OAuth 2.0 用戶端 ID 的設定頁. 在已授權的重新導向 URI 中填入 https://localhost:44340/Home/AuthReturn (填入的網址依實際專案的狀況，可能會有變化)
 
 

在 VS2022 中，使用 Nuget 安裝套件: (有漏的再麻煩和我說)
Google.Apis.Gmail.v1
Google.Apis.Auth
MimeKit (發送 gmail 時使用)

建立認証用的網址:
建立一個 Action, 用來取得認証用的網址:

        /// <summary>

        /// 取得授權的項目

        /// </summary>

        static string[] Scopes = { GmailService.Scope.GmailSend };



        // 和登入 google 的帳號無關

        // 任意值，若未來有使用者認証，可使用使用者編號或登入帳號。

        string Username = "ABC";



        /// <summary>

        /// 存放 client_secret 和 credential 的地方

        /// </summary>

        string SecretPath = @"D:\project\GmailTest\Data\Secrets";



        /// <summary>

        /// 認証完成後回傳的網址, 必需和 OAuth 2.0 Client Id 中填寫的 "已授權的重新導向 URI" 相同。

        /// </summary>

        string RedirectUri = $"https://localhost:44340/Home/AuthReturn";



        /// <summary>

        /// 取得認証用的網址

        /// </summary>

        /// <returns></returns>

        public async Task<string> GetAuthUrl()

        {

            using (var stream = new FileStream(Path.Combine(SecretPath, "client_secret.json"), FileMode.Open, FileAccess.Read))

            {

                FileDataStore dataStore = null;

                var credentialRoot = Path.Combine(SecretPath, "Credentials");

                if (!Directory.Exists(credentialRoot))

                {

                    Directory.CreateDirectory(credentialRoot);

                }



                //存放 credential 的地方，每個 username 會建立一個目錄。

                string filePath = Path.Combine(credentialRoot, Username);

                dataStore = new FileDataStore(filePath);



                IAuthorizationCodeFlow flow = new GoogleAuthorizationCodeFlow(new GoogleAuthorizationCodeFlow.Initializer

                {

                    ClientSecrets = GoogleClientSecrets.Load(stream).Secrets,

                    Scopes = Scopes,

                    DataStore = dataStore

                });



                var authResult = await new AuthorizationCodeWebApp(flow, RedirectUri, Username)

                .AuthorizeAsync(Username, CancellationToken.None);



                return authResult.RedirectUri;

            }

        }

執行結果:
 
用 chrome 開啟產生的網址: 


選取任一帳號，如果出現以下錯誤，請回到 "OAuth 同意畫面" 去新增測試使用者


 
因為應用程式尚未發布，所以會看到警告，勇敢的繼續下去


這裡會要求授權使用你的名義發送信件。(這是在程式中取得授權的項目 Scopes 中所指定的)


再繼續之後，會被重導至我們在 redirectUri  指定的網址。因為我們尚未完成，所以會看到錯誤，順便也可以看一下，會帶回哪一些參數。有 state, code, scope，共三個。


順便看一下，google 的套件會在 Credentials 的目錄下幫使用者建立一個目錄，在完成驗証前，會先放一個 System.String-oauth_XXX 的檔案，裡面的值和回傳的 state 是一樣的，這個應該是用來驗証回傳資料的。



接下來我們要新增 Action "AuthReturn" 如下:

        public async Task<string> AuthReturn(AuthorizationCodeResponseUrl authorizationCode)

        {

            string[] scopes = new[] { GmailService.Scope.GmailSend };



            using (var stream = new FileStream(Path.Combine(SecretPath, "client_secret.json"), FileMode.Open, FileAccess.Read))

            {

                //確認 credential 的目錄已建立.

                var credentialRoot = Path.Combine(SecretPath, "Credentials");

                if (!Directory.Exists(credentialRoot))

                {

                    Directory.CreateDirectory(credentialRoot);

                }



                //暫存憑証用目錄

                string tempPath = Path.Combine(credentialRoot, authorizationCode.State);            



                IAuthorizationCodeFlow flow = new GoogleAuthorizationCodeFlow(

                new GoogleAuthorizationCodeFlow.Initializer

                {

                    ClientSecrets = GoogleClientSecrets.Load(stream).Secrets,

                    Scopes = scopes,

                    DataStore = new FileDataStore(tempPath)

                });



                //這個動作應該是要把 code 換成 token

                await flow.ExchangeCodeForTokenAsync(Username, authorizationCode.Code, RedirectUri, CancellationToken.None).ConfigureAwait(false);



                if (!string.IsNullOrWhiteSpace(authorizationCode.State))

                {                

                    string newPath = Path.Combine(credentialRoot, Username);

                    if (tempPath.ToLower() != newPath.ToLower())

                    {

                        if (Directory.Exists(newPath))

                            Directory.Delete(newPath, true);



                        Directory.Move(tempPath, newPath);

                    }

                }



                return "OK";

            }

        }

再跑一次上面的流程，最後回到 AuthReturn

在 D:\project\GmailTest\Data\Secrets\Credentials\ABC 裡面會產生一個檔案: 這個就是我們的 token 了。


看一下裡面的內容, 有 access_token, refresh_token, scope 等等, 用途應該很好猜了.. 不知道各項目的目途也沒有關係。只要有這個 token 就可以了。


refresh_token 的效期請參考以下文件:
https://developers.google.com/identity/protocols/oauth2 。也可以參考下圖, 若是要用 gmail api 來發送通知信(例如連絡我們)，紅色的地方是比較令人困擾的，例如 6 個月以上，沒有人留言，原來留下的 refresh_token 就失效了。使用者必需重新建立一個 refresh_token 。

 
最後來使用 gmail api 發送通知信, 直接看程式碼如下: 在這個過程中遇到最大的問題除了憑証問題之外，另一個問題是編碼。直到最後找到可以用 MimeKit 把 System.Net.Mail.MailMessage 編碼成 Gmail API 的格式才解決。程式碼如下:

        public async Task<bool> SendTestMail()

        {

            var service = await GetGmailService();



            GmailMessage message = new GmailMessage();

            message.Subject = "標題";

            message.Body = $"<h1>內容</h1>";

            message.FromAddress = "bikehsu@gmail.com";

            message.IsHtml = true;

            message.ToRecipients = "bikehsu@gmail.com";

            message.Attachments = new List<Attachment>();



            string filePath = @"C:\Users\bike\Pictures\Vegetable_pumpkin.jpg";    //要附加的檔案

            Attachment attachment1 = new Attachment(filePath);

            message.Attachments.Add(attachment1);



            SendEmail(message, service);

            Console.WriteLine("OK");



            return true;

        }



        async Task<GmailService> GetGmailService()

        {

            UserCredential credential = null;



            var credentialRoot = Path.Combine(SecretPath, "Credentials");

            if (!Directory.Exists(credentialRoot))

            {

                Directory.CreateDirectory(credentialRoot);

            }



            string filePath = Path.Combine(credentialRoot, Username);



            using (var stream = new FileStream(Path.Combine(SecretPath, "client_secret.json"), FileMode.Open, FileAccess.Read))

            {

                credential = await GoogleWebAuthorizationBroker.AuthorizeAsync(

                GoogleClientSecrets.Load(stream).Secrets,

                Scopes,

                Username,

                CancellationToken.None,

                new FileDataStore(filePath));

            }



            var service = new GmailService(new BaseClientService.Initializer()

            {

                HttpClientInitializer = credential,

                ApplicationName = "Send Mail",

            });



            return service;

        }





        public class GmailMessage

        {

            public string FromAddress { get; set; }

            public string ToRecipients { get; set; }



            public string Subject { get; set; }

            public string Body { get; set; }

            public bool IsHtml { get; set; }



            public List<System.Net.Mail.Attachment> Attachments { get; set; }

        }





        public static void SendEmail(GmailMessage email, GmailService service)

        {

            var mailMessage = new System.Net.Mail.MailMessage();

            mailMessage.From = new System.Net.Mail.MailAddress(email.FromAddress);

            mailMessage.To.Add(email.ToRecipients);

            mailMessage.ReplyToList.Add(email.FromAddress);

            mailMessage.Subject = email.Subject;

            mailMessage.Body = email.Body;

            mailMessage.IsBodyHtml = email.IsHtml;



            if (email.Attachments != null)

            {

                foreach (System.Net.Mail.Attachment attachment in email.Attachments)

                {

                    mailMessage.Attachments.Add(attachment);

                }

            }



            var mimeMessage = MimeKit.MimeMessage.CreateFromMailMessage(mailMessage);



            var gmailMessage = new Google.Apis.Gmail.v1.Data.Message

            {

                Raw = Encode(mimeMessage)

            };



            Google.Apis.Gmail.v1.UsersResource.MessagesResource.SendRequest request = service.Users.Messages.Send(gmailMessage, "me");



            request.Execute();

        }



        public static string Encode(MimeMessage mimeMessage)

        {

            using (MemoryStream ms = new MemoryStream())

            {

                mimeMessage.WriteTo(ms);

                return Convert.ToBase64String(ms.GetBuffer())

                    .TrimEnd('=')

                    .Replace('+', '-')

                    .Replace('/', '_');

            }

        }

收到的信件:



結論:
使用 Gmail API 最大的原因是要增加安全性，和舊的 smtp 不同的地方是，使用 gmail api 之後，客戶不需要提供 gmail 的帳號和密碼就可以讓系統使用 gmail 發送信件，不過由於 refresh_token 的效期問題，可能會造成無法發送通知信而沒有任何人發現的情況，整個實用性會變的很低。

另一個還沒有測試的部份是應用程的啟用。這個審核不知道會不很麻煩，不過可以而知的時，整個流程會花更多的時間。

取代的做法: 可能要改用 Amazon 的 SES 來寄信，而且為了避免每個小網站都要跑 SES 的建立流程，準備來寫一個 API 給各網站使用，可以發送簡單的通知信。

以上的程式碼可以在這裡下載: https://github.com/bikehsu/GmailTest

sqlcmd -S 192.168.XXX.YYY -d EmailKeeper -U sa -P xxxxxx -Q "Select distinct Email, EncEmail from EmailEnc"  -o "EmailEnc.csv" -h -1 -s,

-h: 不要 header
-1; 不用第一行的 -----------
-s,: 用 "," 來分隔欄位.

半夜被老闆 Line，跟我說網頁發生錯誤，他無法看統計報表，會出現作業逾時的錯誤 我查了一下網頁程式，發現是這筆SQL指令跑太久

 Select Id, (IsNull(Total, 0) - IsNull(CouponDiscount, 0) + IsNull(CouponAdd, 0)) as Total, Buyer_Email, EN_Packing_List_Status, EN_Order_Source, En_Stock_Status, Create_Date

From V_Order_main With(Nolock)

Where Id in (select Order_Id from Ad_Trace With(NoLock) where (Parameter_Id = 14278))

AND Create_Date >= '2014/10/3' And Create_Date < '2014/10/12' 

--> 跑了50秒~ 1分鐘

 Select Id, (IsNull(Total, 0) - IsNull(CouponDiscount, 0) + IsNull(CouponAdd, 0)) as Total, Buyer_Email, EN_Packing_List_Status, EN_Order_Source, En_Stock_Status, Create_Date

From V_Order_main With(Nolock)

Where Id in (select Order_Id from Ad_Trace With(NoLock) where (Parameter_Id = 14278))

--> 拿掉日期限制 > 秒殺，  結果跑出 47 筆資料

跑一下執行計畫 原來子查詢的 Ad_Trace 沒有建立Index造成


加上 Index 之後，再跑第一支SQL --> 秒殺

奇怪的地方:
明明訂單日期欄位(Create_Date) 跟 Ad_Trace 沒有多大關係，但是加上日期限制之後，居然會引發 Ad_Trace 搜尋過久的現象
他好像是先依照訂單日期找出所有訂單，然後再從子查詢 Ad_Trace 裡面搜尋有無符合的條件訂單
而不是先跑子查詢找出 Ad_Trace 所有的 Order_Id，再去找符合 Create_Date 的訂單

SQL內部運作的機制真是有點讓人想不透，幸好有評估計畫可以看出問題在哪裡
這讓我想起以前學SQL時的一句話 => 盡量用Join來取代子查詢
使用子查詢真的是效能殺手啊

------繼續補充--------------------------------------

上面的SQL在雙11活動後，由於當日訂單過多，一樣造成SQL timeout 的現象，研判還是子查詢造成的問題

Select Id, (IsNull(Total, 0) - IsNull(CouponDiscount, 0) + IsNull(CouponAdd, 0)) as Total, Buyer_Email, EN_Packing_List_Status, EN_Order_Source, En_Stock_Status, Create_Date

From V_Order_main With(Nolock)

Where Id in (select Order_Id from Ad_Trace With(NoLock) where (Parameter_Id = 14720))

And Create_Date > '2014-11-10' And Create_Date < '2014-11-11'

--> 跑了51秒

所以先將子查詢拿出來跑出一串字串 865828,865890,865901,865903,865928,865955,865990,865993,866005,866035.....
(共1452筆)
再把他拼入sql跑   --> 7秒