IIS 如果要使用 reverse proxy server 服務，其實網路上已經有很多文章可以參考
這篇文章只是記錄一下安裝上要注意的事

過去安裝 IIS 套件 可以透過 Web Platform Installer 搜尋下載
但現在 IIS 的 Web Platform Installer 已經不讓人搜尋下載可安裝的套件
所以要直接去微軟網站找相關套件 可以用 IIS ARR 搜尋
https://www.iis.net/downloads/microsoft/application-request-routing
下載 requestRouter_amd64.msi 安裝這個 (3.0版 2021 年以後就沒有更新了)
安裝前，IIS也要預先安裝 URLRewrite 2 套件

安裝很簡單，msi 安裝後，IIS重啟就可以看到
IIS 的主機設定，可以看到 "Application Reuest Routing Cache"  --> 點進後右邊有 Server Proxy Settings
proxy 的設定有一些地方要注意一下，避免未來採到雷

首先 當然先開啟 Enable proxy，下面針對一些要注意的屬性說明一下

1. Time-out : 預設120秒，如果你後端的站台有一些操作可能超過兩分鐘(例如處理報表)，這個就調長一點
2. Reverse rewrite host in response header: 這個勾勾預設是開的，他的好意是同站台redirect(302) 到其他網頁，可以覆蓋
    host 讓 client端能跑到正常的網址。但如果你是 redirect 到其他站台，建議把它關掉，不然後端網站如果下
    redirect (302) 到別的站台，他會主動把 redirect網址 host 改為本站 (被雷過，所以要特別記下來)
3. Include TCP port from client IP:  這是一個 X-Forwarded-For 設定，預設是打開，這樣後端主機抓 client 來源 IP就會類似
    "112.121.100.100:443" ，但後端網站在抓 client端IP通常不會管 port number，因此就會造成比對 IP 發生錯誤
    所以建議還是把它關閉
4. Enable disk cache: 預設是勾勾打開，如果後端是靜態網站，例如圖片server，這個打開沒有問題，但如果後端網站是動態網站
    那還是關掉

 

如果網站需要有一個簡易的SMTP服務，最簡單的方式就是安裝SMTP服務


然後安裝後，記得要去 [服務] 把 [簡易郵件傳送通訊定(SMTP)]  啟動，並且記得要改為"自動啟動" (不然重開機不會啟動)
 
管理SMTP設定，要到這個介面的 IIS6 管理員


But, 如果你是用 win server 2022，就會出現掛掉無法編輯使用的狀況，不知為何win server 2022 會有這個奇怪的bug
請遵照下面步驟修改，就可以正常運作

1. Stop SMTPSVC service [Display Name: Simple Mail Transfer Protocol (SMTP)]

2. Stop IISADMIN service [Display name: IIS Admin Service]

3. Edit "C:\Windows\System32\inetsrv\MetaBase.xml"

4. Find: <IIsSmtpServer Location ="/LM/SmtpSvc/1"

5. Add (Settings are alphabetical): RelayIpList=""

6. Save file

7. Start IISAdmin Service

8. Start SMTPSVC service

開啟IIS6的管理介面後，還要設定一下 允許轉送清單，對於來源IP作管控
 
這樣大致上就可以正常運作

若網站是使用 SVN update 方式更新網站，為了防止被外部讀取到 /.svn/  目錄內容
要在 web.config 片段加上以下內容

<configuration>

<system.webServer>

     <security>

         <requestFiltering>

            <hiddenSegments>

             <add segment=".svn" />

            </hiddenSegments>

         </requestFiltering>

     </security>

</system.webServer>

</configuration>

git 也是一樣的方式
可以參考此網址
https://www.petefreitag.com/item/823.cfm
 

 
於VS Web中建立虛擬目錄，導致Swagger Handler出現重複錯誤
主要原因是因為跟網站與子網站指向同一個資料夾，而父子網站的web.config有繼承關係導致。

解決方式:
1. 前往 根目錄 / .vs / 專案 / config / applicationhost.config

2. 將site中設定的子網站移除或變更虛擬目錄位置

 
3. 回到網頁重新整理就完成囉!

參考: 【茶包射手日記】怪異的web.config HttpHandler重複錯誤

為了遏止垃圾郵件以及釣魚郵件，SPAM組織有定義一些規則，這些規則主要是經由 DNS 反查相關設定，看郵件來源是不是沒有問題。其中一個就是 SPF 設定。
SPF 設定(txt)我這邊就不多說，網路上很多資源有相關介紹，基本上 他的設定就會像是 
"v=spf1 include:_spf.mx.cloudflare.net ~all"
中間 include: 就是寄件來源的 domain， include 也可以設定多筆，
也可以設定 ip4 格式或是 mx 所以他可能會長得像這樣
"v=spf1 include:_spf.emfwd.name-services.com include:amazonses.com ip4:112.121.xxx.0/24 ?all"
最後的 all 前面用 ? - ~ 都有他的意義，請參考網路上的資源
在這裡不管是 include 或是 ip4 設定，都是寄件者的IP來源白名單。

其工作原理大致是
1.  郵件伺服器收到一封email後，抓出寄件者的 email domain
2.  由 email domain 去 DNS 檢查 spf 設定，若有，就從裡面IP來源白名單，比對寄信來源的伺服器IP是不是在白名單
3.  若不是白名單，郵件伺服器可能直接拒收(收件者完全找不到新件)，或是列入垃圾郵件
---------------------------------------------------------

對於我們公司的客戶而言，若他的網站通知信不是經由 aws ses寄送
是經由我們公司建立的 smtp 寄送，其實是可以請他們去 DNS 做一下設定
而且最好建議寄件者是使用子網域，避免跟 root 網域的 email 設定有衝突
例如  service@ec.examplesite.com.tw
這樣就可以請客戶去 DNS ec.example.com.tw 設定 spf txt
"v=spf1 ip4:112.121.xxx.0/24 ?all"
這樣就可以減少email變成垃圾郵件的狀況
不過以上僅限在 "通知信"範疇

如果客戶要大量寄送 EDM，還是要請他們是用外部資源， aws ses 或是 mail trimp, 電子豹
不要使用內建的 SMTP 主機，因為同一IP同時發送大量郵件，也會被 SPAM 組織列為黑名單

 

這裡是我測試 Gmail API 和 Google API 憑証的一些記錄。

如果你的目的是要使用 Gmail Api 取代舊的 Gmail SMTP 來發送通知信，建議你先跳到最下方看一下結論。

如果你是想要看一下 Gmail API 和 Google API 憑証的使用方法，可以看一下這篇文章。

1. 在 google cloud platform 建立新的專案.
https://console.cloud.google.com/

 
 



啟用 Gmail API







 



 


 
 



因為我們要透過 OAuth  取得使用者授權，所以要設定使用 OAuth 的同意畫面。

 
指定授權的範圍
 

 
因為剛建立的專案，不會被公開，所以要指定測試使用者
 
如果要給任意使用者，必需經過發布的流程，但準備工作有點麻煩，所以這次就不發布了。
 




建立 OAuth 2.0 用戶端 ID 憑証
 
這裡除了名稱外，還有一個設定重導 Uri 的項目。現在不填寫，但稍後要回來補這個資料。
 
 
 下載 json 之後，命名為 client_secret.json 保留後續使用。


再來就要建立專案了. 用 VS2022 建立一個新專案
  


 




記錄網址, 本測試專案是 https://localhost:44340/ ，請依實際網址為準。



回到 OAuth 2.0 用戶端 ID 的設定頁. 在已授權的重新導向 URI 中填入 https://localhost:44340/Home/AuthReturn (填入的網址依實際專案的狀況，可能會有變化)
 
 

在 VS2022 中，使用 Nuget 安裝套件: (有漏的再麻煩和我說)
Google.Apis.Gmail.v1
Google.Apis.Auth
MimeKit (發送 gmail 時使用)

建立認証用的網址:
建立一個 Action, 用來取得認証用的網址:

        /// <summary>

        /// 取得授權的項目

        /// </summary>

        static string[] Scopes = { GmailService.Scope.GmailSend };



        // 和登入 google 的帳號無關

        // 任意值，若未來有使用者認証，可使用使用者編號或登入帳號。

        string Username = "ABC";



        /// <summary>

        /// 存放 client_secret 和 credential 的地方

        /// </summary>

        string SecretPath = @"D:\project\GmailTest\Data\Secrets";



        /// <summary>

        /// 認証完成後回傳的網址, 必需和 OAuth 2.0 Client Id 中填寫的 "已授權的重新導向 URI" 相同。

        /// </summary>

        string RedirectUri = $"https://localhost:44340/Home/AuthReturn";



        /// <summary>

        /// 取得認証用的網址

        /// </summary>

        /// <returns></returns>

        public async Task<string> GetAuthUrl()

        {

            using (var stream = new FileStream(Path.Combine(SecretPath, "client_secret.json"), FileMode.Open, FileAccess.Read))

            {

                FileDataStore dataStore = null;

                var credentialRoot = Path.Combine(SecretPath, "Credentials");

                if (!Directory.Exists(credentialRoot))

                {

                    Directory.CreateDirectory(credentialRoot);

                }



                //存放 credential 的地方，每個 username 會建立一個目錄。

                string filePath = Path.Combine(credentialRoot, Username);

                dataStore = new FileDataStore(filePath);



                IAuthorizationCodeFlow flow = new GoogleAuthorizationCodeFlow(new GoogleAuthorizationCodeFlow.Initializer

                {

                    ClientSecrets = GoogleClientSecrets.Load(stream).Secrets,

                    Scopes = Scopes,

                    DataStore = dataStore

                });



                var authResult = await new AuthorizationCodeWebApp(flow, RedirectUri, Username)

                .AuthorizeAsync(Username, CancellationToken.None);



                return authResult.RedirectUri;

            }

        }

執行結果:
 
用 chrome 開啟產生的網址: 


選取任一帳號，如果出現以下錯誤，請回到 "OAuth 同意畫面" 去新增測試使用者


 
因為應用程式尚未發布，所以會看到警告，勇敢的繼續下去


這裡會要求授權使用你的名義發送信件。(這是在程式中取得授權的項目 Scopes 中所指定的)


再繼續之後，會被重導至我們在 redirectUri  指定的網址。因為我們尚未完成，所以會看到錯誤，順便也可以看一下，會帶回哪一些參數。有 state, code, scope，共三個。


順便看一下，google 的套件會在 Credentials 的目錄下幫使用者建立一個目錄，在完成驗証前，會先放一個 System.String-oauth_XXX 的檔案，裡面的值和回傳的 state 是一樣的，這個應該是用來驗証回傳資料的。



接下來我們要新增 Action "AuthReturn" 如下:

        public async Task<string> AuthReturn(AuthorizationCodeResponseUrl authorizationCode)

        {

            string[] scopes = new[] { GmailService.Scope.GmailSend };



            using (var stream = new FileStream(Path.Combine(SecretPath, "client_secret.json"), FileMode.Open, FileAccess.Read))

            {

                //確認 credential 的目錄已建立.

                var credentialRoot = Path.Combine(SecretPath, "Credentials");

                if (!Directory.Exists(credentialRoot))

                {

                    Directory.CreateDirectory(credentialRoot);

                }



                //暫存憑証用目錄

                string tempPath = Path.Combine(credentialRoot, authorizationCode.State);            



                IAuthorizationCodeFlow flow = new GoogleAuthorizationCodeFlow(

                new GoogleAuthorizationCodeFlow.Initializer

                {

                    ClientSecrets = GoogleClientSecrets.Load(stream).Secrets,

                    Scopes = scopes,

                    DataStore = new FileDataStore(tempPath)

                });



                //這個動作應該是要把 code 換成 token

                await flow.ExchangeCodeForTokenAsync(Username, authorizationCode.Code, RedirectUri, CancellationToken.None).ConfigureAwait(false);



                if (!string.IsNullOrWhiteSpace(authorizationCode.State))

                {                

                    string newPath = Path.Combine(credentialRoot, Username);

                    if (tempPath.ToLower() != newPath.ToLower())

                    {

                        if (Directory.Exists(newPath))

                            Directory.Delete(newPath, true);



                        Directory.Move(tempPath, newPath);

                    }

                }



                return "OK";

            }

        }

再跑一次上面的流程，最後回到 AuthReturn

在 D:\project\GmailTest\Data\Secrets\Credentials\ABC 裡面會產生一個檔案: 這個就是我們的 token 了。


看一下裡面的內容, 有 access_token, refresh_token, scope 等等, 用途應該很好猜了.. 不知道各項目的目途也沒有關係。只要有這個 token 就可以了。


refresh_token 的效期請參考以下文件:
https://developers.google.com/identity/protocols/oauth2 。也可以參考下圖, 若是要用 gmail api 來發送通知信(例如連絡我們)，紅色的地方是比較令人困擾的，例如 6 個月以上，沒有人留言，原來留下的 refresh_token 就失效了。使用者必需重新建立一個 refresh_token 。

 
最後來使用 gmail api 發送通知信, 直接看程式碼如下: 在這個過程中遇到最大的問題除了憑証問題之外，另一個問題是編碼。直到最後找到可以用 MimeKit 把 System.Net.Mail.MailMessage 編碼成 Gmail API 的格式才解決。程式碼如下:

        public async Task<bool> SendTestMail()

        {

            var service = await GetGmailService();



            GmailMessage message = new GmailMessage();

            message.Subject = "標題";

            message.Body = $"<h1>內容</h1>";

            message.FromAddress = "bikehsu@gmail.com";

            message.IsHtml = true;

            message.ToRecipients = "bikehsu@gmail.com";

            message.Attachments = new List<Attachment>();



            string filePath = @"C:\Users\bike\Pictures\Vegetable_pumpkin.jpg";    //要附加的檔案

            Attachment attachment1 = new Attachment(filePath);

            message.Attachments.Add(attachment1);



            SendEmail(message, service);

            Console.WriteLine("OK");



            return true;

        }



        async Task<GmailService> GetGmailService()

        {

            UserCredential credential = null;



            var credentialRoot = Path.Combine(SecretPath, "Credentials");

            if (!Directory.Exists(credentialRoot))

            {

                Directory.CreateDirectory(credentialRoot);

            }



            string filePath = Path.Combine(credentialRoot, Username);



            using (var stream = new FileStream(Path.Combine(SecretPath, "client_secret.json"), FileMode.Open, FileAccess.Read))

            {

                credential = await GoogleWebAuthorizationBroker.AuthorizeAsync(

                GoogleClientSecrets.Load(stream).Secrets,

                Scopes,

                Username,

                CancellationToken.None,

                new FileDataStore(filePath));

            }



            var service = new GmailService(new BaseClientService.Initializer()

            {

                HttpClientInitializer = credential,

                ApplicationName = "Send Mail",

            });



            return service;

        }





        public class GmailMessage

        {

            public string FromAddress { get; set; }

            public string ToRecipients { get; set; }



            public string Subject { get; set; }

            public string Body { get; set; }

            public bool IsHtml { get; set; }



            public List<System.Net.Mail.Attachment> Attachments { get; set; }

        }





        public static void SendEmail(GmailMessage email, GmailService service)

        {

            var mailMessage = new System.Net.Mail.MailMessage();

            mailMessage.From = new System.Net.Mail.MailAddress(email.FromAddress);

            mailMessage.To.Add(email.ToRecipients);

            mailMessage.ReplyToList.Add(email.FromAddress);

            mailMessage.Subject = email.Subject;

            mailMessage.Body = email.Body;

            mailMessage.IsBodyHtml = email.IsHtml;



            if (email.Attachments != null)

            {

                foreach (System.Net.Mail.Attachment attachment in email.Attachments)

                {

                    mailMessage.Attachments.Add(attachment);

                }

            }



            var mimeMessage = MimeKit.MimeMessage.CreateFromMailMessage(mailMessage);



            var gmailMessage = new Google.Apis.Gmail.v1.Data.Message

            {

                Raw = Encode(mimeMessage)

            };



            Google.Apis.Gmail.v1.UsersResource.MessagesResource.SendRequest request = service.Users.Messages.Send(gmailMessage, "me");



            request.Execute();

        }



        public static string Encode(MimeMessage mimeMessage)

        {

            using (MemoryStream ms = new MemoryStream())

            {

                mimeMessage.WriteTo(ms);

                return Convert.ToBase64String(ms.GetBuffer())

                    .TrimEnd('=')

                    .Replace('+', '-')

                    .Replace('/', '_');

            }

        }

收到的信件:



結論:
使用 Gmail API 最大的原因是要增加安全性，和舊的 smtp 不同的地方是，使用 gmail api 之後，客戶不需要提供 gmail 的帳號和密碼就可以讓系統使用 gmail 發送信件，不過由於 refresh_token 的效期問題，可能會造成無法發送通知信而沒有任何人發現的情況，整個實用性會變的很低。

另一個還沒有測試的部份是應用程的啟用。這個審核不知道會不很麻煩，不過可以而知的時，整個流程會花更多的時間。

取代的做法: 可能要改用 Amazon 的 SES 來寄信，而且為了避免每個小網站都要跑 SES 的建立流程，準備來寫一個 API 給各網站使用，可以發送簡單的通知信。

以上的程式碼可以在這裡下載: https://github.com/bikehsu/GmailTest

常常會有網站不小心吃了 100 % 的 CPU.

在 appliction pool 的進階設定裡面，可以限定 CPU 使用量哦。

記得設定完 CPU 上限後，要再設定"限制動作"。

KillW3wp: 讓 process 重新啟動，這個有點爆力..
Throttle: 任何時間 CPU 使用量都不要超過限制。
ThrottleUnderLoad: 當系統的 Loading 較高時再限制 CPU 的使用量。



 

環境說明:

AD Server: dc1 (192.168.101.109)
PC: pc110 (192.168.101.110)
PC: pc111 (192.168.101.111)

第一步，把 PC 加入 AD, 這個算是基本操作，網路上說明很多, 就不再截圖了。不過在這裡還是遇到了第一個問題，解決過程請參考另一份文件: https://blog.uwinfo.com.tw/Article.aspx?Id=486

第二步，在 Visual Studio 的測試環境中測試:
一開始是使用 .Net 6.0 來實作，沒想到找到的文件都是 .Net Core 3.1 的，所以先用 .Net Core 3.1 實做了一次，後來改用 .Net 6.0 實作才成功。使用 .Net 6.0 實作的過程如下:

1. 建立一個 MVC 的標準專案: 
 
為了避免憑証問題，所以拿掉了 HTTPS 的設定


2. 改寫 launchSettings.json:
iisSettings 中的 windowsAuthentication 改為 True, anonymousAuthentication 改為 false。如下圖:
 
3. 修改 Program.cs, 加入以下四行指令:
builder.Services.AddAuthentication(IISDefaults.AuthenticationScheme);
builder.Services.AddAuthorization();
app.UseAuthentication();
app.UseAuthorization();
(注意: UseAuthentication 要加在 UseAuthentication 之後, VS 2022 應該會提示要新增 using Microsoft.AspNetCore.Server.IISIntegration;)
 
4. 在 HomeController 增加一個 Action, 以讀取驗証資料:

        [Route("GetAuthenticatedUser")]
        [HttpGet("[action]")]
        public IdentityUser GetUser()
        {
            return new IdentityUser()
            {
                Username = User.Identity?.Name,
                IsAuthenticated = User.Identity != null ? User.Identity.IsAuthenticated : false,
                AuthenticationType = User.Identity?.AuthenticationType
            };
        }

        public class IdentityUser
        {
            public string Username { get; set; }
            public bool IsAuthenticated { get; set; }
            public string AuthenticationType { get; set; }
        }
 
5. 啟動時記得要改用 IIS Express (感覺早上花了兩三個小時在為了這個問題打轉):


6. 執行結果:

第三步，在 IIS 中安裝網站：
1. 在安裝 IIS 時，記得要勾選 windows 驗證


2. 安裝 .Net 6.0 的 Hosting Bundle
https://dotnet.microsoft.com/en-us/download/dotnet/6.0
 
3. 新增網站:
主機名稱留空白 (AD 驗証在網域內好像不會使用指定的主機名稱，這個有待後續再做確認)


如果沒有刪除預設網站，會遇到警告，直接確認即可.


要把 Default Web Site 關閉，再啟動測試站
 
要啟動 windows 驗証: 
在 web.config 中增加 

      <security>

        <authentication>

          <anonymousAuthentication enabled="false" />

          <windowsAuthentication enabled="true" />

        </authentication>

      </security>

修改 applicationHost.config:

檔案位置: %windir%\system32\inetsrv\config\applicationHost.config
這兩地方的 Deny 改為 Allow

<section name="anonymousAuthentication" overrideModeDefault="Deny" />

<section name="windowsAuthentication" overrideModeDefault="Deny" />

 
參考文件: https://docs.microsoft.com/zh-tw/iis/get-started/planning-for-security/how-to-use-locking-in-iis-configuration

3. 可以取得登入資訊如下:

4. 從 Domain 中另一台主機來存取，不用登入，自動取得目前登入者的資訊。
 
5. 從非網域主機連線: 會要求認証
 

目前遇到問題: 在網域中的電腦只能用主機名稱登入，非網域的電腦，才能夠使用網址登入。

測試專案下載: https://github.com/bikehsu/AD60
 

由於 CDN 模式下，網站在判別 client ip 是透過 X-Forwarded-For 來判別來源IP
但因為 X-Forwarded-For 是可以偽裝的 header value，所以 hacker 會在裡面帶入特殊的IP，例如 127.0.0.1

這在正常 CDN 模式下，基本上應該沒有問題，因為程式上抓到的 X-Forwarded-For 會是最後一組IP
但萬一 client 端 不走CDN直連主機，開發者抓 client IP 是先抓 X-Forwarded-For，而不判斷網站是不是在 CDN 模式下
就會誤判來源IP。

解決方式可分為兩方面
1. 抓 X-Forworded-For 的 function 要判別內網IP (包括127.0.0.1)，剔除掉
2. 網站程式判別白名單時，要用 Reuest.UserHostAddress 來判別內部IP
    使用 ClientIP_After_CDN 只能用來判別外部IP 
    * 如果允許IP清單寫在系統參數或資料庫，但內容是 (內網IP + 外網IP)混用，最好是分開來

另外有一個防火牆的設定有關，也是建置網站很重要的設定
也就是設定 policy 時 wan -> virtual ip ，要記得把 NAT 關掉，
不然網站抓到的 UserHostAddress 都會是 190.168.x.254 之類的IP，這樣問題就大了。

    
    
 

今天小三的網站發生怪異的情況，造成網站莫名其妙跑出天天簽到的彈跳視窗

var oEM = new EverydayMain();

oEM.EndDate__StartOrEqual = DateTime.Now.Date; //只要限結束日期就好. (以日為單位)

oEM.Type = EN.Type.彈出式;



oEM.QuerySql();

// 卻產出SQL Select * from [Everyday_Main] With(NoLock)

// 但應該產出 Select * from [Everyday_Main] With(NoLock)    Where [EndDate] >= Convert(datetime, '2021-07-15T00:00:00') and [EN_Type] = 200

使用 set 條件，但產出的SQL卻是沒有 where 字串，這情況我是第一次遇到
是不是產出SQL時這中間用到 static 物件，可能要查一下
-----------------------------

        private static Hashtable _htTypeDefines;

        public static Hashtable htTypeDefines

        {

            get

            {

                if (_htTypeDefines == null)

                {

                    _htTypeDefines = new Hashtable();

                    _htTypeDefines.Add("Id", "int");

看樣子是網站第一次使用DB物件時，兩個 thread 同時在跑會造成這樣的現象
這裡應該要 lock