其實這是老問題了，就是IIS每過29小時會重啟 App Pool 機制
這個機制目的是讓主機可以回收記憶體以增進網站效能，過程是smooth的
當此回收機制開始時，新的request會由新的程序跑，舊的request仍會把他跑完(理論上，但太久的程式還是會自動停)

這樣的機制，最明顯的是會造成 inProc 的 session or cache 資料消失
造成程式上的錯誤，或是user的資料消失
另外，這個29小時回收機制，不會因為程式更新，網站重啟，而重新計算

原本以為這機制影響不大，但最近因為電商後台程式有個排程跑太久剛好被回收機制中斷
然後自己假日在外無法即時處理問題，造成電商客戶在等著把問題解決
想說還是把這個 29小時魔咒 處理一下
在某個特定無排程時間，執行重啟網站
 

由於匯入91訂單，如果是一筆一筆抓，會耗費比較久的時間
下列寫法是，開兩條 thread 平行處理，可以節省約一半時間

public ConcurrentBag<V2SalesOrderGetDataList> ConcurencyGetApp91OrderDetails(List<string> TMCodes, int shopId, ref ConcurrentBag<string> orderErrMsgs)

        {

            #region 平行查詢

            ConcurrentBag<V2SalesOrderGetDataList> result = new ConcurrentBag<V2SalesOrderGetDataList>();

            ConcurrentBag<string> errs = new ConcurrentBag<string>();

            ConcurrentQueue<string> TMCodeQueues = new ConcurrentQueue<string>();

            TMCodes.ForEach(x => TMCodeQueues.Enqueue(x));



            Action searchOrderDetail = () =>

            {

                if (!TMCodeQueues.IsEmpty)

                {

                    string TMCode = string.Empty;



                    while (TMCodeQueues.TryDequeue(out TMCode))

                    {

                        V2SalesOrderGetReqModel reqModel = new V2SalesOrderGetReqModel()

                        {

                            ShopId = shopId,

                            TGCode = null,

                            TMCode = TMCode,

                            TSCode = null,

                        };



                        try

                        {

                            V2SalesOrderGet91API req = new V2SalesOrderGet91API();

                            var resp = req.Execute(reqModel, shopId);



                            if (resp.Status == "Success")

                            {

                                foreach (var l in resp.Data.List)

                                {

                                    result.Add(l);

                                }

                            }

                            else

                            {

                                //主單編號 , 錯誤原因

                                errs.Add(TMCode + " , " + resp.ErrorMessage);

                            }

                        }

                        catch (Exception ex)

                        {

                            errs.Add(TMCode + " , " + ex.Message);

                        }

                    }

                }

            };



            //指派Thread

            Parallel.Invoke(searchOrderDetail, searchOrderDetail);

            #endregion



            //查詢失敗

            orderErrMsgs = errs;



            return result;

        }

發現了一個很新奇的東西 Parallel
他可以做到平行處理迭代這件事
只要迴圈邏輯上不需要有先後順序的情況就可以使用來大幅度提高效能!


輸出值


需要特別注意如果於非同步中使用lock應使用SemaphoreSlim
如果要使用Dictionay應使用ConcurrentDictionary

由於在使用Await時，系統的Thread並不保證會與該function使用同一個Thread。
因此使用lock將單一Thread鎖住會導致出現 'Cannot await in the body of a lock statement'的錯誤

將Lock物件改成使用SemaphoreSlim，於function起始與結束加入WaitAsync與Release即可達到Lock的效果。

SemaphoreSlim完整介紹 : 用 SemaphoreSlim 來做 async/await 的鎖定
使用如下圖↓

 
 

錯誤訊息：
dotnet : 因為找不到指定的命令或檔案，所以無法執行。
位於 線路:1 字元:1
+ dotnet ef dbcontext scaffold "Host=xxxxxxxxxxxxx;CommandTimeout=500 ...
+ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    + CategoryInfo          : NotSpecified: (因為找不到指定的命令或檔案，所以無法執行。:String) [], RemoteException
    + FullyQualifiedErrorId : NativeCommandError
 
可能的原因包括:
  * 內建 dotnet 命令拼寫錯誤。
  * 您預計要執行 .NET 程式，但不存在 dotnet-ef。
  * 您預計要執行全域工具，但在 PATH 上找不到此名稱且開頭為 dotnet 的可執行檔。
 
解決方法：
重新安裝套件，安裝指令：dotnet tool install --global dotnet-ef


 

參考：
dotnet ef 找不到指定的命令
 

Console主控台的輸出，只要是非英文，都會是亂碼呈現



情況：
 
解決方法：
輸入：[Console]::OutputEncoding = [System.Text.Encoding]::UTF8



 
 
參考：
一次解決CONSOLE主控台輸出中文亂碼的編碼問題
【茶包射手日記】PowerShell 串接 EXE 輸出中文變亂碼

在 Postgres 使用 TransactionScope 似乎很空易就會發生 Transaction Abort 的情況。所以必需自行實做 retry 的機制

            int tries = 0;

            while (tries < Su.PgSql.maxTransactionAborted)

            {

                try

                {

                    using (var scop = new System.Transactions.TransactionScope(TransactionScopeAsyncFlowOption.Enabled))

                    {

                        var context = ShopBandContext.Context;



                        updateCount = await context.UpdateAsync<MarketDiscount>(dto, Sc.ModifyInfo,

                            onlyColumns: "StartAt,EndAt,NewPrice,FrontEndMemo,BackEndMemo");



                        scop.Complete();

                        break; //這個 Break 很重要

                    }

                }

                catch (Exception ex)

                {

                    // 我發現因為是非同步模式，所以要檢查很多層的 InnerException

                    if (tries < Su.PgSql.maxTransactionAborted

                        && ((ex.InnerException != null && ex.InnerException is Npgsql.PostgresException && ((Npgsql.PostgresException)ex.InnerException).SqlState == "40001")

                            || (ex.InnerException.InnerException != null && ex.InnerException.InnerException is Npgsql.PostgresException && ((Npgsql.PostgresException)ex.InnerException.InnerException).SqlState == "40001")))

                    {

                        //隨機休息 10 ~ 20 ms, 等另一個 job 完工

                        System.Threading.Thread.Sleep(Su.MathUtil.Random.Next(10, 20));

                        tries++;

                    }

                    else

                    {

                        throw;

                    }

                }

            }

--建立 table (要記得改 XXX)
CREATE TABLE IF NOT EXISTS public.table_monitor
(
    table_name text COLLATE pg_catalog."default" NOT NULL,
    update_at timestamp without time zone NOT NULL DEFAULT now(),
    update_count bigint NOT NULL DEFAULT 0,
    CONSTRAINT table_monitor_pkey PRIMARY KEY (table_name)
)

TABLESPACE pg_default;

ALTER TABLE IF EXISTS public.table_monitor
    OWNER to XXX;

-- 這一段只要執行一次
CREATE OR REPLACE FUNCTION public.table_monitor_trigger_fnc()
    RETURNS trigger
    LANGUAGE 'plpgsql'
    COST 100
    VOLATILE NOT LEAKPROOF
AS $BODY$
BEGIN
     Update public.table_monitor Set update_count = update_count + 1, update_at = now()  Where table_name = TG_TABLE_NAME; 
RETURN NEW;
END;
$BODY$;

ALTER FUNCTION public.table_monitor_trigger_fnc()
    OWNER TO XXX;

-- 對於被監控的 table, 要執行以下的指令，記得 monitor_table_name 要改為 table 的名字(要符合大小寫)
INSERT INTO public.table_monitor (table_name, update_at, update_count) VALUES ('monitor_table_name', '2000-01-01', 0) ON CONFLICT DO NOTHING;

CREATE OR REPLACE TRIGGER table_monitor_trigger
    AFTER INSERT OR DELETE OR UPDATE 
    ON monitor_table_name
    FOR EACH STATEMENT
    EXECUTE FUNCTION public.table_monitor_trigger_fnc();

監控用的程式碼:

public static void UpdateTableCache()

{

    //標記自已是正在執行的 Thread. 讓舊的 Thread 在執行完畢之後, 應該會自動結束. 以防舊的 Thread 執行超過 10 秒.

    CurrentThreadId = System.Threading.Thread.CurrentThread.ManagedThreadId;



    try

    {

        //確認自已是正在執行的 Thread, 重覆執行. (另一個 Thread 插入執行)

        while (CurrentThreadId == System.Threading.Thread.CurrentThread.ManagedThreadId)

        {

            LastUpdateDate = DateTime.Now;



            foreach (var dbId in CachedDbs)

            {

                var sql = @"select * from table_monitor";



                var dt = Su.PgSql.DtFromSql(sql, dbId);



                foreach (DataRow row in dt.Rows)

                {

                    string changeId = row["update_count"].DBNullToDefault();

                    string CacheKey = TableCacheKey(dbId, row["table_name"].DBNullToDefault());

                    ObjectCache cache = MemoryCache.Default;



                    string OldValue = (string)cache[CacheKey];



                    if (OldValue == null)

                    {

                        cache.Set(CacheKey, changeId, DateTime.MaxValue);

                    }

                    else

                    {

                        if (changeId != OldValue)

                        {

                            cache.Remove(CacheKey);

                            cache.Set(CacheKey, changeId, DateTime.MaxValue);

                        }

                    }

                }

            }



            //每兩秒檢查一次

            System.Threading.Thread.Sleep(2000);

        }

    }

    catch (Exception)

    {

        //依經驗, 只要 DB 能通, 這裡幾乎不會有問題, 所以這裡暫時不處理, 未來有問題時可以考慮寫入文字檔比較好.

    }

}

 
於VS Web中建立虛擬目錄，導致Swagger Handler出現重複錯誤
主要原因是因為跟網站與子網站指向同一個資料夾，而父子網站的web.config有繼承關係導致。

解決方式:
1. 前往 根目錄 / .vs / 專案 / config / applicationhost.config

2. 將site中設定的子網站移除或變更虛擬目錄位置

 
3. 回到網頁重新整理就完成囉!

參考: 【茶包射手日記】怪異的web.config HttpHandler重複錯誤

上一集當中我們完成了Lucene基本操作中的Create與Read，這一集會將CRUD中的Update與Delete的操作方法告訴你，並且本集會著重於講解關於"Norms"與權重(Boost)在Lucene中的運作概念。

首先我們建立一個.Net 6的主控台應用程式
   

建立好後於右側專案右鍵選擇"管理Nuget套件"，並選擇"瀏覽">於搜索列中搜尋"Lucene">安裝3.0.3最新穩定版 與 "System.Configuration.ConfigurationManager"

 
 安裝好後就可以於專案內使用Lucene套件囉!
再來依照上一篇的教學建立一套簡單的Lucene查詢

using Lucene.Net.Analysis.Standard;

using Lucene.Net.Documents;

using Lucene.Net.Index;

using Lucene.Net.QueryParsers;

using Lucene.Net.Search;

using Lucene.Net.Store;



var _dir = new DirectoryInfo("LuceneDocument");

if (!File.Exists(_dir.FullName))

{

    System.IO.Directory.CreateDirectory(_dir.FullName);

}

var analyzer = new StandardAnalyzer(Lucene.Net.Util.Version.LUCENE_CURRENT);

CreateIndex(GetProductsInformation(), _dir, analyzer);



while (true)

{

    Console.Write("請輸入欲查詢字串 :");

    var searchValue = Console.ReadLine();

    Search(searchValue, _dir, analyzer);

}



void CreateIndex(List<Product> information, DirectoryInfo dir, StandardAnalyzer analyzer)

{

    using (var directory = FSDirectory.Open(dir))

    {

        using (var indexWriter = new IndexWriter(directory, analyzer, true, IndexWriter.MaxFieldLength.LIMITED))

        {

            foreach (var index in information)

            {

                var document = new Document();

                document.Add(new Field("Id", index.Id.ToString(), Field.Store.YES, Field.Index.NO));

                document.Add(new Field("Name", index.Name, Field.Store.YES, Field.Index.ANALYZED));

                document.Add(new Field("Description", index.Description, Field.Store.YES, Field.Index.ANALYZED));

                indexWriter.AddDocument(document);

            }

            indexWriter.Optimize();

            indexWriter.Commit();

        }

    }

}

void Search(string searchValue, DirectoryInfo dir, StandardAnalyzer analyzer)

{

    using (var directory = FSDirectory.Open(_dir))

    {

        var parser = new QueryParser(Lucene.Net.Util.Version.LUCENE_CURRENT, "Description", analyzer).Parse(searchValue);

        using (var indexSearcher = new IndexSearcher(directory))

        {

            var queryLimit = 20;

            var hits = indexSearcher.Search(parser, queryLimit);

            if (!hits.ScoreDocs.Any())

            {

                Console.WriteLine("查無相關結果。");

                return;

            }

            Document doc;

            foreach (var hit in hits.ScoreDocs)

            {

                doc = indexSearcher.Doc(hit.Doc);

                Console.WriteLine("Score :" + hit.Score + ", Id :" + doc.Get("Id") + ", Name :" + doc.Get("Name") + ", Description :" + doc.Get("Description"));

            }

        }

    }

}



List<Product> GetProductsInformation()

{

    return new List<Product> {

            new Product{ Id = 1, Name = "蘋果", Description = "一天一蘋果，醫生遠離我。"},

            new Product{ Id = 2, Name = "橘子", Description = "醫生給娜美最珍貴的寶藏。"},

            new Product{ Id = 3, Name = "梨子", Description = "我是梨子，比蘋果好吃多囉!"},

            new Product{ Id = 4, Name = "葡萄", Description = "吃葡萄不吐葡萄皮，不吃葡萄倒吐葡萄皮"},

            new Product{ Id = 5, Name = "榴槤", Description = "水果界的珍寶!好吃一直吃。"}

        };

}

class Product

{

    public long Id { get; set; }

    public string Name { get; set; } = null!;

    public string Description { get; set; } = null!;

}

好囉! 接下來我們要如何更新索引呢?
更新其實就是將存在的索引刪除並重新建立Document，不存在的則直接新增。
首先準備一組資料準備更新

List<Product> GetUpdateProductsInformation()

{

    return new List<Product>

    {

        new Product{ Id = 6, Name = "香蕉", Description = "運動完後吃根香蕉補充養分。"},

        new Product{ Id = 2, Name = "橘子", Description = "橘子跟柳丁你分得出來嗎?"}

    };

}

*欲更新的Document必須與創建所引時使用的Document欄位相同*

void Update(string key, List<Product> information, DirectoryInfo dir, StandardAnalyzer analyzer)

{

    using( var directory = FSDirectory.Open(dir))

    {

        using(var indexWriter = new IndexWriter(directory, analyzer, false, IndexWriter.MaxFieldLength.LIMITED))

        {

            foreach (var index in information)

            {

                var document = new Document();

                document.Add(new Field("Id", index.Id.ToString(), Field.Store.YES, Field.Index.NO));

                document.Add(new Field("Name", index.Name, Field.Store.YES, Field.Index.ANALYZED));

                document.Add(new Field("Description", index.Description, Field.Store.YES, Field.Index.ANALYZED));

                indexWriter.UpdateDocument(new Term("Name", key) ,document);

            }

        }

    }

}

來測試看看
   
可以看見 Name = 橘子 的索引已經改為我們新準備的資料囉。
再來是刪除!
與更新非常相似，只需要使用deleteDocument()就可以了。

void Delete(string key, DirectoryInfo dir, StandardAnalyzer analyzer)

{

    using (var directory = FSDirectory.Open(dir))

    {

        using (var indexWriter = new IndexWriter(directory, analyzer, false, IndexWriter.MaxFieldLength.LIMITED))

        {

            indexWriter.DeleteDocuments(new Term("Name", key));

            indexWriter.Optimize();

            indexWriter.Commit();

        }

    }

}

再來看看輸出結果
 可以發現 Score :0.7554128, Id :2, Name :橘子, Description :醫生給娜美最珍貴的寶藏。這筆索引已經被移除囉!
  
可以發現筆者於更新或刪除時都是輸入單一字來做異動，除了表達可以對索引做複合更動外，
是因為更新與刪除索引同樣會使用到分詞器(analyzer)，
*所輸入的索引值非ID等數值時必須要配合分詞器的分詞能力*才能取得所想異動的索引喔!


Boost是什麼呢?
Boost 分為 :
1. Index Time Boost : 在建立索引時就計算好的值。例如上一篇中提到的(NORMS)
2. Query Time Boost : 查詢時賦與搜尋條件不同的值以影響結果。
我們先來測試Index Time Boost的部分

void CreateIndexWithBoost(List<Product> information, DirectoryInfo dir, StandardAnalyzer analyzer)

{

    using (var directory = FSDirectory.Open(dir))

    {

        using (var indexWriter = new IndexWriter(directory, analyzer, true, IndexWriter.MaxFieldLength.LIMITED))

        {

            foreach (var index in information)

            {

                var document = new Document();

                document.Add(new Field("Id", index.Id.ToString(), Field.Store.YES, Field.Index.NO));

                document.Add(new Field("Name", index.Name, Field.Store.YES, Field.Index.ANALYZED));

                document.Add(new Field("Description", index.Description, Field.Store.YES, Field.Index.ANALYZED));

                document.GetField("Name").Boost = 1.5F;

                document.GetField("Description").Boost = 0.5F;



                indexWriter.AddDocument(document);

            }

            indexWriter.Optimize();

            indexWriter.Commit();

        }

    }

}

並記得重新CreateIndex才能刷新欄位的權重值喔。


很明顯的搜尋出來的Score分數變動了! 但是有沒有發現明明Name欄位的Boost改成了1.5，蘋果的數值卻仍然只有一半呢?
這是因為我們的Search中所參照的欄位為Description，所以在計算Score的時候其實是完全沒有參與的喔!
另外要記得，使用Index Time Boost的時候，欲給予銓重分配的欄位Field.Index不能使用NO_NORMS，不然這個欄位並不會紀錄權重的資料。

再來我們試試看Query Time Boost

void SearchWithBoost(string searchValue, DirectoryInfo dir, StandardAnalyzer analyzer)

{

    using (var directory = FSDirectory.Open(_dir))

    {

        using (var indexSearcher = new IndexSearcher(directory))

        {

            var query = new QueryParser(Lucene.Net.Util.Version.LUCENE_CURRENT, "Name", analyzer).Parse(searchValue);

            var query2 = new QueryParser(Lucene.Net.Util.Version.LUCENE_CURRENT, "Description", analyzer).Parse(searchValue);



            query.Boost = 2.0F;

            query2.Boost = 0.5F;



            BooleanQuery booleanQuery = new BooleanQuery();

            booleanQuery.Add(query, Occur.SHOULD);

            booleanQuery.Add(query2, Occur.SHOULD);



            var hits = indexSearcher.Search(booleanQuery, 20);

            if (!hits.ScoreDocs.Any())

            {

                Console.WriteLine("查無相關結果。");

                return;

            }

            Document doc;

            foreach (var hit in hits.ScoreDocs)

            {

                doc = indexSearcher.Doc(hit.Doc);

                Console.WriteLine("Score :" + hit.Score + ", Id :" + doc.Get("Id") + ", Name :" + doc.Get("Name") + ", Description :" + doc.Get("Description"));

            }

        }

    }

}

這次我們搜尋兩個欄位"Name"與"Description"，並使用 BooleanQuery來將其組合。
BooleanQuery中的 Occur有三種參數 : "MUST","MUST_NOT","SHOULD"，功能與字面上的意思一樣為"必須要有","必須沒有"與"有無都包含"。

 
查詢出來的分數就不一樣囉!

以上就是這一次的分享，Lucene是一款容易入門但是要實際上戰場卻又十分複雜的功能，想要達成真正高效能的全文檢索，在前期的文件規畫配置與資料的權重配比都是一個巨大的挑戰。未來會繼續分享關於Lucene的其他有趣功能，還請繼續期待呦!
另外也可以到GitHub下載我的範例來參考呦!
GitHub: https://github.com/g13579112000/Lucene

參考文件:
1. 黑暗大大的全文檢索筆記 : https://blog.darkthread.net/blog/lucene-net-notes-1/
2. Makble : http://makble.com/lucene-field-boost-example
3. CSDN Jack2013tong 文章 : https://blog.csdn.net/huwei2003/article/details/53408388