select id from shopline_customer where id not in (select id from shopline_customer_ext)
以上 SQL 跑不完.

SELECT c.id
FROM shopline_customer c
WHERE NOT EXISTS (
    SELECT 1
    FROM shopline_customer_ext e
    WHERE e.id = c.id
);

以上 SQL 只要 0.3 秒.

GPT 的解釋: (ps, id 是 primary key, 非 null)
🚨 一、為什麼會慢：NOT IN 的效能陷阱
NOT IN 會觸發「反半連接（anti-join）」掃描
PostgreSQL 必須逐筆比對左邊的每個 id
並檢查右邊的 id 是否不在其中
若右邊子查詢結果中出現任何 NULL，NOT IN 的邏輯會「不確定」，導致全表掃描與回退
即使 id 是主鍵（有索引），PostgreSQL 通常仍會展開為 Nested Loop Anti Join 或 Hash Anti Join，
當 shopline_customer 和 shopline_customer_ext 都是大表（例如數十萬筆），
時間就會暴漲。
⚠️ NOT IN + NULL 問題：
即使 id 欄位宣告為 NOT NULL，也可能因外層的隱含條件造成額外檢查負擔。
PostgreSQL 會多執行一次 Anti-Join NULL Filter，浪費時間。

近日處理我們公司某個使用 my sql 的專案，已經被雷的幾次，紀錄一下

1.  使用 EF Scaffolding 指令去更新 Model ，有些欄位原本是明確型別 變成 可null型別
     也就是本來是 datetime 變成 datetime?, int 變成 int?
     看起來是一些 view 的欄位會有這些狀況，這時就要去 git revert ，避免build專案又一堆錯誤
2.  使用 IQueryable 語法處理時間要小心，不要在裡面計算時間。
     

DateTime shouldBeGiveCoinDateTime = DateTime.Now.AddDays(-14);

return dbContext.ViewOrderForCoinCronJob.AsNoTracking().Where(x =>

    x.CompletedAt <= shouldBeGiveCoinDateTime

    && x.CreatedAt >= DateTime.Now.AddYears(-1) // -> 這裡轉換mysql指令會出錯

    && x.DeletedAt == null

    && x.CoinAmount > 0

    && x.Status == (byte)ORDER_STATUS.COMPLETED

    && dbContext.PackingMain.Any(y => y.OrderId == x.Id)

    && x.IsGiveCoin != 0

    && !dbContext.CoinLog.Any(y =>

        y.OrderId == x.Id

        && y.StrKey.Contains(COIN_LOG.STRING_KEY_PREFIX.ORDER_ACCUMULATION)

    )

).ToList();

要把時間計算先算出來，再帶入式子

DateTime shouldBeGiveCoinDateTime = DateTime.Now.AddDays(-14);

DateTime createDateStartAt = DateTime.Now.AddYears(-1); // -> 先算出日期

return dbContext.ViewOrderForCoinCronJob.AsNoTracking().Where(x =>

    x.CompletedAt <= shouldBeGiveCoinDateTime

    && x.CreatedAt >= createDateStartAt // -> 帶入算好的日期

    && x.DeletedAt == null

    && x.CoinAmount > 0

    && x.Status == (byte)ORDER_STATUS.COMPLETED

    && dbContext.PackingMain.Any(y => y.OrderId == x.Id)

    && x.IsGiveCoin != 0

    && !dbContext.CoinLog.Any(y =>

        y.OrderId == x.Id

        && y.StrKey.Contains(COIN_LOG.STRING_KEY_PREFIX.ORDER_ACCUMULATION)

    )

).ToList();

 

1. 使用 "具名的 ConnectionString"時，必需在 ODBC Data Sources (32-bit) 中設定，不是  ODBC Data Sources (64-bit)



2. 若日期或數字欄位為 Null 時，會無法轉換，此時必需用 "寫入查詢來指定要傳送的資料"

 

Restful 的 API 範例，比較特別的是取得單一筆資料時，不是用一般常見的 {id} 而是用 get?id=xxx 的方式，以避免 XXS 的功擊。(不要把原網頁中的參數拼入 API 網址，要改用 Query String 的方式傳給 API)

using Ds;

using Ds.Gv;

using iText.Kernel.Geom;

using Microsoft.AspNetCore.Mvc;

using Microsoft.EntityFrameworkCore;

using NPOI.SS.Formula.Functions;

using NPOI.SS.Util;

using Su;

using System.Linq.Expressions;



namespace CallCampaign.Api

{

    /// <summary>

    /// 行銷活動

    /// </summary>

    [Route("api/call-campaign")]

    [ApiController]

    [SetAuthorizationFilter(Sh.AuthCode.不設限)]

    public class ReserveCampaignController : Controller

    {

        /// <summary>

        /// 取得行銷活動列表

        /// </summary>

        /// <param name="reserveCampaignName"></param>

        /// <param name="currentPage"></param>

        /// <param name="pageSize"></param>

        /// <param name="orderByName"></param>

        /// <param name="sort"></param>

        /// <returns></returns>

        /// <exception cref="Exception"></exception>

        [HttpGet("")]

        public async Task<object> ListAsync([FromQuery] string reserveCampaignName = "", [FromQuery] int? currentPage = 1, [FromQuery] int? pageSize = 20, [FromQuery] string orderByName = "OrderNo", [FromQuery] string sort = "asc")

        {

            if (pageSize > 500)

            {

                pageSize = 500;

            }



            if (!(sort == "asc" || sort == "desc"))

            {

                throw new CustomException(System.Net.HttpStatusCode.BadRequest, "sort只能是asc或desc");

            }



            var temp = new V_ReserveCampaign().GetType().GetProperty(orderByName);

            if (temp == null)

            {

                throw new CustomException(System.Net.HttpStatusCode.BadRequest, "不存在欄位");

            }



            Expression<Func<V_ReserveCampaign, bool>> q = p => p.Is_Deleted == "N"

                    && (string.IsNullOrEmpty(reserveCampaignName) || (p.ReserveCampaignName != null && p.ReserveCampaignName.Contains(reserveCampaignName)))

                    ;



            if (orderByName.ToLower().Trim() != "id")

            {

                orderByName += " " + sort + ", id desc";

            }

            else

            {

                orderByName += " " + sort;

            }



            var ct = NewContext.GvContext;

            var list = await ct.GetPageListAsync(q, columns: "Id, ReserveCampaignName, OrderNo, StartAt, EndAt, ModifierName, ModifyDate, CreatorName, CreateDate", page: currentPage ?? 1, pageSize: pageSize ?? 20, orderByName);

            //var list = await ct.GetPageListAsync(q, page: currentPage ?? 1, pageSize: pageSize ?? 20, orderByName + " " + sort);

            return list;

        }



        /// <summary>

        /// 取得行銷活動

        /// </summary>

        /// <param name="Id"></param>

        /// <returns></returns>

        /// <exception cref="Exception"></exception>

        [HttpGet("get")]

        public async Task<dynamic> GetAsync([FromQuery] int Id)

        {

            var res = await Ds.NewContext.GvContext.ReserveCampaigns.Where(r => r.Id == Id)

                .FirstOrDefaultAsync();



            if (res == null)

            {

                throw new CustomException(System.Net.HttpStatusCode.BadRequest, "查無資料 " + Id.ToString());

            }

            return res;

        }

                

        /// <summary>

        /// 建立行銷活動

        /// </summary>

        /// <param name="dto"></param>

        /// <returns></returns>

        /// <exception cref="CustomException"></exception>

        [HttpPost("")]

        public async Task<object> CreateAsync(Dtos.CreateReserveCampaign dto)

        {

            var ct = NewContext.GvContext;

            var res = await Models.ReserveCampaignHelper.CreateReserveCampaignAsync(ct, dto);

            return res;

        }



        /// <summary>

        /// 編輯行銷活動

        /// </summary>

        /// <param name="dto"></param>

        /// <returns></returns>

        /// <exception cref="CustomException"></exception>

        [HttpPatch("")]

        public async Task<object> UpdateAsync(Dtos.UpdateReserveCampaign dto)

        {

            var ct = NewContext.GvContext;

            var res = await Models.ReserveCampaignHelper.UpdateReserveCampaignAsync(ct, dto);

            return res;

        }



        /// <summary>

        /// 刪除行銷活動

        /// </summary>

        /// <param name="id"></param>

        /// <returns></returns>

        /// <exception cref="CustomException"></exception>

        [HttpDelete("")]

        public async Task<object> DeleteAsync([FromQuery] int id)

        {

            var res = await Ds.NewContext.GvContext.MarkDeleteAsync<Ds.Gv.ReserveCampaign>(id, Sh.ModifyInfo);

            return res;

        }

    }

}

再增加一個同步範例(只例出 action)

        /// <summary>

        /// 取得列表

        /// </summary>

        /// <param name="name"></param>

        /// <param name="currentPage"></param>

        /// <param name="pageSize"></param>

        /// <param name="orderByName"></param>

        /// <param name="sort"></param>

        /// <returns></returns>

        [HttpGet("")]

        public object List([FromQuery] string name = "", [FromQuery] int? currentPage = 1, [FromQuery] int? pageSize = 20, [FromQuery] string orderByName = "OrderNo", [FromQuery] string sort = "asc")

        {

            return "";

        }



        /// <summary>

        /// 取得明細資料

        /// </summary>

        /// <param name="Id"></param>

        /// <returns></returns>

        /// <exception cref="Exception"></exception>

        [HttpGet("get")]

        public object Get([FromQuery] int id)

        {

            return "";

        }



        /// <summary>

        /// 建立

        /// </summary>

        /// <param name="dto"></param>

        /// <returns></returns>

        /// <exception cref="CustomException"></exception>

        [HttpPost("")]

        public object Create(Dtos.PhysicalCheckUpType dto)

        {

            return "";

        }



        /// <summary>

        /// 編輯

        /// </summary>

        /// <param name="dto"></param>

        /// <returns></returns>

        /// <exception cref="CustomException"></exception>

        [HttpPatch("")]

        public object Update(Dtos.PhysicalCheckUpType dto)

        {

            return "";

        }



        /// <summary>

        /// 刪除

        /// </summary>

        /// <param name="id"></param>

        /// <returns></returns>

        /// <exception cref="CustomException"></exception>

        [HttpDelete("")]

        public object Delete([FromQuery] int id)

        {

            return 1;

        }

這個指令還是會把所有的資料 Select 出來，再更新

原指令:

UPDATE Job Set En_Status = 200 Where En_Status = 100 and LastTouchAt < '2023-05-06 12:34:56'
其中  '2023-05-06 12:34:56' 是 DateTime.Now.AddMinutes(-2) 的結果(Web Server 端的時間扣 2 分鐘)

但，若是改使用 UpdateFromQueryAsync 如下:
var c = await Ds.NewContext.GvContext.Jobs.Where(j => j.En_Status == Cst.Job.Status.Running && j.LastTouchAt < DateTime.Now.AddMinutes(-2))
                .UpdateFromQueryAsync(j => new Ds.Gv.Job { En_Status = Cst.Job.Status.ReStarting });

產生的 SQL 如下:
UPDATE A 
SET A.[En_Status] = @zzz_BatchUpdate_0
FROM [Job] AS A
INNER JOIN ( SELECT [j].[Id], [j].[CancelledAt], [j].[CancelledBy], [j].[En_Status], [j].[EndAt], [j].[Exception], [j].[Filename], [j].[InformationJson], [j].[InitAt], [j].[Is_CheckOnly], [j].[LastTouchAt], [j].[LastTouchMessage], [j].[LoopStartAt], [j].[Name], [j].[ScheduleId], [j].[TotalTouch], [j].[TouchCount]
FROM [Job] AS [j]
WHERE [j].[En_Status] = 100 AND [j].[LastTouchAt] < DATEADD(minute, CAST(-2.0E0 AS int), GETDATE())
           ) AS B ON A.[Id] = B.[Id]

有兩個要注意的地方:
1. 它會先 Select 全欄位，再做更新

2. 它的時間是 DB Server 的現在時間。不是 Web Server 端的時間。


順便記錄一下。若是要執行 Update xx Ser cc = cc + 1 Where ...

EF 可寫為:
var c = await Ds.NewContext.GvContext.Jobs.Where(j => j.En_Status == Cst.Job.Status.Running && j.LastTouchAt < DateTime.Now.AddMinutes(-2))
                .UpdateFromQueryAsync(j => new Ds.Gv.Job { TotalTouch = j.TotalTouch + 1 });

轉換的 SQL 為:
UPDATE A 
SET A.[TotalTouch] = B.[TotalTouch] + 1
FROM [Job] AS A
INNER JOIN ( SELECT [j].[Id], [j].[CancelledAt], [j].[CancelledBy], [j].[En_Status], [j].[EndAt], [j].[Exception], [j].[Filename], [j].[InformationJson], [j].[InitAt], [j].[Is_CheckOnly], [j].[LastTouchAt], [j].[LastTouchMessage], [j].[LoopStartAt], [j].[Name], [j].[ScheduleId], [j].[TotalTouch], [j].[TouchCount]
FROM [Job] AS [j]
WHERE [j].[En_Status] = 100 AND [j].[LastTouchAt] < DATEADD(minute, CAST(-2.0E0 AS int), GETDATE())
           ) AS B ON A.[Id] = B.[Id]

最近剛好發生跟 MS SQL 有關的狀況，所以就記錄一下

1. where 字串欄位要不要加 N''  (unicode)
    範例: Select * from OrderDetail where OrderDetailId= N'20220923084533'
    基本上，欄位是 char、varchar 就不需要。nvarchar nchar 就要加 N
    這好像是廢話，但往往寫程式會沒注意，甚至是會覺得通通加 N 比較沒問題
    但如果欄位牽涉到 index 就會影響搜尋 ，所以寫程式當下要注意

-- 假設 OrderDetailId 是 varchar(20)

-- OrderDetail 有千萬筆資料



Select * from OrderDetail where OrderDetailId= N'20220923084533'

-- 結果跑超級久 (未使用 PK 找，掃整個 table)

Select * from OrderDetail where OrderDetailId= '20220923084533'

-- 結果一下就出來 (使用 PK 找)

-- **資料庫設計最好以數值來當 key 比較好

    
2.  當欄位有 null 值，where [clumnName] not in ('A')  也會排除 null 的狀況
     直覺上，只要下 not in (..)  那會其他項目都會抓出，但是實際上，該欄位是 null的資料也會被排除
     因為資料庫一旦你對某欄位下條件，他就會排除 null 的欄位，除非你指定  [clumnName] is null 才會有資料
 

-- 自動更新某個欄位

CREATE OR REPLACE FUNCTION before_market_update ()
RETURNS TRIGGER AS 
$$
BEGIN
    NEW.LMDT = LocalTimeStamp;
    RETURN NEW;
END;
$$
LANGUAGE 'plpgsql';

CREATE TRIGGER updt_market
  BEFORE UPDATE
  ON "Market"
  FOR EACH ROW
  EXECUTE PROCEDURE before_market_update();

我們的目標是在啟動時，掛一個 global filter 來檢查上傳的檔案附檔名，避免上傳未預期的可執行檔。使用 global filter 可以防止程式設計師忘了做檔案檢查，發生危險。我們目前用到的 .Net Framework 有兩個類別，一個是 System.Web.Http.ApiController，另一個是 System.Web.Mvc.Controller，兩個要分開處理。

1. Web API (System.Web.Http.ApiController)
.Net Framework 的 Web API 2 在接收檔案時，必需使用 Request.Content.ReadAsMultipartAsync 把上傳的資料存入 MultipartMemoryStreamProvider 之後再來處理。
範例如下: 

    public class UploadController : ApiController

    {

        public async Task<object> PostFormData()

        {

            var provider = new MultipartMemoryStreamProvider();



            if (! Request.Content.IsMimeMultipartContent())

            {

                return "no file";

            }



            //要注意這裡的 await

            await Request.Content.ReadAsMultipartAsync(provider);



            foreach (var content in provider.Contents)

            {

                if (content.Headers.ContentDisposition.FileName != null)

                {

                    string localFilename = content.Headers.ContentDisposition.FileName.Replace("\"", "");

                    System.IO.Directory.CreateDirectory(HttpContext.Current.Server.MapPath(@"~/App_Data/Temp/"));

                    string filename = HttpContext.Current.Server.MapPath(@"~/App_Data/Temp/" + localFilename);

                    if (System.IO.File.Exists(filename))

                    {

                        System.IO.File.Delete(filename);

                    }



                    using (var fileStream = new FileStream(filename, FileMode.Create, FileAccess.Write))

                    {

                        var contentStream = await content.ReadAsStreamAsync();

                        await contentStream.CopyToAsync(fileStream);

                        Trace.WriteLine("Save To" + filename);

                    }

                }

            }

            return "OK";

        }

    }

程式碼中有個地方我沒有注意到。我一開始是用 Request.Content.ReadAsMultipartAsync(provider); 把資料讀進 provider，但前方沒有加上 await，造成有時讀不到檔案的情況，再次提醒自己 Async 和 Await 的關係。

直覺的想法是在 filter 中執行一樣的程式碼，不存檔，只要抓出檔名來檢查即可。但這時遇到一個問題 Request.Content.ReadAsMultipartAsync 不能執行兩次，Google 了一陣子，也沒找不到類似 seek(0) 的操作。所以只好自己寫一個暫存的機製。

這裡決定使用 System.Web.HttpContext.Current.Items 來暫存 provider，最後的 OnActionExecutingAsync 結果如下:

        /// <summary>

        /// 檔案檢查

        /// </summary>

        /// <param name="actionContext"></param>

        /// <param name="cancellationToken"></param>

        /// <returns></returns>

        public override async Task OnActionExecutingAsync(HttpActionContext actionContext, CancellationToken cancellationToken)

        {

            Trace.WriteLine("ApiCheckFile OnActionExecutingAsync");



            var request = actionContext.Request;

            if (!request.Content.IsMimeMultipartContent())

            {

                return;

            }



            var provider = new MultipartMemoryStreamProvider();

            await request.Content.ReadAsMultipartAsync(provider);



            //把 provider 存入 System.Web.HttpContext.Current.Items 之中，以便在 controller 中再度使用

            System.Web.HttpContext.Current.Items["MimeMultipartContentProvider"] = provider;



            foreach (var content in provider.Contents)

            {

                if (content.Headers.ContentDisposition.FileName != null)

                {

                    var filename = content.Headers.ContentDisposition.FileName.Replace("\"", "");

                    Trace.WriteLine(filename);



                    var ext = System.IO.Path.GetExtension(filename);

                    if (!".jpg,.jpeg,.png".Contains(ext.ToLower()))

                    {

                        throw new Exception("file format error.");

                    }

                }

            }



            return;

        }

而 controller 中的 Action 則改為以下的版本；本版本中，除了把上傳的檔案存檔以外，還有讀取 form data 中其它欄位的範例:

        public async Task<object> PostFormData()

        {

            //改由 HttpContext.Current.Items 中，讀取資料。

            MultipartMemoryStreamProvider provider = (MultipartMemoryStreamProvider)System.Web.HttpContext.Current.Items["MimeMultipartContentProvider"];



            //如果沒有經過 filter，provider會是 null, 這時就要直接由 Request.Content 讀入 provider

            if (provider == null)

            {

                provider = new MultipartMemoryStreamProvider();

                Request.Content.ReadAsMultipartAsync(provider);

            }



            foreach (var content in provider.Contents)

            {

                if (content.Headers.ContentDisposition.FileName != null)

                {

                    string localFilename = content.Headers.ContentDisposition.FileName.Replace("\"", "");

                    Trace.WriteLine("FileName: " + localFilename);

                    Trace.WriteLine("FileName: " + @"~/App_Data/Temp/" + localFilename);

                    System.IO.Directory.CreateDirectory(HttpContext.Current.Server.MapPath(@"~/App_Data/Temp/"));

                    string filename = HttpContext.Current.Server.MapPath(@"~/App_Data/Temp/" + localFilename);

                    if (System.IO.File.Exists(filename))

                    {

                        System.IO.File.Delete(filename);

                    }



                    using (var fileStream = new FileStream(filename, FileMode.Create, FileAccess.Write))

                    {

                        var contentStream = await content.ReadAsStreamAsync();

                        await contentStream.CopyToAsync(fileStream);

                        Trace.WriteLine("Save To" + filename);

                    }

                }

                else

                {

                    var contentStream = await content.ReadAsStreamAsync();

                    var reader = new System.IO.StreamReader(contentStream);

                    var data = reader.ReadToEnd();

                    Trace.WriteLine("data: " + data);

                }

            }

            return "OK";

        }

以上是展示 Web Api 的 Filter。

如果是 MVC 的 Controller，就簡單多了，直接讀取 actionContext.HttpContext.Request.Files 裡面各檔案的 FileName 即可。不過也遇到了一個和直覺不同的地方，對 actionContext.HttpContext.Request.Files 居然不能用 foreach 請見下方註解掉的地方。也許是我的用法有問題，如果有人找到可以使用的方法也麻煩告知。

        public override void OnActionExecuting(ActionExecutingContext actionContext)

        {

            Debug.WriteLine("MvcCheckFileFilter OnActionExecuting");

            if (actionContext.HttpContext.Request.Files.Count > 0)

            {

                for (int i = 0; i < actionContext.HttpContext.Request.Files.Count; i++)

                {

                    System.Web.HttpPostedFileBase file = actionContext.HttpContext.Request.Files[i];

                    if (System.IO.Path.GetExtension(file.FileName) != ".jpg")

                    {

                        throw new Exception("file format error.");

                    }

                    Debug.WriteLine(i + "MvcCheckFileFilter OnActionExecuting File type: " + file.FileName.ToString());

                }

            }



            //以下寫法會發生錯誤: 無法將類型 'System.String' 的物件轉換為類型 'System.Web.HttpPostedFileBase'。

            //foreach (HttpPostedFileBase file in actionContext.HttpContext.Request.Files)

            //{

            //    if (System.IO.Path.GetExtension(file.FileName) != ".jpg")

            //    {

            //        throw new Exception("file format error.");

            //    }

            //}

        }

最後是把 filter 掛在 global filter 裡，如下:
Web API Controller 的部份:
在 WebApiConfig.cs 裡加上 config.Filters.Add(new ApiCheckFile()); 見下圖:
 

附帶一提，Register 是在 global.asax 裡被叫用的。微軟的架構常常這樣，硬是拉到另一個目錄的獨立檔案裡，如果 global.asax 沒有這一行，不知所以的人，在 App_Start 裡，建立了一個 WebApiConfig.cs 然後會發現完全沒做用... 見下圖

 
MVC Controller 的部份，
在 FilterConfig.cs 中，加上 filters.Add(new MvcCheckFileFilter()); 如下圖
 

一樣是在 global.asax 中呼叫  FilterConfig.RegisterGlobalFilters，見下圖:

 
不過有趣的地方是，在 global.asax 裡, WebApiConfig.Register 和 FilterConfig.RegisterGlobalFilters 的叫用方法不同，一個是把 function 當作變數，一個是直接呼叫 function, 大家可以比較一下。

附註 1, 關於 OnActionExecutingAsync 和 OnActionExecuting:

Web API 的 filter 中，提供了 OnActionExecutingAsync 和 OnActionExecuting 兩個 method 可以 override ，我實驗的結果是如果兩個 method 都 override 了，只有 OnActionExecutingAsync 會被呼叫。

MVC 的 filter 中，只有 OnActionExecuting 可以 override。
 

上一集當中我們完成了Lucene基本操作中的Create與Read，這一集會將CRUD中的Update與Delete的操作方法告訴你，並且本集會著重於講解關於"Norms"與權重(Boost)在Lucene中的運作概念。

首先我們建立一個.Net 6的主控台應用程式
   

建立好後於右側專案右鍵選擇"管理Nuget套件"，並選擇"瀏覽">於搜索列中搜尋"Lucene">安裝3.0.3最新穩定版 與 "System.Configuration.ConfigurationManager"

 
 安裝好後就可以於專案內使用Lucene套件囉!
再來依照上一篇的教學建立一套簡單的Lucene查詢

using Lucene.Net.Analysis.Standard;

using Lucene.Net.Documents;

using Lucene.Net.Index;

using Lucene.Net.QueryParsers;

using Lucene.Net.Search;

using Lucene.Net.Store;



var _dir = new DirectoryInfo("LuceneDocument");

if (!File.Exists(_dir.FullName))

{

    System.IO.Directory.CreateDirectory(_dir.FullName);

}

var analyzer = new StandardAnalyzer(Lucene.Net.Util.Version.LUCENE_CURRENT);

CreateIndex(GetProductsInformation(), _dir, analyzer);



while (true)

{

    Console.Write("請輸入欲查詢字串 :");

    var searchValue = Console.ReadLine();

    Search(searchValue, _dir, analyzer);

}



void CreateIndex(List<Product> information, DirectoryInfo dir, StandardAnalyzer analyzer)

{

    using (var directory = FSDirectory.Open(dir))

    {

        using (var indexWriter = new IndexWriter(directory, analyzer, true, IndexWriter.MaxFieldLength.LIMITED))

        {

            foreach (var index in information)

            {

                var document = new Document();

                document.Add(new Field("Id", index.Id.ToString(), Field.Store.YES, Field.Index.NO));

                document.Add(new Field("Name", index.Name, Field.Store.YES, Field.Index.ANALYZED));

                document.Add(new Field("Description", index.Description, Field.Store.YES, Field.Index.ANALYZED));

                indexWriter.AddDocument(document);

            }

            indexWriter.Optimize();

            indexWriter.Commit();

        }

    }

}

void Search(string searchValue, DirectoryInfo dir, StandardAnalyzer analyzer)

{

    using (var directory = FSDirectory.Open(_dir))

    {

        var parser = new QueryParser(Lucene.Net.Util.Version.LUCENE_CURRENT, "Description", analyzer).Parse(searchValue);

        using (var indexSearcher = new IndexSearcher(directory))

        {

            var queryLimit = 20;

            var hits = indexSearcher.Search(parser, queryLimit);

            if (!hits.ScoreDocs.Any())

            {

                Console.WriteLine("查無相關結果。");

                return;

            }

            Document doc;

            foreach (var hit in hits.ScoreDocs)

            {

                doc = indexSearcher.Doc(hit.Doc);

                Console.WriteLine("Score :" + hit.Score + ", Id :" + doc.Get("Id") + ", Name :" + doc.Get("Name") + ", Description :" + doc.Get("Description"));

            }

        }

    }

}



List<Product> GetProductsInformation()

{

    return new List<Product> {

            new Product{ Id = 1, Name = "蘋果", Description = "一天一蘋果，醫生遠離我。"},

            new Product{ Id = 2, Name = "橘子", Description = "醫生給娜美最珍貴的寶藏。"},

            new Product{ Id = 3, Name = "梨子", Description = "我是梨子，比蘋果好吃多囉!"},

            new Product{ Id = 4, Name = "葡萄", Description = "吃葡萄不吐葡萄皮，不吃葡萄倒吐葡萄皮"},

            new Product{ Id = 5, Name = "榴槤", Description = "水果界的珍寶!好吃一直吃。"}

        };

}

class Product

{

    public long Id { get; set; }

    public string Name { get; set; } = null!;

    public string Description { get; set; } = null!;

}

好囉! 接下來我們要如何更新索引呢?
更新其實就是將存在的索引刪除並重新建立Document，不存在的則直接新增。
首先準備一組資料準備更新

List<Product> GetUpdateProductsInformation()

{

    return new List<Product>

    {

        new Product{ Id = 6, Name = "香蕉", Description = "運動完後吃根香蕉補充養分。"},

        new Product{ Id = 2, Name = "橘子", Description = "橘子跟柳丁你分得出來嗎?"}

    };

}

*欲更新的Document必須與創建所引時使用的Document欄位相同*

void Update(string key, List<Product> information, DirectoryInfo dir, StandardAnalyzer analyzer)

{

    using( var directory = FSDirectory.Open(dir))

    {

        using(var indexWriter = new IndexWriter(directory, analyzer, false, IndexWriter.MaxFieldLength.LIMITED))

        {

            foreach (var index in information)

            {

                var document = new Document();

                document.Add(new Field("Id", index.Id.ToString(), Field.Store.YES, Field.Index.NO));

                document.Add(new Field("Name", index.Name, Field.Store.YES, Field.Index.ANALYZED));

                document.Add(new Field("Description", index.Description, Field.Store.YES, Field.Index.ANALYZED));

                indexWriter.UpdateDocument(new Term("Name", key) ,document);

            }

        }

    }

}

來測試看看
   
可以看見 Name = 橘子 的索引已經改為我們新準備的資料囉。
再來是刪除!
與更新非常相似，只需要使用deleteDocument()就可以了。

void Delete(string key, DirectoryInfo dir, StandardAnalyzer analyzer)

{

    using (var directory = FSDirectory.Open(dir))

    {

        using (var indexWriter = new IndexWriter(directory, analyzer, false, IndexWriter.MaxFieldLength.LIMITED))

        {

            indexWriter.DeleteDocuments(new Term("Name", key));

            indexWriter.Optimize();

            indexWriter.Commit();

        }

    }

}

再來看看輸出結果
 可以發現 Score :0.7554128, Id :2, Name :橘子, Description :醫生給娜美最珍貴的寶藏。這筆索引已經被移除囉!
  
可以發現筆者於更新或刪除時都是輸入單一字來做異動，除了表達可以對索引做複合更動外，
是因為更新與刪除索引同樣會使用到分詞器(analyzer)，
*所輸入的索引值非ID等數值時必須要配合分詞器的分詞能力*才能取得所想異動的索引喔!


Boost是什麼呢?
Boost 分為 :
1. Index Time Boost : 在建立索引時就計算好的值。例如上一篇中提到的(NORMS)
2. Query Time Boost : 查詢時賦與搜尋條件不同的值以影響結果。
我們先來測試Index Time Boost的部分

void CreateIndexWithBoost(List<Product> information, DirectoryInfo dir, StandardAnalyzer analyzer)

{

    using (var directory = FSDirectory.Open(dir))

    {

        using (var indexWriter = new IndexWriter(directory, analyzer, true, IndexWriter.MaxFieldLength.LIMITED))

        {

            foreach (var index in information)

            {

                var document = new Document();

                document.Add(new Field("Id", index.Id.ToString(), Field.Store.YES, Field.Index.NO));

                document.Add(new Field("Name", index.Name, Field.Store.YES, Field.Index.ANALYZED));

                document.Add(new Field("Description", index.Description, Field.Store.YES, Field.Index.ANALYZED));

                document.GetField("Name").Boost = 1.5F;

                document.GetField("Description").Boost = 0.5F;



                indexWriter.AddDocument(document);

            }

            indexWriter.Optimize();

            indexWriter.Commit();

        }

    }

}

並記得重新CreateIndex才能刷新欄位的權重值喔。


很明顯的搜尋出來的Score分數變動了! 但是有沒有發現明明Name欄位的Boost改成了1.5，蘋果的數值卻仍然只有一半呢?
這是因為我們的Search中所參照的欄位為Description，所以在計算Score的時候其實是完全沒有參與的喔!
另外要記得，使用Index Time Boost的時候，欲給予銓重分配的欄位Field.Index不能使用NO_NORMS，不然這個欄位並不會紀錄權重的資料。

再來我們試試看Query Time Boost

void SearchWithBoost(string searchValue, DirectoryInfo dir, StandardAnalyzer analyzer)

{

    using (var directory = FSDirectory.Open(_dir))

    {

        using (var indexSearcher = new IndexSearcher(directory))

        {

            var query = new QueryParser(Lucene.Net.Util.Version.LUCENE_CURRENT, "Name", analyzer).Parse(searchValue);

            var query2 = new QueryParser(Lucene.Net.Util.Version.LUCENE_CURRENT, "Description", analyzer).Parse(searchValue);



            query.Boost = 2.0F;

            query2.Boost = 0.5F;



            BooleanQuery booleanQuery = new BooleanQuery();

            booleanQuery.Add(query, Occur.SHOULD);

            booleanQuery.Add(query2, Occur.SHOULD);



            var hits = indexSearcher.Search(booleanQuery, 20);

            if (!hits.ScoreDocs.Any())

            {

                Console.WriteLine("查無相關結果。");

                return;

            }

            Document doc;

            foreach (var hit in hits.ScoreDocs)

            {

                doc = indexSearcher.Doc(hit.Doc);

                Console.WriteLine("Score :" + hit.Score + ", Id :" + doc.Get("Id") + ", Name :" + doc.Get("Name") + ", Description :" + doc.Get("Description"));

            }

        }

    }

}

這次我們搜尋兩個欄位"Name"與"Description"，並使用 BooleanQuery來將其組合。
BooleanQuery中的 Occur有三種參數 : "MUST","MUST_NOT","SHOULD"，功能與字面上的意思一樣為"必須要有","必須沒有"與"有無都包含"。

 
查詢出來的分數就不一樣囉!

以上就是這一次的分享，Lucene是一款容易入門但是要實際上戰場卻又十分複雜的功能，想要達成真正高效能的全文檢索，在前期的文件規畫配置與資料的權重配比都是一個巨大的挑戰。未來會繼續分享關於Lucene的其他有趣功能，還請繼續期待呦!
另外也可以到GitHub下載我的範例來參考呦!
GitHub: https://github.com/g13579112000/Lucene

參考文件:
1. 黑暗大大的全文檢索筆記 : https://blog.darkthread.net/blog/lucene-net-notes-1/
2. Makble : http://makble.com/lucene-field-boost-example
3. CSDN Jack2013tong 文章 : https://blog.csdn.net/huwei2003/article/details/53408388

已經有資料的資料庫無法更改。

開啟 sqlplus
用 sys 登入 XPEDB1 指定為SYSDBA 的身份

--sqlplus SYS/password@localhost/XEPDB1 as SYSDBA

sqlplus / as SYSDBA

--修改 NLS_CHARACTERSET to ZHT16MSWIN950
shutdown immediate;
STARTUP MOUNT;
ALTER SESSION SET SQL_TRACE=TRUE;
ALTER SYSTEM ENABLE RESTRICTED SESSION;
ALTER SYSTEM SET JOB_QUEUE_PROCESSES=0;
ALTER SYSTEM SET AQ_TM_PROCESSES=0;
ALTER DATABASE OPEN;
ALTER DATABASE CHARACTER SET INTERNAL_USE ZHT16MSWIN950;
ALTER SESSION SET SQL_TRACE=FALSE;
shutdown immediate;
STARTUP;

查詢 nvarchar 的欄位
select owner, table_name, column_name
from dba_tab_columns
where (data_type = 'NCHAR' or
data_type = 'NVARCHAR2' or
data_type = 'NCLOB') and
owner != 'SYS' and
owner != 'SYSTEM';

要 truncate 兩個 table:
truncate table SYS.RADM_FPTM_LOB$;
truncate table SYS.RADM_FPTM$ ;

執行以下指令

修改 System 的 NLS_NCHAR_CHARACTERSET:
shutdown immediate;
STARTUP MOUNT;
ALTER SYSTEM ENABLE RESTRICTED SESSION;
ALTER SYSTEM SET JOB_QUEUE_PROCESSES=0 SCOPE = MEMORY;
ALTER SYSTEM SET AQ_TM_PROCESSES=0 SCOPE = MEMORY;
ALTER DATABASE OPEN;
ALTER DATABASE NATIONAL CHARACTER SET UTF8;
SHUTDOWN IMMEDIATE;
STARTUP;

要修特定  PDB 的 NLS_NCHAR_CHARACTERSET:
alter session set container=cdb$root;
show pdbs;
alter pluggable database XEPDB1  close immediate;
alter pluggable database XEPDB1 open read write restricted;
alter session set container=XEPDB1;
truncate table SYS.RADM_FPTM_LOB$;
truncate table SYS.RADM_FPTM$;
ALTER DATABASE NATIONAL CHARACTER SET UTF8;
ALTER PLUGGABLE DATABASE XEPDB1 CLOSE IMMEDIATE;
ALTER PLUGGABLE DATABASE XEPDB1 OPEN;
select * from database_properties where PROPERTY_NAME in ('NLS_CHARACTERSET', 'NLS_NCHAR_CHARACTERSET');