Lucene.Net是一套C#開源全文索引庫，其主要包含了:
· Index : 提供索引的管理與詞組的排序
· Search : 提供查詢相關功能
· Store : 支援資料儲存管理，包括I/O操作
· Util : 共用套件
· Documents : 負責描述索引儲存時的文件結構管理
· QueryParsers : 提供查詢語法
· Analysis : 負責分析內容
要達到高效能的全文檢索讓機器可以明白我們的語言，最重要的關鍵就是"分詞器"了。
試想一下這一句話你會如何拆分成一段一段的關鍵字呢?
"一天一蘋果，醫生遠離我"
還有英文版本
"An apple a day, doctor keep me away."
中文版本的拆分:
"一天"、"一"、"蘋果"、"醫生"、"遠離"、"我"
英文版本的拆分:
"apple"、"day"、"doctor"、"keep"、"me"、"away"
有沒有注意到不同語系所分析出來的關鍵字有一點不一樣呢?
而在Lucene中分詞的工作會交給Analysis來完成，
不過我們可以依照不同的語系去選擇想使用的分詞器(Analyzer)！

首先簡單說明一下Lucene的實作流程
1. 確認主要搜尋的語系來決定使用的分詞器(analyzer)
2. 建立Document依照analyzer匯入資料
(前置完成)
3. 建立IndexSearcher導入準備好的Document
4. 建立Parser來分析SearchValue
5. 使用IndexSearcher分析Parser取得結果(Hits)
*本專案使用的是Lucene.Net 3.0.3*
接下來我們來建立一個提供查詢使用的Document。

       

 // 取得或建立Lucene文件資料夾

        if (!File.Exists(_dir.FullName))

        {

            System.IO.Directory.CreateDirectory(_dir.FullName);

        }

        // Asp.Net Core需要於Nuget安裝System.Configuration.ConfigurationManager提供用戶端應用程式的組態檔存取

        Lucene.Net.Store.Directory directory = FSDirectory.Open(_dir);

        // 選擇分詞器

        var analyzer = new StandardAnalyzer(Lucene.Net.Util.Version.LUCENE_CURRENT);

        // 資料來源

        var repository = new Repository();

        // 依照指定的文件結構來建立

        var indexWriter = new IndexWriter(directory, analyzer, true, IndexWriter.MaxFieldLength.LIMITED);

        foreach (var index in repository)

        {

            var document = new Document();

            document.Add(new Field("Id", index.Id.ToString(), Field.Store.YES, Field.Index.NO));

            document.Add(new Field("Name", index.Name, Field.Store.YES, Field.Index.ANALYZED));

            document.Add(new Field("Description", index.Description, Field.Store.NO, Field.Index.ANALYZED));

            indexWriter.AddDocument(document);

        }

        indexWriter.Optimize();

        indexWriter.Commit();

        indexWriter.Dispose();

如此一來我們就建立好Lucene的基本配備囉！
其中analyzer的部分我們使用Lucene.Net預設，
要特別注意的是，其處理中文語系的能力非常之爛！
之後再寫一篇文章深入探討。
再來值得一提的是
       

document.Add(new Field("Id", index.Id.ToString(), Field.Store.YES, Field.Index.NO));

前兩個參數就是Key跟Value，可以簡單理解為欄位與其內容。
後面兩個參數是重點！
Store: 代表是否儲存這個Key的Value
例如在google打上台南美食會搜索出許多不同的文章連結，
不過google給你的資料中最重要的不是文章內容(Description)，
而是哪一篇文章(Name)與台南美食最有關係。
假如今天我只要回傳一個列表而不用提示文章中有哪些內容，
那麼我就可以選擇給"Description" Field.Store.No來節省空間。
Index:
· NO - 不加入索引，這個內容只需要隨著結果出爐，不需要在查詢的時候被考慮。
· ANALYZED、NOT_ANALYZED - 是否使用分詞
· NO_NORMS - 關閉權重功能
或許許多人會對權重功能(NORMS)感到疑惑，
簡單的舉個例子
{ Id=1, Key="蘋果", Value="一天一蘋果，醫生遠離我。"}
{ Id=2, Key="橘子", Value="醫生給娜美最珍貴的寶藏。"}
{ Id=3, Key="梨子", Value="我是梨子，比蘋果蘋果好吃多囉！"}
當我搜尋"蘋果"的時候結果會是
{ Id=1, MatchKey=1, MatchValue=1, Score=(1*5) + (1*2) = 7}
{ Id=3, MatchKey=0, MatchValue=1, Score=(0*5) + (2*2) = 4}
有發現了嗎？
雖然同樣都對中兩個結果但是Id 1的資料Key值中有包含關鍵字，
因此得到較高的分數排在Id 3前方
準備好Document了，我們可以開始來實際使用看看囉！

       

// 決定所要搜索的欄位

        var parser = new QueryParser(Lucene.Net.Util.Version.LUCENE_CURRENT, "Description", analyzer).Parse(searchValue);

        // 提供剛剛建立的Document

        var indexSearcher = new IndexSearcher(directory);

        // 搜尋取出結果的數量

        var queryLimit = 20;

        // 開始搜尋！

        var hits = indexSearcher.Search(parser, queryLimit);

        if (!hits.ScoreDocs.Any())

        {

            Console.WriteLine("查無相關結果。");

            return;

        }

        Document doc;

        foreach (var hit in hits.ScoreDocs)

        {

            doc = indexSearcher.Doc(hit.Doc);

            Console.WriteLine("Score :" + hit.Score + ", Id :" + doc.Get("Id") + ", Name :" + doc.Get("Name") + ", Description :" + doc.Get("Description"));

        }

最後的結果(Hits)，是需要再回到Document去撈出對應的資料喔！
是不是非常簡單呢？
筆者寫了一個簡單的範例在GitHub上，秉持著追求新技術的心使用了.Net 6，還請各位大大多多包涵。
有中英文兩種Repository，只需要在上方的DI注入切換就可以囉！
GitHub連結: https://github.com/g13579112000/Lucene
筆者第一次撰寫這種教學文章，有哪邊錯誤的非常歡迎一起來討論指教。
之後有機會再撰寫Lucene更深入的應用方面，
例如權重的分配與分詞器的選擇與使用。
感謝您的閱讀。


參考文獻：
1.黑暗大大的全文檢索筆記: https://blog.darkthread.net/blog/lucene-net-notes-1/
2.使用.Net實現全文檢索: https://blog.csdn.net/huwei2003/article/details/53408388
3.伊凡的部落格: http://irfen.me/5-lucene4-9-learning-record-lucene-analysis-tokenizer/
4.純淨天空代碼範例: https://vimsky.com/zh-tw/examples/detail/csharp-ex-Lucene.Net.Documents-Document---class.html

今天為了一個專案發佈後無法執行花了兩個小時: 錯誤訊息如下
HTTP Error 500.31 - ANCM Failed to Find Native Dependencies in IIS  --  沒用
The specified version of Microsoft.NetCore.App or Microsoft.AspNetCore.App was not found  -- 沒用
An assembly specified in the application dependencies manifest (...) was not found  -- OK

最後是改了 .csproj 然後再發佈一次。

<PropertyGroup>               

    <PublishWithAspNetCoreTargetManifest>false</PublishWithAspNetCoreTargetManifest>

</PropertyGroup>

參考:
https://stackoverflow.com/questions/48896443/an-assembly-specified-in-the-application-dependencies-manifest-was-not-fou

 

加構獨立的 API Server 時, 要使用 Cookie 認証必需有以下條件:

1. Web Server 和 API Server 有相同的父網域.
2. Cookie 的網域指定到相同的父網域.
3. 在 API 的 Application 中允許 CORS Request, 需要修改 Startup.cs

3.1 在 ConfigureServices 中要加入  AddCors, 而且要記得 AllowCredentials()

        public void ConfigureServices(IServiceCollection services)

        {

            services.AddCors(options =>

            {

                options.AddPolicy(name: "Cors(PolicyName",

                                 builder =>

                                 {

                                     builder.WithOrigins("https://web1.yourdomain.com",

                                                         "https://web2.yourdomain.com")

                                     .AllowCredentials();

                                 });

            });



            services.AddControllers()

                .AddNewtonsoftJson(opt =>

                 opt.SerializerSettings.ContractResolver = new CamelCasePropertyNamesContractResolver());

3.2 在 Configure 中, 要加入 app.UseCors("Cors(PolicyName"), 記得要在  UseAuthorization() 之前.

        public void Configure(IApplicationBuilder app, IWebHostEnvironment env)

        {

            app.UseExceptionMiddleware();



            app.UseHttpsRedirection();



            app.UseHttpsRedirection();



            app.UseRouting();



            app.UseCors(MyAllowSpecificOrigins);



            app.UseAuthorization();

4. 在 Client 端要加上 withCredentials: true

                            $.ajax({

                                url: apiRoot + "apiurl",

                                type: 'GET',

                                dataType: 'json', // 預期從server接收的資料型態

                                success: function (res) {

                                    console.log("success: ");

                                    console.log(res);                                    

                                },

                                xhrFields: {

                                    withCredentials: true

                                },

                                error: function (XMLHttpRequest, textStatus, errorThrown) {

                                    alert("發生錯誤");

                                }

                            });

1. .Net Core 5.0 使用.
2. 可切換後, 適用於 MsSQL, MySql, Oracle
3. 預設所有 SQL 執行時要經過 SQL Injection 檢查.
(移除 "CheckDangerSQL", 併入 IsSqlInjection) 

預設會把 CR 和 LF 換成 空白，以免 sql injection 檢查發生錯誤, 有參數可以控制這個行為。sql 和 資料應該要分開，sql 中的 CR 和 LF 被換成空白應該不會有問題。

4. 不要再使用 SqlStr, 改用 SqlValue (避免誤用, SqlStr 有一個問題, 若是忘了加上 '' 會有可能造成 sql injection)

5. ORM 的 Class Name, 若遇到全大寫的字節, 要先轉小寫, 再把第一個字母變大寫.

6. CopyPropertiesTo, CopyTo.. 
   SetValue 時, 若發生錯誤, 要顯示錯誤欄位名稱. (Tmi 的版本, ObjUtil.cs)

7. CopyFromDataRow: 
   string 自動轉 DateTime
   string 自動轉  int, long, decimal..

8. Criteria 的 In 和 operator (|) 要接 list 做為參數, 不要再直接用字串做參數.

9. OrderBy 增加 by column 且可以多個串接

10. Update 時可以用 sql 語法 (參考聖宜的  GetSetFieldWithExpression)

11. 檢查 SQL Injection 的方法改為先把 \r 和 \n 用空白取代，再檢查, 再取代參數。

12. DtFromSql 和 ExecuteSql 傳入 connection 和 transaction 的版本先刪除，未來有需要再增加。 

跑.net core 程式的時候遇到
錯誤    MSB3644    找不到 .NETFramework,Version=v5.0 的參考組件。若要解決此問題，請安裝此架構版本的開發人員套件 (SDK/目標套件) 或重定應用程式。您可以在 https://aka.ms/msbuild/developerpacks 下載 .NET Framework 開發人員套件    KOKOxMMBApi    C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\MSBuild\Current\Bin\Microsoft.Common.CurrentVersion.targets    1175        

遇到此問題時先去
https://dotnet.microsoft.com/download/dotnet/5.0
下載64版本

但另一個原因有可能是vs2019版本過低，建議升到 16.6 版以上
https://visualstudio.microsoft.com/zh-hant/downloads/

接著～很可能遇到無法更新
請參考這篇
https://www.dotblogs.com.tw/Eyelash/2021/01/09/151544

刪除C:\Program Files (x86)\Microsoft Visual Studio\Installer\
Installer刪掉這個資料夾

回到VS 說明 > 檢查版本
就能更新了

 

在 .net framework 的 Web API 專案中.

安裝某些套件時, 會在 Startup.cs 中增加一行:

app.UseWebApi(config);

這個會在 WebApiConfig 的 Register 之後執行. 造成 WebApiConfig.Register 失效.

解決的方法是把 WebApiConfig.Register 的指令全部搬到 Startup.cs 之中, 放在 app.UseWebApi(config) 之後即可...

這大概是為什麼 .Net Core 之後的設定都在 StartUp.cs 裡面的原因..

花了一些時間 : (

在 .Net Core 的專案使用 NSwag 時遇到: Unable to render this definition, The provided definition does not specify a valid version field. 錯誤. 有點一頭霧水, 最後解決了, 大概記錄一下解決的過程:




1. 把所有的 Controller 全部移. 再開啟 /swager, 此時應該會有空的 swager 頁面, 若異常, 則應該是 NSwag 沒裝好.

2. 把 Controller 一個一個加入專案, 每加入一個, 就開啟一次 /swager 的頁面, 若是發現異常, 就是那個 controller 有問題.

3. 找到有問題的 Controller 之後, 可以把內容先全部註解掉, 然後再一個一個的把 function 加回 controller, 應該就可以找到造成問題的 Action. 該問題有可能是以下情況造成:
    A. Action 沒有指定存取的 method.
    B. 不是 Action 的 function 被設定為 public (在 Controller 裡面, 非提供 client 端存取的 function, 都不應被設為 public)
    C. 這個很神奇, 註解也有可能造成問題, 試著把該 Action 的註解刪除, 再重新加入, 說不定就會好了.



 
另外, 使用 swagger 時, 要記得在專案的屬性的建置選項中, 要勾選 XML 註解輸出, 才會自動把  Action 的註解變成說明文字.:

 
 

https://docs.microsoft.com/zh-tw/aspnet/core/host-and-deploy/iis/hosting-bundle?view=aspnetcore-5.0

ASP.Net MVC 如果只輸出字串的話, 可用的事件有: 目前前台規劃配合 Template, 在各事件中做以下的工作

BaseController Constructor
TestController Construtor
Base BeginExecute: 記錄 requestContext, 提供 GetRouteValue 使用.
Child BeginExecute:
Base Initialize:
Child Initialize: 可以在這裡設定 master Page 的檔名
Child BeginExecuteCore
Base BeginExecuteCore: this.otMaster = new UW.Template(MasterPage); 在這個之後才能使用 otMaster
Child CreateActionInvoker: InitTemplate("Index.html");  在這裡執行主要程式
Child OnAuthentication,
Base OnAuthentication
Child OnAuthorization 
Base OnAuthorization
Child OnActionExecuting
Base OnActionExecuting 最後整理 Template.

Child Index(): return this.FinalHTML;

1. 參考這裡設定第一個網站:
https://blog.johnwu.cc/article/centos-asp-net-core-neginx.html
注意, 文章中有一個錯誤:
/etc/nginx/conf.d/my-website.conf 的第 27 行, 應該是 include /etc/nginx/conf.d/default_proxy_settings;

2.  因為要避開 5000 port, 所以修改第二個網站的 appsettings.json, 讓第二個網站開在 5002 port, 如下.

{

"Logging": {

    "LogLevel": {

     "Default": "Information",

     "Microsoft": "Warning",

     "Microsoft.Hosting.Lifetime": "Information"

    }

},

"Kestrel": {

        "EndPoints": {

                "Http": {

                        "Url": "http://localhost:5002"

                }

        }

},

"AllowedHosts": "*"

}

3. 新增 /etc/nginx/conf.d/my-website2.conf, 要注意
    A. portal2
    B. server localhost:5002
    C. server_name coretest2.bike.idv.tw
    當然 SSL 憑証的檔名也要記得改.

upstream portal2 {

    # localhost:5000 改成 ASP.NET Core 所監聽的 Port

    server localhost:5002;

}



server {

    # 只要是透過這些 Domain 連 HTTP 80 Port，都會轉送封包到 ASP.NET Core

    listen 80;

    # 可透過空白區分，綁定多個 Domain

    server_name coretest2.bike.idv.tw;

    location / {

        proxy_pass http://portal2/;

        include /etc/nginx/conf.d/default_proxy_settings;

    }

}



# 用 HTTPS 必須要有 SSL 憑證，如果沒有要綁定 SSL 可以把下面整段移除

server {

    # 只要是透過這些 Domain 連 HTTPS 443 Port，都會轉送封包到 ASP.NET Core

    listen 443 ssl;

    server_name coretest2.bike.idv.tw;

    ssl_certificate /etc/nginx/ssl/coretest2.bike.idv.tw.crt;

    ssl_certificate_key /etc/nginx/ssl/coretest2.bike.idv.tw.key;



    location / {

        proxy_pass http://portal2/;

        include /etc/nginx/conf.d/default_proxy_settings;

    }

}

改完後就可以用了.

以下是 https://blog.johnwu.cc/article/centos-asp-net-core-neginx.html 抄過來的一些檔案, 作為備份:

setup-aspnet-core.sh

#!/bin/bash



main() {

    sudo yum -y install epel-release

    sudo yum -y update



    install_nginx

    install_dotnet



    sudo firewall-cmd --add-service=http --permanent

    sudo firewall-cmd --add-service=https --permanent

    sudo firewall-cmd --reload

}



install_nginx() {

    echo "###################################"

    echo "########## Install Nginx ##########"

    echo "###################################"

    sudo yum -y install httpd-tools nginx

    sudo setsebool -P httpd_can_network_connect on

    sudo sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

    sudo setenforce 0

    sudo systemctl enable nginx

    sudo systemctl restart nginx

}



install_dotnet() {

    echo "###########################################"

    echo "########## Install .NET Core 2.2 ##########"

    echo "###########################################"

    sudo rpm -Uvh https://packages.microsoft.com/config/rhel/7/packages-microsoft-prod.rpm

    sudo yum -y install aspnetcore-runtime-2.2

}



main "$@"

用以下指令執行:

sudo sh setup-aspnet-core.sh

/etc/systemd/system/my-website.service, (/bin/dotnet 有可能是 /usr/bin/dotnet)

[Unit]

# Description=<此服務的摘要說明>

Description=MyWebsite



[Service]

# WorkingDirectory=<ASP.NET Core 專案目錄>

WorkingDirectory=/usr/share/my-website



# ExecStart=/bin/dotnet <ASP.NET Core 起始 dll>

ExecStart=/bin/dotnet MyWebsite.dll



# 啟動若失敗，就重啟到成功為止

Restart=always

# 重啟的間隔秒數

RestartSec=10



# 設定環境變數，注入給 ASP.NET Core 用

Environment=ASPNETCORE_ENVIRONMENT=Production

Environment=DOTNET_PRINT_TELEMETRY_MESSAGE=false



[Install]

WantedBy=multi-user.target

服務相關指令：

# 開啟，開機自動啟動服務

systemctl enable my-website.service



# 關閉，開機自動啟動服務

systemctl disable my-website.service



# 啟動服務

systemctl start my-website.service



# 重啟服務

systemctl restart my-website.service



# 停止服務

systemctl stop my-website.service



# 查看服務狀態

systemctl status my-website.service

/etc/nginx/conf.d/default_proxy_settings

proxy_http_version 1.1;

proxy_set_header Upgrade $http_upgrade;

proxy_set_header Connection $http_connection;

proxy_set_header Host $host;

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-Host $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_set_header X-Forwarded-Proto $scheme;

proxy_cache_bypass $http_upgrade;

/etc/nginx/conf.d/my-website.conf

upstream portal {

    # localhost:5000 改成 ASP.NET Core 所監聽的 Port

    server localhost:5000;

}



server {

    # 只要是透過這些 Domain 連 HTTP 80 Port，都會轉送封包到 ASP.NET Core

    listen 80;

    # 可透過空白區分，綁定多個 Domain

    server_name demo.johnwu.cc example.johnwu.cc;

    location / {

        proxy_pass http://portal/;

        include /etc/nginx/conf.d/default_proxy_settings;

    }

}



# 用 HTTPS 必須要有 SSL 憑證，如果沒有要綁定 SSL 可以把下面整段移除

server {

    # 只要是透過這些 Domain 連 HTTPS 443 Port，都會轉送封包到 ASP.NET Core

    listen 443 ssl;

    server_name demo.johnwu.cc;

    ssl_certificate /etc/nginx/ssl/demo.johnwu.cc_bundle.crt;

    ssl_certificate_key /etc/nginx/ssl/demo.johnwu.cc.key;



    location / {

        proxy_pass http://portal/;

        include /etc/nginx/conf.d/default_proxy_settings;

    }

}

Nginx 重新啟動:

# 檢查 Nginx 的設定是否有誤

nginx -t



# 若沒有錯誤，即可套用

nginx -s reload