Post 的資料好像會變大, 要改 Web.config

<system.web>

    <httpRuntime requestValidationMode="2.0" maxRequestLength="1024000"/>

</system.web>

程式碼如下:

public string UploadFilesToRemoteUrl(string url, string[] files, NameValueCollection formFields = null)

    {

        string boundary = "----------------------------" + DateTime.Now.Ticks.ToString("x");



        HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);

        request.ContentType = "multipart/form-data; boundary=" +

                                boundary;

        request.Method = "POST";

        request.KeepAlive = true;



        Stream memStream = new System.IO.MemoryStream();



        var boundarybytes = System.Text.Encoding.ASCII.GetBytes("\r\n--" +

                                                                boundary + "\r\n");

        var endBoundaryBytes = System.Text.Encoding.ASCII.GetBytes("\r\n--" +

                                                                    boundary + "--");





        string formdataTemplate = "\r\n--" + boundary +

                                    "\r\nContent-Disposition: form-data; name=\"{0}\";\r\n\r\n{1}";



        if (formFields != null)

        {

            foreach (string key in formFields.Keys)

            {

                string formitem = string.Format(formdataTemplate, key, formFields[key]);

                byte[] formitembytes = System.Text.Encoding.UTF8.GetBytes(formitem);

                memStream.Write(formitembytes, 0, formitembytes.Length);

            }

        }



        string headerTemplate =

            "Content-Disposition: form-data; name=\"{0}\"; filename=\"{1}\"\r\n" +

            "Content-Type: application/octet-stream\r\n\r\n";



        for (int i = 0; i < files.Length; i++)

        {

            memStream.Write(boundarybytes, 0, boundarybytes.Length);

            var header = string.Format(headerTemplate, "uplTheFile", files[i]);

            var headerbytes = System.Text.Encoding.UTF8.GetBytes(header);



            memStream.Write(headerbytes, 0, headerbytes.Length);



            using (var fileStream = new FileStream(files[i], FileMode.Open, FileAccess.Read))

            {

                var buffer = new byte[1024];

                var bytesRead = 0;

                while ((bytesRead = fileStream.Read(buffer, 0, buffer.Length)) != 0)

                {

                    Response.Write("bytesRead: " + bytesRead.ToString() + "<br>");

                    memStream.Write(buffer, 0, bytesRead);

                }

            }

        }



        memStream.Write(endBoundaryBytes, 0, endBoundaryBytes.Length);

        request.ContentLength = memStream.Length;



        using (Stream requestStream = request.GetRequestStream())

        {

            memStream.Position = 0;

            byte[] tempBuffer = new byte[memStream.Length];

            memStream.Read(tempBuffer, 0, tempBuffer.Length);

            memStream.Close();

            requestStream.Write(tempBuffer, 0, tempBuffer.Length);

        }



        try

        {

            using (var response = request.GetResponse())

            {

                Stream stream2 = response.GetResponseStream();

                StreamReader reader2 = new StreamReader(stream2);

                return reader2.ReadToEnd();

            }

        }

        catch (Exception ex)

        {

            return (ex.ToString());

            throw;

        }

    }

客戶要求
1. 檔案只能放在 Firewall 內的後台用 Web server (Server A).
2. 使用者只能存取 DMZ 的 Web server (Server B).
3. Server B 只能用 HTTP 通過 Firewall 向 Server A 要資料.(i.e.  Server B 不能掛戴 Server A 的目錄成為虛擬目錄)

所以在 Server B 上面建立了一支程式用 HTTP 的方式讀取 Server A 的檔案再寫出去.

例如, http://ServerB/Upload/test.pdf 會讀取 http://ServerA/Upload/test.pdf 再送到 Client 端

namespace WWW.Controllers

{

    public class UploadController : Controller

    {

        // GET: Upload

        public void Index(string Filename)

        {

            //Create a stream for the file

            Stream stream = null;



            //This controls how many bytes to read at a time and send to the client

            int bytesToRead = 10000;



            // Buffer to read bytes in chunk size specified above

            byte[] buffer = new Byte[bytesToRead];



            string url = "http://admin-dev.nanya.bike.idv.tw/newnanyaback/Upload/" + Filename;



            // The number of bytes read

            try

            {

                //Create a WebRequest to get the file

                HttpWebRequest fileReq = (HttpWebRequest)HttpWebRequest.Create(url);



                //Create a response for this request

                HttpWebResponse fileResp = (HttpWebResponse)fileReq.GetResponse();



                if (fileReq.ContentLength > 0)

                    fileResp.ContentLength = fileReq.ContentLength;



                //Get the Stream returned from the response

                stream = fileResp.GetResponseStream();



                // prepare the response to the client. resp is the client Response

                var resp = HttpContext.Response;



                if (Filename.ToLower().EndsWith(".png") ||

                    Filename.ToLower().EndsWith(".jpg") ||

                    Filename.ToLower().EndsWith(".jpeg") ||

                    Filename.ToLower().EndsWith(".gif")

                    )

                {

                    resp.ContentType = "image";

                }

                else

                {

                    //Indicate the type of data being sent

                    resp.ContentType = "application/octet-stream";



                    //Name the file

                    resp.AddHeader("Content-Disposition", "attachment; filename=\"" + HttpUtility.UrlEncode(Filename, Encoding.UTF8) + "\"");

                }



                resp.AddHeader("Content-Length", fileResp.ContentLength.ToString());



                int length;

                do

                {

                    // Verify that the client is connected.

                    if (resp.IsClientConnected)

                    {

                        // Read data into the buffer.

                        length = stream.Read(buffer, 0, bytesToRead);



                        // and write it out to the response's output stream

                        resp.OutputStream.Write(buffer, 0, length);



                        // Flush the data

                        resp.Flush();



                        //Clear the buffer

                        buffer = new Byte[bytesToRead];

                    }

                    else

                    {

                        // cancel the download if client has disconnected

                        length = -1;

                    }

                } while (length > 0); //Repeat until no data is read

            }

            finally

            {

                if (stream != null)

                {

                    //Close the input stream

                    stream.Close();

                }

            }

        }

    }

}

但不是這樣就好了, 在 RouteConfig.cs 中要加上:
            routes.MapRoute(
                name: "Upload",
                url: "Upload/{filename}",
                defaults: new { controller = "Upload", action = "Index", filename = UrlParameter.Optional }
            );

此外在 Web.Config 中也要加上:

  <system.webServer>
    <handlers>
      <add name="UrlRoutingHandler_Upload"
           type="System.Web.Routing.UrlRoutingHandler, 
               System.Web, Version=4.0.0.0, 
               Culture=neutral, 
               PublicKeyToken=b03f5f7f11d50a3a"
           path="/Upload/*"
           verb="GET"/>
    </handlers>
  </system.webServer>

參考:
http://stackoverflow.com/questions/5596747/download-stream-file-from-url-asp-net

http://blog.darkthread.net/post-2014-12-05-mvc-routing-for-url-with-filename.aspx

找了兩三篇文章再加一點修正才組出來的,  記錄一下, 要用 iTextSharp 哦.

using System.IO;
using iTextSharp.text;
using iTextSharp.text.pdf;

---
 
            string oldFile = Server.MapPath("/Content/PDF/300000419_20160929162658862.pdf"); //"oldFile.pdf";
            string newFile = oldFile.Replace(".pdf", "_New11.pdf");

            // open the reader
            PdfReader reader = new PdfReader(oldFile);
            Rectangle size = reader.GetPageSizeWithRotation(1);
            Document document = new Document(size);
            int NumberOfPages = reader.NumberOfPages;

            // open the writer
            FileStream fs = new FileStream(newFile, FileMode.Create, FileAccess.Write);
            PdfWriter writer = PdfWriter.GetInstance(document, fs);
            document.Open();

            // the pdf content
            PdfContentByte cb = writer.DirectContent;

            string text = "Watermark...";

            string windir = Environment.GetEnvironmentVariable("windir");
            Chunk textAsChunk = new Chunk(text, new Font(BaseFont.CreateFont(windir + "\\Fonts\\mingliu.ttc,0", BaseFont.IDENTITY_H, BaseFont.NOT_EMBEDDED), 20, Font.NORMAL, new BaseColor(255,0,0)));

            // create the new page and add it to the pdf
            for (int i = 1; i<= NumberOfPages; i++)
            {
                if(i > 1)
                {
                    document.NewPage();
                }

                ColumnText.ShowTextAligned(cb, Element.ALIGN_LEFT, new Phrase(textAsChunk), 0, 0, 0);

                PdfImportedPage page = writer.GetImportedPage(reader, i);
                cb.AddTemplate(page, 0, 0);
            }

            // close the streams and voilá the file should be changed :)
            document.Close();
            fs.Close();
            writer.Close();
            reader.Close();

            Response.Write(newFile + "<br>");
            Response.Write(NumberOfPages + "<br>");

錯誤訊息如下, 完全沒有錯誤訊息, 以及沒有錯誤的程式碼位置

 <Item time="2016-01-11T05:39:01" page="/fr/iconic-bright-cushion-spf-50-pa-nude-perfection-compact-foundation/p/5490/c/30"

url="http://www.shopunt.com/fr/iconic-bright-cushion-spf-50-pa-nude-perfection-compact-foundation/p/5490/c/30?utm_source=edm&amp;utm_medium=email&amp;utm_content=20160107_cushion_4&amp;utm_campaign=makeup&amp;OutAD_Id=5825" username="Not Member" browserName="Chrome" browserVersion="34.0" userAgent="Mozilla/5.0 (Linux; Android 5.1.1; SAMSUNG SM-N915FY Build/LMY47X) AppleWebKit/537.36 (KHTML, like Gecko) SamsungBrowser/2.1 Chrome/34.0.1847.76 Mobile Safari/537.36" RemoteIP="37.160.206.7" Ref="No Ref" RequestType="GET" Ver="3">

    <ErrMsg>

    </ErrMsg>

    <ErrStack> 於 System.Web.CachedPathData.ValidatePath(String physicalPath)

於 System.Web.HttpApplication.PipelineStepManager.ValidateHelper(HttpContext context)</ErrStack>

    <Post>

    </Post>

    <Cookie>

    </Cookie>

</Item>

查了一下，原來網址後面多了空白 (%20) , 也就是 ? 前面多了空白
只是exception物件會自作聰明把他濾掉了，反而從 exception log 看不到資料
測試過，userd可以正常看網站，只是server會有不斷 excetion產生，有點煩
網路上雖有一些解法，但我想還是要求下廣告時，要注意網址問題


 

http://blog.zhusee.in/post/48857667691/jquery-deferred-object

deferred.done(callback)  #=> 成功時執行
deferred.fail(callback)  #=> 失敗時執行
deferred.progress(callback)  #=> 還在跑，但是裡面的程式使用 `.notify` 方法通知進度
deferred.always(callback)  #=> 無論成功或失敗都會執行
deferred.when(filters)  #=> 在呼叫 callback 前先處理資料，後面解釋

當所有 Deferred 都完成後，註冊在 $.when() 下面的 callback 會拿到第一個 Deferred 物件傳給 callback 的參數

var d1 = $.Deferred(), d2 = $.Deferred(),
     w = $.when(d1, d2);

  w.done(function(msg) { console.log(msg) });

  d1.resolve("Part A done");
  d2.resolve("Part B done");

  #=> "Part A done"

某台主機無法連線到 SQL Server, 看了一下 TCP Connection, 發現如下:

 
找到 WWW 大神的文章: "在 Windows 上遇到非常多 TIME_WAIT 連線時應如何處理"

http://blog.miniasp.com/post/2010/11/17/How-to-deal-with-TIME_WAIT-problem-under-Windows.aspx

執行了以下指令:

reg add "HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\services\Tcpip\Parameters" /v "TcpTimedWaitDelay" /t REG_DWORD /d 30 /f

重開主機後, 目前 OK, 觀察中..



 

自從 8/1 起 shopunt 就呈現奇怪的現象



基本上是每日半夜12點流量暴增 (peak 到 80mb)，然後逐漸下降，到了 5~6點又慢慢爬升，直到 10 點以後就驟降

基本上，網站沒有掛掉，沒有太多Exception，LB兩台server的流量很平均，Server Diff 查也沒有過多的Session
可以排除被攻擊的可能性

為了找問題，只好從 IIS Log著手......
1. 首先，查詢12點有甚麼網頁或網址異常多點擊數，並且比較 11 點與 12點兩者差異，結果都沒有任何異常
    卻意外發現有家廣告合作廠商半夜會來抓產品圖，只是這個流量不大，發生點也不是在12點整，不是兇手
2. 起先因為 IIS log 沒有設定 sc-bytes 這個屬性，只有 time-taken 屬性，發現有些圖片 load 的特別久，但還是無法確定問題，所以想說把 sc-bytes 加到 IIS log 再來觀察
3. 加了 sc-bytes 之後的 IIS log，才發現驚人的事實，有幾張圖片竟然高達好幾MB，最大張是放在周年慶的 landing 圖片，竟高達 7.8MB



光1小時，一張圖片吃掉 8.6GB 的量，換算平均值約 13 mb/sec , OMG!
趕緊請設計把圖片換掉

只是這樣，還是有一個奇怪現象，為何半夜12點流量暴增，早上 10 點流量驟減?


這是禍首最大張圖片的點擊數統計(時間是GMT，16是半夜12點, 15是晚上11點)，
就跟流量圖一樣，00~10 點擊數很高，其他時間很低
下面是這張圖片所屬頁面的點擊數統計 (/tch/fixpage.aspx?id=689)



從圖片點擊數看來，我以為是 ISP 某種 transparent proxy cache 發揮作用 (半夜 00~10點關閉 所以流量增加)，
但是看到 fixpage.aspx 的點擊數也是一樣的狀況，我就不知道該怎麼解釋了??
ISP transparent proxy 也會處理 *.aspx ?? 

還是回歸到最基本的原因，網站的廣告曝光量是 00~10點最高??

 

又發現新說法

我們在 front-end 做 scroll event的監聽的時候很常會過度的觸發要執行的事情，因此導致效能不太佳，
我們需要的是固定頻率執行某個function ， 這個原來叫 throttle

另外一種狀況像是autocomplete，不需要每一個keyup 都去ajax 去backend 抓資料回來，所以我們過去，
設一個變數去記住setTimeout 回傳回來的數字，如果下一次的keyup 發生在預設的時間內就去把 setTimeout清掉。
原來這種做法，有一個稱呼叫 debounce

不過jQuery 沒有內建這兩個function。這樣在複雜的 js 中增加易讀性。

MS SQL 最小的 DateTime 是 1753-01-01
SqlDateTime.MinValue = 1753-01-01 00:00:00
DateTime.MinValue = 0001-01-01 00:00:00

如果要將時間塞入 DB 千萬不要小於 1753-01-01
-------------------------------------------------------
UW.DB 物件會將 null datetime 轉成 DateTime.MinValue
但再塞入 DB 時應該要將 DateTime.MinValue 換成 null 或是 SqlDateTime.MinValue
才不會出錯
 

最近把 shopunt 網站重啟的Log加上，發現網站有兩次時無預警的重啟
但是沒有exception log, 於是去看系統的 Event log, 發現出現以下的錯誤

應用程式: w3wp.exe

Framework 版本: v4.0.30319

描述: 處理序已終止，因為有未處理的例外狀況。

例外狀況資訊: System.Exception

堆疊:

於 UW.SQL.DTFromSQL(System.String, System.String)

於 UW.SQL.DTFromSQL(System.String, System.Data.SqlClient.SqlConnection ByRef, Boolean)

於 SHOPUNT.DB.Product.RebuildNotStopProducDT()

於 System.Threading.ExecutionContext.runTryCode(System.Object)

於 System.Runtime.CompilerServices.RuntimeHelpers.ExecuteCodeWithGuaranteedCleanup(TryCode, CleanupCode, System.Object)

於 System.Threading.ExecutionContext.Run(System.Threading.ExecutionContext, System.Threading.ContextCallback, System.Object, Boolean)

於 System.Threading.ExecutionContext.Run(System.Threading.ExecutionContext, System.Threading.ContextCallback, System.Object)

於 System.Threading.ThreadHelper.ThreadStart()



---------------------------------------------------------------------------------------------------------------------------------------



失敗的應用程式名稱: w3wp.exe，版本: 7.5.7601.17514，時間戳記: 0x4ce7afa2

失敗的模組名稱: KERNELBASE.dll，版本: 6.1.7601.18229，時間戳記: 0x51fb1677

例外狀況碼: 0xe0434352

錯誤位移: 0x000000000000940d

失敗的處理程序識別碼: 0x57c4

失敗的應用程式開始時間: 0x01d012faf33398f8

失敗的應用程式路徑: c:\windows\system32\inetsrv\w3wp.exe

失敗的模組路徑: C:\Windows\system32\KERNELBASE.dll

報告識別碼: 90ad2f4d-7f89-11e4-8ad2-e41f13b7d81e

原因是另開 Thread 以非同步取得非停售產品的資料時 產生 sql timeout，這時網站就整個 Crash 
約兩分鐘後才重新啟動，我想雙11網站一直Crash應該跟這個有關

改善方式:
1. RebuildNotStopProducDT 要 Try Catch 不要丟 exception 直接寄 mail 就好
2. 資料庫取得 "非停售產品" 有點沒有效率，不忙時至少要跑 4 秒，資料庫一忙就會Timeout，所以應該要把確定下架且不會販售的產品設定為停售 (Is_StopSell = 'Y')，這樣至少少了2000件產品的查詢，可以秒殺

另外 .NET 4.0 有新的物件叫做 Task 可以用來處理非同步程式，也可以處理 exception 狀況，有時間的話再來改看看