自從 8/1 起 shopunt 就呈現奇怪的現象



基本上是每日半夜12點流量暴增 (peak 到 80mb)，然後逐漸下降，到了 5~6點又慢慢爬升，直到 10 點以後就驟降

基本上，網站沒有掛掉，沒有太多Exception，LB兩台server的流量很平均，Server Diff 查也沒有過多的Session
可以排除被攻擊的可能性

為了找問題，只好從 IIS Log著手......
1. 首先，查詢12點有甚麼網頁或網址異常多點擊數，並且比較 11 點與 12點兩者差異，結果都沒有任何異常
    卻意外發現有家廣告合作廠商半夜會來抓產品圖，只是這個流量不大，發生點也不是在12點整，不是兇手
2. 起先因為 IIS log 沒有設定 sc-bytes 這個屬性，只有 time-taken 屬性，發現有些圖片 load 的特別久，但還是無法確定問題，所以想說把 sc-bytes 加到 IIS log 再來觀察
3. 加了 sc-bytes 之後的 IIS log，才發現驚人的事實，有幾張圖片竟然高達好幾MB，最大張是放在周年慶的 landing 圖片，竟高達 7.8MB



光1小時，一張圖片吃掉 8.6GB 的量，換算平均值約 13 mb/sec , OMG!
趕緊請設計把圖片換掉

只是這樣，還是有一個奇怪現象，為何半夜12點流量暴增，早上 10 點流量驟減?


這是禍首最大張圖片的點擊數統計(時間是GMT，16是半夜12點, 15是晚上11點)，
就跟流量圖一樣，00~10 點擊數很高，其他時間很低
下面是這張圖片所屬頁面的點擊數統計 (/tch/fixpage.aspx?id=689)



從圖片點擊數看來，我以為是 ISP 某種 transparent proxy cache 發揮作用 (半夜 00~10點關閉 所以流量增加)，
但是看到 fixpage.aspx 的點擊數也是一樣的狀況，我就不知道該怎麼解釋了??
ISP transparent proxy 也會處理 *.aspx ?? 

還是回歸到最基本的原因，網站的廣告曝光量是 00~10點最高??

 

用了大概一年半的 git flow(是 git 的一種開發規範) ，最近才開始有一點領會到分散式的精神，
先簡單比較一下，在開發新功能上 集中式與分散式的差別

SVN(集中式): 
從 SVN Server Update到最新的版本 ->
開始照著需求修改程式 ->
遇到程式被鎖住請他unlock ->
繼續開發 ->
開發完成把 修改過的程式 commit 到 SVN Server 上

git(分散式): git flow
先從server 上的 repository 拉下最新的版本 到自己的 repository
(這邊很不一樣 git 會有一個主要的repository 然後開發端又有自己的) ->
建立一個新的Branch來作為開發用 ->
開發程式(不會去Server 上確認是有人在改相同的程式) ->
開發完 commit 到自己的local端的 repository ->
送一個合併 Branch 的需求 ->
管理的人做 Code Review 然後把開發的新分支合併

優缺點:
集中式從頭到尾都只有 1 個 repository，確保了所有人的程式都是同一個版本，
如果現在有兩個新的 feature 都要改同一支程式，就必須先後開發的必要，或是
日後做 merge 的動作，但集中式的設計，並不強迫我們做 code review 的動作
，所以要解決 conflict 時會額外耗時也抗拒。

或是我同時要開發兩個新功能，在集中式管理，我們勢必會包一包一起commit，
但在git flow 上就會開兩個 branch，在未來我們更容易了解整個開發歷史。

git flow 使用經驗中，獲得最多的其實是 Code Review 的過程，Code Review
大家會更能接受自己的做法被質疑，從討論中得到更簡易解法，進而改善整個專案
的品質和可維護性，同時可以降低duplicate code 的情況。 
 
更重要的了解 git 後，可以在 github 上面跟全世界的人一起開發(雖然我沒機會到共
同開發其他專案)，有更通用的 naming convention，更多解決方案工具。

最近把 shopunt 網站重啟的Log加上，發現網站有兩次時無預警的重啟
但是沒有exception log, 於是去看系統的 Event log, 發現出現以下的錯誤

應用程式: w3wp.exe

Framework 版本: v4.0.30319

描述: 處理序已終止，因為有未處理的例外狀況。

例外狀況資訊: System.Exception

堆疊:

於 UW.SQL.DTFromSQL(System.String, System.String)

於 UW.SQL.DTFromSQL(System.String, System.Data.SqlClient.SqlConnection ByRef, Boolean)

於 SHOPUNT.DB.Product.RebuildNotStopProducDT()

於 System.Threading.ExecutionContext.runTryCode(System.Object)

於 System.Runtime.CompilerServices.RuntimeHelpers.ExecuteCodeWithGuaranteedCleanup(TryCode, CleanupCode, System.Object)

於 System.Threading.ExecutionContext.Run(System.Threading.ExecutionContext, System.Threading.ContextCallback, System.Object, Boolean)

於 System.Threading.ExecutionContext.Run(System.Threading.ExecutionContext, System.Threading.ContextCallback, System.Object)

於 System.Threading.ThreadHelper.ThreadStart()



---------------------------------------------------------------------------------------------------------------------------------------



失敗的應用程式名稱: w3wp.exe，版本: 7.5.7601.17514，時間戳記: 0x4ce7afa2

失敗的模組名稱: KERNELBASE.dll，版本: 6.1.7601.18229，時間戳記: 0x51fb1677

例外狀況碼: 0xe0434352

錯誤位移: 0x000000000000940d

失敗的處理程序識別碼: 0x57c4

失敗的應用程式開始時間: 0x01d012faf33398f8

失敗的應用程式路徑: c:\windows\system32\inetsrv\w3wp.exe

失敗的模組路徑: C:\Windows\system32\KERNELBASE.dll

報告識別碼: 90ad2f4d-7f89-11e4-8ad2-e41f13b7d81e

原因是另開 Thread 以非同步取得非停售產品的資料時 產生 sql timeout，這時網站就整個 Crash 
約兩分鐘後才重新啟動，我想雙11網站一直Crash應該跟這個有關

改善方式:
1. RebuildNotStopProducDT 要 Try Catch 不要丟 exception 直接寄 mail 就好
2. 資料庫取得 "非停售產品" 有點沒有效率，不忙時至少要跑 4 秒，資料庫一忙就會Timeout，所以應該要把確定下架且不會販售的產品設定為停售 (Is_StopSell = 'Y')，這樣至少少了2000件產品的查詢，可以秒殺

另外 .NET 4.0 有新的物件叫做 Task 可以用來處理非同步程式，也可以處理 exception 狀況，有時間的話再來改看看
 

取得CheckBoxList多選值的方式：

【未使用Linq的寫法】

       Dim values = New List(Of String)()
       For Each item As ListItem In Me.CheckBoxList1.Items
             If item.Selected Then
                  values.Add(item.Value)
             End If
       Next

       Dim result = String.Join(",", values.ToArray(Of String)())
 

【使用Linq的寫法】

               Dim result = String.Join(",", Me.CheckBoxList1.Items.Cast(Of ListItem)() _
                                   .Where(Function(x) x.Selected) _
                                   .[Select](Function(x) x.Value).ToArray())

p.s. Linq需使用.NET Framework 3.5以上的版本

半夜被老闆 Line，跟我說網頁發生錯誤，他無法看統計報表，會出現作業逾時的錯誤 我查了一下網頁程式，發現是這筆SQL指令跑太久

 Select Id, (IsNull(Total, 0) - IsNull(CouponDiscount, 0) + IsNull(CouponAdd, 0)) as Total, Buyer_Email, EN_Packing_List_Status, EN_Order_Source, En_Stock_Status, Create_Date

From V_Order_main With(Nolock)

Where Id in (select Order_Id from Ad_Trace With(NoLock) where (Parameter_Id = 14278))

AND Create_Date >= '2014/10/3' And Create_Date < '2014/10/12' 

--> 跑了50秒~ 1分鐘

 Select Id, (IsNull(Total, 0) - IsNull(CouponDiscount, 0) + IsNull(CouponAdd, 0)) as Total, Buyer_Email, EN_Packing_List_Status, EN_Order_Source, En_Stock_Status, Create_Date

From V_Order_main With(Nolock)

Where Id in (select Order_Id from Ad_Trace With(NoLock) where (Parameter_Id = 14278))

--> 拿掉日期限制 > 秒殺，  結果跑出 47 筆資料

跑一下執行計畫 原來子查詢的 Ad_Trace 沒有建立Index造成


加上 Index 之後，再跑第一支SQL --> 秒殺

奇怪的地方:
明明訂單日期欄位(Create_Date) 跟 Ad_Trace 沒有多大關係，但是加上日期限制之後，居然會引發 Ad_Trace 搜尋過久的現象
他好像是先依照訂單日期找出所有訂單，然後再從子查詢 Ad_Trace 裡面搜尋有無符合的條件訂單
而不是先跑子查詢找出 Ad_Trace 所有的 Order_Id，再去找符合 Create_Date 的訂單

SQL內部運作的機制真是有點讓人想不透，幸好有評估計畫可以看出問題在哪裡
這讓我想起以前學SQL時的一句話 => 盡量用Join來取代子查詢
使用子查詢真的是效能殺手啊

------繼續補充--------------------------------------

上面的SQL在雙11活動後，由於當日訂單過多，一樣造成SQL timeout 的現象，研判還是子查詢造成的問題

Select Id, (IsNull(Total, 0) - IsNull(CouponDiscount, 0) + IsNull(CouponAdd, 0)) as Total, Buyer_Email, EN_Packing_List_Status, EN_Order_Source, En_Stock_Status, Create_Date

From V_Order_main With(Nolock)

Where Id in (select Order_Id from Ad_Trace With(NoLock) where (Parameter_Id = 14720))

And Create_Date > '2014-11-10' And Create_Date < '2014-11-11'

--> 跑了51秒

所以先將子查詢拿出來跑出一串字串 865828,865890,865901,865903,865928,865955,865990,865993,866005,866035.....
(共1452筆)
再把他拼入sql跑   --> 7秒
 

一般在崁入youtube影片時，影片的寬高是固定的

隨著螢幕大小自動調整寬高的方式：


CSS：
.video-container {
    position: relative;
    padding-bottom: 56.25%;
    overflow: hidden;
}
 
.video-container iframe,
.video-container object,
.video-container embed {
    position: absolute;
    top: 0;
    left: 0;
    width: 100%;
    height: 100%;
}


HTML：
<div class="video-container">
    <iframe src="http://www.youtube.com/embed/dFVxGRekRSg" frameborder="0" width="560" height="315"></iframe>
</div>

這個問題與之前 reiko 提到的狀況是一樣的
http://blog.uwinfo.com.tw/auth/article/reiko/172
基本上就是 ASP.NET 無法辨別 IE11的UserAgent， 誤判他是別種瀏覽器造成

上此 hotfix 就可以解決 
http://support.microsoft.com/kb/2836939

小計：Format(Order_Main.Total_訂單層級的購物原始金額_包括產品單價的折價, "#,###,##0")
Order_Main.Total_訂單層級的購物原始金額_包括產品單價的折價 = Me.Total + Me.Deduct_Amt + Me.CouponAdd
Order_Main.Total = 當下所付的現金
Order_Main.Deduct_Amt = 當下U幣使用多少(已經除以30成為台幣了)
Order_Main.CouponAdd = 某些CouponCode會讓商品變貴，例如Global的自由選。

U幣折抵金額：Format(Order_Main.Deduct_Amt, "#,###,##0")
Order_Main.Deduct_Amt = 當下U幣使用多少(已經除以30成為台幣了)

GetE_coupon折抵金額：Format(Order_Main.CouponDiscount, "#,###,##0")
Order_Main.CouponDiscount是指訂單成立當下所有coupon加起來的金額～
如果想要知道細項，只能反查V_UsedCoupon，查看當下有哪些Couponcode有被使用。
也因為是後來才法查的，因此若是coupon設定與當下不符合，數字很可能就會對不起來了～
couponcode.IsExtraInput AndAlso oUC.CouponCode.Length > 0 
可用來判別是否需要手動輸入couponcode

折讓：Order_Main.Amount_Shortage - (Order_Main.TotalDiscount_訂單層級的折抵_不包括子訂單的折價 - Order_Main.Deduct_Amt - Order_Main.CouponDiscount)
Order_Main.TotalDiscount_訂單層級的折抵_不包括子訂單的折價 = Me.Discount + Me.Loyalty_Reward_Used + Me.Welcome_Reward_Used + Me.Deduct_Amt
折讓 = Order_Main.Amount_Shortage - (Me.Discount + Me.Loyalty_Reward_Used + Me.Welcome_Reward_Used + Me.Deduct_Amt + Me.CouponDiscount) + Order_Main.Deduct_Amt - Order_Main.CouponDiscount
折讓 = Order_Main.Amount_Shortage + Me.Discount + Me.Loyalty_Reward_Used + Me.Welcome_Reward_Used
有可能是正的～也可能是負的～
'訂單管管理頁面可以填寫 補差額 折讓 兩個欄位 http://zxp09.dev.shopunt.com.tw/Admin/Order/OrderEdit.aspx?page=1&Id=163761
'補差額是一個品項 想像成一個不會出的商品 用來讓整筆訂單變貴的方式～
 

今天在觀察 Chrome 怎麼處理網頁中的 <script type="text/javascript" src="/scripts/unt.14.04.10.19.05.42.js"></script>  時，終於明白何時才會 200 (From Cache) (unt.14.04.10.19.05.42.js 是假的，實際會被重導到 scripts.aspx 來處理。)

1. 在網址列，同網址再按一下  Enter 載入時，Chrome 會對相同的網址再次送出 request。

2. 若是點選頁面中的連結或是在網址列輸入其它網址，才有可能看到 200 (From Cache)

在情況 1 時，若是有使用 Response.Cache.SetLastModified(Now) 則會看到 304 ，否則會把 Script 重新載入一次。

所以在 Server 最佳的(我覺得)寫法是:

Response.Cache.SetCacheability(HttpCacheability.Private)

Response.Cache.SetExpires(Now.AddYears(1))  '一年後才會到期，沒有這個就不會有 200 (From Cache)

Response.Cache.SetLastModified(Now)  '若是 Browser 送出了一個新的 Request, 有可能會回 304

不過有趣的是，在 scripts.aspx 收到帶有 ​If-Modified-Since 的 Request 時，是怎麼判斷要回應 304 的，我在 .vb 裡面沒有加上這個處理吔。

從 List<T> 找出符合條件的資料

        List<DB.Member> listOfMember = new List<DB.Member>()

                { new DB.Member(15), new DB.Member(20), new DB.Member(25), new DB.Member(30) };



        // Exists: 單純看有無符合條件的資料

        bool IsMemberExists = listOfMember.Exists(x => x.Email == "darren@acaciaco.com");

        // FindIndex: 找出第一個符合條件的 index，找不到傳回 -1

        int index = listOfMember.FindIndex(x => x.Email == "darren@acaciaco.com");

        // Find: return 第一個符合條件的object, 找不到傳回 null

        DB.Member objMember = listOfMember.Find(x => x.Email.Contains("acaciaco.com"));

        // FindAll: return 所有符合條件的objects

        List<DB.Member> listOfMember2 = listOfMember.FindAll(x => x.Email.Contains("acaciaco.com"));

VB

Dim listOfMember As New List(Of DB.Member)() From { _

    New DB.Member(15), New DB.Member(20), New DB.Member(25), New DB.Member(30) }



' Exists: 單純看有無符合條件的資料

Dim IsMemberExists As Boolean = listOfMember.Exists(Function(x) x.Email = "darren@acaciaco.com")

' FindIndex: 找出第一個符合條件的 index，找不到傳回 -1

Dim index As Integer = listOfMember.FindIndex(Function(x) x.Email = "darren@acaciaco.com")

' Find: return 第一個符合條件的object, 找不到傳回 Nothing

Dim objMember As DB.Member = listOfMember.Find(Function(x) x.Email.Contains("acaciaco.com"))

' FindAll: return 所有符合條件的objects

Dim listOfMember2 As List(Of DB.Member) = listOfMember.FindAll(Function(x) x.Email.Contains("acaciaco.com"))