日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

IIS上SignalR連接數(shù)過載導(dǎo)致API阻塞?排查與解決方案

IIS上SignalR連接數(shù)過載導(dǎo)致API阻塞?排查與解決方案 這個(gè)標(biāo)題里的現(xiàn)象我印象太深了。之前幫朋友排查一個(gè)部署在 Windows Server 上的 .NET Core 項(xiàng)目項(xiàng)目里掛了 SignalR 做實(shí)時(shí)通知結(jié)果只要在線客戶端數(shù)量到 10 個(gè)左右Web API 的請求就全部卡住轉(zhuǎn)圈轉(zhuǎn)到超時(shí)。一開始我還以為是代碼里有死鎖后來才發(fā)現(xiàn)問題出在 IIS、SignalR 和 ASP.NET Core 并發(fā)模型這三者的配合上。如果你也遇到類似情況建議先別急著改業(yè)務(wù)代碼這篇文章我會把整個(gè)排查過程和解決方案拆開講清楚為什么 10 個(gè)連接會成為臨界點(diǎn)、怎么確認(rèn)當(dāng)前 SignalR 到底走的什么傳輸模式、IIS 上需要做什么配置以及代碼里哪些隱藏坑會直接放大這個(gè)問題。1. 故障現(xiàn)象與問題定位1.1 現(xiàn)象描述在線連接數(shù)一到 10 個(gè)左右API 全部轉(zhuǎn)圈先還原一下現(xiàn)場。項(xiàng)目是標(biāo)準(zhǔn)的前后端分離架構(gòu)后端是 ASP.NET Core Web API部署在 Windows Server 的 IIS 上前端通過 SignalR 客戶端接收服務(wù)端推送的消息。項(xiàng)目剛發(fā)布時(shí)一切正常但運(yùn)行一段時(shí)間后只要 SignalR 的在線連接數(shù)達(dá)到 10 個(gè)左右再發(fā)起任何一個(gè) Web API 請求瀏覽器端就會一直處于 pending 狀態(tài)直到 IIS 返回 504 或 503。這個(gè)現(xiàn)象有幾個(gè)非常明顯的特征SignalR 連接本身沒有立刻斷開客戶端顯示已連接。新的 HTTP 請求進(jìn)不來但已經(jīng)建立的連接還能維持一段時(shí)間。重啟 IIS 應(yīng)用程序池之后系統(tǒng)短暫恢復(fù)但連接數(shù)再次上來后又開始卡。卡住的時(shí)間不固定有時(shí)幾十秒有時(shí)直接超時(shí)。這種“連接數(shù)一到某個(gè)量級就整體阻塞”的現(xiàn)象很容易讓人誤判成數(shù)據(jù)庫連接池耗盡或者某個(gè) Redis 連接問題。但仔細(xì)觀察會發(fā)現(xiàn)即使是不查數(shù)據(jù)庫的靜態(tài)接口也卡住說明問題出在更底層的 HTTP 請求處理鏈路上而不是某個(gè)具體業(yè)務(wù)模塊。1.2 最先想到的檢查項(xiàng)排除死鎖和接口慢查詢遇到這種問題我第一反應(yīng)是排查代碼里有沒有同步阻塞比如在 async 方法里用了 .Result 或者 .Wait()。因?yàn)?SignalR 的 Hub 方法和 Web API 是跑在同一個(gè)進(jìn)程里的如果某個(gè) Hub 方法里有同步阻塞調(diào)用線程池線程會被快速耗盡新請求自然進(jìn)不來。我先做了三件事用日志記錄每個(gè)請求的進(jìn)入時(shí)間和離開時(shí)間看是根本沒進(jìn)來還是進(jìn)來了但處理很慢。把數(shù)據(jù)庫、Redis 等外部依賴全部暫時(shí)屏蔽測一個(gè)純內(nèi)存返回的接口看是否還會卡。檢查所有 Service 注冊的生命周期確認(rèn)沒有把 DbContext 這種 Scoped 服務(wù)錯(cuò)誤注冊成 Singleton導(dǎo)致并發(fā)競爭。結(jié)果出乎意料純內(nèi)存接口在連接數(shù)上來之后照樣卡。也就是說問題不在這幾個(gè)常見坑里而是 IIS 和 SignalR 之間的請求處理方式出了問題。1.3 明確的排查方向SignalR 的傳輸模式當(dāng)排除了業(yè)務(wù)代碼后我把目光放到了 SignalR 的傳輸機(jī)制上。SignalR 為了兼容不同環(huán)境默認(rèn)支持三種傳輸方式WebSocket、Server-Sent EventsSSE、Long Polling。這里有一個(gè)很關(guān)鍵的知識點(diǎn)并不是所有部署環(huán)境都能真正走 WebSocket。SignalR 客戶端啟動時(shí)會先發(fā)一個(gè) negotiate 請求然后根據(jù)服務(wù)器返回的能力和當(dāng)前網(wǎng)絡(luò)環(huán)境選擇最優(yōu)傳輸方式。如果 IIS 上沒裝 WebSocket Protocol 功能或者中間有代理/負(fù)載均衡器沒有正確轉(zhuǎn)發(fā) Upgrade 頭SignalR 就會自動回退到 SSE 或 Long Polling。而 SSE 和 Long Polling 有一個(gè)致命問題每一個(gè)在線客戶端都會長期占住一個(gè) HTTP 請求不釋放。服務(wù)端處理這些請求需要占用線程或異步連接當(dāng)連接數(shù)量達(dá)到一定臨界值后剩余的處理能力就無法響應(yīng)新的 API 請求了。這就解釋了為什么看起來像是“10 個(gè)連接之后開始阻塞”——實(shí)際上這取決于服務(wù)器配置的并發(fā)上限、CPU 核數(shù)、線程池初始線程數(shù)等因素10 只是一個(gè)常見臨界值。2. 為什么 10 個(gè)連接就能把請求堵死核心原理拆解2.1 IIS 托管 .NET Core 的請求處理模型要理解阻塞的根因必須先知道 .NET Core 應(yīng)用發(fā)布到 IIS 后請求是怎么流動的。當(dāng)前主流的部署方式是進(jìn)程內(nèi)托管In-Process也就是說 ASP.NET Core 應(yīng)用直接跑在 IIS 的應(yīng)用程序池工作進(jìn)程里IIS 接收到 HTTP 請求后直接交給應(yīng)用內(nèi)的 Kestrel 服務(wù)器處理不再經(jīng)過一個(gè)獨(dú)立的 Kestrel 進(jìn)程。進(jìn)程內(nèi)托管的好處是性能更好少一次進(jìn)程間通信。但它也意味著應(yīng)用和 IIS 共享同一個(gè)進(jìn)程的資源包括線程池。IIS 本身對并發(fā)請求是有隊(duì)列管理的應(yīng)用程序池有一個(gè)“隊(duì)列長度”參數(shù)默認(rèn)是 1000。也就是說如果請求處理不過來新請求會在 IIS 隊(duì)列里排隊(duì)而不是直接進(jìn)到應(yīng)用代碼里。但這里要注意IIS 的隊(duì)列長度默認(rèn) 1000理論上不會在 10 個(gè)連接時(shí)就爆掉。真正的瓶頸出現(xiàn)在 ASP.NET Core 的線程池和 SignalR 連接模型之間的沖突上。2.2 SignalR 的三種傳輸方式與連接占用差異SignalR 的三種傳輸方式對連接資源的占用是完全不同的WebSocket一次 HTTP 握手后協(xié)議升級為長連接數(shù)據(jù)雙向?qū)崟r(shí)傳輸。這種連接不占用 HTTP 請求處理線程對服務(wù)器壓力最小。Server-Sent Events服務(wù)器向客戶端單向推送客戶端通過 EventSource 接收。服務(wù)器會保持一個(gè) HTTP 響應(yīng)連接長期不關(guān)閉每個(gè)客戶端占一個(gè)請求槽。Long Polling客戶端發(fā)一個(gè)請求服務(wù)器有消息就立即返回沒消息就掛住等有消息或超時(shí)后再返回客戶端收到后立刻發(fā)起下一個(gè)請求。這種模式下每個(gè)客戶端在任何時(shí)刻也至少會有一個(gè)掛起的 HTTP 請求。麻煩就出在后兩種模式。如果 SignalR 因?yàn)槟撤N原因沒有升級到 WebSocket而是回退到了 SSE 或 Long Polling那么每一個(gè)在線客戶端就相當(dāng)于一個(gè)永不結(jié)束的 HTTP 請求。在 ASP.NET Core 中這種長時(shí)間掛起的請求會占用線程池的可用線程。雖然異步請求不會一直占著線程不放但 SignalR 在處理消息調(diào)度、連接生命周期等邏輯時(shí)仍然需要線程池分配線程來執(zhí)行回調(diào)。一旦這種半掛起的任務(wù)數(shù)量多了線程池就會進(jìn)入“饑餓”狀態(tài)。2.3 線程池饑餓真正壓垮系統(tǒng)的最后一根稻草.NET 的線程池有一個(gè)動態(tài)調(diào)節(jié)機(jī)制。它會根據(jù)任務(wù)的到達(dá)速率和完成速率自動增加或減少線程數(shù)。增加線程是有成本的需要消耗 CPU 和內(nèi)存所以線程池有一定的“惰性”。當(dāng)任務(wù)量突然增大且部分任務(wù)長時(shí)間不完成時(shí)線程池會嘗試每 500 毫秒左右增加一個(gè)線程。聽起來好像問題不大但如果你的 SignalR 連接模式是 SSE 或 Long Polling這些連接會把線程池的“活躍請求數(shù)”撐起來但每個(gè)請求都不結(jié)束。線程池判斷系統(tǒng)仍然繁忙于是不斷加線程直到線程數(shù)達(dá)到上限。而線程數(shù)到達(dá)上限后新進(jìn)來的 API 請求會進(jìn)入線程池的全局隊(duì)列。上面說的是理論上最典型的情況還有一個(gè)容易被忽略的技術(shù)細(xì)節(jié)線程池的“最小線程數(shù)”。默認(rèn)情況下.NET 線程池的最小線程數(shù)通常等于 CPU 核心數(shù)。如果一個(gè)部署環(huán)境是 4 核甚至 2 核那么最小線程數(shù)很低一旦連接數(shù)稍微上來一點(diǎn)線程池就很容易進(jìn)入饑餓策略。實(shí)際上線程池饑餓時(shí)不一定真的加不上線程而是加線程的速度趕不上請求堆積的速度。加上很多開發(fā)者在 Hub 方法里習(xí)慣性地寫了同步代碼比如用 HttpClient 的 .Result、用 Thread.Sleep、用 lock(obj)這會讓線程被真正占用而不是異步掛起進(jìn)一步加速線程池耗盡。2.4 為什么臨界點(diǎn)看起來是“10 個(gè)連接”而不是其他數(shù)字很多人在排查時(shí)會糾結(jié)“為什么是 10”甚至去 IIS 配置里找有沒有哪項(xiàng)限制是 10。我排查過不少案例得出的結(jié)論是10 并不是 IIS 寫死的數(shù)字而是你的服務(wù)器資源、線程池配置和應(yīng)用代碼共同決定的臨界值??梢宰鲆粋€(gè)簡單推算假設(shè)服務(wù)器 CPU 是 2 核線程池默認(rèn)最小線程數(shù)可能就是 2。當(dāng)有 10 個(gè) SignalR 客戶端在線且每個(gè)客戶端因?yàn)閭鬏斈J交赝硕急3种粋€(gè) SSE 或 Long Polling 請求這時(shí)候線程池里至少有 10 個(gè)長期掛起的異步操作。如果其中一部分 Hub 方法還做了同步阻塞調(diào)用那么真正能用來處理新請求的線程可能已經(jīng)所剩無幾。新請求進(jìn)來后排隊(duì)等待表現(xiàn)得就像被“阻塞”了一樣。所以重點(diǎn)不是去找一個(gè)隱藏的 10 連接上限而是先確認(rèn)你的 SignalR 在 IIS 上到底走了哪種傳輸模式如果走的是 WebSocket10 個(gè)長連接根本不叫事如果走的是 SSE 或 Long Polling50 個(gè)、100 個(gè)連接遲早會暴露問題。2.5 另一個(gè)隱藏因素ASP.NET Core 版本和托管模式差異不同版本的 ASP.NET Core 在 IIS 上的并發(fā)行為也有差別。比如 .NET Core 3.1 到 .NET 6、.NET 8雖然整體模型一致但在 ThreadPool 的默認(rèn)策略和 ANCM 的轉(zhuǎn)發(fā)細(xì)節(jié)上會有微調(diào)。另外如果你的部署選擇了進(jìn)程外托管Out-Of-Process請求會先經(jīng)過 IIS再由 ANCM 轉(zhuǎn)發(fā)給獨(dú)立的 Kestrel 進(jìn)程。這種模式下IIS 和 Kestrel 之間有額外的進(jìn)程間通信開銷同時(shí) IIS 的一些機(jī)制可能會在傳輸升級時(shí)產(chǎn)生額外的握手消耗也會影響連接臨界值。如果你不確定自己項(xiàng)目是進(jìn)程內(nèi)還是進(jìn)程外托管最簡單的方法是看 web.config 里的 aspNetCore 節(jié)點(diǎn)。hostingModelinprocess 就是進(jìn)程內(nèi)hostingModeloutofprocess 就是進(jìn)程外。3. 排查實(shí)錄從復(fù)現(xiàn)到定位的完整過程3.1 第一步復(fù)現(xiàn)問題并確認(rèn)連接方式和數(shù)量排查任何這類問題復(fù)現(xiàn)是第一位的。我寫了一個(gè)簡單的 SignalR 客戶端模擬器循環(huán)創(chuàng)建 30 個(gè)連接連接到目標(biāo) Hub。每建立一個(gè)連接就調(diào)用一次 Web API觀察是否出現(xiàn)阻塞。復(fù)現(xiàn)的同時(shí)在瀏覽器開發(fā)者工具里查看 SignalR 的 negotiate 請求和后續(xù)請求協(xié)議。如果能看到 101 Switching Protocols說明走的是 WebSocket。如果看不到而是一直有狀態(tài)為 pending 的 GET 請求那基本可以確定走的是 SSE 或 Long Polling。如果項(xiàng)目是 C# 客戶端還可以在 HubConnectionBuilder 里直接指定傳輸方式來做對照試驗(yàn)var connection new HubConnectionBuilder() .WithUrl(https://your-server/notificationHub, options { options.Transports HttpTransportType.WebSockets; options.SkipNegotiation true; }) .WithAutomaticReconnect() .Build();注意SkipNegotiation 只有在你明確使用 WebSocket 傳輸時(shí)才可以使用。如果服務(wù)器端不支持 WebSocket這種寫法會直接拋異常而不是自動回退。這在排查時(shí)非常有用如果指定了 WebSocket 后全部連接失敗說明問題就出在 WebSocket 握手鏈路不通。我在那個(gè)項(xiàng)目里做了同樣的驗(yàn)證發(fā)現(xiàn)客戶端指定 WebSocket 傳輸后連接全部失敗。再回頭查 IIS 功能果然WebSocket Protocol 沒有安裝。問題到這里已經(jīng)鎖定了八成。3.2 第二步檢查 IIS 的 WebSocket Protocol 功能Windows Server 上 IIS 默認(rèn)不會安裝所有功能模塊。WebSocket Protocol 屬于“應(yīng)用程序開發(fā)”類別下的一個(gè)子功能如果在安裝 IIS 時(shí)沒有手動勾選默認(rèn)是缺失的??梢杂?PowerShell 檢查當(dāng)前是否安裝了 WebSocket ProtocolGet-WindowsFeature Web-WebSockets如果 Installed 狀態(tài)是 False說明 IIS 缺少 WebSocket 支持。安裝命令也很簡單Install-WindowsFeature Web-WebSockets安裝完成后建議重啟 IISiisreset這里有一個(gè)容易踩的坑WebSocket Protocol 的安裝可能需要重啟服務(wù)器或者至少重啟 IIS 服務(wù)才能生效。如果只裝了功能不重啟SignalR 握手仍然可能失敗。3.3 第三步用 dotnet-counters 觀察線程池狀態(tài)為了拿到更直接的數(shù)據(jù)我使用了 dotnet-counters 這個(gè)診斷工具。如果你的服務(wù)器上還沒裝可以先安裝dotnet tool install --global dotnet-counters然后找到應(yīng)用進(jìn)程 ID開始監(jiān)控線程池和 CPU 狀態(tài)dotnet-counters monitor --process-id PID --counters System.Runtime重點(diǎn)關(guān)注這幾個(gè)指標(biāo)ThreadPool Thread Count線程池當(dāng)前線程數(shù)、ThreadPool Queue Length線程池隊(duì)列長度、CPU UsageCPU 使用率。在復(fù)現(xiàn)阻塞時(shí)觀察到的現(xiàn)象往往是線程池線程數(shù)在不停上漲但隊(duì)列長度也在增長CPU 使用率卻不高。這說明系統(tǒng)不是忙到算不過來而是有大量線程被“卡住”了典型特征就是線程饑餓。如果 ThreadPool Queue Length 持續(xù)高于 0而 Thread Count 已經(jīng)達(dá)到一個(gè)較高值比如幾百幾乎可以斷定代碼或信號連接中存在著長時(shí)間占用線程的操作。3.4 第四步開啟 stdout 日志確認(rèn) ANCM 的報(bào)錯(cuò)信息在 IIS 上排查 ASP.NET Core 問題一個(gè)很大的困惑是應(yīng)用崩潰或連接異常時(shí)錯(cuò)誤信息不會直接顯示在瀏覽器里而是被 ANCMASP.NET Core Module吞掉了。這時(shí)候可以臨時(shí)開啟 stdout 日志來看 ANCM 層面的錯(cuò)誤。在 web.config 中修改 aspNetCore 節(jié)點(diǎn)aspNetCore processPathdotnet arguments.\YourApp.dll stdoutLogEnabledtrue stdoutLogFile.\logs\stdout hostingModelinprocess environmentVariables environmentVariable nameASPNETCORE_ENVIRONMENT valueDevelopment / /environmentVariables /aspNetCore注意保存 web.config 后 IIS 會自動重啟應(yīng)用這個(gè)特性有時(shí)候很貼心有時(shí)候也會造成連接閃斷。開啟日志后讓問題復(fù)現(xiàn)一次再去 logs 目錄下查看最新的 stdout 日志。日志里可能不會直接寫“WebSocket 不可用”但往往能看到連接被拒絕或升級失敗的相關(guān)記錄。另外如果你有 Failed Request Tracing 的權(quán)限也可以配置一條跟蹤規(guī)則專門監(jiān)聽 HTTP 500 和 HTTP 502 請求能夠看到更詳細(xì)的內(nèi)部錯(cuò)誤鏈。對于長期運(yùn)行的生產(chǎn)環(huán)境我建議在 Web.config 里保留 stdoutLogEnabledfalse改成按需開啟避免日志文件暴漲占用磁盤空間。3.5 第五步查看應(yīng)用池的隊(duì)列長度與回收策略如果 WebSocket 已經(jīng)安裝了、代碼也確認(rèn)沒有明顯的同步阻塞問題仍然存在那就要看 IIS 應(yīng)用程序池的配置了。在 IIS 管理器中右鍵應(yīng)用程序池選擇“高級設(shè)置”會看到幾個(gè)關(guān)鍵參數(shù)隊(duì)列長度Queue Length默認(rèn) 1000。如果請求堆積超過這個(gè)數(shù)IIS 會直接返回 503。最大工作進(jìn)程數(shù)Maximum Worker Processes默認(rèn) 1。如果你的應(yīng)用配置成了多個(gè)需要額外注意會話一致性和 SignalR 跨進(jìn)程消息的問題。SignalR 默認(rèn)是無粘性的多個(gè)進(jìn)程時(shí)需要用 Redis Backplane 之類的方式同步消息?;厥諘r(shí)間Regular Time Interval默認(rèn) 1740 分鐘即 29 小時(shí)。但如果你在代碼里手動調(diào)用了 GC.Collect 或某些特殊操作應(yīng)用池回收也會造成連接全斷。對于 SignalR 場景不要在應(yīng)用池上開啟“重疊回收”因?yàn)?SignalR 連接在回收期間會全部斷開客戶端雖然會自動重連但會產(chǎn)生一次明顯的消息丟失窗口。合理的做法是把應(yīng)用池回收時(shí)間改到凌晨低峰期或者設(shè)置成根據(jù)虛擬內(nèi)存/私有內(nèi)存使用量來回收。3.6 第六步代碼里的靜態(tài)全局狀態(tài)排查線程池饑餓還有一個(gè)不太容易察覺的原因SignalR Hub 中使用了靜態(tài)變量或靜態(tài)集合并且沒有加鎖。比如一個(gè)在線用戶列表如果是用靜態(tài) Dictionary 維護(hù)多個(gè)連接同時(shí)寫入時(shí)會造成競爭。下面這種寫法在并發(fā)下很危險(xiǎn)public class NotificationHub : Hub { private static readonly Dictionarystring, string _connections new(); public override async Task OnConnectedAsync() { _connections[Context.ConnectionId] Context.UserIdentifier; await base.OnConnectedAsync(); } }如果寫入時(shí)沒有線程安全的保護(hù)可能在低并發(fā)時(shí)沒問題但到一定并發(fā)量后觸發(fā)內(nèi)部哈希碰撞或擴(kuò)容問題導(dǎo)致請求卡住。這個(gè)和 IIS 無關(guān)但會疊加在 SignalR 的并發(fā)問題上讓系統(tǒng)看起來更早到達(dá)臨界點(diǎn)。建議要么使用 ConcurrentDictionary要么給字典操作加鎖。這里用 ConcurrentDictionary 就行private static readonly ConcurrentDictionarystring, string _connections new();排查這一步時(shí)可以在靜態(tài)變量的寫入邏輯處加日志觀察阻塞發(fā)生時(shí)這些靜態(tài)操作是否耗時(shí)異常。4. 解決方案從 IIS 配置到代碼改造的完整落地4.1 優(yōu)先保證 SignalR 走 WebSocket而不是降級到 SSE解決這個(gè)問題的第一優(yōu)先級是讓 SignalR 盡可能使用 WebSocket。只要傳輸模式是 WebSocket就不會出現(xiàn)“每個(gè)客戶端占住一個(gè) HTTP 請求”的情況后面講的很多配置優(yōu)化才真正有意義。服務(wù)端確保支持 WebSocket 的代碼很簡單。在 Program.cs 或 Startup.cs 中需要顯式調(diào)用 UseWebSocketsvar builder WebApplication.CreateBuilder(args); builder.Services.AddSignalR(); var app builder.Build(); app.UseWebSockets(); app.MapHubNotificationHub(/notificationHub); app.Run();這里有一個(gè)順序問題UseWebSockets 必須放在 UseRouting 之后、MapHub 之前調(diào)用同時(shí)要放在任何可能短路請求的中間件之前比如身份驗(yàn)證中間件通常要放在它之前否則有些請求在驗(yàn)證時(shí)就被攔截了。4.2 安裝并驗(yàn)證 IIS 的 WebSocket 支持前文已經(jīng)提到安裝命令這里再整理一遍圖形化操作路徑打開“服務(wù)器管理器”。點(diǎn)擊“添加角色和功能”。選擇“基于角色或基于功能的安裝”。在“Web 服務(wù)器IIS”下展開“Web 服務(wù)器” - “應(yīng)用程序開發(fā)”。勾選“WebSocket 協(xié)議”。完成安裝后執(zhí)行 iisreset。安裝完成后可以用握手測試確認(rèn) WebSocket 已經(jīng)啟用。最直接的方式是通過瀏覽器的開發(fā)者工具觀察 SignalR 連接是否返回 101 狀態(tài)碼。如果項(xiàng)目不是托管在默認(rèn)站點(diǎn)下而是部署在虛擬目錄或使用 https 協(xié)議要確認(rèn) WebSocket 的升級請求能正常到達(dá)應(yīng)用而不是被 URL Rewrite 等規(guī)則攔截了。4.3 調(diào)整線程池最小線程數(shù)提升系統(tǒng)抗突發(fā)能力即使解決了 WebSocket 支持我仍然不建議跳過線程池優(yōu)化。因?yàn)?SignalR 的消息調(diào)度、心跳檢測、斷線重連等機(jī)制仍然會異步地使用線程池。生產(chǎn)環(huán)境中偶爾的線程池饑餓可能不表現(xiàn)為“10 連接就阻塞”而是表現(xiàn)為“高峰期 CPU 不高但接口響應(yīng)極慢”。可以在應(yīng)用啟動早期調(diào)整線程池最小線程數(shù)。我會在 Program.cs 的 Main 方法最開始處加這樣一段ThreadPool.GetMinThreads(out int workerThreads, out int ioThreads); ThreadPool.SetMinThreads(workerThreads 100, ioThreads 100);這段代碼的意思是把線程池最小工作線程數(shù)和 IO 線程數(shù)各增加 100。這里的 100 不是固定標(biāo)準(zhǔn)值而是根據(jù)實(shí)際并發(fā)量來估算的。如果你的 SignalR 同時(shí)在線連接在 2000 以內(nèi)加 100 已經(jīng)能有效緩解饑餓如果更高建議做壓測來找到更適合的值。但要注意不要一次性把最小線程數(shù)調(diào)得過大比如直接設(shè)成 1000。線程池的最小線程數(shù)決定了系統(tǒng)在請求峰值到來時(shí)能多快創(chuàng)建線程。設(shè)得太大意味著程序一啟動就會創(chuàng)建大量線程白白消耗內(nèi)存設(shè)得太小則在高并發(fā)時(shí)線程池會花時(shí)間慢慢加線程表現(xiàn)為響應(yīng)時(shí)間一路上升。4.4 用配置來強(qiáng)制 SignalR 只走 WebSocket可選方案如果在你的業(yè)務(wù)場景里客戶端環(huán)境完全可控比如是自家公司的內(nèi)部系統(tǒng)、PC 端瀏覽器統(tǒng)一為現(xiàn)代瀏覽器可以考慮強(qiáng)制 SignalR 只使用 WebSocket這樣可以從根上消除 SSE 和 Long Polling 造成的請求占用問題。服務(wù)端在 MapHub 之前加一個(gè)檢查中間件app.Use(async (context, next) { if (context.Request.Path.StartsWithSegments(/notificationHub) !context.WebSockets.IsWebSocketRequest) { context.Response.StatusCode StatusCodes.Status400BadRequest; await context.Response.WriteAsync(WebSocket only.); return; } await next(); });客戶端也需要做對應(yīng)的設(shè)置。在前端 JavaScript 中創(chuàng)建連接時(shí)指定傳輸方式const connection new signalR.HubConnectionBuilder() .withUrl(/notificationHub, signalR.HttpTransportType.WebSockets) .build();如果你看到請求直接返回 400而且服務(wù)端沒有其他日志那基本可以斷定服務(wù)器端不支持 WebSocket需要回過頭檢查 IIS 功能和網(wǎng)絡(luò)代理。這種強(qiáng)制方案的缺點(diǎn)也很明顯如果服務(wù)器前面還有一層負(fù)載均衡器比如 F5、Nginx需要負(fù)載均衡器也支持并放行 WebSocket 的升級請求。很多負(fù)載均衡器默認(rèn)只轉(zhuǎn)發(fā)普通 HTTP對 Upgrade 頭處理不當(dāng)會導(dǎo)致強(qiáng)制 WebSocket 后所有信號連接直接失敗。因此在強(qiáng)制方案前務(wù)必確認(rèn)全鏈路都支持 WebSocket。4.5 如果 WebSocket 不可用退而求其次的調(diào)優(yōu)方案有些團(tuán)隊(duì)的技術(shù)棧限制比較大比如客戶端位于某些安全等級很高的內(nèi)網(wǎng)環(huán)境網(wǎng)關(guān)會屏蔽掉所有非 80/443 端口的協(xié)議升級。這種情況下 WebSocket 可能真的無法使用SignalR 只能長期跑在 SSE 或 Long Polling 下。這時(shí)要做的是盡量減小“每個(gè)連接占一個(gè)請求”的負(fù)面影響??梢詮膸讉€(gè)方向入手提高 ASP.NET Core 請求隊(duì)列的處理能力也就是合理地增加線程池最小線程數(shù)讓系統(tǒng)在 1000 個(gè)掛起請求時(shí)仍能保持部分線程響應(yīng) API。給 SignalR Hub 方法設(shè)置合理的超時(shí)時(shí)間避免某個(gè)連接長時(shí)間不釋放。將 SignalR 和 Web API 拆分到兩個(gè)不同的應(yīng)用池甚至兩臺服務(wù)器上這樣實(shí)時(shí)連接即使拖垮了 SignalR 應(yīng)用池也不會影響主站 API。拆分方案是我比較推薦的。因?yàn)閺募軜?gòu)上看實(shí)時(shí)推送和 REST API 對資源的占用模型差異很大。實(shí)時(shí)推送是長連接密集型REST API 是短請求密集型。混跑時(shí)長連接容易餓死短請求。分開部署后兩邊可以各自調(diào)優(yōu)互不干擾。4.6 使用進(jìn)程外托管模式減少 IIS 層影響如果你排查了很久發(fā)現(xiàn)是 IIS 層對連接升級或請求隊(duì)列的處理有問題而你的項(xiàng)目又恰好是進(jìn)程內(nèi)托管可以考慮切換為進(jìn)程外托管。進(jìn)程外托管的優(yōu)勢在于ASP.NET Core 應(yīng)用跑在獨(dú)立的 Kestrel 進(jìn)程中IIS 只作為反向代理。這種模式下請求在 IIS 和 Kestrel 之間多了一次轉(zhuǎn)發(fā)單請求性能會略降但隔離性更好。如果你的應(yīng)用本身沒有性能瓶頸只是被 IIS 的某些連接管理機(jī)制拖住這種隔離可能會讓問題消失。修改 web.configaspNetCore processPathdotnet arguments.\YourApp.dll stdoutLogEnabledfalse hostingModeloutofprocess /aspNetCore進(jìn)程外托管模式下SignalR 連接的實(shí)際承載者是 KestrelIIS 只負(fù)責(zé)將升級后的 WebSocket 流量透明轉(zhuǎn)發(fā)。在 Windows 的 HTTP.sys 層這種轉(zhuǎn)發(fā)的處理效率和穩(wěn)定性通常比進(jìn)程內(nèi)更好。缺點(diǎn)是進(jìn)程外模式會額外占用一個(gè)進(jìn)程的內(nèi)存部署結(jié)構(gòu)相對復(fù)雜一些。5. 常見問題與避坑經(jīng)驗(yàn)速查表5.1 連接數(shù)到臨界點(diǎn)就整體卡死懷疑是 IIS 限制現(xiàn)象可能原因處理方法連接數(shù)到 10-20 之后就阻塞SignalR 走 SSE/Long Polling占滿線程池安裝 WebSocket Protocol讓 SignalR 升級為 WebSocket純內(nèi)存 API 也卡死CPU 卻不高線程池饑餓調(diào)大線程池最小線程數(shù)檢查 Hub 內(nèi)同步阻塞代碼瀏覽器 Network 里沒有看到 101 狀態(tài)碼WebSocket 握手未完成檢查 IIS 功能、反向代理的 Upgrade 頭配置請求直接返回 503應(yīng)用池隊(duì)列長度超限或應(yīng)用無響應(yīng)檢查應(yīng)用池隊(duì)列長度確認(rèn)應(yīng)用池未頻繁回收指定 WebSocket 傳輸后連接全失敗服務(wù)器端不支持 WebSocket確認(rèn) Web-WebSockets 功能已安裝5.2 SignalR 斷線自動重連時(shí)的隱藏坑SignalR 的自動重連機(jī)制在客戶端斷線后會以指數(shù)退避的方式嘗試重新連接。每次重連都會重新發(fā)起 negotiate 請求如果客戶端量非常大重連風(fēng)暴造成的瞬時(shí)并發(fā)會對服務(wù)器造成巨大壓力。我曾見過一個(gè)項(xiàng)目因?yàn)榘胍拱l(fā)布導(dǎo)致所有連接斷開客戶端默認(rèn)配置在斷開后 0 秒、2 秒、10 秒、30 秒等時(shí)間點(diǎn)集中重連。當(dāng)時(shí)同時(shí)在線約 5000 個(gè)客戶端重連風(fēng)暴直接把 API 打垮。后來在客戶端加了隨機(jī)延遲const connection new signalR.HubConnectionBuilder() .withUrl(/notificationHub) .withAutomaticReconnect([0, 1000, 5000, 15000, 30000]) .build();同時(shí)也建議服務(wù)端配置 ClientTimeoutInterval 和 KeepAliveInterval避免服務(wù)端因?yàn)榫W(wǎng)絡(luò)抖動誤殺活躍連接。一個(gè)常見的配置是services.AddSignalR(options { options.ClientTimeoutInterval TimeSpan.FromSeconds(60); options.KeepAliveInterval TimeSpan.FromSeconds(15); options.EnableDetailedErrors true; });5.3 Hub 生命周期與依賴注入的坑ASP.NET Core 的 SignalR Hub 在每次方法調(diào)用時(shí)是瞬時(shí)創(chuàng)建的不是單例。如果你在 Hub 的構(gòu)造函數(shù)里注入了 DbContext而 DbContext 本身是 Scoped這通常沒問題。但如果你在 Hub 里使用了 IHubContext 來從外部推送消息并且這個(gè) IHubContext 被注入到一個(gè) Singleton 服務(wù)中那么在這條調(diào)用鏈上使用 DbContext 就會出問題因?yàn)?Singleton 服務(wù)無法拿到 Scoped 的 DbContext。這種問題在高并發(fā)時(shí)不一定會立刻報(bào)錯(cuò)但當(dāng)連接數(shù)多了以后可能會出現(xiàn)數(shù)據(jù)庫連接被意外釋放或線程阻塞的詭異現(xiàn)象。排查時(shí)可以看看 Hub 中是否有復(fù)雜的依賴鏈如果有盡量讓 Hub 的方法只做消息轉(zhuǎn)發(fā)把業(yè)務(wù)邏輯下沉到獨(dú)立的 Service 中并明確生命周期。5.4 使用反向代理時(shí) WebSocket 升級頭被過濾如果你在 IIS 前面配置了 Nginx、ARR 或其他反代需要確認(rèn)以下請求頭能夠正確傳遞Upgrade: websocket Connection: Upgrade在 Nginx 中針對 WebSocket 的代理需要額外配置 Upgrade 頭。雖然標(biāo)題場景是 IIS但很多企業(yè)網(wǎng)絡(luò)是 IIS 外層還套一個(gè) Nginx 統(tǒng)一入口。這種情況下IIS 本身的 WebSocket 配置正確還不夠外層 Nginx 也得放行。如果你在生產(chǎn)環(huán)境看到“服務(wù)器已安裝 WebSocket 功能但客戶端始終無法升級”的情況大概率就是反代層過濾了 Upgrade 請求頭。5.5 不要忽視 DNS 和負(fù)載均衡層的超時(shí)設(shè)置SignalR 長連接在傳輸層上是保持不關(guān)閉的。很多負(fù)載均衡器默認(rèn)有一個(gè)“空閑連接超時(shí)”比如 60 秒內(nèi)無數(shù)據(jù)傳輸就自動斷開連接。如果 SignalR 的心跳間隔大于這個(gè)超時(shí)時(shí)間連接會被負(fù)載均衡器靜默切斷。客戶端表現(xiàn)為連接斷開隨后自動重連重連成功后再次被切斷形成周期性斷連。解決方法是調(diào)節(jié) SignalR 的心跳頻率或者把負(fù)載均衡器的空閑超時(shí)時(shí)間調(diào)大。服務(wù)端和客戶端都有對應(yīng)的 KeepAlive 配置必須保證心跳間隔小于負(fù)載均衡器的空閑超時(shí)時(shí)長。我建議在部署前先向網(wǎng)絡(luò)團(tuán)隊(duì)確認(rèn)反代層的空閑連接超時(shí)時(shí)間再反推 SignalR 的心跳間隔設(shè)置。6. 最后一次壓測驗(yàn)證與實(shí)際心得解決完全部問題后用壓測工具模擬了 2000 個(gè) SignalR 并發(fā)連接同時(shí)持續(xù)調(diào)用 Web API。這次的現(xiàn)象和之前完全不一樣了API 不會阻塞SignalR 連接也都穩(wěn)定在 WebSocket 狀態(tài)。最初那臺服務(wù)器配置并不高4 核 8GB 內(nèi)存通過合理配置后承載 2000 個(gè)長連接沒有太大壓力?;仡欉@次排查我最大的體會是遇到 IIS .NET Core SignalR 的組合問題不要一上來就懷疑 IIS 版本或框架 bug。90% 的情況是傳輸模式?jīng)]有按預(yù)期走 WebSocket或者代碼中某個(gè)不起眼的同步阻塞放大了并發(fā)問題。下次你再看到“連接數(shù)到 10 個(gè)就卡死”這類描述第一件事就去確認(rèn)瀏覽器 Network 面板里有沒有 101 Switching Protocols。如果始終沒有那跟線程池較勁沒意義先把 WebSocket 的握手鏈路打通再說。SignalR 本身的設(shè)計(jì)是支持大規(guī)模長連接的IIS 上要做的只是把這條通道正確建起來別讓它降級到 HTTP 輪詢模式去硬扛。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美综合色| 久久精品日韩| 九九九九免费| 9色国产精品一区粉嫩| 丁香7月婷婷| 蜜臀一区二区三区在线| 日本精品第一视频在'| 看一级黄色视频| 99国产精品免费| 欧美在线天堂| 日本无码1| 亚欧无码线免费观看视频| 国产中出内射一区二区| 成年人黄色视频免费| 91午夜无码| 91女神在线视频| 国产精品suv一区| 91精品人妻偷情| 深夜国产一区二区三区在线看| 久久精品国产AV一区二区三区| 午夜色婷婷| 丝袜综合| 日韩无码极品| 国偷自 一区| 亚洲天堂男人网| 亚洲欧洲综合av在线| 精品熟女一区=区三区| 国产精品午夜福利| 欧美日韩香蕉| 日本人体九九九九九九| 国产极品精品美女视频| 久久999久| 职场同事知名国产国产精品久久欧美日韩 | 亚洲综合影视| 五月婷婷hd| 国产91专区| 欧美少妇人妻| 久久精品视频28| 超碰吊日色| 久久久久成人亚洲国产| 新怡红院| 91网站18在线观看| 久久久免费高清中文视频| 爆操无码| 东京热男人天堂| 亚洲天堂 视频你懂的| 国产精品3| 亚洲国产一区二区入口| 天天综合网亚洲综合网| 五月丁香激情综合网| 3P丝袜熟女 色综合| 亚洲第一免费视频| 国产99999| 亚洲无码视频免费在线观看网址! J?P?NESEHD熟女熟妇伦 | 久久久久久久久9| 中出91| 国产精品午夜AV完会免费| 久久久久久久久久久97| 性色aV一区二区三区噜噜| 日韩三A大片在线观看| 免费操逼视频下载| 欧美熟妇亚洲版| 日韩免费中文字幕视频| 久久久一二三四区| 日韩一级片在线看| 桃花色综合影院| 天天弄天天操| 日韩无码第3页| 人人干人人操人人..com| 色九九九九九九| 超碰79人人乐| 九七毛片九九毛片| 日韩欧美俄罗斯A片| 欧美玖玖爱免费玖玖| AV免费在线播放一区| 日本性爱欧美性爱| 亚洲中文字幕一区| 精品久久久久9999| 欧美在线永久天堂| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 99日韩| 襙一襙| 99日免费视频中文字幕| 91成人精品在线播放| 热久日综合| 亚洲性爱高潮影院| 亚洲色图 91| 婷婷丁香五月激情啪啪| 久久性爱精品一区| 亚洲春色一区二区三区| 日韩欧美偷拍美女视频| AV污污污污| 黑人在线91| 欧美日韩婷婷中文| 91AV天美在线视频| 97网址www| 在线只有精品| 99爱精品| 青娱乐妇女性生活| 日韩乱码Av| 亚洲成?V人片在线观看福利| 久久精品日韩专区免费观看| 亚洲精品一卡二卡三卡福利视频网站| 高树玛利亚无码流出| 操逼日韩无码| 久久婷婷六月综合| 人人摸.人人色| 精精品人妻一区二区三区| 偷拍99| 日韩偷拍色图| 在线日韩日本亚洲国产| 97干97色| 免费岛国一级片| 传媒在线观看一区二区三区| 不卡视频一区蜜桃视频| 亚洲美女AV无码| 亚洲一区二区三区婷婷| 影音先锋日本一区二区| 精品无码秘 人妻一区二区 | 三级片大波波| 欧洲免费一区二| 天天懆天天日| 久久精品国产AV一区二区三区| 好吊色综合| 欧美国产婷婷久久| 国产无码久久高清| 啊啊啊啊嗯嗯在线久久久| 粉嫩国产精品久久粉嫩| 亚洲精品人妻吞精av| 久操不卡视频| 国产精品免费视频人成| 久久超碰天天| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 久九九九九九九九热| 神马久久免费电影观看| 青青草视频久久久久| 97干色天堂| 久久免费老司机精品| 天天综合色电影| 无码免费精品高清| 欧洲亚洲少妇| 黄片无码在线制服| 1000部熟女视频在线观看| 欧洲自拍第一页| 亚洲aw毛茸茸在线| 飘花国产午夜精品不卡| 亚欧美综合网。| 亚欧免费| 欧美性巨大╳╳╳╳╳高跟鞋| 国产精品视屏| 九九九九久久久| 日韩性爱一级片| 麻豆91熟妇人妻中文字幕茄子| 麻豆一区二区三区精品| 亚洲网自拍| 天天综合色电影| 亚射在线| 艳尻美人妻| 职场同事知名国产国产精品久久欧美日韩 | 91jk色拍| 极品少妇99| 国产AV久久野战精品| 丰满人妻一区二区三区四| 国产精品青草综合久久| 男人的天堂久久| 欧美日不卡| 亚洲夜夜欢无码一区二区| 开心五月婷婷激情| 久久久中文版| 九九九九九九九九九国产精品| A啊啊在线观看| 久久久久久性爱片| 佐山爱中文字幕| 欧美精品在线观看| 久久亚洲天堂| 多乙久久久久久| 超碰在线974| 成年在线视频日本亚洲在线视频区精品江靖宇公司 | 国产AV高清AV无码| 欧洲乱码视频| 久久久久9999妇女| 97国产超湿| 中亚精品极乱| 国产精品永久免费10000| 黄色AAAAA欧美| 91成人久久 | 国产乱弄免费在线视频。| 久久久不卡区一区二区三区久久久| 欧美同性恋 的搜索结果 - 91n| 久久9免费视频| 国产精品久久久久久照片| 精品久久久九九九孕妇| 麻豆一区二区AV天美| 成人免费看吃奶视频网站| 黄污污污污| 少妇特黄一区二区三区| 一本色道久久综合狠狠操| 国产高清午夜成人在线观看| 看看小穴| 久久久不能久久久久| 日日摸日日碰| 欧姜老司机| 中文字幕人妻资源在线| 久久精品高清无码一区| 日本人妻伦在线中文字幕| 狠狠干综合| 九九九九九九成人| 蜜乳成人AV| 人妻精品一区二区在线| 超碰 另类 欧美 | 友优传媒精品在线一区二区| 大香网伊人久久综合| 男人的天堂无码| 高清一区AV无码| 97人人干人人操| 嗯啊免费视频| 日本免费一区二区不卡| 国产一区二区三区导航| 美女上床网站| 开心五月深爱五月| 99只有精品| 最新亚洲人成网站在线影院| 综合婷婷| 欧美色涩| 精品一区二区三区蜜桃臀赵总 | 操逼大黄片| 国产色呦呦| 久9久9精品| 欧综合网| 欧美一二三区四五区| 成人国产视频在线观看| 午夜天堂精品久久久久91| a啊啊啊啊啊啊啊啊一区二区| AA级电影三区| 插入粉嫩少妇视频| 日本三级黄页| 国产精品自拍xxxx| 中文字幕丝袜人妻| 亚洲色图91| 丰满少妇一区二区三区四区观看| 欧美综合1性辶| 韩国久久97| 日韩BBN| www九九热| 91麻豆一二三区| 色婷婷亚洲婷婷| 97天天综合| 欧美精品69性爱| 日本99视频| 久草精品一区 | 欧美91在线+|+欧美| 欧美第二页| 乱伦一二三区| 熟女高潮合集-永久久久-成人AV| 日本女人操逼| 九九热三级片| 国内操逼视频二区| 精品成人亚洲午夜电影| 97色色,97综合| 人妻少妇精品久久久久久久| 夜色五月天| 中文精品一区二去| 久久春色| 日日爽熟女| 日本女人操逼| 国产高清精品一区二区三区毛片| 97精品一区| 色色五月婷| 蜜臀99久久精品久久久久久| 成人熟女区| 亚洲图片婷婷五月天| 免费看污网站| 色播丁香| 久久精品| 狠狠干91| 久久中出| 国精综合一二三区影视| 伦伦成年午夜免费视频| 在线A日本| 日韩欧美性吧婷婷乱伦大香蕉| 性色一线| 韩美日操逼| 欧美曰韩国产精品| 综合熟女| 九九综合久久| 热99这里只有精品| 亚洲国产精品成人久久蜜臀| 午夜精品五区| 日本性感人妻91| 久久久精品网站| Av色五月| 亚洲一区二区精品福利| 牛牛aV| 美女干逼2| 黄色人人| 性交一区二区在线播放| 大香蕉综合网| 久热婷婷| 久久久99999久网站| 五十路三级片| 91操熟女| 天天日天天爽| 国产做?爰片久久毛片?片美国| 夜夜性| 欧美日日人人天天| 精品女同一区| 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | 伊人91| 色九九久九九| 男人的天堂2018东京热啪啪啪| 人妻色偷色噜| 蜜桃臀一区二区aV| 色香综合天天影视综合| 中文字幕第7页| 91粉芽高清在线一区二区| 男人天堂东京热| 麻豆亚洲AV成人无码久久精品| 欧美综合狠| 天天操熟妇| 亚洲脚交| 日本中文字幕不卡视频| 男人天堂新在线| 国内91熟女人妻丝袜天天精品视频在线| 大香蕉久| 91久久久久| 在线观看十八禁| 旡码电影特区| 91精品人妻一区二区-全集完整版免费正片国语-B02AV | 综合熟妇一区二区三区| 中日韩久久久免费看| 97在线视频观看免费| 欧美一级专区免费大片| 国产免费小视频| 婷婷美人网| 丰满少妇一区二区三区专区| 青青草国产盗摄一二三区| 欧美日韩成人| 日韩999| 岛国色情视频在线观看| 老熟女91视频| 久久透逼视频| 五月天社区| 久久受www免费人成| 亚洲最大成人a毛毛片| 国产精品探花视频| 中文字幕一区二区日韩网| 97啪啪| 91蜜臀人妻中文字幕在线| 久久人爽| 加勒比久久av| 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | 亚州五月| 少妇内射视频| 免费国产视频| 欧美做爰无码A片视频| 伊人综合色网| 青青草在线视频人人想人人上| 超碰午夜| 国产强奸乱伦欧美| 九九黄色网| 欧美黄色图片| 视频二区美腿制服人妻欧美| 日本一区二区三区午夜观看| 婷婷综合网| 欧美一区二区三区日韩| 岛国人妻少妇av在线观看| 丝袜美腿91| 91亚洲最新在线| 最新AV在线| 无码人妻精品一区二区中文| 亚洲最新av无码成人精品区| 日韩无码专区| 大稥蕉免费视频这里只有精品| 偷窥自拍亚洲天堂网爆| a人欧美综合天堂麻豆| 99色婷婷中文字幕乱色| 国产捆绑一区| 亚洲.欧美.丝袜.中文.综合| 久久精品一区一起草| 久久风骚城市| 亚洲精品无码少妇久久| 我爱大香蕉| baiduhicn.com。| 欧美天天综合网| 亚洲无码 国产无码| 欧美性爱一级操| 色色婷婷五月| 国产成人AV麻豆| 日日摸日日弄日日拍| 亚洲日韩电影| 免费观看日本操逼视频| 婷婷五月在线视频| 欧美人妻色| 久久精品人妻一区二区三区| av三级电影在线播放| 色婷婷导航| 色哟哟国产精品免费网址| 天堂在线一区二区| 欧美啪啪天堂| 爱做久久久久久| 人妻喷水| 欧美日韩 强奸乱伦| 九九国产热| 人妻娇喘 激情视频| 天天看天天干| 大香樵伊人网| 黑人干亚洲| 婷婷色香伊人| 欧洲一级性爱视频在线观看| 蜜桃午夜视频一区二区| 日本网色| 97视频在线免费播放| 亚洲国产尤物yw在线观看| 久久久久9999妇女| 青青伊人这里只有精品| 99热超碰| 欧美色91| 亚洲色图久久成人| 色哟哟 日韩精品| 青春草A| 美女91AV| 久久人人看| 老女人老91妇女老热女| 久久永久无码人妻视频| 双插在线| 天天综合网~91| 天天肏美女| 涩涩涩综合| 区自美91| 午夜福利精品| 欧美精品97| 裸模AV女优| 天堂中文日本在线观看| 96免费视频在线| 久久精品国产亚洲AV嘿嘿| 中文字幕视频一区视频二区| 亚洲丝袜综合| 蜜屁Av| 欧美日韩性爱操大逼| 992大香蕉| 国产无遮挡| 天天做天天爱| 国产亚洲一黄| 国产av波波国产精品| 超碰夫妻97| 国产欧美日韩在线不卡第一页| 97超级久久| 韩国女主播青草在线| V A在线| 中文字幕伊人| 久久国产精品91| 国产精品免费日韩| 国内偷拍精品一区二区| 91蜜桃传媒精品久久久一区二区| 97精品国产97久久久久久户外免费| 国产一区二区三区视频在线看| 国产精品乱码久久久久久久久| 日亚韩精品视频二区三| 精品人妻一区二区蜜桃视频| 亚洲精品人妻吞精av| 色哟哟AV| 九九香蕉网| 97超碰大| 高清不卡国产| 国产家庭乱伦性爱视频| 超碰97精品| 男人下部插入女人下部| 岛国片在线播放| 国内毛片无码一级毛片| 天天92av| 狠狠操一区二区| 手机在线中文字幕国产| 亲子敌伦对白在线播放| 麻豆天美制片厂网站视频| 超碰AV在线| 97免费视频在线| 国产欧美日韩精品中文| 韩三级a视频在线观看| 欧美在线啊啊| 精精品人妻一区二区三区| 六六久久日韩不卡| 波多野结衣一级视频| 亚洲āv网址在线观看| 91 丝袜在线| 亚洲人成网www| 香蕉久久国产AV一区二区| 国产曰批免费观看久久久| 色香91| 91人妻视频在线| 51一区二区三区| 少妇熟女一区二区三区| 麻豆精品天美| 欲色影视综合吧| 午夜影美女日鸡鸡天天视频国产| 91亚洲人| 97在线免费| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 色播综合| 极品综合| 亚洲成aⅴ人片不卡无码| 青春草莓视频在线观看网址| 久操不卡视频| 日本天天操| 九九九九AV| surenchaopeng| 午夜免费视频1000| 97超碰国产亚洲精品资源| 国内精品久久人妻性色av| 91精品导航| 亚洲男人的天堂AV| 天天拍天| 97久久超碰| 吖在线不卡一区二区国产剧情| A级片日韩欧美国产欧美视频精选观看 | 蜜色网色哟哟| 国产女性无套 免费观看| 黄aaaaaaaaaaaaaaaaaa色网站| 人人操欧美风骚| 韩国三级一线观看久| 97资源站日韩| 日本免费一区二区不卡| 大香蕉伊人网WWWn0n| 美欧老女人97| 91老熟女逼| 成人午夜无码视频| 人妻精品综合中文字幕在线| 97精品97| 97 超碰 人人做 人人爱| 99热综合| 伊人一区二区三区| 东北女人操比视频| 神马午夜久久久| 国产精品3| 人妻激情视频| 91精品人妻偷情| 亚洲se91| 黄页av| 在线小说视频一区| 啊啊啊啊啊啊啊啊在线观看| 9久久久久久| 91精品国产乱码| 一区 欧美 日韩 麻豆| 狠狠亚洲| 超碰性爱97| 欧美色色人| 九草在线大香蕉| 丁香五月偷拍| 国产农村妇女精品一| 国产精品高朝久久久久久久| 色香在线| 91这里只有精品| 亚洲少妇免费视频\| 欧美日韩人妻婷婷一区| 久久久99999久网站| 亚洲熟女人妻中文字幕一区二区| 岛国片在线播放| 91美女视频。| 久夜视频| 亚洲无992tv| 亚洲精品国产精品成人| 91少妇人妻| 精品一区二区三区免费古装毛片香港三级日本三级人妇 | 日本黄色精品| 久久无码精品| 手机在线看片免费人成视频| 裸体美女免费看网站青草| 超碰性爱97| 青青五月天| 91三级理论片播放器| 激情图片伦理国产一区二区日韩| 久久大香蕉97| 中国乱伦一区二区 | 无码av永久免费专区网站| 台湾佬中文娱乐自偷自拍| 色91综合网| 亚洲棕合电彰| 香蕉人欧美综合| 成人av在线播放| 九九热九九| 26UUU欧美日本| 夜色AV无码手机在线影院| 青青草大香蕉在线视频| 十八禁电影伊人网| 久久久日本电影| 国产粉嫩蜜臀av一区二区三区| 国产精品99精品视频网站| 国产51色综合久久免费| 麻豆AV短剧| 青青草国产亚洲精品久久| 热热色色综合| 韩国三级一线观看久| 玖玖综合.com| 亚洲综合夜色| 亚洲最新av无码成人精品区 | 国产AV激情无码久久无码| 亚州久久9| 国产精品嫩草影院午夜两性| 久久精品亚洲成a人天堂| 91丝袜美腿片| 97精品人妻一二三四| 欧美一级A一级a爱片久久| 日本不卡高清视频| 欧美一二级| 91搡老女人老妇女老熟女歌词翻译| 成人一道本免费视频| 青青草日逼视频| 激情综合网亚洲| 青青草十区九区爱夜| 免费中文在线| 国产精品制服丝袜中文字幕日韩一区二区三区 | 欧美人妻一区| 黄色交缠性感爆操91国产精品免费一区二区三区 | 暖暖精品二区三区观看| 国产精品久久aV| 国产午夜视频| 国产第25页在线观看| nuu12国产麻豆精品| 色婷五月| 97视频在线免费播放| 女性91网站| 久久的网站啊啊啊啊啊| 99re久久| 超碰在线国产| 欧美日韩国产色五月综合在线| 国产精品第一页国产大屁股视频免费区| 黄色大香焦1级‘′‘| 东京热一区二区三区四区五区六区| 女性91网站| 做爱福利视频一区二区| 蜜臀久久99精品久久久久久婷婷| 国产最火爆久久国产网站网站| 大香蕉AV丝袜| 日本孕妇一区二区视频操逼免费看| 亚洲激情综合| 久操操AV电影| 黑丝日韩av丝袜av| 亚洲欧美日韩综合在线尤物| 狼天天狼天天大香蕉| 九九九九一区| 天天综合网91入口| 美女尤物人人操| 日日干夜夜骑| 久久久久久久久久久人妻| 蜜乳AV一区| 神马久久久久| 粉嫩在线一区二区懂色| 色娱乐色呦呦夜夜夜夜av| jizzjizz欧美| 亚洲极品| 亚洲一区二区三区麻豆传媒| 日韩精品中文字幕一 | 亚洲综合888| 探花视频免费观看国产专区| 啊啊啊啊啊好舒服视频| 欧美三级中文字幕hd| 久久精品电影| 久久国产性爱| 亚洲超碰综合网| 久久精视频美日韩在线视频| 久草男人天堂| 强奸乱伦动态污图免费 | 亚洲欧美日产国产91毛片| 国产精品久久久久久亚洲色欲| 精品久操| 色嘟嘟人妻天堂网| 国产精选三级在线观看| 一本久道在线综合视频| 97超碰中文字幕| 夜夜狠狠躁日日躁色视频| 一区二区你上我| 影音先锋国产精品| 久久久免费一级黄片| aV中文麻| 五月天人妻综合| 中文熟女五十乱码在线| 亚洲啪啪性视频| 欧美亚洲日本视频久久久| 偷拍色图| 日韩 成人 有码| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 97超碰9| 99热只有这里有精品| 91久久久老司机| 操逼网免费无码视频| 全国男人天堂网| 青青草久久在线| 成人一区二区三区四区| 久久一二三四不卡 | 狠狠操狠狠爱| 国产精品日韩在线一区| 亚洲成人贴图| 久久专区| 乱操9999| 欧美超碰9798| 黄色大香焦1级‘′‘| 久久男人天堂| 91老熟女91老女人| 欧美色图99| 人妻人人操| 日本女人久久久| 黄片www视频免费| 午夜国产成人精品视频| 午夜性刺激视频免费观看| 精品人妻一区春色| 亚洲青青草| 热热色国产一二区AV| 性感女人网页在线观看视频| 熟女突然公开看18禁影片| 日韩欧美午夜视频在线| 一中国女人毛片水真多| 午夜a成v人电影| 日本不卡免费二区| 日本三级精品| 久草男人天堂| 成人熟女视频一区二区三区| 99热99色| 一类无码操逼视频| 欧美色网络| 成人麻豆av电影网站| aaaa少妇高潮大片| 91精品人妻一区二区三区蜜臀| 热九九精品| 日本孕妇孕交| 日韩免费高清大片在线| 26uuu性| 精品9999| 精品无码一区二区| 久久久久密臀一区二区| 天天舔天天 | 老熟女熟妇| 亚洲高清少妇| 亚洲色图欧美色图综合| 媚薬在线视频麻豆| 九九英色视频| 欧美色图在线视频少妇| 青娱乐91| 欧美人妻精品一区二区| 日韩亚洲精品一区二区| 99综合网| 青青草日韩无码| 操美女人妻| 国产乱码久久| 校园春色制服丝袜中文字亚洲| 日本免费亚洲欧美| 亚洲丝袜B诱惑| 另类亚洲图色| 大香蕉天天看妹子| 91成人国产综合久久精品蜜月| 操死我了嗯嗯嗯| 先锋女优在线观看视频| 国产高清26uuu| 亚洲砖码砖专无区2023| 黄色污污污污污污网站| 午夜AV污污污| 午夜小电影在线插入淫高潮| 亚洲 无码 偷拍| 九九性爱网| 嗯嗯嗯啊啊啊干死我吧| 97jingpin| 亚洲在线观看| 熟女五十路一区二区三| 91天天日| 欧美色图综合网| 蜜臀视频网站| 国产色综合亚洲色综合吹潮| 一级黄色视频网| 国产精品青草综合久久| 久久久一区二区三区四曲免费听| 少妇一区二区三区在线观看| 在线黄色污污网站| 日本影视久久免费| 欧美超碰9798| 久久久久久九九九九-美女久久久久久久-成人AV | 69久久久久久久久久久久久| 97精品网站| 97鸡把在线视频| 欧美午夜一区二区三区| 91熟女.com| 啊啊啊啊无码| 成人性爱电影一区二区| 日本欧美韩国日产片片在线看免| 亚洲不卡不卡中文字幕不卡| 二三四区精品| 久久久久亚洲三级电影| 亚洲综合中文字幕有码| 自拍丝袜美腿人妻| 97少妇人妻中文字幕久久| 天天欲望网| 免费黄色片。| 夜精品久无码| 精品少妇99| 18啪啪手机免费性爱| 亚洲天堂性爱| 久久久少妇| 操逼操逼逼操操逼91| 天天日天天爽| 久草草一二三四区久久| 综合欧美亚洲| 秋霞无码av鲁丝片一区| 97频视在线| 少妇综合| 久久e6只有精品| 亚州男人的天堂| 国产精品扒开腿做爽爽爽视频| 国产AV毛片| 久久大香蕉手机高清视频| 人妻夜夜爽天天爽三区麻豆AV网站| 福利色色| 97 国产一区| 国产美女高潮视频| 日韩精品国产一区二区| 日本中文字幕一区| 无码国产Av| 欧美精品亚洲精品日韩传电影| 久久‘黄片视频| 久湿久久 | 99蜜桃臀久久久欧美精品网站| 香蕉精品二区二区| 日本操大逼| 亚州人妻| 久久久免费一级黄片| 亚洲精品国产拍免费91在线| 污啪啪啪视频| 素人伊尹大香蕉免费下载视频| 在线岛| 国产不卡片| 偷拍 亚洲 欧美| 99啪啪| 国产精品无码成人精品| 免费看毛片操穴| 久久国产熟女影院| 国产精品乱码久久久久久| 久久首页| 亚洲欧洲日产国产综合网| 亚洲综合一区二区| 亚洲图片在线| 免费看A片毛毛片在线播| 97干天天| 天天谢天天干| 97视频播放| 少妇69中文| 一二三四视频中文字幕在线看| 99热这里只有精品1| 欧美三级一级| 999岛国大片| 成人AV超碰免费在线| 亚洲丰满很很操| 久久有码| 99国产精品人妻人伦| 久久草视频污视频| 97精品一区二区视频| 99久久精品无码一区二区| 2025亚洲男人天堂| 翔田千里Av在线| 欧美精品成人一区二区在线观看 | 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | 四虎在线播放| 欧美日韩电影成人在线| 97色操| 337p大胆噜噜噜噜噜91Av| 日韩成人私密一级精品av| 欧美色爱综合| 91精品丝袜在线观看| 青青草一本道福利视频| 丁香五月激情网| 黄片色区软件| 欧美日韩性爱电影在线| 久久系列| 91老妇女| 色爽——AV| 91天天综合网,天天综合网| 色婷婷六月丁香七月婷婷| 这里只有97精品| 丁香五月偷拍| 这里都是精品在线观看| 久久久久九九九九| 狠色婷婷久久一区二区三区_| 偷拍网站久久男女男| 大香蕉99999| 大干人妻| 日韩八十路老熟女| 日韩精品99999| 强奸乱亚洲| 色官网在线| 中欧人妻丝袜中文字幕| 国产午夜福利合集| 一区二区三区在线日韩影院观看| 香蕉久久国产AV一区二区| 99久久e免费热视| 18禁免费视频| 久久亚洲AV无码专区首页| 国产伊人精品在线| 久久久久78| 欧美A√综合网| 超碰97玖玖爱| 性欧美天天| 欧中日成人免费影视| 久久久久久亚洲精品中文字幕人妻| 懂色中文一区二区三区| 久久双插| 久久黄片国产一区二区| 成人26uuu| 色欧洲97| 大香蕉十区| 国产综合操逼高清| 亚洲激情综合| 在线 制服丝袜中出 人妻| 亚洲春色激情小说| 亚洲成人性爱在线观看| 中国女人内射6XXXXX| 综合欧美亚洲| 精品九九淫乱男| 蜜臀aV午夜一区二区三区| 男人的天堂2018东京热啪啪啪| 久草免费在线一区二区| 亚洲成人黄色在线观看| 久久久999国产精品| 日韩精品一二三| 性性久久| 四虎影视永久在线观看精品免费网站| 男人天堂站| 亚洲美女30b| 国产偷人妻精品一区二区在线| 九色 人妻 大香蕉| 亚洲激情在线| 大香蕉AV丝袜| 91色色综合| 亚洲综合888| 国产日本熟女顶级一区二区三区视频 | 性色av大全| 亚洲久久久| 日韩操啪| 不卡在线观看视频| 九九九成人| 亚洲欧美91| 久草电影网| 抽插一区二区视频| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 91综合国产精品| 精品久久久久瑟瑟| 久久AV色| 丰满人妻一区二区三区色-百度| 熟妇人妻一区二区三在线| 色五月综合| 大香蕉九九| 97欧美精品综合| 狠狠操狠狠燥| …中文字幕亚洲乱,97人妻无码费视…| 夜夜嗷嗷一区二区| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 亚洲欧美另类激情小说| 美女久久久久久久久久久| 四虎午夜影院| 伊人久久艹| yazhousetuoumei| 日日嗷| 超碰97.com| 久久精品高清无码一区| 加勒比少妇AV婷婷六月天超碰超碰| 蜜桃精品一区二区三区久在线| 超碰99re| 亚洲激情视频| 日本久久女同性恋视频| 91操人| 天天综合有色网| 91成人国产综合久久精品蜜月| 物尤视频一区二区| 1204金沙人妻懂旧版免费| 四虎免费在线播放| 强奸乱伦AV网站| 午夜精品99久久久久传媒| 久男人久久| 久久久精品中文字幕爱豆| 99啪啪| 丁香六月婷婷久久综合| AV丝袜东京热| 成年在线视频日本亚洲在线视频区精品江靖宇公司| 尤物AV免费网站| 国产精品乱码久久| 色黄色美女大长腿午夜视频| 天天肏美女| 欧美最婬乱婬爆婬性视频| 凹凸 69堂 在线播放| 97超碰香蕉| 激情色色| 成人日本精品九区| 一区二区高清视频| 99久久久99久久91熟女| 精彩国产视频播放1区2区| 1000午夜黄色| 美女黄色91| www黄片免费看com| 人妻 制服 日韩 中文 在线| 欧美色图片| 婷婷激情五月天小说网| juliaann丝袜大战黑鬼| 亚洲日韩狠狠撸视频| 三上悠亚在线毛片91| 五月婷婷丁香中文字幕| 人妻久久久久久久久久久久久久久 | 男女激烈网站最新| 免费久久9999| 免费97视频| 亲子敌伦对白在线播放| 亚洲宅男天堂| 97久久精品不卡| 人人操,人人液| 无码抄逼网| 久久精品一区二区三区蜜桃臀| 欧美亚洲色图另类国产| 婷婷99狠狠躁天天躁| 久久久婷婷| 天天躁日日躁AAAAXXXX国产| 1二区9| 亚洲 日韩 丝袜 熟女 变态| 亚洲欧美啪啪| 玖玖爱在线视频免费观看| 国产婷婷一区| 东京热,男人的天堂| 久久久久久久伊人精品| 熟女欧美日韩综合婷婷| 久久青青草原免费视频| 红杏大香蕉| 97爱啪| AV大香蕉| 2020天天色综合| 91日韩在线| 国产午夜精品在线观看| 在线视频一区二区传媒| 九九九九九九九九九国产精品 | 免费视频在线一区二区不卡| 麻豆黄四叶草网站| 欧美刺激色黄片免费看| 后入式在线免费观看60秒| 伊人久久综合精品欧美| 男人的天堂kva| 中文字幕亚洲永久精品| 1204人成网站色www| 九九性视频| 亚洲人精品午夜不卡| 在线无码网站| 啊啊啊啊啊啊啊好爽不要| 97免费视频在线观看| 啊啊啊啊二区好大| 国产精点久久久成人| 日日骚中文字幕| 97色色色| 日本熟妇一区二区三区| 欧洲一区二区三区四区在线观看| 久久精品久久久久久久久| 嗯啊免费视频| 久草免费在线视频| 天天肏夜夜肏| 97操97干| 亚洲AV资源| 日韩黄色成人性爱| 熟妇综合一区二区三区| 青操影院| 91久久久久久| 国产一级特黄大片处女| 东北老熟女| 强免费黄色网址| 久操免费电影| 乱精品一区字幕二区| 免费?级毛片无码?∨蜜芽试看| 免费网站观看www在线观| 国模精品一区二区三区苹果色戒| 久久久久久中文| 99re这里只有精品3| 中文字幕狠狠玩| 久久精品国产97欧美精品亚洲 | 麻花豆传媒剧国产MV出差| 久久亚洲天天做| 国产成年女人免费视频播放a| 日韩精品9区| 亚洲 图片 综合91| 色情乱伦AV| 69一区二区| 色五月激情综合网| 欧美特大AA级黄片| 免费网色网站| 东北女人av| 精品无码欧美三级| 欧美色图电影| 少妇蹲下买菜露大唇0| 啊啊啊啊啊啊好湿好爽视频| 日本成人电影资源网| julia国产在线 | 亚洲丝袜二区| 久久一区二区三区入口| 日韩欧美午夜一区二区| 欧美精品久久| 狠狠干婷婷| 国产辣妈在线视频福利| 久久精品一区二区三区蜜桃臀| 久久国产精品熟女人妻| 欧美特大黄一级片片免费| 国产白嫩漂亮KTV在线| 中文精品一区二去| 亚洲人成网站7777| 精品九九淫乱男| 99自拍B亚洲| 秋霞欧美性爰视频| 探花一区在线| 另类天堂| 国产精品第一页国产大屁股视频免费区| 97爱b| 美女t无毒不卡不卡| 女生自91网站| 久久香蕉影院| 偷拍偷窥与盗摄视频专区| 91精品老女人| 上特色A在线| 国产精品suv一区| 亚洲欧洲另类| 亚洲丝袜二区| 国产精品原创巨作?v网站| 99超碰碰| 久久国产对白激情浪潮 | 国产精品在线免费| 97Ai亚洲| 国产精品97超碰| 蜜臀在线网站| 欧美亚洲丝袜美女电影| 成年女人18级毛片毛片免费观看| 免费中文在线| 乱论91| 欧美一区二区三区蜜桃| 97亚洲精品| 日日日日做夜夜夜夜做无码97| 久久久精品视频欧州站| 99啪| 99碰碰| 综合网欧美在线| 欧美久久九九| 日本视频一区二区三区| av天堂手机版追回| 国产精品久久久久久久无码AV| 国产精品一区二区a| 亚洲国产av中文字幕久久| 超碰在线观看av不卡| 操屄不卡视频| 麻豆人妻精品一区二区| 久久五月份| 2019天天干天天操| 级做a爱无码性色永久免费| 大逼色网站| 国产精品女aA片爽爽视频| 男人天堂网手机版婷婷| 麻豆AV96熟妇人妻| 国产风韵犹存熟妇三区| 蜜臀99久久国产| 韩国三级色呦呦| 天堂亚洲精品| 久久欧美激情| 夜夜嗨免费视频| 91狠狠综| 亚洲 自拍偷拍 欧美| 亚洲黄网在哪免费看| 黄色网址久久精品欧美喷水|