日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

基于Spring Boot的大模型API統(tǒng)一管理系統(tǒng)設計與實現(xiàn)

基于Spring Boot的大模型API統(tǒng)一管理系統(tǒng)設計與實現(xiàn) 簡介在大模型應用快速落地的今天企業(yè)普遍面臨多廠商API協(xié)議不統(tǒng)一、密鑰分散、計費不透明等痛點。API網(wǎng)關作為微服務架構中的核心組件能夠在接入層統(tǒng)一處理鑒權、限流、路由與監(jiān)控這一原理同樣適用于大模型調(diào)用場景。通過協(xié)議適配機制將OpenAI、Claude、DeepSeek、通義千問等異構供應商接口轉(zhuǎn)換為標準格式結合Redis令牌桶限流、熔斷降級、AES-GCM密鑰加密存儲和用量計量計費可以構建一套輕量級LLM API統(tǒng)一管理系統(tǒng)。文章完整展示了基于Java 17、Spring Boot 3、Redis和MySQL的實現(xiàn)細節(jié)涵蓋從系統(tǒng)架構設計、核心模塊編碼到Docker Compose部署上線的全流程并給出了流式響應轉(zhuǎn)發(fā)、連接池調(diào)優(yōu)等真實踩坑經(jīng)驗適合企業(yè)統(tǒng)一模型接入和畢業(yè)設計參考。 最近在做一個統(tǒng)一管理大模型 API 的項目調(diào)研了一圈市面上的方案要么太重、要么只適配單一廠商最后決定自己動手實現(xiàn)一套 LLM API 統(tǒng)一管理系統(tǒng)。從項目立項、系統(tǒng)設計、源碼編寫到部署上線整個過程踩了不少坑今天把我的完整思路和核心代碼實現(xiàn)整理出來分享給大家。這個項目不只是一個簡單的 API 轉(zhuǎn)發(fā)代理而是一套完整的管理體系統(tǒng)一協(xié)議轉(zhuǎn)換、多廠商適配、密鑰安全管控、限流熔斷、計量計費、可視化監(jiān)控、審計日志全部都有。源碼和論文我都整理好了項目中使用到的設計模式、技術方案、關鍵配置本文都會給出具體實現(xiàn)細節(jié)。我寫代碼的工具這邊用的是 Java 17 Spring Boot 3 Redis MySQL Vue3這些技術棧比較主流方便有基礎的同學直接上手改造。如果你是剛開始接觸大模型應用開發(fā)或者正在做畢設、公司內(nèi)部想搭一套統(tǒng)一的模型網(wǎng)關這篇文章應該能幫到你。1. 為什么需要一套“統(tǒng)一管理”大模型 API1.1 大模型 API 擴散帶來的真實痛點先說一個我實際工作中遇到的情況。公司內(nèi)部有好幾個業(yè)務團隊算法團隊接了 OpenAI 和 Claude后端團隊接了 DeepSeek 和通義千問前端團隊還自己注冊了智譜的 key。發(fā)展到后來每一個團隊的代碼里都藏著半打 API key調(diào)用的協(xié)議五花八門OpenAI 用/v1/chat/completionsClaude 用/v1/messagesDeepSeek 兼容 OpenAI 但參數(shù)細節(jié)不完全相同通義千問又有一套自己的風格。最頭疼的是下面幾個問題密鑰失控每個團隊自己管 key什么時候過期了、有沒有超預算、被誰拿去調(diào)用了完全不可控。項目代碼倉庫的.env文件里就躺著好幾個生產(chǎn)環(huán)境 key。計費不透明月底財務拿過來一堆大模型賬單根本分不清哪個業(yè)務線花得多、哪個頁面調(diào)得太頻繁甚至分不清哪部分是測試環(huán)境調(diào)的、哪部分是生產(chǎn)環(huán)境調(diào)的。切換廠商成本高今天 DeepSeek 的 API 不穩(wěn)定想臨時切到通義千問但因為各家協(xié)議不同代碼要改好幾處才能切過去改完還得回歸測試。重復代碼嚴重每個團隊都自己封裝了一套“對接大模型的 SDK”只是參數(shù)略有不同。后來我統(tǒng)計了一下全公司至少有 7 套類似的封裝。1.2 這套系統(tǒng)要解決的核心問題所以我要做的這套 LLM API 統(tǒng)一管理系統(tǒng)核心目標很明確所有業(yè)務方不直接對接任何一家大模型廠商而是統(tǒng)一走我們自己的網(wǎng)關。業(yè)務方的代碼里只出現(xiàn)一個 baseURL用標準協(xié)議發(fā)請求由網(wǎng)關做協(xié)議適配、流量調(diào)度、密鑰管理和計量統(tǒng)計。這個思路跟微服務架構里的 API 網(wǎng)關是一樣的把“鑒權、限流、路由、監(jiān)控”這些橫切關注點從業(yè)務代碼里剝出來下沉到網(wǎng)關層統(tǒng)一處理。這樣設計有幾個明顯的好處業(yè)務方接入成本極低統(tǒng)一協(xié)議后端只需要維護一套對接代碼廠商切換只發(fā)生在網(wǎng)關層業(yè)務代碼零改動所有密鑰集中在網(wǎng)關側(cè)加密存儲從源頭上消滅密鑰散落的問題每一次調(diào)用都有日志、有計量、有審計成本歸屬一目了然2. 系統(tǒng)架構與核心模塊設計2.1 整體分層思路整個系統(tǒng)的架構并不復雜但設計的時候我特意按照“控制面”和“數(shù)據(jù)面”分離的思路來組織。所謂控制面就是管理后臺、配置中心、審計報表這些不直接參與請求轉(zhuǎn)發(fā)的部分數(shù)據(jù)面則是真正處理 API 請求的網(wǎng)關核心鏈路。下面是系統(tǒng)分層的邏輯接入層面向業(yè)務方提供一個統(tǒng)一的 HTTP 入口兼容 OpenAI 風格的請求格式這樣業(yè)務方幾乎不需要修改代碼就能接入。核心網(wǎng)關層包含路由分發(fā)、協(xié)議適配、鑒權認證、限流熔斷、計量計費、審計日志等六大部分。這里就是整個系統(tǒng)的“大腦”和“調(diào)度中心”。存儲層MySQL 存放用戶、API Key、模型配置、調(diào)用日志等結構化數(shù)據(jù)Redis 存放限流計數(shù)器、令牌桶、分布式鎖等實時性要求高的數(shù)據(jù)。控制臺層Vue3 管理頁面用于配置模型供應商、管理 API Key、查看調(diào)用監(jiān)控、導出賬單報表。這個分層借鑒了 API 網(wǎng)關的經(jīng)典架構但又針對大模型場景做了專門的優(yōu)化協(xié)議適配層是核心因為大模型廠商的協(xié)議實在太不統(tǒng)一了。2.2 核心模塊劃分與職責我畫模塊圖的時候把整個系統(tǒng)拆成了下面這些模塊每個模塊的職責邊界都比較清晰模塊核心職責關鍵技術點路由分發(fā)根據(jù)請求參數(shù)決定轉(zhuǎn)發(fā)到哪家廠商模型名到供應商映射、加權輪詢協(xié)議適配各家廠商請求/響應格式統(tǒng)一轉(zhuǎn)換適配器模式、SSE 流解析密鑰管理存儲和注入上游廠商 API KeyAES 加密 每次請求動態(tài)注入鑒權認證識別調(diào)用方身份、校驗權限API Key 前綴模式 哈希校驗限流熔斷保護上游資源和下游穩(wěn)定性Redis 令牌桶、滑動窗口熔斷計量計費記錄 token 用量、費用分攤token 校驗與用量解析審計日志全鏈路調(diào)用留痕異步落庫、日志采樣系統(tǒng)管理用戶管理、供應商管理、模型配置RBAC 權限模型2.3 技術選型的取舍我選型的時候有兩個核心考量一是生態(tài)成熟度二是團隊后續(xù)維護成本。后端選了 Java Spring Boot 3因為我的生產(chǎn)環(huán)境里已經(jīng)有很多 Spring 基礎設施運維工具鏈都是現(xiàn)成的。網(wǎng)關核心沒有引入 Spring Cloud Gateway而是自己封裝了一層基于 Servlet 的轉(zhuǎn)發(fā)邏輯原因是我們的場景沒有那么龐大的服務發(fā)現(xiàn)需求大模型 API 的轉(zhuǎn)發(fā)本質(zhì)上是 HTTP 調(diào)用不需要走 Service Mesh 那套。存儲方面MySQL 存元數(shù)據(jù)和調(diào)用流水Redis 做實時計數(shù)和分布式限流。因為要對上游 key 做細粒度的緩存和防抖Redis 是剛需。前端控制臺選了 Vue3 Element Plus這是目前國內(nèi)使用率最高的中后臺技術組合接手門檻低。3. 核心實現(xiàn)協(xié)議適配層如何做到“一次接入隨處調(diào)用”協(xié)議適配是整個系統(tǒng)里技術含量最高的部分。不同大模型廠商的 API 差異很大我一開始接到一個需求“是不是只要把請求轉(zhuǎn)發(fā)出去就行了”實際做起來才發(fā)現(xiàn)完全不是這么回事。3.1 統(tǒng)一 API 協(xié)議設計我定義了一套內(nèi)部的“標準協(xié)議”所有請求進入網(wǎng)關后先轉(zhuǎn)換成這個標準格式再交給適配器去轉(zhuǎn)換成各家廠商的格式。核心請求模型長這樣public class UnifiedChatRequest { private String requestId; // 全局唯一請求ID private String provider; // 指定供應商可選 private String model; // 模型名如 gpt-4o-mini / deepseek-chat private ListChatMessage messages; // 對話消息列表 private Double temperature; // 采樣溫度 private Integer maxTokens; // 最大輸出 token 數(shù) private Boolean stream; // 是否流式返回 private MapString, Object extraParams; // 各家特有參數(shù)透傳 } public class ChatMessage { private String role; // system / user / assistant private String content; private String name; // 可選多輪對話時使用 }選擇這個模型有兩個關鍵考量第一它完全兼容 OpenAI 的請求格式這樣從 OpenAI 切換過來的業(yè)務方基本零成本第二message 結構上留了name字段和extraParams可以承接各家特有參數(shù)。3.2 適配器模式的具體實現(xiàn)我用適配器模式把“標準協(xié)議”轉(zhuǎn)換成各家協(xié)議。核心是一個接口public interface LLMProviderAdapter { String getProviderName(); UnifiedChatResponse chat(UnifiedChatRequest request); void chatStream(UnifiedChatRequest request, StreamCallbackUnifiedChatResponse callback); }每個廠商實現(xiàn)一個 Adapter 類例如OpenAIAdapter、DeepSeekAdapter、QwenAdapter、ClaudeAdapter。路由分發(fā)的時候根據(jù)請求里的模型名或指定的 provider從 Spring 容器里取出對應的 Bean 執(zhí)行。這里最關鍵的一個設計細節(jié)是模型名到適配器的映射關系是數(shù)據(jù)驅(qū)動的存在 MySQL 表里而不是寫死在代碼里。這樣運營人員可以在控制臺上配置一個新的模型名deepseek-chat映射到 DeepSeek 供應商不需要改一行代碼。數(shù)據(jù)庫表設計如下CREATE TABLE llm_model_registry ( id bigint(20) NOT NULL AUTO_INCREMENT, model_name varchar(128) NOT NULL COMMENT 業(yè)務可見的模型名, provider_code varchar(64) NOT NULL COMMENT 供應商編碼, upstream_model_name varchar(128) NOT NULL COMMENT 上游真實模型名, status tinyint(4) NOT NULL DEFAULT 1 COMMENT 0-停用 1-啟用, remark varchar(512) DEFAULT NULL, PRIMARY KEY (id), UNIQUE KEY uk_model_name (model_name) ) ENGINEInnoDB DEFAULT CHARSETutf8mb4;這樣設計的好處是當上游廠商把gpt-4o換成了gpt-4o-mini只需要在配置中心后臺把upstream_model_name改掉業(yè)務方完全無感知。3.3 流式響應的處理細節(jié)流式接口是整個協(xié)議適配里最容易出 bug 的地方。OpenAI 的 SSE 流返回格式跟 Claude 的流返回格式完全不一樣而且還有一個大坑業(yè)務方連接斷開時網(wǎng)關必須能感知到并立即終止上游請求否則 token 費用會一直累計下去。我的實現(xiàn)方案是在轉(zhuǎn)發(fā)層使用 OkHttp 的異步流式調(diào)用把上游的 SSE 字節(jié)流實時轉(zhuǎn)發(fā)給下游。核心是一個 ResponseBodyCallbackprivate void forwardStream(okhttp3.Response upstreamResponse, HttpServletResponse downstreamResponse) throws IOException { downstreamResponse.setContentType(text/event-stream); downstreamResponse.setCharacterEncoding(UTF-8); downstreamResponse.setHeader(Cache-Control, no-cache); try (BufferedReader reader new BufferedReader( new InputStreamReader(upstreamResponse.body().byteStream(), StandardCharsets.UTF_8))) { String line; while ((line reader.readLine()) ! null) { if (downstreamResponse.getWriter().checkError()) { // 下游連接已斷開立即終止 upstreamResponse.close(); break; } downstreamResponse.getWriter().write(line \n); downstreamResponse.getWriter().flush(); } } }這里有一個細節(jié)每一次 write 之后必須 flush否則下游客戶端會一直等不到數(shù)據(jù)。而且用checkError()判斷下游是否已經(jīng)斷開是一個性價比很高的做法比監(jiān)聽回調(diào)里的異常要可靠得多。4. 核心實現(xiàn)密鑰管理、限流熔斷與計量計費4.1 密鑰安全存儲與隔離密鑰管理是整個系統(tǒng)的安全基石。上游廠商的 Key 如果明文存在數(shù)據(jù)庫里一旦數(shù)據(jù)庫泄露就是重大事故。我的方案是AES-GCM 加密后存儲密鑰從環(huán)境變量注入且應用配置文件里絕不出現(xiàn)明文 Key。Component public class SecretCipher { private static final String TRANSFORMATION AES/GCM/NoPadding; private final SecretKey secretKey; public SecretCipher(Value(${cipher.secret-key}) String base64Key) { byte[] keyBytes Base64.getDecoder().decode(base64Key); this.secretKey new SecretKeySpec(keyBytes, AES); } public String encrypt(String plainText) { try { Cipher cipher Cipher.getInstance(TRANSFORMATION); byte[] iv new byte[12]; SecureRandom random new SecureRandom(); random.nextBytes(iv); cipher.init(Cipher.ENCRYPT_MODE, secretKey, new GCMParameterSpec(128, iv)); byte[] encrypted cipher.doFinal(plainText.getBytes(StandardCharsets.UTF_8)); // 把 iv 和密文拼接存儲 ByteBuffer buffer ByteBuffer.allocate(iv.length encrypted.length); buffer.put(iv); buffer.put(encrypted); return Base64.getEncoder().encodeToString(buffer.array()); } catch (Exception e) { throw new RuntimeException(密鑰加密失敗, e); } } }網(wǎng)關發(fā)起上游調(diào)用時從數(shù)據(jù)庫取出密文解密后再放入請求頭。這里有一個性能優(yōu)化點對解密結果做 10 分鐘的本地緩存避免每一個請求都走一次 AES 解密因為解密本身還是有 CPU 開銷的。密鑰隔離也有講究。我給每個上游供應商單獨建一張密鑰表每個供應商可以配置多個 Key網(wǎng)關發(fā)起請求時可以輪詢使用。當一個 Key 因為余額不足或限流返回 401/429 時自動標記異常并切換到下一個 Key。4.2 限流策略與實現(xiàn)大模型 API 比普通 HTTP API 更需要限流因為一旦某個業(yè)務方代碼出現(xiàn)死循環(huán)每分鐘可能消耗上千元 token 費用。我的限流方案是雙層限流第一層按 API Key 維度每個調(diào)用方每分鐘最多 N 次請求第二層按模型維度每個上游模型全局每分鐘最多 M 次請求實現(xiàn)用的 Redis 令牌桶。之所以用令牌桶而不是固定窗口是因為它可以允許一定程度的突發(fā)流量更貼近實際業(yè)務場景。Component public class RedisRateLimiter { Autowired private StringRedisTemplate redisTemplate; private static final String TOKEN_KEY_PREFIX rate:token:; private static final String TIME_KEY_PREFIX rate:time:; public boolean tryAcquire(String key, int capacity, int refillRate) { long now System.currentTimeMillis(); String tokenKey TOKEN_KEY_PREFIX key; String timeKey TIME_KEY_PREFIX key; // Lua 腳本保證原子性 String luaScript local token_key KEYS[1] local time_key KEYS[2] local now tonumber(ARGV[1]) local capacity tonumber(ARGV[2]) local refill_rate tonumber(ARGV[3]) local refill_interval tonumber(ARGV[4]) local current_tokens tonumber(redis.call(get, token_key) or capacity) local last_refill tonumber(redis.call(get, time_key) or now) local elapsed now - last_refill local refill_count math.floor(elapsed / refill_interval) if refill_count 0 then current_tokens math.min(capacity, current_tokens refill_count * refill_rate) redis.call(set, time_key, now) end if current_tokens 0 then redis.call(set, token_key, current_tokens - 1) return 1 else return 0 end ; Long result redisTemplate.execute( new DefaultRedisScript(luaScript, Long.class), Arrays.asList(tokenKey, timeKey), String.valueOf(now), String.valueOf(capacity), String.valueOf(refillRate), String.valueOf(1000) // 每秒補充一次 ); return Long.valueOf(1).equals(result); } }這個 Lua 腳本的妙處在于令牌補充邏輯和扣減邏輯在 Redis 端原子執(zhí)行不會出現(xiàn)并發(fā)情況下多扣或少補的問題。4.3 熔斷與重試策略上游大模型 API 有時候會突然不穩(wěn)定返回 5xx 或響應超時。如果網(wǎng)關不做熔斷保護所有請求都堆積在慢調(diào)用上很快整個系統(tǒng)都會被拖死。我的熔斷器實現(xiàn)借鑒了 Hystrix 的三態(tài)模型關閉、打開、半開。public enum CircuitState { CLOSED, // 正常狀態(tài)放行所有請求 OPEN, // 熔斷狀態(tài)直接拒絕請求 HALF_OPEN // 半開狀態(tài)放行少量探測請求 }狀態(tài)轉(zhuǎn)換規(guī)則默認 CLOSED狀態(tài)滑動窗口統(tǒng)計最近 60 秒內(nèi)的失敗率失敗率超過閾值比如 50%且請求量超過最小請求數(shù)比如 20 次狀態(tài)切換為 OPENOPEN 狀態(tài)持續(xù) 30 秒期間所有請求快速失敗直接返回 50330 秒后進入 HALF_OPEN放行 5 個探測請求全部成功則恢復 CLOSED否則回到 OPEN熔斷器是每個上游供應商維度的代碼里用ConcurrentHashMapString, CircuitBreaker保存避免一個模型故障拖累所有模型。重試策略我也做了很嚴格的約束只能對冪等請求重試且最多重試 1 次。對于流式請求如果已經(jīng)向下游客戶端輸出了部分數(shù)據(jù)絕不能重試否則會產(chǎn)生內(nèi)容錯亂。4.4 計量計費的設計與實現(xiàn)計量計費開始時我本來想放在一個獨立的日志消費模塊里后來為了簡化部署直接用了異步寫庫 定時匯總的方案。上游的響應里都會帶 usage 字段里面包含prompt_tokens、completion_tokens、total_tokens三個值。網(wǎng)關把這個原始 JSON 透傳給業(yè)務方的同時也同步解析并記錄到數(shù)據(jù)庫public class UsageRecord { private Long id; private String requestId; private String apiKeyId; // 哪個調(diào)用方 private String providerCode; // 哪個供應商 private String modelName; // 哪個模型 private Long promptTokens; private Long completionTokens; private Long totalTokens; private BigDecimal cost; // 計算出的費用 private LocalDateTime createTime; }費用計算是基于供應商配置的單價表。我建了一張provider_price表字段包括input_price_per_million、output_price_per_million單位為元/百萬 token。計費時BigDecimal cost inputPrice.multiply(BigDecimal.valueOf(promptTokens)) .divide(BigDecimal.valueOf(1_000_000), 6, RoundingMode.HALF_UP) .add(outputPrice.multiply(BigDecimal.valueOf(completionTokens)) .divide(BigDecimal.valueOf(1_000_000), 6, RoundingMode.HALF_UP));這個方法雖然沒有官方計價那么精確各家有時按緩存命中與否區(qū)分價格但對于按業(yè)務線做成本分攤完全夠用。5. 控制臺與可視化讓 API 調(diào)用狀態(tài)可觀測一個管理系統(tǒng)的價值很大程度上取決于控制臺做得是否好用。我沒有把精力花在花哨的圖表上而是優(yōu)先保證“調(diào)用方能快速定位問題”。5.1 管理臺功能設計控制臺的核心頁面有五個每個頁面解決一類問題儀表盤展示今日總調(diào)用量、總 token 消耗、預估費用、成功率、P95 響應延遲。這些數(shù)據(jù)每 5 秒刷新一次方便運維盯大屏。調(diào)用日志按時間、調(diào)用方、模型、狀態(tài)碼篩選點開詳情能看到完整的請求參數(shù)和響應內(nèi)容支持一鍵復制 curl 命令復現(xiàn)問題。密鑰管理創(chuàng)建/禁用/輪換業(yè)務方的 API Key支持設置 key 的預算上限和日調(diào)用次數(shù)上限。模型管理維護供應商、模型注冊表、單價表配置模型開關。用量報表按天/按周/按月匯總每個調(diào)用方的費用和 token 消耗支持導出 Excel。5.2 數(shù)據(jù)看板的實現(xiàn)細節(jié)儀表盤的后端接口我用了兩個手段保證性能調(diào)用日志和用量數(shù)據(jù)都做了預聚合每 5 分鐘把明細記錄匯總成一條call_stats_hourly記錄大屏查詢只查聚合表不直接掃明細表。儀表盤的接口都加了 Redis 緩存緩存時間 5 秒。對于大屏場景響應速度比實時性更重要。GetMapping(/api/dashboard/overview) public ResultDashboardOverviewVO overview() { String cacheKey dashboard:overview; DashboardOverviewVO vo redisTemplate.opsForValue().get(cacheKey); if (vo null) { vo buildOverview(); redisTemplate.opsForValue().set(cacheKey, vo, 5, TimeUnit.SECONDS); } return Result.success(vo); }另外一個比較重要的監(jiān)控是上游供應商健康狀態(tài)。我在系統(tǒng)里做了一套定時探測機制每 30 秒向各供應商發(fā)一個最小化的 chat 請求只請求 1 個 token如果連續(xù)失敗 3 次就在控制臺標紅并發(fā)告警通知到群。6. 部署實踐與踩坑記錄系統(tǒng)開發(fā)完成之后部署到測試環(huán)境、壓測、上生產(chǎn)這個過程中又踩了不少坑。我把一些非常有價值的經(jīng)驗整理出來。6.1 Docker Compose 一鍵部署項目的交付物里包含一套完整的docker-compose.yml啟動之后就是一套可用的環(huán)境version: 3.8 services: mysql: image: mysql:8.0 environment: MYSQL_ROOT_PASSWORD: root123456 MYSQL_DATABASE: llm_gateway volumes: - ./sql/init.sql:/docker-entrypoint-initdb.d/init.sql - mysql-data:/var/lib/mysql ports: - 3306:3306 redis: image: redis:7.0-alpine ports: - 6379:6379 volumes: - redis-data:/data backend: build: ./backend environment: SPRING_DATASOURCE_URL: jdbc:mysql://mysql:3306/llm_gateway?useUnicodetruecharacterEncodingutf8 SPRING_DATA_REDIS_HOST: redis CIPHER_SECRET_KEY: dGhpcy1pcy1hLXNlY3JldC1rZXktZm9yLWRlbW8 depends_on: - mysql - redis ports: - 8080:8080 frontend: build: ./frontend depends_on: - backend ports: - 80:80 volumes: mysql-data: redis-data:注意CIPHER_SECRET_KEY這個環(huán)境變量生產(chǎn)環(huán)境一定要用專門的密鑰管理服務如 Vault來管理不能像 demo 環(huán)境這樣硬編碼。6.2 部署中遇到的經(jīng)典問題問題一SSE 流式響應被 Nginx 緩沖前端調(diào)用流式接口時頁面一直等不到數(shù)據(jù)幾十秒后才一次性吐出全部內(nèi)容。排查后發(fā)現(xiàn)是 Nginx 默認開啟了 proxy_buffering把 SSE 流緩沖了。解決方法是在 Nginx 配置中關閉緩沖location /v1/ { proxy_pass http://backend:8080; proxy_buffering off; proxy_cache off; proxy_set_header Connection ; proxy_http_version 1.1; chunked_transfer_encoding on; proxy_read_timeout 300s; }問題二調(diào)用上游時連接池耗盡壓測時發(fā)現(xiàn) QPS 一高很多請求卡在獲取連接上。原因是我直接用了 RestTemplate 默認連接池最大連接數(shù)只有 200。換成 OkHttp 連接池并調(diào)大配置后問題解決Bean public OkHttpClient okHttpClient() { Dispatcher dispatcher new Dispatcher(); dispatcher.setMaxRequests(500); dispatcher.setMaxRequestsPerHost(200); ConnectionPool pool new ConnectionPool(50, 30, TimeUnit.SECONDS); return new OkHttpClient.Builder() .dispatcher(dispatcher) .connectionPool(pool) .connectTimeout(10, TimeUnit.SECONDS) .readTimeout(120, TimeUnit.SECONDS) .writeTimeout(30, TimeUnit.SECONDS) .build(); }這個 readTimeout 一定要設置得足夠大因為大模型流式響應可能會持續(xù)幾十秒甚至幾分鐘。問題三上游返回connection lost mid-response類錯誤我們調(diào)一些不穩(wěn)定的上游接口時會出現(xiàn)響應已經(jīng)發(fā)了一半突然斷連的情況。這個問題的根因往往是上游的負載均衡超時配置太短或者上游在處理長請求時主動斷開了連接。我在適配器層做了針對性的處理如果響應頭已經(jīng)寫入但還沒有完成捕獲 IOException 后記錄一條特殊的“半包日志”方便追查是哪家供應商在哪一段網(wǎng)絡鏈路出的問題。6.3 壓測數(shù)據(jù)與性能調(diào)優(yōu)我拿了 4C8G 的單機部署做壓測開啟 200 并發(fā)壓了 30 分鐘結果如下指標數(shù)值峰值 QPS2100平均響應時間38msP99 響應時間92ms錯誤率0.02%CPU 平均值45%這個性能對于大部分中小型團隊已經(jīng)完全夠用。性能瓶頸主要在于上游 API 的網(wǎng)絡延遲網(wǎng)關自身轉(zhuǎn)發(fā)的開銷占比很小。7. 從源碼到畢業(yè)論文的整理思路這套系統(tǒng)如果是用來做畢業(yè)設計的源碼和論文的配套整理很關鍵。我建議論文按照“需求分析、系統(tǒng)設計、系統(tǒng)實現(xiàn)、系統(tǒng)測試”這四個大塊組織跟源碼模塊一一對應評審老師讀起來會很順。7.1 論文整體架構建議我整理了論文技術部分的參考結構第一章 緒論寫研究背景、國內(nèi)外 API 網(wǎng)關和大模型應用的現(xiàn)狀點出當前大模型 API 管理缺乏統(tǒng)一方案的痛點第二章 相關技術介紹介紹 LLM 基礎概念、Spring Boot、Redis、Vue.js、適配器模式、令牌桶算法等讓評委確認你技術選型有依據(jù)第三章 系統(tǒng)需求分析把功能性需求協(xié)議轉(zhuǎn)換、密鑰管理、計量計費、監(jiān)控告警和非功能性需求性能、安全性、可用性分開描述第四章 系統(tǒng)設計給出架構圖、功能模塊圖、數(shù)據(jù)庫 ER 圖、關鍵接口設計并用文字說明每個模塊為什么這么設計第五章 系統(tǒng)實現(xiàn)按模塊逐個展示關鍵代碼片段配合截圖展示實際運行效果第六章 系統(tǒng)測試包含功能測試用例設計、性能壓測報告、結果分析7.2 從代碼中提煉論文素材的技巧很多同學寫完代碼寫論文的時候反而沒素材。我的做法是每實現(xiàn)完一個功能模塊就順手寫一篇開發(fā)筆記記錄這個模塊解決了什么問題、核心設計思想是什么、用了什么設計模式、測試數(shù)據(jù)如何。這樣論文里的每一個實現(xiàn)章節(jié)都有真實內(nèi)容和數(shù)據(jù)支撐而不是靠拼湊。比如協(xié)議適配這一章我就寫了“為什么要用適配器模式而不是 if-else 判斷”這個在論文答辯時也是很好的加分亮點。8. 系統(tǒng)測試與穩(wěn)定性驗證測試階段我不僅寫了單元測試還寫了集成測試和端到端聯(lián)調(diào)用例。這里說幾個比較重要的測試方案。單元測試主要是對限流器、熔斷器、加密工具類進行測試。熔斷器狀態(tài)流轉(zhuǎn)的測試用例非常重要因為狀態(tài)機邏輯很容易在邊界情況出錯Test void testCircuitBreakerOpenAndHalfOpen() { CircuitBreaker cb new CircuitBreaker(20, 0.5, 30000); // 模擬 20 個請求中 15 個失敗 for (int i 0; i 20; i) { boolean success i 5; cb.recordResult(success); } assertTrue(cb.isOpen()); // 等待 30 秒進入半開狀態(tài) Thread.sleep(30000); assertTrue(cb.isHalfOpen()); // 連續(xù) 5 個探測請求成功熔斷器關閉 for (int i 0; i 5; i) { cb.recordResult(true); } assertFalse(cb.isOpen()); }集成測試則是用 Testcontainers 起一個真實的 MySQL 和 Redis 容器驗證整個請求鏈路是否通。這種方式比 Mock 更加真實能抓出很多環(huán)境依賴的坑。端到端聯(lián)調(diào)時我在測試環(huán)境配了 3 家真實的大模型供應商把每個供應商的流式和非流式調(diào)用都跑了一遍。這個環(huán)節(jié)讓我發(fā)現(xiàn)了很多只在真實網(wǎng)絡環(huán)境下才會出現(xiàn)的問題比如某些供應商對stream_options參數(shù)的支持差異、不同供應商的 timeout 行為等。這套測試流程完整走下來系統(tǒng)的穩(wěn)定性已經(jīng)比較有保障。9. 改進方向與后續(xù)計劃目前這套系統(tǒng)已經(jīng)在我這邊穩(wěn)定運行了一段時間但離想象中的“完美”還有不少距離。我心里有幾個后續(xù)改進的方向也分享給大家參考。一是引入語義緩存。對于相同或相似的請求可以復用之前的響應這個在典型的多輪客服場景里能省不少 token 費用。難點是緩存鍵的設計和相似度計算需要權衡命中率和內(nèi)存消耗。二是增加A/B 測試和灰度發(fā)布capability。當上游廠商發(fā)布新模型時先讓 5% 的流量走新模型觀察效果后再全量切換。這樣能在網(wǎng)關層實現(xiàn)模型迭代的平滑升級。三是引入動態(tài)路由策略。目前是根據(jù)模型名做靜態(tài)路由未來可以做成基于價格、延遲、可用性的動態(tài)評分路由比如某廠商 API 延遲飆升時自動把流量切到其他廠商。四是完善多租戶配額管理。給每個業(yè)務方設置獨立的預算上限當消費金額超過閾值時自動告警甚至熔斷防止預算超支。這些都還是設計思考階段但方向已經(jīng)比較明確。如果你也在做類似項目歡迎一起交流可以互相參考少走一些彎路。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久操视频在线观看| 国产AV无码AV| 91人妻爽爽人人做人人澡| 伊人天天久久动态图| 中文字幕精品人妻丝袜| 国语精品内射在线观看| 亚洲乱妇p22| 九热大香蕉| 天天做日日爱夜夜爽| 欧成人精品H无码| 校园春色综合香蕉| 婷婷情色五月天| 天天爱天天操| 色乱二区| 又大又长又粗又爽又黄| 高清无码人妻久久久一区二区三区aⅴ| 欧美日动态视频| 99久热| 可能人人看人人摸| 麻豆精品三区视频| 日韩一区二区熟女| 色五月亚洲| 人人 操人人 操人人| 黄页av| 精品9999| 97丝袜亚洲在线播放| 精品国产少妇高潮视频| 色综合色综合网| 欧美性爱第一区| 欧美狠狠干| 国产9熟妇视频网站| 精品免费国产二区三区| 男人天堂站| 亚洲另类春色| 美女91| 国产av色网| 一区二区视频你懂的| 97久久久久久久精| 狠狠中文字幕| 国产欧美精品日韩区二区麻豆天美| 一起草日韩| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 少妇高潮99p| 国产成人自拍视频在线| 午夜福利免费福利视频| 国产精品一级二级在线| 日韩 成人 有码| 午夜操操操| 97美日韩视频| 精品制服美女中文一区二区三区| 国产美女激情| 日韩人妻丝袜美腿中文| 国产日本熟女顶级一区二区三区视频 | 插B在线观看| 欧美日韩人妻婷婷一区| 99热这里只有是精品10| 欧洲一区二区三区免费| 国产精品婬乱一级毛片彝族| 国产精品久久久久久高清无码免费看| 国产精品九九九| 日骚逼视频| 东北老熟女| 漂亮人妻被强中文字幕hd| 熟女一区二区三区四区| 日本2020一区二区| 国产国产亚洲一二三久久| 曰韩少妇无码| 黄久在线| 亚洲双插| 亚洲 日本 不卡| 亚洲美女高潮喷水视频| 欧美综合网A| 人妻熟女一区二区三区视频| 美女大乳久久久久久久女人18| 91痴汉| 99在线啪| 天天爱天天操| 五月天激情网图片| 国产农村妇女一区二区| 91蜜臀熟女| 亚州色图片在线色| 97极品无码| 97亚洲色图| 伊人麻豆传媒| 明星性猛交ⅹxxx乱大交| 国产精品高潮久久久无码| 操碰97| 久久9亚洲| 久悠悠av| 东京成人一区| 久草精品一区| 高颜值美女口爆高潮浪叫| 亚洲黄色| 色欲天天综合久久久无码网中文| 1级黄色夫妻对换性交免费看| 眼镜人妻101.com| 国产99精品一区二区三区免费| 国产精品探花色| 思思热免费在线视频| 国产操逼逼网| 成人黑料社久久| 五月婷婷丁香六月| 亚洲男人的天堂一区二区| 天天看高清麻豆| 久久成人午夜狠狠| 91美女在线| 日韩中文字幕2020| 日韩天天综合| 亚洲精品人妻在线| 日韩AV片| 人人爽人人精品乱人伦AV| 欧美综合自拍亚洲综合图| 日日摸日日碰夜夜爽视频| 亚洲老熟妇xxx| 精品九九九九九九九九九| 天天日天天屌天天操| 国产欧美日产一区二区三区 - 国产欧美日| 91欧美另类| 熟女久久久| 中文乱码字幕观看视频| 久久久久亚洲三级电影| 超碰人人草| 亚洲欧美爆| 亚洲91综合| 亚洲色阁| 欧美三级偷拍| 国产精品黑人一区二区三区| 色综合尤物| 狠狠躁AV| 后入日本1234| 激情天天视频| 日韩一级片在线看| 国产又大又粗又色生活片亚洲国产精品成人久久久综合免费 | 超碰免费人妻在线| 亚洲精美粉嫩嫩泬在线观看| 五月黑AⅤ| 91AV天美在线视频| 精品午夜福利| 99久久精品无码一区二区| 日本一本一区二区三区四区五区欧美日韩中文字幕 | 97情超碰色| 91人妻在线视频| 无码二级三级| 日韩偷拍一区二区三区| www.色操逼| 久草视频制服诱惑| 东京太热男人的天堂久久久| 国产网红精品| 欧亚久久偷拍视频| 蜜臀一区二区三区在线 | 免费看久久久性性| 超碰97最新人妻| 97色综合中文网| 思思热影视| 91黑丝少妇| 亚洲 欧美 日本 国内 首页| 亚洲蜜乳av| 青青11操操操操操操操操| 中文字幕第页| 91人妻丝袜无码| 国产精品午夜福利视频| 97无码视频在线播放| 国产成人精品日本亚洲语言| 欧美丝袜美女电影一二三四区| av激情亚洲五月天| 天天天天干| 超碰97在线色男人??| 午夜精品久久一区二区| 另类在线| 国产自偷| 国产精品视频白浆免费| 天天色怡春院| 99久久精品欧美国产| 大香樵伊人网| chaopen97久久| 丰满岳乱妇一区二区三区 | 射丝袜大香蕉| 麻豆视频国产一区二区| 啊啊啊用力在线观看| 欧美日韩性感| 97在线免费看视频| 亚洲中文国际强奸字幕| 热热色综合网| 神马久久久久久伦理片| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 99日精品欧美国产| 亚洲天天影视色综合| 欧美性爱18观看| 欧美人人操人人插| 久悠悠av| 国产一区二区成人av在线播放| 亚洲国男人的天堂| 久久久久久久唑| 99热综合| 久热伊人| 99热91| 熟女久久| 日韩啪啪视频| 天天搞欧美| 日本人人操人人操| 天天爽入口| 亚洲精品aa久久伊人| 亚州大图综合色图| 欧美三级中文字幕hd| 屁股久久久久久久久| 韩国一级AAA| 啊啊啊不要啊啊受不了了视频在线| 野狼福利社区| 丰满翘臀美女影院视频| 富女玩鸭子一级毛片| 亚洲AV无码秘 蜜桃臀国精产品| 色偷综合| 欧美人妻一区| 亚州五月| 亚洲国产综合久久天堂| 少妇久久久久久| 日韩人妻资源网| 超碰在线一区二区| 殴美日韩m| 日本免费中文字幕在线| 青青草乱入乱欲视频在线观看| 人人看黄色视频| 天堂а√在线最新版在线| 国产AV天美| 国产久久免费精品视频| 欧美永久激情一区二区| 熟女乱伦A| 任你干在线视频| 国产高清精品福利| 狠狠躁伊人中文字幕| 又黄又爽在线观看视频| 欧美视频一| 亚洲av热热色| 色久桃花影院在线观看| 夜夜夜夜爽| 日韩成人综合网| 亚洲自拍小说| 久久亚洲天天做| 乱伦图一区| 久久久久久中文字幕中文字幕最新| 色欧洲| 一区久久久二区| 国产精品日韩在线一区| 婷婷九月国产| 猛交交| 麻豆国产视频精品观看| 日韩在线观看AV| 无码自拍SM| AV中亚| 日本一天色道久久久精品视频| 人妻人人做人人澡人人爽欧美一区| 99久久免费看精品国产一区| 色噜噜人妻av 中文字幕| 2019精品国产无码成人| 国产后入清纯| 青娱乐 成人娱乐在线| 韩国一级婬片A片无码天美 | 日韩一级片在线看| 91福利网在线观看| 97中文字幕一区| 丁香九月 婷婷| 欧美色图97| 精品夜夜澡人妻无码| 国产在线激情视频| 男人的天堂一区| 人人摸人人干| 五月天久久久| 93人人操人人| 96精品久久久久久久久久| 亚洲永久AV无码精品秋霞| 强奸a片网| 一区AV| 夜夜高潮夜夜爽国产伦精品| 67194无码不卡| 激情视屏国产乱伦强奸| 13小男生GAY自慰脱裤子| 中文字幕精品亚洲熟女| 久久久久久久亚洲Av无码| 午夜啊啊| 欧美 亚洲 另类 综合| www色色色com| 国产高清精品一区二区三区毛片 | 家庭乱伦性爱av| 欧美色性情| 97色涩| 丁香六月激情| 妺妺跟我一起洗澡没忍住| 日韩无码视频黄色| 97超碰精品图片| 免费看污网址| 日韩/97| 五月婷婷激情网| 久久精品国产亚洲AV嘿嘿| 白丝一区| 殴美色网| 嗯嗯啊啊的视频| 色九九九| 日韩三四五区| 色婷久久| 国产成人bd在线观看| 成全动漫视频观看免费下载| 女同性恋一区二区三区精品视频| 欧美日韩999| 久久91精品国产9丨久久分亭| 91精品国产91综合久久蜜臀| 男人的天堂VA| 亚洲自拍青操视频| 男人的天堂久久狠| 嗯嗯,好大,好爽,好骚 | 欧美黑人与女人91| 麻豆黄站| 色欲色香天天天综合网www-亚洲综合国| 五月激情啪啪| 亚卅熟女乱色| 一本一道vs波多野结衣| 久久黄色视频一区二区三区 | 亚洲自拍一区夜夜操| 91久久精品国产| 香蕉视频欧美一卡二卡| www.成人无码| 亚洲精品黑丝| 999熟女精品| 色www精品视频在线观看| 综合网~91综合网| 久久99国产综合精品女同| av九九| 欧美黄色片AAAAA| 日韩精品在线观看网站| 亚洲av无线观看| 一区操逼日比视频| 亚洲无码免费看| 韩国一级婬片A片无码天美| 天天上日日上日韩精品| 无码久久亚洲高清,| 呦呦一区| 日韩性爱小视频| 亚洲日韩国产精品| 永久电影三级在线观看| 国产粉嫩蜜臀av一区二区三区| 国产传媒1234区| 日本三级人妻a人妻一在线| 综合网,亚洲,欧美| 内射日韩大臀美女| 中文字幕片| 干b在线性社区| 九九热九九| 91欧美在线| 网友自拍第1页| 花花AV导航| 青青青在线高清视频在线一二三四区| 欧美性高潮在线| 9久9久9久9久视频网站| 久久国产精品视频| 色图四区| 久久久96| 东京热视频网| 无码操逼网| 日韩A优精品在线观看| 青草青草久热| www超碰| 99精品成人免费看| 国产强奸乱伦第1页| 老妇女91| 日本羞羞的视频在线播放| 日日干天天干夜夜爽| 天天躁日日躁成人字幕aⅴ| 一本精品日本在线视频精品| 国产操偷| 97人人射| 亚洲免费精品一区| 麻豆精品天美| 欧美综合综合| 成人五月天丁香激情综合| 亚洲国产丝袜熟女av| 久热影视| 欧美性爱十八禁| 丁香婷婷啪啪| www.97在线| 欧美白嫩在线放| 91国内外在线| 精品射1999| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 五月丁香激情综合| 国产欧美伊人| 99国产精品久久久在线播放| 青青草国产一区二区三区| 欧美se综合| 天堂v无码免费视频| 伦伦成年午夜免费视频| 99精品免费| 天天弄欧美| 欧美骚少妇| 久久人妻熟女一区二区| 日韩性爱1级片视频| 黄色片大香蕉| 67194无码不卡| 青草园大香蕉| 风月影院十八禁| 永久免费av无码网站国产app| 国产精品久久久久中文字幕| 美女诱惑爱爱| 熟妇熟女一区二三区| 九99久久| 色综合91好| 亚洲影院无码在线| 中国一区二区亚洲人妻| 久久久999日本大片| 2017大香蕉国产精品久久| 久久久久久人| 精品蜜乳AV免费观看| 风流老熟女一区二区三区l| 久久一二三四五六七八九区区区 | 欧美性少妇| 97网色| 亚洲精品自拍| 五月丁香六月婷综合成人综合 | 97天天操天天干| 午夜男女爽爽爽在线视频| oumeisetu综合| 国产免费一区| 情趣丝袜无码操逼视频| 丁香五月AV| 色噜噜人妻丝袜a∨先锋影 | 日本视频在线观看污污污| 精品福利| 99欧美| 欧美三级免费伊人| 欧美情色贴图| 九九久久久| www.91逼逼.com| 欧美另类色图片| 久久↗↗| 精品人妻一区二区三区四区石在线 | 九九玖玖精品| 清纯唯美激情| 日韩精品亚洲专区在线影视| 好看的91视频| 天天操夜夜操| 日日夜夜干| 国产乱不卡| 国产精品午夜福利视频| 无码国产精品96久久久久孕妇| 国产精品无码AV网站| 啊啊啊不要啊啊受不了了视频在线| 日韩15p| 欧美成人黄网色网站| 亚洲在高跟鞋自慰久久在色线| 欧美一级二级三级| 精品婷婷| 超碰综合97在线| 在线有码中文字幕| 丰满少妇一区二区三区四区观看| 狠狠爱夜夜| 亚洲Av无码成人精品国产| 欧美午夜色妇色鬼| 婷婷av在线中文字幕| 激情五月天丁香社区| 亚洲大胆人体av| 欧洲性爱无码区| Julia在线播放亚洲久久| 欧美性综合| 97资源免费视频| 亚洲影院无码在线| 亚洲国产综合久久久性感熟妇| 国产精品午夜精品| 手机在线播放国产福利| 上床不卡网站| 欧美日韩另类在线播放| 狠插 制服 自拍| 国产黄色剧情影片麻豆免费播放| 日韩有码免费视频| 五月婷婷色| 五月香婷婷| 国产成人五月天丁香花| 日本午夜久久电影| 伊人嫩草| 色99久草| 美女让帅哥通她小鸡鸡| 亚洲图片激情综合另类| 1区2区3区中文字幕日韩| 97亚洲精品超碰| 五月天伊人| 亚洲另类色综合网站| 韩国三级理论在线| 997色在线| 91free福利| 加勒比综合在线| 91碰碰| 射久久| 97干在线看| 99e久久国产精品| 亚洲综合小视频小说在线观看| 爱爱动态60秒| 亚洲欧美天堂在线| 韩国手机不卡无码三级视频| 欧美国产有色电影| 欧美顶级黄色大片免费| 国产精品乱码久久久久久久| 日本日皮视频逼| 天天操熟妇| 色五月综合| 天天cao在线| 白丝1区2区3区| 97精品网| 精品无码一二三四区| 日本性爱欧美性爱| 97免费视频在线观看视频| 亚洲性爱无码乱伦av| 国产成人bd在线观看| 性爱AV天堂| 一线黄色免费性爱片| 伊人久久亚洲色欲综合网站 | 国产高清精品一区二区三区毛片 | 涩亚洲欧洲| 99久热| a片久久久久久久久久久久 | 亚洲一区二区精品福利| 色色九区| 91成人在线| 大香蕉一线视频| 美女91在线| 国产熟妇一区二区| 国产99 中文字幕日韩小视频| 人妻铁牛TV| 男人天堂综合| 欧美色五月| 色欲三区| 国内一级精品| 999综合色| 五月婷丁香| 久艾草在线精品视频在线观看| 伊人在线大香蕉视频久久| AV麻豆免费一区| 亚洲熟女一区| 麻豆2区1区天美| 国产亚洲精品农村妇女| 天天网综合| 一本久久精品中文字| 九九性视频| 中文色综合| 91熟女丨老女人| 精品176精品2| 天天日夜夜| 久久综合亚洲色1080p| 97天天| 东北操逼| 亚洲色图欧美色图制服丝袜| 色综合九九| 综合欧美日韩在线观看| 免费观看国产不卡av| 老熟女综合网 | 国产后入式在线观看| 嫩草黄页| AND人妻系列| 91丨豆花丨熟女| 97在线视频免费看| 夜夜 中文视频rt| 天天影视色香色欲| 手机在线看片免费人成视频| 精品国产三级av韩国在线| 我爱操| 日韩精品9999| 黄色污污污污污污网站| 亚卅熟女乱色| 色狠狠 - 百度| 高清国产精品福利网站| 中国91AV| 人妻天天爽夜夜爽2| 久热精品色情| 97免费在线视频在线观看| 久久精品国产亚洲AV成人直播| 青娱乐福利99| 精品熟女呻吟久久91| 国产少妇内射| 欧美在线视频播放| 在线人妻熟女一区二区三区四区五区| 色婷婷六月| 国产精品一区二区三区,亚洲综合| 国产精品懂色tv影视免费观看| 男人亚洲91首页在线| 人人干人人搞人人摸| 日韩性爱视频在线免费观看| 欧洲在线性爱视频| 欧美日韩传媒| 亚洲男人天堂手机版| 果冻传媒A片一二三区| 欧美国产一区二区三区麻豆传媒| 亚洲一二三精品久久网| 国产天美欧美| 91黑丝露脚| 99久在线精品99re8| 无码乱人伦中文视频| 老熟女乱子伦中文字幕一区二区 | 五月丁香激情综合| 黄片www.| 超碰人人超在线观看| 国产精品欧美日韩久久| 欧美天天干| 成人一级性爱| 91深夜夜| 天天摸夜夜添无码小视频| 美国日韩黄片| 精品国产Av无码久久久亚洲| 日本操逼视频在线| 9久在线视频只有精品| 蜜臀久久99精品久久久久| 人妻欧美| 精品人妻一区二区三区四区不卡在| 欧美偷拍| 91丝袜| 欧美成人性活片| 久久超碰网| 久久久久久久久久久久黄色 | 欧美男人一区| 玖色AV| 欧美性爱97超碰| 天堂九九九九九九九九九| 熟女丰满人妻一区| 亚洲欧美一区二区三区在钱蜜桃| 麻豆久久视频在线地址| 男女打扑克高清网站| 神马视频久久久久久| 中文字幕在线观看第二页| 暖暖精品二区三区观看| 国产一区二区三区不卡手机在线| 欧美精品第四五页中文字幕在线观看| 久操 高清| 韩国国产欧美情侣视频在线| 国产精品久久久久久9999| 九九九九九九免费视频| 久久成人东京热人妻| 97超级久久| 人妻少妇精品视频一区二区三区| 美女91网站| 国产成人拍国产亚洲精品| 国产在线强奸视频| 国产精品探花视频| 制服乱伦| 九九天堂| 久久久久亚洲一区女同性恋中文字幕| 97超碰精品成| 久久天天摸| 日少妇亚洲版| 欧美亚洲综合999| 91日韩网站| 激情小说亚洲| 亚川综合视频| av凤凰久久久| 又黑又大又粗| 97色妞| 亚洲综人| 97超碰站| 亚洲乱伦图片视频| 玖玖婷婷五月天| 韩国女主播青草福利视频| 欧美少妇性乱| 东京热,男人的天堂| 日韩无码人妻| 欧美不卡二区| 免费夜夜爱黄色视频毛片| 中文有码第五页| 日韩av电影网站| 网友自拍第1页| 涩综合导航| 欧美色综合影院| 欧美老熟另类| 九九九九97| 夜夜躁狠狠躁日日躁av| 伦激情人妻另类人妻| 手机看片1024你懂的国产| 69精品少妇一区二区三区蜜桃| 黄色不卡视频| 色色97爱| 国产美女裸体秘 永久无遮挡| 97干97色| 色官网色综合| 国产农村妇女一区二区| 91丨精品丨国产丨丝袜| 91成人无码| 无码精品久久久天天影视| 色色色综合网| 91天天爱| 国产日本一区二区三区蜜臀在线观看| 欧美经典一区二区三区| 天美传媒国产原创中文字幕亚洲欧美另类 | 夜夜操狠狠操| 亚州高清色综合| 特色a在线上| 国产精品久久久无码AV网站| 九九热精品免费视频| 亚洲九九视频在线观看| 亚洲一区日韩精品中文字幕| 亚洲操人| 97在线观视频免费观看| 天天肏天天干| 九九黄色视频在线观看| 青青草精玖玖69精品| 伊色久人大在线| 国产91乱伦| 999久久久久久久精| 久久熟女嫩草成人片免费| 久久精品人人做人人看| 大香樵伊人网| 熟女91网| 欧美91视频| 美女露胸露屁股| 四虎精品亚洲| 久久成人国产| 久久111| 激情小说亚洲| 五月香婷婷| 91无码人妻| 九九视频黄色片| 天天综合日韩网| 伊人宅男大香蕉| 亚洲AV噜噜狠狠网址蜜桃动漫| 中文字幕在线观看AV| 人妻久久| av凤凰久久久| 91色堂| 亚洲性爱电影| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 操逼内射干逼白丝91| 国产馆| 操逼逼无码| 高清肉丝中文无码| 99久久精品无码一区二区毛片免费| 91粉芽高清在线一区二区| 亚洲第一男人天堂| 亚洲高清无码在线桃色| 日韩精品9999| 中国操逼无码| 精品久久久久瑟瑟| 丰满人妻一区二区三区色-百度| 久久露脸国产老熟女| 欧亚日韩综合精品国产| 亚洲国产奇米影视久久| 中文久久一区| 立川理惠被中出无码| 中文啪啪视频| 亚洲天堂男人天堂网| a网站免费观看| 精品十八在线观看| 欧美十八禁在线看| 激情视频图片| 婷婷深爱五月| 亚欧操逼片在线观看 | 99999无码| 欧美色偷偷| 色综合美国| 亚洲成人贴图| 怡红院视频在线| 99国产精品| 天美国产三级传媒| 黑人猛交| 极品白嫩福利在线| 99久久无码| 亚洲91亚洲| 欧美精品久久久久久久丰满| 在线综合 亚洲 欧美中文字幕| 人人操人人摸人人骑| 欧洲综合视频| 亚洲无码 国产无码| 久久人人爽爽爽人久久久| 国内偷拍精品一区二区| 亚洲最大的黄色电影网站。| 色哟哟AⅤ| 10000部十八禁看电影| 99这里只有精品国产| 天天内射| 亚洲一本色道中文无码aV天美| 久久久少妇诱惑精品视频| 国产成人bd在线观看| 夜夜嗨一区二区三区三州加勒比 | 日本三级A片网站com| 久久大精品乱码视频人妻熟女| 日韩欧美国产一区二区三区四区| 精品无码产区一区二| 国产高潮AA片免费看| 亚洲图片91| 色妹子A V| 国产无马在线| 香蕉免费一区二区三区不读| 久久久免费一级黄片| 啊啊啊水好多| 日韩99神马视频播放片在线播放| 13小男生GAY自慰脱裤子| 在线黄色污污网站| 亚洲精品中文字幕一区在线视频| 97久操| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 精品少妇一区二区三区免费观看| 日韩成年人性爱视频| 夜夜嗷嗷一区二区| 亚洲国产午夜真人一级片中文字幕精品黄网站| 大香蕉手机在线| 国产欧美日韩在线观看麻豆传媒公司| 黄色免费网| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 人人妻人人操人人乐| 日本性感人妻91| 97超碰在线资源网站| 久操不卡视频| 精品黄色电影| 欧美日韩大陆黑人少妇99| 久久久久国产精品喷潮免费观看臀 | 激情网色| 精品人妻一区二区三区视频在线| 欧美精品在线观看| 中国国产精品一区视频| 中韩中文字幕在线观看| 九一屌逼| 乱伦3P视频| 天天射日日干| 蜜桃视频一区二区三区 | 九九玖玖精品| 操逼视频亚洲| 91丝袜| 96国产污污污丝袜| 色色丁香| 天天谢天天干| 亚洲色图欧美色18直播在线| 青青草伊人久久| 5月婷婷6月六月丁香| 男女无套 免费网站| 激情小说亚洲视频| 天天日老熟妇| 99久久e免费热视| 99999精品| 操逼无毒无码免费视频| 美女啊啊啊啊啊啊啊| 99在线无码精品秘 入口黑人| 麻豆亚洲AV成人无码久久精品| 中文字幕-区二区三区四区视频中国| 视频分类 国内精品| 日本熟女不卡视频| 亚洲丝袜二区在线| SS久久| 99热在线观看| 欧美亚洲尤物久久| 超碰97欧美| 狠狠干2020| 亚洲A色| 99色婷婷| 萌白酱自拍视频| 色激情综合网站| 9九九国产| 日韩中文字幕av在线播放| 91中文在线| 久久亚洲AV无码专区首页| 夜夜嗨视频| chaopen97久久| 久久久不卡区一区二区三区久久久| 狠狠操狠狠| 蜜乳AV网址| 久久伊人亚洲AV无码网站| 我想要 啊 啊 啊| 中文字幕在线第二页| 久久精品老司| 操少妇很爽av| 精品少妇一区二区三区在线视频| 国产精品一区二区亚洲人成毛片 | 国产真乱mangent| 亚洲人久久久久日| 欧美精品不卡一二三四在线91| 亚洲少妇色图自慰直播| 你操综合| 91日韩在线| 亚洲国产高清福利视频| 370p日韩欧美亚洲精品| 91久久青青草原精品| 国产精品97视频| 加勒比综合a∨| 嗯嗯啊啊好疼| 欧美一区二区三区大综合| 亚欧精品久久久久久久久久久| 在线观看综合精品亚洲| 免费亚洲黄色视频在线观看| 妇女性内射冈站HDWWWCOM| 伊人91| 欧美在线电影| 久99在线免费观看视频| 日韩熟女视频二区| 欧美久久久| 国产九区| 美女91在线观看| 免费农村成人少妇人妻Aa一区二区视频 | 国产精品久久久无码aV去| 97干97色| 人妻久久一区二区三区| 亚洲性高潮| 国产嫩草精品A88AV| 久久噜噜噜精品国产亚洲综合| 久久综合av| 精品久久大胆人体| 久久99亚洲精品久久99果| 永久电影三级在线观看| 亚洲风情在线观看| 精品人妻久久久久一区二区三区| 中文日韩欧美熟| 日韩综合97P| 国产女人9999| 美女黄码视频午夜| 国产日韩欧美| 国桃视频产巨乳精品一区二区在线| 白 大 人妻 区 在线| 美女91在线观看| 天天碰操中国年青熟妇| 国产精品 午夜福利| 亚洲射综合网| 国产精品网站免费| 欧美视频第二页| 欧美激情片一区二区| 伊人国产视频| 日韩天天本| 色香伊人| 国产人人干| 超碰在线在公开超碰在线在公开| 九九九只有精品| #NAME?| 揉揉揉夜夜| 97超碰色五月| 极品出轨视频网站| 日韩BBN| 国产嫩草精品A88AV| 78m成人视线| 熟女精品日韩一区二区三区| 亚洲国产97| 欧美色综合| 日韩三级在线观看网站| 成人性爱AV在线免费观看| 亚洲第一免费视频| 婷婷激情五月天小说网| 超碰人人超在线观看| 天天躁日日躁AAAXX| 69人妻精品一区二区绯色| 久久久久13| 亚洲欧美天堂在线| 97超碰久| 好一吊区二区| 中文乱码字幕观看视频| 久久狠狠色噜噜狠狠狠狠97| 国产最火爆久久国产网站网站 | 久久熟女嫩草成人片免费| 国语精品av| 97爱爱爱| 日韩成人精品| 国产在线激情视频| 中文字幕狠狠玩| 婷婷色在线| 中文字幕精品丝袜| 欧美91精彩| 亚洲狠狠入| 91天天| 秋霞成人一级在线观看| 久久AV无码网址| 亚洲精品男人的天堂| 欧美成不卡网| 中文字幕伊人| 蜜臀久久久99久久久久 | 嗯嗯啊啊操死我| 校园春色中文字幕AV| 高清无码91| 操国产逼| 久久无码电影| 国产久久一区二区午夜| 精品一区二区麻豆| 日本一二三免费久久| a级免费在线观看| 日操粉逼逼| 欧美淫穴| 啊啊啊啊啊,啊啊啊啊好舒服,操我舒服啊啊啊| 91老妇女| 欧美不卡在线一区二区| 久久香蕉综合一本到3atv| 爱爱动态120秒| 老熟妇一区二区三区啪啪| 日韩内| 韩国手机不卡无码三级视频| 免费看日产一区二区三区| 亚洲中文人妻色| 日夜尻逼网| 久久国产AⅤ| 日韩女模中文造逼| 嗯~啊~快点 死我视频| 大香蕉在线SuP| 操国产高清| 性爱乱伦一区| 欧美日韩资源在线| 精品无人区麻豆乱码1区2区图片| 久久久久久久强迫| 日本三级R| 男人天堂久久日韩| 天天射天天色成人| 人妻中文字幕精品无码| 国产精品一二三区福利| 四虎在线播放| 久久专区| 思思热免费视频观看| 国产黄色动态精品| 草久在线| 日韩精品 视频一区二区| 殴美牲| 欧美淫乱视频| 久久性生大片免费观看性| 乱色视频中文字幕| 日韩人妻精品中文字幕| 久久青青草在线视频| 郑州宾馆老熟女露脸啪啪| 97青青操视频| 高颜值美女口爆高潮浪叫| 欧美性爱第一区| 91亚·色| 东北女人性交| 色色香蕉| 久久男人网| 亚洲图片欧美| 婬女免费一二三区A片| 九九九久久久久| 欧美性爱一区二区| 精品国产精品一区二区| 高清肉丝中文无码| 成人一二| 人妻少妇一区二区| 精品久久久久成人码免| 天天色,天天干,天天干| 精品久久久av| 色噜噜日韩精品| 日韩精品黄片免费观看| 伊人久久大香线综合无码| 日韩亚洲欧美中文字幕| 日本日逼视频网| 91精品免费| 在线无码视频| 中文字幕55555| 男人的午夜天堂| 91久热| 欧美亚洲韩国视频十五区| 久操网无码在线| 欧美性暴力猛交XXXX| 日韩天堂av电影在线观看| 清纯唯美综合| 一级免费啪啪片| 久久视频,这里只有精品| 草草影院最新网址| 蜜臀AV成人精品蜜臀AV久久| 中文字幕97| 亚欧精品久久久久久久久久久| 中文字幕青青草| av天堂5| 欧美第一页| 精品国产人成在线| 麻豆国产成人精品| 国产强奸乱伦xd| 操人妻逼91| 999久久久免费精品国产牛牛| 伊人综合色网| 校园春色 欧美| 七久久久| …亚洲黄色厕厕女女在线播…| 99热亚洲| 伊人91| 嗯啊不要啊在线 | 色一射色一射| 国产午夜精品在线观看| 美女露胸露屁股| 免费试看60秒| 91精品国产综合久久久蜜臀| 91精片| 国产白领连续中出在线观看| 日本影视久久免费| 有码免费观看| 天堂69亚洲精品中文字| 宗合情欲网| 成人av在线播放| 97超碰资源网| 日本操逼二区| 天操天操夜操夜月操月年年操操| 久久一区二区三区入口| 伊人9| 婷婷综合激情| 亚洲资源站| 青青操97| gogogo免费高清看中国国语| 手机久操欧美综合色码| 欧美人与性动交a美精品| 操死我了啊啊啊| 欧美性爱另类综合| 亚洲丝袜少妇在线| 国产伊人自拍| 日本黄色精品专区网站| 999综合色| 亚洲强奸乱伦影视网| 亚洲高潮影院| 最新欧美色网| 日韩精品资源专区二区| 啊啊啊啊操死我了| 岛国在线一区二区三区| 亚洲色婷婷综合久久一区二区三区| 五月激情小说| 草草草视频在线免费看| 麻豆一区二区三区精品| 日美免费黄片| 91无码精品| 肉丝网站91| 亚洲一区二区三区中文字幕| 呻吟 欧美 日本 中出| 激情小说五月天| 精品人妻一二三| 99国产精品久久久久久久成人热| 久久美女国产| 精品无人区麻豆乱码1区2区图片| 黄污污污污| 高清无码久操视频| 九九九九九九视频| 97综合在线| av三级电影在线播放| 91久久国产综合精品| 亚洲一区二区性爱电影| 欧美精品一二三| 99啪啪| 黄片在线免费在线观看| 久久午夜色播影院免费高清| 伊人国产视频| 婷婷五月天影院| 久久午夜伦| 亚洲天堂男| yazhousetuoumei| 一区二区三区免费岛国片| 91性网| 91九九九逼| 综合欧美日本三级| 国产成人久久精品蜜臀| 欧美亚洲涩涩| 日日夜夜干| 天天懆天天日| 欧美午夜熟妇黑人精品91| www.操| 嫖老熟女A片一二三区| 一区二区三| 亚洲色丰满少妇高潮| 99热亚洲| 中国一级特黄大片护士| 啊啊啊啊无码| www.高清无码诱惑一区.com | 色香综合天天影视综合 | 国产一区二区三区免费视频在性观看 | 九九九九九九免费视频| 无码99| 黄色大香焦1级‘′‘| 看全色黄大色大片免费视频| 日韩中文字幕宗合在线| 麻豆60秒| 日韩不卡毛片Av免费高清| 蜜臀一区二区三区在线 | 一牛一区二区三区久久| 婷婷伊人綜合中文字幕| 一级二级三级黑人无码| 97就爱干| 热天堂一区二区|