日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

MySQL到BigQuery數(shù)據(jù)同步:CDC如何彌補(bǔ)周期同步的漏失

MySQL到BigQuery數(shù)據(jù)同步:CDC如何彌補(bǔ)周期同步的漏失 MySQL 到 BigQuery 的數(shù)據(jù)同步最容易被低估的問題就是時(shí)間窗口。無論是定時(shí)導(dǎo)出還是按updated_at增量拉取本質(zhì)上都屬于 periodic syncs。它們的共同點(diǎn)是數(shù)據(jù)庫里的變化并不會(huì)等待調(diào)度任務(wù)開始也不會(huì)按周期整齊地落入邊界。一次刪除、一條字段被改回舊值、一張表在夜間被大批量 UPDATE 后又改回來這些事件都可能發(fā)生在兩批同步任務(wù)的間隙最終 BigQuery 里的數(shù)據(jù)既不是源表的真實(shí)狀態(tài)也不是任何歷史時(shí)刻的真實(shí)狀態(tài)。CDCChange Data Capture通過讀取 MySQL binlog把每一條數(shù)據(jù)變更作為事件流送到 BigQuery正好從機(jī)制上補(bǔ)上了這個(gè)缺口。這篇文章圍繞周期同步會(huì)漏什么、binlog 為什么能避免漏、落地時(shí)要注意什么展開適合正在設(shè)計(jì)數(shù)據(jù)管道、給數(shù)倉接增量數(shù)據(jù)或者被批量任務(wù)數(shù)據(jù)不一致問題困擾的開發(fā)者與數(shù)據(jù)工程師。1. 周期同步在 MySQL 到 BigQuery 場景下到底漏了什么1.1 常見的三種周期同步寫法先看最常用的三種同步方式它們并不只是實(shí)現(xiàn)細(xì)節(jié)不同能捕獲的數(shù)據(jù)變化粒度也完全不同。第一種是全量導(dǎo)出覆蓋。直接把 MySQL 表導(dǎo)出成文件或通過 SQL 拉取寫入 BigQuery 臨時(shí)表再覆蓋目標(biāo)表。這種方式能保證目標(biāo)表最終狀態(tài)一致但同步窗口很長且 BigQuery 做覆蓋時(shí)下游可能讀到一半數(shù)據(jù)。數(shù)據(jù)量一旦上億這個(gè)方案基本不可持續(xù)。第二種是按自增 ID 增量拉取。記錄max(id)每次只拉大于該 ID 的行像這樣SELECT * FROM orders WHERE id :last_max_id ORDER BY id;這個(gè)方案只能捕獲新增數(shù)據(jù)。業(yè)務(wù)表一旦發(fā)生 UPDATE主鍵 ID 不變增量 SQL 永遠(yuǎn)拉不到這一行。DELETE 更不會(huì)出現(xiàn)在結(jié)果里。第三種是按更新時(shí)間戳增量拉取SELECT * FROM orders WHERE updated_at :last_sync_ts;這是目前最常見的周期同步方案前提是業(yè)務(wù)表有updated_at字段并且所有寫入路徑都正確更新這個(gè)字段。實(shí)際項(xiàng)目里這個(gè)前提經(jīng)常被破壞某些批量導(dǎo)入腳本沒有更新updated_at某些框架寫入時(shí)沒有映射該字段于是出現(xiàn)數(shù)據(jù)明明變了增量 SQL 卻查不到的問題。1.2 周期同步一定會(huì)錯(cuò)過的幾類變更物理刪除是最典型的一類。DELETE 之后這條記錄不再存在于表中任何基于當(dāng)前表狀態(tài)的 SELECT 都無法發(fā)現(xiàn)它曾經(jīng)存在過。全量對(duì)拍能發(fā)現(xiàn)問題但只能事后補(bǔ)救而且對(duì)拍本身在大表上成本極高。沒有更新時(shí)間字段或者更新時(shí)沒有寫入時(shí)間戳也是一類。訂單表如果通過第三方系統(tǒng)直接改庫或者 DBA 手工執(zhí)行 UPDATE 時(shí)沒有維護(hù)updated_at那么增量邊界從一開始就是錯(cuò)的。同周期內(nèi)狀態(tài)回跳同樣會(huì)被掩蓋。假設(shè)訂單在 00:00:10 從pending改為paid00:00:20 又改回pending。周期任務(wù)在 01:00 運(yùn)行拉到的最終狀態(tài)還是pending。從業(yè)務(wù)角度看中間那次paid狀態(tài)也曾經(jīng)是真實(shí)數(shù)據(jù)但周期同步完全感知不到。高頻更新更不用說。一張促銷表每秒更新幾千行周期任務(wù)每隔 5 分鐘拉一次單行在周期內(nèi)被反復(fù)更新后最終拉到的只是最后一次值中間所有取值全部丟失。1.3 為什么不是多跑幾次就能解決周期同步的失敗模式是邏輯性漏數(shù)據(jù)不是漏跑任務(wù)。把調(diào)度頻率從小時(shí)改成分鐘只是縮小時(shí)間窗口并沒有改變讀取當(dāng)前表狀態(tài)的本質(zhì)。一張表在周期內(nèi)發(fā)生了 100 次更新周期同步只能看到最后一行binlog 能看到 100 個(gè)事件并且每個(gè)事件都保留前鏡像和后鏡像。這就是原理層面的差異。周期同步試圖通過查詢結(jié)果反推變化而 binlog 是 MySQL 自己記錄的寫操作流水賬。流水賬不會(huì)因?yàn)闃I(yè)務(wù)表沒有updated_at就缺頁也不會(huì)因?yàn)?DELETE 后記錄消失就抹去歷史。1.4 三種方案的能力對(duì)比維度全量快照增量字段輪詢binlog CDC刪除事件全量對(duì)拍后才發(fā)現(xiàn)通常無法發(fā)現(xiàn)每條 DELETE 都有對(duì)應(yīng)事件更新歷史只有最后狀態(tài)只有最后一次變更每次 UPDATE 都有前鏡像和后鏡像對(duì)業(yè)務(wù)表要求無必須有updated_at等字段無binlog 與業(yè)務(wù)表結(jié)構(gòu)獨(dú)立實(shí)時(shí)性取決于調(diào)度周期取決于調(diào)度周期秒級(jí)到分鐘級(jí)可配置對(duì)源庫壓力大全表掃描代價(jià)高中等取決于索引較小讀取日志而不是反復(fù)掃描表從這張表能看出周期同步不是慢而是漏。CDC 的價(jià)值不是讓同步更快而是讓變化過程本身可見。2. binlog 為什么能捕捉每一次變化CDC 的原理2.1 binlog 是什么binlog 是 MySQL 的二進(jìn)制日志記錄所有改變數(shù)據(jù)庫內(nèi)容的操作包括 INSERT、UPDATE、DELETE以及部分 DDL。MySQL 主從復(fù)制、崩潰恢復(fù)、數(shù)據(jù)恢復(fù)都依賴它??梢岳斫鉃?MySQL 把每一次寫操作按順序?qū)懙揭槐玖魉~上。binlog 并不是默認(rèn)可用的。MySQL 5.7 中l(wèi)og_bin默認(rèn)關(guān)閉8.0 默認(rèn)開啟但不同發(fā)行版和云廠商的默認(rèn)值可能不同落地前必須先確認(rèn)。如果 binlog 沒有開啟后續(xù)所有 CDC 方案都無從談起。2.2 ROW 格式給 CDC 提供了什么binlog 有三種格式STATEMENT、ROW、MIXED。STATEMENT 格式記錄的是 SQL 語句本身例如UPDATE orders SET statuspaid WHERE id1001;。這種格式日志量小但無法可靠還原每一行在語句執(zhí)行前后的具體值。MIXED 格式是兩者的混合MySQL 會(huì)根據(jù)語句類型自動(dòng)選擇但對(duì)于 CDC 場景依然不夠穩(wěn)定。CDC 要求使用 ROW 格式。ROW 格式下binlog 直接記錄行的變化包括字段級(jí)的前鏡像和后鏡像。具體來說INSERT 事件包含插入后的完整行數(shù)據(jù)。UPDATE 事件包含變更前的整行數(shù)據(jù)和變更后的整行數(shù)據(jù)。DELETE 事件包含刪除前的整行數(shù)據(jù)。這意味著 CDC 消費(fèi)者不僅能知道某張表發(fā)生了變化還能拿到 哪一行的哪個(gè)字段從什么值變成什么值。2.3 CDC 連接器如何消費(fèi) binlogDebezium、Flink CDC 這類工具在原理上會(huì)偽裝成 MySQL 從庫。它們通過 MySQL 的復(fù)制協(xié)議從主庫拉取 binlog并把 binlog 里的二進(jìn)制事件解析成結(jié)構(gòu)化的 JSON 變更事件。連接器需要記錄自己的消費(fèi)位點(diǎn)。傳統(tǒng)方式是記錄 binlog 文件名加偏移量例如mysql-bin.000023的position 45123。更可靠的方式是使用 GTID即全局事務(wù)標(biāo)識(shí)符。GTID 能唯一標(biāo)識(shí)每個(gè)事務(wù)即使 binlog 文件被清理只要 MySQL 實(shí)例保留了完整的事務(wù)歷史連接器也能定位到正確的起點(diǎn)。CDC 連接器通常具備先快照再增量的能力。首次啟動(dòng)時(shí)它會(huì)先讀取一次源表全量數(shù)據(jù)記錄當(dāng)時(shí)的 binlog 位點(diǎn)之后繼續(xù)從該位點(diǎn)消費(fèi)增量從而保證從啟動(dòng)那一刻起不遺漏后續(xù)變更。2.4 從 binlog 到 BigQuery 的完整鏈路一個(gè)常見的生產(chǎn)架構(gòu)是MySQL master - binlog - CDC Connector (Debezium / Flink CDC) - Kafka Topic - 流處理或?qū)懭氤绦?- BigQuery Storage Write API / Load Job - BigQuery Table也可以簡化為MySQL master - Flink CDC - BigQuery 目標(biāo)表無論采用哪種架構(gòu)核心都是從日志讀取變化而不是定時(shí)查詢表。這也決定了后面的環(huán)境準(zhǔn)備、配置、驗(yàn)證和排錯(cuò)方式。3. 前期準(zhǔn)備MySQL、BigQuery 和權(quán)限一項(xiàng)都不能省3.1 版本與前置條件在配置 CDC 之前先確認(rèn)環(huán)境是否滿足基本條件組件要求說明MySQL5.7 或 8.0開啟 binlog5.7 建議顯式開啟8.0 確認(rèn)默認(rèn)配置BigQuery數(shù)據(jù)集、目標(biāo)表、服務(wù)賬號(hào)建議單獨(dú)建服務(wù)賬號(hào)避免共用管理員賬號(hào)CDC 工具Debezium 或 Flink CDC版本需要與 MySQL 和 Kafka 版本匹配網(wǎng)絡(luò)源庫與數(shù)倉側(cè)連通私網(wǎng)優(yōu)先公網(wǎng)場景需要做好傳輸加密如果源 MySQL 是云數(shù)據(jù)庫還需要查看云廠商是否允許開啟 binlog 保留策略、是否開放復(fù)制賬號(hào)權(quán)限。有些托管數(shù)據(jù)庫默認(rèn)不開放REPLICATION SLAVE這是接入 CDC 前最容易發(fā)現(xiàn)的阻塞點(diǎn)。注意開啟 binlog 并切換為 ROW 格式后binlog 日志量通常會(huì)變大磁盤占用和復(fù)制延遲都會(huì)上升。生產(chǎn)環(huán)境切換前需要評(píng)估磁盤余量。3.2 修改 MySQL 配置下面是一份最小可用的 MySQL CDC 配置示例[mysqld] server_id 1001 log_bin /var/log/mysql/mysql-bin.log binlog_format ROW binlog_row_image FULL expire_logs_days 7 # MySQL 8.0 可用以下參數(shù)控制 binlog 保留時(shí)長 # binlog_expire_logs_seconds 604800每個(gè)參數(shù)的作用server_idMySQL 實(shí)例在復(fù)制拓?fù)渲械奈ㄒ粯?biāo)識(shí)。CDC 客戶端也會(huì)占用一個(gè) server-id不能與主從庫中其他節(jié)點(diǎn)重復(fù)。log_bin開啟 binlog并指定日志文件路徑。binlog_formatROW讓 binlog 記錄行級(jí)變更。CDC 必須使用 ROW 格式。binlog_row_imageFULL讓 UPDATE 事件包含整行前鏡像和后鏡像。如果設(shè)置為 MINIMALbinlog 只包含被修改的字段和主鍵CDC 拿不到完整舊行和新行。expire_logs_days控制 binlog 文件保留天數(shù)。保留太短CDC 位點(diǎn)落后時(shí)可能追不上保留太長磁盤占用過大。常見建議是 3 到 7 天具體要結(jié)合源庫寫入量和磁盤容量調(diào)整。修改配置后需要重啟 MySQL。重啟前確認(rèn)max_allowed_packet等參數(shù)不會(huì)限制大事務(wù)的 binlog 傳輸。3.3 創(chuàng)建 MySQL CDC 賬號(hào)建議為 CDC 單獨(dú)創(chuàng)建一個(gè)賬號(hào)避免使用 rootCREATE USER cdc_user% IDENTIFIED BY strong_password; GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO cdc_user%; FLUSH PRIVILEGES;三個(gè)權(quán)限的含義SELECT用于 CDC 工具首次啟動(dòng)時(shí)的全量快照以及讀取表結(jié)構(gòu)信息。REPLICATION SLAVE允許該賬號(hào)通過復(fù)制協(xié)議讀取 binlog這是 CDC 的核心權(quán)限。REPLICATION CLIENT允許執(zhí)行SHOW MASTER STATUS、SHOW BINARY LOG STATUS等命令用于確認(rèn)位點(diǎn)信息。不要把ALL PRIVILEGES都授出去。CDC 賬號(hào)只需要讀取能力不需要寫源庫。3.4 BigQuery 側(cè)準(zhǔn)備BigQuery 側(cè)需要準(zhǔn)備數(shù)據(jù)集、目標(biāo)表和服務(wù)賬號(hào)。在 Google Cloud Console 中先創(chuàng)建數(shù)據(jù)集例如analytics。目標(biāo)表建議在接入 CDC 之前就定義好字段類型盡量與 MySQL 類型對(duì)應(yīng)。如果后續(xù)依賴 BigQuery 自動(dòng)加列容易遇到 schema 不一致導(dǎo)致寫入失敗。服務(wù)賬號(hào)需要授予 BigQuery Data Editor 或更細(xì)粒度的角色。把服務(wù)賬號(hào)的 JSON 密鑰下載到寫入服務(wù)所在機(jī)器并通過環(huán)境變量GOOGLE_APPLICATION_CREDENTIALS指向密鑰文件。BigQuery 是列式存儲(chǔ)目標(biāo)表 schema 在寫入前就要對(duì)齊。CDC 事件字段如果比目標(biāo)表多需要做過濾如果少目標(biāo)表多出的列會(huì)使用默認(rèn)值或 NULL。4. 最小落地鏈路Debezium 捕獲 binlog程序?qū)懭?BigQuery4.1 兩種常用的技術(shù)選型常見方案有兩種方案鏈路適合場景Debezium KafkaMySQL - Debezium - Kafka - 寫入程序 - BigQuery已有 Kafka 基礎(chǔ)設(shè)施需要多消費(fèi)方Flink CDCMySQL - Flink CDC - BigQuery Sink團(tuán)隊(duì)熟悉 Flink希望用 SQL 處理流下面以 Debezium Kafka Python 消費(fèi)者為例把鏈路拆開看。這樣更容易理解每個(gè)環(huán)節(jié)的職責(zé)。Flink CDC 只是把 Debezium 和流處理合并到一個(gè)框架里原理一致。4.2 Debezium connector 的配置Debezium 通過 Kafka Connect 運(yùn)行一個(gè)典型配置如下{ name: mysql-orders-connector, config: { connector.class: io.debezium.connector.mysql.MySqlConnector, database.hostname: 10.0.0.10, database.port: 3306, database.user: cdc_user, database.password: xxxx, database.server.id: 5400, database.include.list: ecommerce, table.include.list: ecommerce.orders, database.history.kafka.bootstrap.servers: kafka:9092, database.history.kafka.topic: schema-changes.ecommerce, topic.prefix: mysql, include.schema.changes: true } }關(guān)鍵參數(shù)database.server.idDebezium 會(huì)占用一個(gè) server-id。它必須與 MySQL 現(xiàn)有主從庫、其他 CDC 實(shí)例的 server-id 不沖突否則連接會(huì)被 MySQL 拒絕。database.include.list/table.include.list限定監(jiān)聽的庫表。只同步需要的表能顯著減少 binlog 解析壓力。database.history.kafka.topicDebezium 用這個(gè) topic 記錄表結(jié)構(gòu)歷史。binlog 里的舊事件在解析時(shí)可能依賴歷史 schema因此這個(gè) topic 不能隨意刪除。topic.prefix生成 Kafka topic 名稱的前綴。最終 topic 名稱一般是{topic.prefix}.{database}.{table}。4.3 變更事件長什么樣Debezium 輸出的變更事件是一段 JSON核心結(jié)構(gòu)如下{ before: { id: 1001, status: pending }, after: { id: 1001, status: paid }, source: { db: ecommerce, table: orders, server_id: 1001, ts_ms: 1719900000123 }, op: u }op字段表示操作類型op 值含義事件內(nèi)容cINSERT只有afteruUPDATE有before和afterdDELETE只有beforer快照讀取類似 INSERTafter為快照行注意DELETE 事件沒有after。寫入 BigQuery 時(shí)如果目標(biāo)表要反映刪除必須自己定義刪除策略比如寫入一條帶刪除標(biāo)記的記錄或者通過主鍵 MERGE 刪除目標(biāo)行。4.4 寫入 BigQuery 的示例程序下面是一個(gè)最小 Python 消費(fèi)者示例從 Kafka 讀取 MySQL 變更事件批量寫入 BigQueryimport json from google.cloud import bigquery from kafka import KafkaConsumer PROJECT my-project DATASET analytics TABLE orders client bigquery.Client(projectPROJECT) table_ref client.get_table(f{PROJECT}.{DATASET}.{TABLE}) def process_event(msg): payload json.loads(msg.value()) op payload.get(op) if op in (c, r): return payload[after] if op u: return payload[after] if op d: before payload[before] before[_is_deleted] True return before return None consumer KafkaConsumer( mysql.ecommerce.orders, bootstrap_serverskafka:9092, group_idbigquery-sync, auto_offset_resetlatest, enable_auto_commitFalse, ) rows [] batch_size 500 for message in consumer: row process_event(message) if row is not None: rows.append(row) if len(rows) batch_size: errors client.insert_rows_json(table_ref, rows) if not errors: consumer.commit() rows [] else: print(errors)這個(gè)示例說明的是思路不是完整生產(chǎn)代碼。insert_rows_json適合小規(guī)模驗(yàn)證生產(chǎn)環(huán)境更推薦使用 BigQuery Storage Write API并配合監(jiān)控、重試和死信隊(duì)列。enable_auto_commitFalse是為了避免消息未成功寫入就提交位點(diǎn)減少丟失風(fēng)險(xiǎn)但代價(jià)是重復(fù)消費(fèi)因此目標(biāo)表必須容忍重復(fù)。4.5 如果團(tuán)隊(duì)已經(jīng)用 Flink可以考慮 Flink CDCFlink CDC 可以把上面的鏈路壓縮成一個(gè) SQL 和一套連接器。用 Flink SQL 創(chuàng)建 MySQL CDC 源表CREATE TABLE mysql_orders ( id INT, user_id INT, amount DECIMAL(10, 2), status STRING, updated_at TIMESTAMP(3), PRIMARY KEY (id) NOT ENFORCED ) WITH ( connector mysql-cdc, hostname 10.0.0.10, port 3306, username cdc_user, password xxxx, database-name ecommerce, table-name orders, server-id 5400-5406, scan.incremental.snapshot.enabled true );scan.incremental.snapshot.enabled在較新版本默認(rèn)開啟。它讓 Flink CDC 以分片方式并行快照大表不需要像舊版本那樣先對(duì)全表加鎖再讀取對(duì)大表更友好。源表創(chuàng)建后可以再創(chuàng)建 BigQuery Sink 表通過INSERT INTO完成同步。具體 Sink 類名和參數(shù)取決于連接器版本落地前要以當(dāng)前使用的 Flink 和連接器文檔為準(zhǔn)。5. 怎么驗(yàn)證 binlog 同步?jīng)]有漏數(shù)據(jù)5.1 先確認(rèn) binlog 真的開了進(jìn)入 MySQL 命令行執(zhí)行SHOW VARIABLES LIKE log_bin; SHOW VARIABLES LIKE binlog_format; SHOW VARIABLES LIKE binlog_row_image;預(yù)期結(jié)果中l(wèi)og_bin為ONbinlog_format為ROWbinlog_row_image為FULL。還可以執(zhí)行SHOW BINARY LOG STATUS;如果輸出包含當(dāng)前 binlog 文件名和 position說明 binlog 文件正在正常寫入。5.2 驗(yàn)證 Kafka 收到了哪些變更先用 Kafka 自帶的控制臺(tái)消費(fèi)命令觀察 MySQL 變更是否進(jìn)入 topickafka-console-consumer.sh \ --bootstrap-server kafka:9092 \ --topic mysql.ecommerce.orders \ --from-beginning然后在 MySQL 中分別執(zhí)行一次 UPDATE 和一次 DELETEUPDATE orders SET status paid WHERE id 1001; DELETE FROM orders WHERE id 1002;正常情況下消費(fèi)端會(huì)看到op為u和d的兩條事件。這一步直接驗(yàn)證了周期同步最難做到的能力刪除和更新都能被捕獲。5.3 驗(yàn)證 BigQuery 目標(biāo)表觀察 BigQuery 目標(biāo)表是否有新數(shù)據(jù)寫入??梢酝ㄟ^控制臺(tái)查詢也可以執(zhí)行SELECT COUNT(*) FROM my-project.analytics.orders; SELECT MAX(updated_at) FROM my-project.analytics.orders;必須注意一個(gè)容易誤判的地方BigQuery 目標(biāo)表不會(huì)因?yàn)槭盏搅?DELETE 事件就自動(dòng)刪除對(duì)應(yīng)行。如果寫入程序只是把a(bǔ)fter或before以追加方式寫入刪除事件只會(huì)變成一行帶標(biāo)記的數(shù)據(jù)。要真實(shí)反映刪除目標(biāo)表需要按主鍵做 MERGE或者通過分區(qū)覆蓋實(shí)現(xiàn)。驗(yàn)證時(shí)先明確自己的目標(biāo)表語義是追加明細(xì)還是鏡像源表。5.4 延遲監(jiān)控指標(biāo)從 binlog 到 BigQuery 的同步不是一次性的必須持續(xù)監(jiān)控。常見指標(biāo)包括指標(biāo)含義告警建議Kafka consumer lag消費(fèi)程序落后的消息數(shù)持續(xù)增長則告警Debezium 位點(diǎn)與當(dāng)前 binlog 的文件間隔連接器是否在追趕超過 binlog 保留期則高風(fēng)險(xiǎn)端到端延遲事件寫入 MySQL 到進(jìn)入 BigQuery 的時(shí)間差根據(jù)業(yè)務(wù)要求設(shè)置閾值BigQuery 寫入錯(cuò)誤率schema 不匹配等寫入失敗立即告警把位點(diǎn)落后和consumer lag 持續(xù)增長作為關(guān)鍵告警能提前發(fā)現(xiàn)大事務(wù)、網(wǎng)絡(luò)抖動(dòng)或消費(fèi)程序故障。6. 數(shù)據(jù)到達(dá) BigQuery 后模式映射、DDL 和冪等才是真正的坑6.1 MySQL 與 BigQuery 類型映射字段類型映射是 CDC 鏈路里最容易踩坑的部分。下面是常見映射關(guān)系MySQL 類型BigQuery 類型注意事項(xiàng)INT / INTEGERINT64無符號(hào) INT 可能超過 INT64 有符號(hào)范圍BIGINTINT64超過 2^63-1 的數(shù)據(jù)要改用 NUMERIC 或 STRINGDECIMAL(p, s)NUMERIC / BIGNUMERIC金額字段不要用 FLOAT精度會(huì)丟失DATETIMEDATETIME無時(shí)區(qū)語義按原值寫入TIMESTAMPTIMESTAMP建議統(tǒng)一按 UTC 存儲(chǔ)VARCHAR / TEXTSTRING長度和編碼要注意JSONJSONBigQuery 需要字段模式為 JSON 或先轉(zhuǎn)成 STRINGTINYINTINT64 / BOOL看業(yè)務(wù)語義確定最容易出問題的是 DECIMAL。MySQL 中的DECIMAL(10, 2)如果映射成 BigQuery 的 FLOAT640.1 這樣的值可能出現(xiàn)精度誤差。正確做法是映射為 NUMERIC。TIMESTAMP 也容易出問題。MySQL 的TIMESTAMP有會(huì)話時(shí)區(qū)概念CDC 事件里的ts_ms可能是 UTC 時(shí)間而業(yè)務(wù)字段本身可能是本地時(shí)間。建議在寫入端統(tǒng)一規(guī)范避免目標(biāo)表同一列混入不同時(shí)區(qū)的數(shù)據(jù)。6.2 DDL 變更會(huì)打斷 CDC當(dāng) MySQL 表結(jié)構(gòu)變化時(shí)CDC 鏈路會(huì)面臨兩個(gè)層面的問題。第一Debezium 需要依賴database.history.kafka.topic中的 schema 歷史來解析 binlog 里的舊事件。如果這個(gè) topic 被刪除或清理連接器可能無法反序列化舊的 binlog 事件。第二BigQuery 目標(biāo)表的 schema 不會(huì)自動(dòng)跟隨 MySQL DDL 變化。MySQL 加了一列CDC 事件里出現(xiàn)了新字段但 BigQuery 目標(biāo)表沒有這一列寫入就會(huì)報(bào)錯(cuò)。處理建議是把 DDL 納入變更流程先審查 MySQL DDL 對(duì)同步鏈路的影響。先在 BigQuery 目標(biāo)表補(bǔ)充或調(diào)整 schema。再在 MySQL 執(zhí)行 ALTER TABLE。同步完成后核對(duì)事件是否正常。對(duì)于大表的 ALTER TABLE還可能導(dǎo)致源庫鎖表和復(fù)制延遲。生產(chǎn)環(huán)境做主從切換時(shí)要評(píng)估 DDL 對(duì) binlog 位點(diǎn)的影響。注意不要依賴 BigQuery 自動(dòng)加列來處理所有 DDL 變更。自動(dòng)加列在不同版本和連接器里行為不一致且不能處理列重命名、刪除、類型變更等復(fù)雜操作。6.3 至少一次語義下重復(fù)是正常的binlog CDC 鏈路通常提供 at-least-once 語義。網(wǎng)絡(luò)閃斷、消費(fèi)程序重啟、位點(diǎn)提交失敗都可能導(dǎo)致同一事件被重復(fù)消費(fèi)。因此目標(biāo)表必須能接受重復(fù)。常見做法按主鍵去重寫入前先判斷目標(biāo)表是否已有該主鍵。使用 BigQuery MERGE按主鍵更新目標(biāo)行。在記錄中增加事件版本字段如event_ts_ms或 GTID寫入時(shí)取較新的事件。下面是 BigQuery MERGE 的簡化思路MERGE my-project.analytics.orders AS t USING changes AS s ON t.id s.id WHEN MATCHED THEN UPDATE SET status s.status, amount s.amount WHEN NOT MATCHED THEN INSERT (id, user_id, amount, status, updated_at) VALUES (s.id, s.user_id, s.amount, s.status, s.updated_at);MERGE 在處理刪除事件時(shí)還可以加一個(gè)WHEN MATCHED AND s._is_deleted TRUE THEN DELETE分支。但 MERGE 的成本比流式追加高適合對(duì)一致性要求高、更新頻率可控的場景。如果表更新量極大需要考慮分區(qū)覆蓋、冷熱分離等方案。6.4 亂序事件怎么處理同一個(gè)主鍵的多條變更在 Kafka 中如果分布到不同分區(qū)消費(fèi)程序收到的順序可能和源庫事務(wù)提交順序不一致。比如先提交了statuspaid后提交了statuscancelled亂序可能導(dǎo)致目標(biāo)表最終停在paid。處理方式Kafka Topic 按主鍵 hash 分區(qū)保證同一主鍵路由到同一分區(qū)。寫入端使用 binlog 里的ts_ms或 GTID 做排序只接受更新的事件。如果業(yè)務(wù)允許短暫延遲可以在寫入端做窗口緩沖按主鍵排序后批量提交。如果源表存在刪主鍵后重新插入同一主鍵的場景還需要區(qū)分刪除后插入和舊 UPDATE 后到否則可能出現(xiàn)舊數(shù)據(jù)覆蓋新數(shù)據(jù)的現(xiàn)象。這種情況下GTID 或事務(wù) ID 是更可靠的順序依據(jù)。7. 常見問題排查從現(xiàn)象倒推 binlog 鏈路故障7.1 現(xiàn)象連接器啟動(dòng)時(shí)報(bào)權(quán)限不足或無法讀取 binlog可能原因MySQL 賬號(hào)缺少REPLICATION SLAVE權(quán)限。連接器配置的 server-id 與現(xiàn)有從庫沖突。binlog 未開啟或者binlog_format不是 ROW。排查命令SHOW VARIABLES LIKE binlog_format; SHOW GRANTS FOR cdc_user%; SHOW PROCESSLIST;處理方式核對(duì) MySQL 配置和賬號(hào)權(quán)限修改后重啟連接器。server-id 沖突通常會(huì)在 MySQL 錯(cuò)誤日志里看到A slave with the same server_uuid/server_id as this slave has connected to the master之類的信息。7.2 現(xiàn)象任務(wù)運(yùn)行一段時(shí)間后Kafka 里有歷史事件但新事件遲遲不來可能原因Kafka Connect 或連接器進(jìn)程掛掉后位點(diǎn)沒有正確恢復(fù)。MySQL 實(shí)例重啟導(dǎo)致 binlog 文件名變化連接器找不到舊位點(diǎn)對(duì)應(yīng)的文件。table.include.list配置了大小寫敏感的表名實(shí)際表名大小寫不一致。排查方式kafka-consumer-groups.sh --bootstrap-server kafka:9092 --describe --group bigquery-sync重點(diǎn)看CURRENT-OFFSET、LOG-END-OFFSET和LAG。如果 consumer lag 為 0 但新數(shù)據(jù)沒進(jìn)來檢查連接器日志里 binlog offset 是否還在推進(jìn)。必要時(shí)做一次 重新快照 增量 的初始化。7.3 現(xiàn)象BigQuery 寫入報(bào)錯(cuò)字段不存在或類型不匹配可能原因MySQL DDL 新增了列BigQuery schema 沒有同步。DECIMAL 字段映射成了 FLOAT64導(dǎo)致精度丟失或?qū)懭胧?。MySQL JSON 字段映射到了 BigQuery STRING但事件里是 JSON 對(duì)象。排查方式SELECT column_name, data_type FROM my-project.analytics.INFORMATION_SCHEMA.COLUMNS WHERE table_name orders;處理方式定位是哪一列不匹配先同步 schema再重放失敗事件。不要直接丟棄報(bào)錯(cuò)事件否則會(huì)在對(duì)賬時(shí)發(fā)現(xiàn)數(shù)據(jù)缺口。7.4 現(xiàn)象同步延遲持續(xù)增長可能原因源庫執(zhí)行了大事務(wù)例如一次 UPDATE 超過十萬行binlog 事件量巨大。消費(fèi)程序單線程寫入 BigQuery寫入速度跟不上源庫變更速度。網(wǎng)絡(luò)帶寬不足或者 BigQuery 寫入配額受限。處理方式在源庫側(cè)避免一次性更新超大范圍拆成小事務(wù)。寫入端改用批量并行寫并啟用 Storage Write API。增加監(jiān)控觀察 binlog 保留時(shí)間是否充足。如果消費(fèi)端位點(diǎn)落后太遠(yuǎn)而 binlog 文件已經(jīng)過期可能需要重新快照。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日韩乱码Av| 色婷婷成人综合| 厕所偷拍在线| 国产最火爆久久国产网站网站| 中文字幕黄色片| baiduhicn.com。| 欧美性生活男人的天堂| 国产高清1234区| 欧美精品系列| 综合免费无码中文| 亚洲素人综合| 久久香蕉综合一本到3atv| 国产25页| 樱花蜜乳av| 男人干美女| 明星性猛交ⅹxxx乱大交| 伊人97超碰| 91久久国产精品| 亚洲精品人妻吞精av | 国产不卡免费在线视频| 久久、1234| 思思热在线视频在线| 91在线限制级| 午夜操逼不卡| AV男人天堂网| 成人性爱电影一区二区| 热热色综合网| 中日高清无码操逼视频| 精品九九九九九| 素人播放一区| 国产成人bd在线观看| 天天插夜夜操| 黑人粗大V S日韩女优视频| 人人看欧美性爱| 伊人操操| 强奸乱伦资源| 99热欧美| 天美国产精品| 伊人久久综合精品欧美| 96精品一区| 伊人女女资源在线观看| 亚洲自拍97| 不卡九肏| 欧美日韩精品一区二区三区高清| 久操国产在线| 一区麻豆 高清中文字幕| 天天草夜夜草高潮片| 青青草精品| 丰满人妻一区二区三区四区| 精品久9| 欧美日韩淫加| 91大神电影天堂| 成人日韩3| 91青青在线视频| 狠狠操狠狠插| 亚洲精品一区二区精品| 亚州综合色| 欧美熟妇精品黑人巨大一二三区| 老司机老司机午夜影院| 粉嫩av平台| 青青草字幕AV| 老熟女熟妇| 秋霞影音一区二区三区| 再深点灬舒服灬太大了添视频 | 青青国产精品在线| 日本在线不卡v二区| 中文有码9| 九九九综合精品| 男人高清无码一区二区| 欧州91高潮| 亚洲日韩乱码中文无码蜜桃臀网站| 一起草精品人妻| 国产精品日日摸夜夜添骚逼| 亚洲中文sv| 亚洲青色欧美| 97视频在线观看播放与子乱对白在线……| 精品黑人一区二区| 亚洲阿v天堂无码z2018| 秋霞怕怕片| 日本 情色 1区2区3区| 国产青一二三| 开心婷婷五月| 色综合久| 国产乱伦性爱AV| 五月丁香六月综合缴清无码 | 国产剧情一区在线观看| 国产亚洲精品农村妇女| 黄片免费视频2019| 起碰97| 成年在线视频日本亚洲在线视频区精品江靖宇公司 | 免费视频一二三区| 婷婷国产精品一区二区| 久久后入制服| 美女91色黄18| 欧美日动态视频| 99热99re超碰精品| 开心五月天激情网| 岛国精品视频在线观看| 婷婷午夜成人色中色| 亚洲色婷婷久久91| 中文字幕国产在线天堂| 91色婷婷综合久久中文字幕二区| 日韩久射综合| 亚洲 欧美综合| 九九九999久久久网站| 五月天AV资源| 日本黄色精品| 夜夜躁狠狠躁日日躁av| 97超碰美女| 男人综合网| 日韩天天综合| 97啪啪| 久久这里只| 超碰97COm中文| 蜜桃精品一区二区三区久在线| 日欧美色| 国产视频第2页| 欧美色图成人网一区二区 | 久久草在线综合视频| 国产高清MV操逼视频| 亚洲图片婷婷五月天| 亚洲欧洲综合成人av一区| 亚洲无码精品AV久久久| 人人搞人人插人人操| 97超碰护士| 毛片久久| 波多野42部无码喷潮在线观看| 日本性爱欧美性爱| 国产曰批免费观看久久久| 国产野战露脸在线播放| 黑人无码一区二区| 伊人久久婷婷| 国产人妻精品久久久一区二区三区 | 97视频在线| 影音先锋每日最新资源在线观看| 国产丝袜欧美在线视频| 国产传媒操逼视频| 操狠狠| 亚洲91av| 五十路人妻在线| 密臀在线视频| 一区操逼| 色播五月丁香| 久久深夜无码| 无码人妻毛片丰满熟妇精品区| 久久久久久久久久久久97 | 久久精品电影| 欧美日韩黄片精品在线| www.色婷婷色综合| 天天日天天射天天干| 美女诱惑在线一区| 一区二区影视| 欧美操逼熟女| 久操B网| 麻豆天美在线喷水AV| 呻吟 欧美 日本 中出| 99夜夜操| 久久久久免费看少妇A片特黄| 国产自偷自拍一区| 少妇与黑人高潮在线| 美女骚尻视频| 国产精品不卡高清在线观看| 亚洲高清无码AAA久久久精品| 噜噜吧,噜噜色,噜噜| 国产欧美伊人| 公司1区2区3区精产精| 精品传媒在线一区| 久久性爱免费送| 亚洲欧美另类少妇精品| 国产精品九九九| 视频国产精品未满十八禁止在线观看| 九九久久久九九| 亚洲综人网| 自拍偷拍 日韩欧美| 岛国艾薇凹凸视频天堂| 一区二区首页| 国产精品播放| 五月丁香啪| 久久久久久久久久久久欧美日| 极品销魂美女一区二区 | 91社区拍啪人妻| 加勒比在线视频| 日产成人久久| 久久精品国产亚洲AV成人直播| 一区二区三区四区姦女| 亚洲一区二区三区在线激情| 1区2区3区在线视频| 精品国产乱码久久久| 粉嫩av在线一区二区| 九九十八精品| 欧美日韩在线视频网站| 色香色香欲天天天影视综合网| 日本天堂在线播放| 免费在线黄片视频| 欧美天堂亚洲电影院一区在线播放| 亚洲情色欧美| 日本 成 人 小说 电影 一区二区| 麻豆天美在线| 欧美亚性天堂| 欧美天天综合网| www.色婷婷.com| 国产AV中文| 99爱精品| 青娱乐休闲视频在线观看| 91美女丝袜诱惑视频| 97在线亚洲| 亚洲精品日日夜夜52| 亚洲黄色网址| 强免费黄色网址| 日韩欧美麻豆 | 久久首页| 日韩丨制服丨中文|在线| 岛国大片在线观看网站入口| 欧美丝袜亚洲| 九九在线精品| 人妻少妇一区二区| 亚州男人天堂| 97精品国产97久久久| 国产白丝AV| 激情综合网激情五月天| 超碰97COm中文| 伊人久久婷婷| 内射夫妻三片| 精品中文日韩字幕视频| 操婷婷逼| 日韩欧美加勒比| 污到发麻的视频 国产| 欧美天天综合网| 精品久久在线区一区| 沈阳熟女高潮对白视频| 一区,二区,三区视频| 久久美女国产| 91操熟女| 中文字幕乱偷人妻久久艾草网| 女人喷水视频在线观看| 操碰97| 性生活久久久久久久久久| 久操操AV电影| 亚洲资源站| 少妇一区二区三区在线观看| 日韩人成网站在线播放| 亚洲欧美不卡线| 久热精品色情| 日本网色| a片偷拍视频| 伦理日韩国产久久| 91狠| 免费综合亚洲中文| 日产操逼| 欧美日韩亚洲少妇寂寞影院正在播放 | 欧美成人A√在线一区二区| 色老牛| 久9视频| 五月婷婷丁香六月丁香| 青青草中出视频| 国产九月婷婷| 亚洲综合一区二区| 国产91会所女技师在线观看| 国产搭汕a级片| 熟女中出视频| 蜜臀av一区二区三区免费观看| 在线播放免费av福利片| 欧美一区二区男人天堂| 人妻喷水| 九九九九九九免费视频| 亚洲男人的天堂一区二区| 大香蕉专区| 操一操摸一摸| 色婷婷日韩精品一区二区三区| 色女综合| 亚洲一区二区三区久久 亚洲一区二区| 飘花国产午夜精品不卡| 人人搞人人插人人操| 91狠狠狠| 人人操人人射人人干| 亚洲一二三精品久久网| 五月天婷婷基地| 密乳AV免费观看| 午夜精品久久99蜜桃的功能章节 | av九九| 亚洲色 国产 欧美 日韩| 天天澡天天爽日日AV| 啊啊啊水好多| 啊啊啊啊网站| 天美传媒AV在线| 国产91丝袜 在线播放| 呦女网站| 60秒免费视频| h色99999| 色www精品视频在线观看| 国产白嫩精品久久| 吉田爱美AV在线| 欧美另类色| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 狠狠久久四虎| 麻豆天美国美国产| 亚洲nv男人的天堂网| 午夜免费福利视频一区| 丰满人妻av一区二区三区| 亚洲欧美自拍偷拍| 欧美,日韩,亚洲视频| 久久精品国产亚洲AV嘿嘿| 高潮的A片激情扒开一区| 69视频入口| 91操熟女| 青青久久手机线视频| 尤物视频一区| 国产成人综合在线播放| 破处bbq| 午夜无码熟妇丰满人妻| 99热国产| 午夜操一视频一区| 男人的天堂 在线一区| 嗯嗯啊啊好爽| 骚熟女吞| 欧美性少妇| 秋霞视频一区二区| 男人久久天堂| 欧美色图片91| 亚洲国产婷婷在线播放| 麻豆黄站| 日韩人妻资源在线看| 丝袜美腿亚洲| 久久久久久久久久久999| 久操网无码在线| 国产久9| 猛交交| 韩国三级一线观看久| 熟妇人妻一区二区| 久操网无码在线| 国产AB视频| 亚洲.欧美.丝袜.中文.综合| 国产乱伦亚洲| 国色综合天| 午夜呻吟欧美| 婷婷中文网| 久草午夜| 精品少妇人妻| 青青青国产| 国产精品999zyz| 大粗鳼巴久久久久| 蜜臀久久99精品久久久久免费观| 无码免费精品高清| 九九热AV| 加勒比色综合| 一区,二区,三区视频| 最新国产精品久久精品| www.av在线视频| 91岛国动作片| AV色五月天| 久久久精久久久| 黄色性爱网网| 中文字幕日韩精品久久| 97综合网| 深夜激情| 99热 按摩 日韩| 色欲久久综合| 亚洲九月丁香| 国产乱伦亚洲色图高清无码| 男人的天堂kva| 啊啊啊啊啊操我视频| 欧美成va视频网站| 三级网色| 中文字幕精品日韩中文字幕| 91免费看一区二区三区| 欧美性夜| 亚洲熟女诱惑| 欧美,日韩,中文,另类| 欧美97日韩| A V少妇特黄三级| 九月丁香综合网| se吧提供国产乱老熟视频胖女人| 色香AV| 久久午夜神马| 青青草一本道福利视频| 亚洲AV色图一区| 欧美熟女妇同| 精品小视频在线| 人妻久热在线| 看看小穴| 国产自产91区13区| 大香蕉伊人一区在线观看| 色5月婷婷| 欧美特大黄一级片片免费| 国产免a费看黄片在线| 免费a v| 丁香五月天啪啪| 亚洲欧美日韩夜夜| 51国产午夜精品视频| 青青草字幕AV| 亚洲色欲天天天堂色欲网女| 91粉嫩萝控精品福利网站_精品影音先锋国 | 亚洲自拍97| 国产美女高潮叫床视频| 青操影院| 操逼网站视频漫画国产| 亚洲。天堂。日本在线观看| 911av网站免费观看| 伊人伊人LD| 亚洲成人性爱网站在线播放| 级做a爱无码性色永久免费| baisiav| 94色色电影网| 久久久久久久久久久久久久久性生活视频 | 九九99精品视频在线观看| 欧美高清在线| 色噜噜婷婷| 日日躁天天躁狠狠躁| 大香蕉久久| 69天堂| 乱理日韩中文| 欧美αv.com| 欧美大干日韩| 日韩午夜啪啪视频| 妇女一区二区三区| 久热久一区二区三区| 尹人免费观看视频在线| 中文一区在线日| 午夜福利免费精品视频| 国产97色在线 | 亚洲| 九九热AV| 囯产精品久久久久久久久久梁医生| 中文字幕视频2区| 被窝影院午夜看片无码| 日本好吊色视频| 亚洲美女自拍偷拍视频| 精品午夜福利| 怡春苑东京热| 婷婷色五月激情| 丁香色狠狠色综合久久小说| 亚洲色悠悠久久88| 超碰免费人人| 丁香婷婷五月| 国产精品毛片| 亚洲中文字幕乱码无码一区二区| AV不卡在线| 黑人性欧美| 在线天堂999| 国产av美女被艹的乱叫| 你懂的在线观看区国产 | 中文字幕大片三级狠狠干| 豆花视频操逼网址| 亚洲欧美国产精品久久久久久久| 人妻在线臀日韩| 萌白酱自拍视频| 一起草视频在线| 欧美猛交黑寡妇中文字幕| 伊人99热| 国产精品自拍xxxx| 精品国产Av无码久久久伦古装| 性色av一区二区| 久久xxxx| 色黄色美女大长腿午夜视频| 天堂成人网| 9精品久久| 97久久久久久久精| 超碰人人色| 亚洲精品国产日韩无码AV永久免| 另类天堂| 91色宗合| 无码九九| 欧美综合在线91| 婷婷99狠狠躁天天躁| 久久av一级av少妇av高潮| 大香蕉视频啪啪啪啪| 欧美午夜视频| 内射黑人| 日韩在线人妻网站| AV天堂电影网| 久久一二三四五六七八九区区区 | 久久久久久久久久久免费精品| 青青草华人在线欧美在线| 国产熟女| 丝袜喷水在线| 97精品国产97久久久| 99热99色| 欧美成人性爱视频大全| 国产福利小视频高清在线观看| 国产中出内射一区二区| 92一区二区| 综合少妇网| 久久久九九| 色哟哟av网址| 亚洲国内精品成人不卡| 最新av在线| 亚洲男人的天堂AV| 人人妻人人色| 老师充足的奶水小说| 天堂日本亚洲欧美| 麻豆AV96熟妇人妻| 综合 青草 伊久久 影院 综合 | 国产原创剧情在线丝袜 | 国产美女口爆吞精视频| 午夜精品久久一区二区| 超碰在线一区| 男女啪啪网站免费视频| 色视频蜜乳| 亚洲欧美一区二区网址| A一区片| 蜜乳视频网站| 韩国手机不卡无码三级视频| 香蕉热人人精品| 国产精品无码成人精品| 7777奇米影视久久| 亚洲春色欧美激情自拍| 成人小说另类在线| 久久综合国产精品国产| 尤物网址| 超碰成人国产| 九九碰九九爱97超碰| 五月开心网| 97色碰| 久久本道| 69久久久久久久久久久久久| 午夜精品人妻二区三区| 91精品久久久久| 中文乱码字幕观看| 色哟哟 日韩精品| 国产成人99久久亚洲综合| 丝袜AV一区二区三区| 色色毛片| 日韩成人精品视频自拍| 日韩婷婷| 暖暖精品二区三区观看| 一二三四视频在线社区中文字幕| 偷拍五区| 日韩人妻无码不卡网站| 韩国三级一线观看久| 国产视频一区二区三区在线免费观看 | 97精品中文字幕| 欧美极品色| 国语精品对白| 国产强奸乱伦xd| 日本三级网页| 99热在线播放| 日韩中文字幕2020| 青青草原伊人网| 久久久一区二区三区麻豆| 亚洲色图欧美一区二区不卡| 成人一级性爱| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 91爱网| 久久免费99精品久久久久久| 黄网在线播放| 青娱乐亚洲热| 色五月AV在线| 日本成熟少妇A∨网站| 国产熟女完整版中字 | 性爱乱伦视频免费| 丁香色五月 97干| 久草婷婷| 999精品乱码| 欧美性爱中文字幕无线码| 97福利视频| 人妻精品综合中文字幕在线| 俺也射| 秋霞Av理论一级在线| 人妻在线视频| 亚洲不卡av在线| 欧美色图片欧美色图| A一区片| 九九亚洲| 欧美 综合 亚洲| 男女啪啪网站免费视频| 操一区| 少妇69中文| 欧美天堂在线| 91动漫操逼视频| 黄色十八禁网站| 92久久| 精品一区二区成人动漫| 少妇色综合| 亚洲欧美另类激情小说| 一色网男人的天堂| 性性久久| 91欧美偷拍| 国产精品扒开腿做爽爽爽视频| 97任你吞精| 91人妻超碰| 九久精品| 亚洲综合五月天婷婷丁香| 精品二区三四区五电影 | 欧洲自拍第一页| 亚洲 自拍偷拍 欧美| 有码免费观看| 9色国产精品一区粉嫩| 九九九九久久久| 久久久一二三四区| 五月丁香六月婷| 欧美综合传媒| 欧美日韩国产黄色片| 四虎免费看黄| 自拍偷拍亚洲熟女妇人精品| 牛牛久久国产精品视频一二三| 午夜男女爽爽爽影院视频| 亚洲色图91欧美日韩| 伊人加勒比| 亚洲 综合 欧美| 久久久999| 18精品一区| 97香蕉网| 最新av在线| 国产极品精品美女视频| 日韩一级二级三级免费看完整版国语版 | 九月丁香婷婷| 亚洲一卡二卡在线免费| 国产黄色动态精品| 黄片免费久久久久久久| 欧美瑟综合| 97自拍视频在线| 神马九九| 国产高清不卡视频| 日本在线不卡v二区| 后入式999| 天天综合色| 亚州综合网| 欧美亚洲第1页| 中文字幕交换人妻| 亚欧美综合| 2010男人的天堂| 一区二区三区美女超清| 人人澡人人弄| aaa一级黄片| 午夜精品久久久| 精品美女久久一二三| 无码视频黄色网战| 日韩少妇无码| 精品无码一区二区人妻久久蜜桃| 操99| 91精品久久久久五月天精品| 91熟女视频网| 欧美日韩高潮喷水91| 国产操逼视频在线观看| 超碰精品人妻狠狠干| 欧美国产伊人久久久久| 天天cao在线| 1204av韩国| 丁香六月综合激情| 手机在线免费看的av| 激情文学小说一区二区 | 成人三级片无码| 国产精品操| 色一区二区三区综合| 一区二区三区精品黑丝白丝酒店对鸡| 日本三级A片网站com| chaopen97久久| 情色日播放AV| 日韩一级免费性爱| 麻豆国产97在线| 天堂亚洲精品| 麻豆国产成人精品| 亚洲色欲一区二区三区| 国产三级电影免费观看| 东京热视频网| 大香蕉淫人| 少妇色综合| 97二区四区| 亚洲国产激情国产av| 大色综合| 日产成人久久| 久久111| 大香蕉综合| 一区二区三区黄色片a| 校园春色美腿丝袜| 亚洲 综合 第一页| 亚洲成人一二三区| 国内91熟女人妻丝袜天天精品视频在线| 国产乱伦亚洲| 91无遮挡| 色97干| 九九九只有精品| 老女人老91妇女老热女| 蜜臀AV一区二区三区激情综合| 激情久久av一区av二区av| 国产在线视频二区| 操婢日韩| 99精品国产户外露出| av天堂电影网| 亚洲综合在线91| 超碰吊日色| 欧美最大综合网| 欧美激情 日韩精品| 欧美国产日韩清纯唯美| 热九九精品| 性爱1区| 亚洲午夜福利在线影院| 免费观看的黄色的网站| 欧美五十路熟| 伊人天天久久动态图| 狠狠躁伊人中文字幕| 男人天堂久久精品不卡| 都市激情人妻一区二区青青操视频| 免费看污网站| 九九成人| 黄色污污污污污污网站| 免费看毛片操穴| 色五月婷婷色| 大香蕉伊人久久| 国产一区二区视频在线播放| 国产乱码精品一区二区三区四川| 日韩激情电影中文字幕| 国产操伦| 欧美性爱中文字幕无线码| 婷婷视频在线免费观看| 一级久久性爱视频| 色综合久| 91爽啪| 日欧美色| 91麻豆一二三区| 激情啪啪视频| 色噜噜人妻av中文字幕| 大茄子熟女AV导航| 好吊色综合| 试看日韩黄片| 国产绿奴视频在线观看| 强奸乱伦资源| www.99在线| 人夜夜精品网站香蕉嫩草| oumeisetu综合| 亚洲综合色男人网| 中文字幕av久久爽Av| 嗯嗯啊好大| 亚洲欧美91√| 揉揉日日日日| 自拍偷拍国产欧美日韩韩| 操逼天美3区| 爱做久久久久久| 白嫩嫩一区| 亚洲污污网站| 欧美日本不卡在线| 亚洲密乳AV| 欧美强奸一区二区诱惑| 中文字幕老熟妇黄色视频| 狠狠搞 亚洲91| julia中文字幕在线观看| 男人天堂最新手机版在线青青草| 中文字幕一区二区三区50路| 欧美一区二区日韩三区| 日韩性爱网址| 国产婷婷一区| 精品女同一区| 成人精品在线免费视频| 自拍视频一区在线观看| 密桃99999| 亚洲爱爱视频一区二区| 嗯嗯啊啊啊好爽| 国产精品4p在线观看| 无码自拍SM| yazhousetuoumei| 东京热AV男人的天堂| 日本东京热久久久电影| 久久久成人国产精品无码| 日本天天吊| 亚洲成人色情五月天丁香花| 葡萄牙性视频一二区| 美女极品一区二区三区| 97一区二区蜜臀| 国产精品禁久久久精品| 无码操逼网| 成人AV素股で擦久久| 欧美色图片色哟哟| 操逼片国产| 精品无人区麻豆乱码久久久| 91狠狠综合久久| 日韩成人精品视频自拍| 宗合情欲网| 福利视频合集| 亚洲成人网站在线观看| 91在线丝袜| 日本性爰一道本| 超碰 97国产熟女| 精品人妻一区二区三区四区| 精品偷拍13p欧美dodk视频| 国产极品999| 五十路熟女人妻一区二区在线观看| 乱伦3P视频| 天天草AV| 搡老女人老妇女AAA一VU麻豆| 日韩99神马视频播放片在线播放| 日韩专区久久久| 操逼啊啊啊91| 日本一天色道久久久精品视频| 欧美性夜| 欧美顶级黄片AAAAA在线免费看| 国产乱弄免费在线视频。| 东京热男人的天堂| 欧苏综合色综合| 麻豆AV一区二区天美传媒| 亚洲超碰在线| 日本免费二区三区| 99热精品在线播放| 99热在线只有精品| 激情综合五月婷婷| 日韩久射综合| 人妻啊啊人妻啊啊| 肉丝中文无码高清| 综合网色| 97欧美日韩综合| ,成人免费啪啪视频| 青青草日本中文字幕| 免费观看成人www精品视频| 日本亚洲vr欧美不卡高清专区| 99re6在线视频播放免费精品| 超碰在线99| 狠狠入| 91爽啪| 日韩在线国产字幕| 另类亚洲图色| 欧美日韩国产成人高清| 97超级欧美| 亚洲欧美日韩二区视频| 精品妇操一区二区三区| 国产女人操逼视频| 啪啪啪男女亚洲中文字幕99| 色婷婷av在线观看| 一区在线精品中文字幕| 亚洲中文人妻色| 国产精品亚洲高清在线| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 日本人妻伦在线中文字幕| 亚洲日韩肥臀视频在线观看| 欧美天天综合网| 99国产在线绯色一区| 四虎影视永久在线免费| 91国产丝袜美女| 人妻久久久| 不卡av免费在线网址| 久久婷婷欧美| 强奸乱亚洲| 国产精品白领在线观看| 综合天天网| 欧美性爱系列| 午夜操一操| 九九国产热| 啪啪综合网| 亚洲春色欧美激情自拍| 亚洲国产蜜臀系列在线观看| 九九碰九九爱97超碰| 日韩熟女三十乱伦| 超碰69| wwwcaobibi| 色悠久| A啊啊在线观看| 色人久久| 在线播放成人高清免费视频| 91超碰在线观看| 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒 | 天天干天天干天天干| 国产美女在线精品免费看| 人人操人人射人人干| 国产99热| 日韩三级伦理中文字幕| 老女人91| http://qxhbdz.com| 一牛影视成人片免费| 玖玖爱视频网站| 久久久18禁| 综合色99| 亚洲成人日韩小说| 亚洲图片第一页| 中文字幕AV片| 午夜久久一区二区无码中出| 在线人人人人人人精品超| а√天堂资源官网在线资源| 老色鬼成人精品视频下载大在线观看| 中文字幕乱码人妻一区二区三区,99精品| 岛国黄色大片网站| 国产强奸乱伦xd| 亚洲蜜臀精品视频久久| 欧美久久人妻少妇一区二区| 91欧美高清| 天天做日日爱夜夜爽| 大二网站亚洲| 欧美色乱| 久啪视频| 国产视频小说| 色色婷| 国产精品久久久久久 百度| 91丝袜| 97人人夜| 后入式五六区| 久啪| 亚洲日韩青青草色月| 天天综合色| 久久人人爽人人爽人人片Ⅴ| 亚洲欧美综合区自拍另类| 亚洲加勒比久久日本道| 高潮9999外国| 久久精品操| 日日嗷| 欧美成人精品一区二区男人蜜臀| 国产又大又粗又色生活片亚洲国产精品成人久久久综合免费 | 无码一区二区三区四区五区六区七区八区九区十区视频 | 狼人狠干| 国语少妇精| 精品无码少妇| 日本二三四区| 大香蕉中文201| 日韩综合第八区国产精品| 九热超碰| 啊啊啊啊啊啊啊在线| 日韩欧美中文字| 久久久久久波多野吉衣高潮| 欧美中字二区| 小骚逼被操的爽不爽| 色偷偷色偷偷欧美日韩| 国产妇女精品视频青青草| 日韩av色图综合| 亚洲天堂日本| 亚洲综合一| 日日97| 国产农村妇女毛片精品久久| 久久婷婷苹果| 精品97久久| 久久春色| 操啊国产| 国产精品久久久久久久AV大片| 免费的黄片有限公司| 男人的天堂午夜av| 日韩精品人妻一| 国模无码人体一区二区三| 蜜臀AV秘一区翔田千里| 97人人操人人摸| 欧美三级中文字幕hd| 色婷视频| 熟女丝袜视频| 久久中出在线| 国产精品亚洲日韩骚欢乐谷最新地址发布页huanieguty性屋娱乐妖精视频 | 极品美女福利在线观看| 日韩一级成人毛片免费观看| 五月天激情四射| 99re9在线| 亚洲情色在线| 91精品婷婷国产综合久久| 2017超碰| 亚欧美综合网。| 91激情国产| 久久精品28| 2023天天操夜夜操| 日韩av不卡在线看| 青娱乐日韩无码| 亚洲欲色9532548967一区| 黑人天8A∨高清网站| 99精品久久久久久| 91成人精品| 9丨亚洲一区二区在线| 日韩乱伦影音先锋| 欧美熟妇视频| 尻女朋友一夜| 很很很很操| 四虎影视 亚洲无码| 日产操逼| 国产精品岛国片在线观看| 91久久久久免| 91精产一区二区三区| 天天天肏屄肏屄肏屄欧美欧美| 国产精品一区二区手机看片| WWW黄片COM| 炮色五月| 天天热精品| 亚洲av无码国产精品字幕| 大色综合网| 久无码| 伊人96在线| 青青草一区二区高清无码视频| 夜夜操二区| 亚洲天堂自拍| 精品成人久久久人人亚洲| 国产乱伦亚洲色图高清无码| 97人人模人人爽人人| 久久久久9999妇女| 欧美日韩另类激情图片| 手机在线A片| 免费农村成人少妇人妻Aa一区二区视频 | 激情国产乱伦Av| 精品国产乱码久久久久久影片| 97爱啪| 18禁看网站一区| 无套内射性感少妇视频| 成人在线永久| 91美女视频| 99操| 日韩高清一二三| 偷拍三区| 人妻美腿丝袜制服诱惑综合天堂-| 一区超碰一区| 日韩久久.一级黄色片| 久久久999网站| 亚洲av资源| 国产人伦a片信息免费片| 淫穴高潮色图| 欧美国产婷婷久久| 偷看洗澡一二三区美女| 亚洲国产青青| 韩日精品四区| 五月天婷婷社区| 国产福利第一视频| 91爱欧美| 亚洲中文国际强奸字幕| 黄色小说亚洲| 老熟女网站| 精品人妻美妇91job| 综合欧美日韩在线| 欧美性爱日韩性爱| 国产丰满熟夫69mpp| 香蕉欧美| 91黑丝少妇| 26uuu成人影片| 不卡超碰护士AV在线免费播放| 亚洲成成熟女人综合一区二区| 亚洲国产午夜真人一级片中文字幕精品黄网站| 欧美色图天堂网m| 亚洲男人的天堂va亚洲男人社| 国产女人高潮嗷嗷嗷叫小说| www.99热在线只有精品| 影视综合无码少妇| 精品国产91久久久久久一区黄无| 免费人成毛片乱码| 精品一区二区三区蜜桃臀赵总 | а√天堂资源官网在线资源| 麻豆天美国美国产| 亚洲男人电影天堂| 丁香五月婷婷基地| 青青在线视频免费| 欧美亚洲性爱一区二区| 久9久9久9久9久9久9| 亚洲精品久久久久久久蜜桃臀| 中文欧丝袜诱惑| 日韩激情中文字幕有码| 国产AV天美传媒一区二区三区 | 亚洲第一页第二页激情| 久久只有精品一区二区三区| 日本不卡高清视频| 超碰久久草| AV无码久久久精品| 日韩欧美传媒一区国产| 婷婷日韩一区二区三区中文字幕在线| 亚洲欧美综合图片| 亚洲天堂综合AV| 蜜臀无码视频在线观看| 蜜臀久久99精品久久久久久久久| 久久在线观看免费视频| 91成人国产综合久久精品蜜月| 欧美精品一区二区少妇免费A片 | 狠狠干综合| 欧美亚洲情色| 最新亚洲风情电影| 亚洲乱码尤物193YW| 久久风骚城市| 七久久久| 亚洲九九九| 夜夜福利| 九九热超碰| 人妻丝袜日本| 欧洲射精91| 麻豆啪啪啪视频| 老熟女91视频| 亚洲成人精品久久久| 图片区小说区| 麻豆天美91| 9ⅰ久久久天天| 色色色欧美| 国产兽交视频在线播放| 综合情欲网| 日本天天吊| 久久久亚洲欧美综合| 亚洲在线a| 亚洲一区二区 麻豆传媒| 欧美日韩99| 91老女人| 男人的天堂在线| 九九九九九九九精品视频| 国产AAAAAABBBBB| 91白嫩| 亚洲视频,小说| 中文字幕一区二区三区视频播放| 成人性爱免费播放| 嫩草影院永久在线制服丝袜| 天天干天天干天天| 国产亚洲深夜激情| 伊人在线大香蕉二。| 天天淫人人妻日日色| 图片区小说区| 欧美日韩午夜精品一区二区三区| 婷婷探花久久精品一区| 亚州操操穴网| 极品极品色影院| 国产精品点击进入在线影院| 日本黄色XXX| 久久亚洲人妻| 九九玖玖精品| 五月婷丁香| 久久riav中文精品| 久久久久少妇| 骚货操死你| 物业黑人 AV一区| 久久久久一本一区二区青青蜜月| 99色综合| 91丨熟女丨丰满熟女| 久久超碰网| 日韩精品电影| 91九九九逼| 久久久精品成人国产| 日韩成人高清一区二区| 嗯阿好爽好紧| 欧美毛片在线网| 久99| 亚洲操逼网| 日韩激情中文字幕有码| 亚洲一级特黄大片在线播放91| 百度百度日本操逼| 久久香蕉国产线看观看亚洲女人 | 欧美日韩国产高清在线一二三区 | 午夜影美女日鸡鸡天天视频国产| 亚洲色图 欧美| 日韩欧美蜜桃精品久久中文字幕久久 | 青草成人免费视频一com| 中韩中文字幕在线观看| 亚洲中文字幕一区| 色偷综合| 五毛骚逼极品美女怕怕| 色香伊人| 中文字幕在线播放2中文字幕在线观看2| 色色色色网站| 探花激情视频| 日本片日本片祼观看网站在线看中文版网页在线看 | 97在线青| 亚洲性猛交| 国产又大又粗又色生活片亚洲国产精品成人久久久综合免费 | 日韩精品电影| 欧美夜夜骑视频| 夜夜人妻爽| 九九九九97| 久久久久久裸体| 久久久久久久久9| 欧美亚州综合网图片| 亚洲色图8| 中国熟妇| 97综合国产| 大JI巴好深好爽又大又粗视频| 亚洲色图 欧美| V A在线| jizz啪啪| 太久视频| 亚洲欧洲激情卡通另类文学四射小说网站| 这里只有97精品| 日韩在线观看三级电影| 一个国产在线综合网站| 和协影院中文字幕三区| 成人在线午夜视频一区| 亚洲日本大香蕉1| 色香伊人| 人妻少妇精品久久久久久| 亚洲国产精品无码AV久久| 人人摸.人人色| 日韩丰满熟妇| 秋霞一级视频在线观看免费| 校园春色制服丝袜中文字亚洲| 天天操女人| 欧美传媒一区|