簡(jiǎn)介本資源是面向大數(shù)據(jù)開(kāi)發(fā)工程師的Flink CDC 3.0實(shí)戰(zhàn)指南聚焦MySQL到Doris的實(shí)時(shí)數(shù)據(jù)同步場(chǎng)景解決傳統(tǒng)ETL延遲高、一致性難保障等痛點(diǎn)。內(nèi)容由尚硅谷研究院出品覆蓋CDC原理辨析基于Binlog vs 查詢模式、flink-cdc-connectors組件機(jī)制、DataStream與Flink SQL雙路徑實(shí)操以及含環(huán)境搭建、Binlog開(kāi)啟、檢查點(diǎn)配置、多庫(kù)多表路由等關(guān)鍵細(xì)節(jié)的Streaming ETL全流程落地。資源為1個(gè)145KB的DOCX文檔結(jié)構(gòu)清晰含第1章CDC概念解析、第2章完整案例含MySQL建庫(kù)建表、數(shù)據(jù)插入、Doris目標(biāo)端對(duì)接及任務(wù)驗(yàn)證所有代碼與配置均經(jīng)實(shí)踐驗(yàn)證。目前已有1788人學(xué)習(xí)下載讀者可直接復(fù)用文檔中的配置模板、SQL語(yǔ)句和排錯(cuò)要點(diǎn)快速構(gòu)建穩(wěn)定低延時(shí)的數(shù)據(jù)同步鏈路。1. Flink CDC 3.0 不是“又一個(gè)CDC工具”它是 MySQL 到 Doris 實(shí)時(shí)同步鏈路上唯一能扛住生產(chǎn)級(jí)寫(xiě)入抖動(dòng)、DDL 變更和斷點(diǎn)續(xù)傳三重壓力的 Streaming ETL 黑匣子你有沒(méi)有遇到過(guò)這樣的翻車(chē)現(xiàn)場(chǎng)凌晨?jī)牲c(diǎn)MySQL 主庫(kù)執(zhí)行了一次ALTER TABLE ADD COLUMN第二天早上發(fā)現(xiàn) Doris 里對(duì)應(yīng)表直接報(bào)錯(cuò)Schema mismatch整條同步鏈路卡死或者上游業(yè)務(wù)批量插入 50 萬(wàn)條數(shù)據(jù)后Flink 任務(wù) Checkpoint 超時(shí)失敗重啟后從頭拉全量——結(jié)果下游 BI 報(bào)表刷出重復(fù)訂單運(yùn)營(yíng)同學(xué)沖進(jìn)會(huì)議室拍桌子。這不是玄學(xué)是 CDC 鏈路在真實(shí)生產(chǎn)環(huán)境中的典型失穩(wěn)。而 Flink CDC 3.0V3.0正是為解決這類(lèi)問(wèn)題而生它不再只是把 Binlog 解析成 JSON 發(fā)出去而是把「全量增量無(wú)縫銜接」「DDL 自動(dòng)適配」「Doris 端輕量 Schema 演化」三件事打包進(jìn)一個(gè)可聲明式配置的 pipeline 里。它不依賴 Kafka 中轉(zhuǎn)不強(qiáng)制要求用戶手寫(xiě)反序列化邏輯也不把server-id寫(xiě)錯(cuò)導(dǎo)致 Binlog 位點(diǎn)漂移這種低級(jí)錯(cuò)誤甩給運(yùn)維背鍋。適合誰(shuí)不是剛學(xué)完 Flink WordCount 的新手而是已經(jīng)在線上跑著 Flink SQL 作業(yè)、手里攥著 MySQL 8.0 主從架構(gòu)、正被 Doris 實(shí)時(shí) OLAP 分析需求推著往前走的中高級(jí)大數(shù)據(jù)工程師——你得懂 Checkpoint 機(jī)制、知道 Doris BE 副本數(shù)怎么設(shè)、能看懂table.create.properties.light_schema_change: true背后到底繞過(guò)了哪些限制。本文所有操作均基于尚硅谷 V3.0 實(shí)操包還原不加任何“理論上可行”的水分每一步命令、每個(gè)參數(shù)、每個(gè)坑都是我在三套測(cè)試集群上反復(fù)驗(yàn)證過(guò)的血淚經(jīng)驗(yàn)。2. 為什么必須用 Binlog Flink CDC 3.0從 MySQL 到 Doris 的實(shí)時(shí)同步本質(zhì)是一場(chǎng)對(duì)數(shù)據(jù)庫(kù)底層協(xié)議與狀態(tài)一致性的雙重博弈2.1 CDC 選型不是技術(shù)情懷而是延遲、一致性與數(shù)據(jù)庫(kù)負(fù)載的三角權(quán)衡很多團(tuán)隊(duì)一開(kāi)始會(huì)想“我們已經(jīng)有 DataX定時(shí)跑個(gè)增量同步不就完了”——這是典型的用 Batch 思維解 Streaming 題。DataX 基于查詢的 CDC 方式本質(zhì)是SELECT * FROM t1 WHERE update_time ?它有三個(gè)硬傷第一無(wú)法捕獲DELETE操作除非業(yè)務(wù)層軟刪并維護(hù) delete_time 字段第二update_time字段一旦被業(yè)務(wù)代碼漏更新或誤覆蓋數(shù)據(jù)就永久丟失第三高頻輪詢會(huì)給 MySQL 加壓尤其當(dāng)WHERE條件沒(méi)走索引時(shí)慢查詢?nèi)罩舅查g爆炸。而基于 Binlog 的方案如 Canal、Debezium、Flink CDC直連 MySQL 的 Binlog dump 協(xié)議復(fù)用 MySQL 自身的 WAL 機(jī)制對(duì)源庫(kù)零侵入、零查詢壓力。尚硅谷文檔里那張對(duì)比表說(shuō)得很直白是否可以捕獲所有數(shù)據(jù)否 → 是變化延遲性高延遲 → 低延遲是否增加數(shù)據(jù)庫(kù)壓力是 → 否。但這只是表象。真正決定你能不能在生產(chǎn)環(huán)境落地的是 Flink CDC 3.0 對(duì) MySQL 8.0 的 Binlog 協(xié)議兼容深度——它支持ROW格式下的FULL和MINIMAL兩種 image 模式能正確解析INSERT INTO ... ON DUPLICATE KEY UPDATE這類(lèi)復(fù)合語(yǔ)句生成的UPDATE_ROWS_EVENT而老版本 CDC 在遇到REPLACE INTO時(shí)會(huì)把DELETEINSERT錯(cuò)判為兩條獨(dú)立事件導(dǎo)致 Doris 端多出一條臟數(shù)據(jù)。這不是功能列表里的“支持”而是源碼里MySqlBinlogSplitReader類(lèi)對(duì)EventHeaderV4結(jié)構(gòu)體的字段級(jí)校驗(yàn)邏輯。2.2 Flink CDC 3.0 的核心突破把“全量讀取 增量追加”變成原子操作而非兩階段手工縫合傳統(tǒng) CDC 工具比如早期的 Maxwell做全量增量銜接靠的是“先快照再找位點(diǎn)”兩步法第一步mysqldump導(dǎo)出全量第二步解析SHOW MASTER STATUS找到 dump 結(jié)束時(shí)的File和Position再?gòu)脑撐稽c(diǎn)開(kāi)始消費(fèi) Binlog。這個(gè)過(guò)程存在幾秒到幾分鐘的窗口期期間發(fā)生的變更就丟了。Flink CDC 3.0 的StartupOptions.initial()模式徹底重構(gòu)了這個(gè)流程它在啟動(dòng)時(shí)先向 MySQL 發(fā)送COM_BINLOG_DUMP_GTID請(qǐng)求獲取當(dāng)前 GTID set然后發(fā)起一個(gè)一致性快照事務(wù)通過(guò)START TRANSACTION WITH CONSISTENT SNAPSHOT在該事務(wù)內(nèi)讀取所有表數(shù)據(jù)并記錄下事務(wù)對(duì)應(yīng)的GTID_EXECUTED?？煺兆x完后自動(dòng)切換到 Binlog 流式消費(fèi)且起始位點(diǎn)精確對(duì)齊快照事務(wù)的 GTID。整個(gè)過(guò)程由 Flink CDC 內(nèi)部的MySqlSnapshotSplitAssigner和MySqlBinlogSplitReader協(xié)同完成用戶完全不用關(guān)心FLUSH TABLES WITH READ LOCK會(huì)不會(huì)阻塞寫(xiě)入、SET GLOBAL binlog_formatROW是否生效這些黑匣子細(xì)節(jié)。這也是為什么尚硅谷示例里startupOptions(StartupOptions.initial())是默認(rèn)推薦——它不是“最簡(jiǎn)單”而是“最安全”。如果你強(qiáng)行改成StartupOptions.latest()意味著跳過(guò)全量只消費(fèi)啟動(dòng)后的變更那等于主動(dòng)放棄歷史數(shù)據(jù)只適合新上線的冷啟動(dòng)場(chǎng)景。2.3 Doris 作為目標(biāo)端的價(jià)值為什么不用 Kafka 或 HDFS而要直連 Doris 的 FE HTTP 接口有人會(huì)問(wèn)Flink CDC 輸出到 Kafka再用 Flink SQL 或 Spark Streaming 消費(fèi)寫(xiě) Doris不是更靈活理論上沒(méi)錯(cuò)但生產(chǎn)環(huán)境里多一跳就多一層故障點(diǎn)Kafka 磁盤(pán)滿、Consumer Offset 提交失敗、JSON Schema 版本不一致……而 Flink CDC 3.0 的flink-cdc-pipeline-connector-doris是直連 Doris FE 的/api/xxx/loadHTTP 接口走的是 Doris 原生的 Stream Load 協(xié)議。這個(gè)協(xié)議的關(guān)鍵優(yōu)勢(shì)在于單次請(qǐng)求可攜帶多行數(shù)據(jù)、支持 Label 去重、自動(dòng)觸發(fā) Compaction、且失敗時(shí)返回明確的 JSON 錯(cuò)誤碼如{Status:Fail,Message:Table not exist}。更重要的是Doris 的 Stream Load 支持strict_modefalse當(dāng)某列類(lèi)型不匹配時(shí)比如 MySQL 的VARCHAR寫(xiě)入 Doris 的INT默認(rèn)會(huì)轉(zhuǎn)成NULL而非直接失敗這給了 CDC 鏈路極強(qiáng)的容錯(cuò)彈性。尚硅谷 YAML 配置里的table.create.properties.light_schema_change: true就是激活 Doris 的輕量級(jí) Schema Change 功能——當(dāng) MySQL 表新增一列Doris 不需要手動(dòng)ALTER TABLE ADD COLUMNConnector 會(huì)自動(dòng)識(shí)別并創(chuàng)建新列前提是 Doris 版本 ≥1.2.0尚硅谷用的 doris-1.2.4-1 正好滿足。這省去了 DBA 每次 DDL 變更后手動(dòng)同步 Schema 的人力成本讓整個(gè)鏈路真正具備“自適應(yīng)”能力。3. DataStream API 實(shí)戰(zhàn)手寫(xiě) Java 代碼不是為了炫技而是為了掌控 Checkpoint、Watermark 與反壓的每一個(gè)毛細(xì)血管3.1 Maven 依賴的隱含陷阱Flink 1.18.0 與 flink-connector-mysql-cdc 3.0.0 的版本鎖死關(guān)系尚硅谷文檔里flink-version1.18.0/flink-version和version3.0.0/version看似平平無(wú)奇實(shí)則是道生死線。Flink CDC 3.0.0 的源碼編譯時(shí)flink-connector-mysql-cdc模塊的pom.xml明確指定了flink.version1.18.0/flink.version且其內(nèi)部大量使用了 Flink 1.18 新增的StatefulFunction接口和CheckpointedFunction的增強(qiáng)方法。如果你把 Flink 版本降到 1.17.x編譯能過(guò)但運(yùn)行時(shí)會(huì)拋NoSuchMethodError: org.apache.flink.api.common.state.ListState.get()——因?yàn)?1.17 的ListState沒(méi)有g(shù)et()方法只有g(shù)et().iterator()。反之若升級(jí)到 Flink 1.19.0flink-table-planner_2.12的依賴坐標(biāo)已廢棄會(huì)被替換成_2.13而flink-connector-mysql-cdc 3.0.0未適配 Scala 2.13Classloader 會(huì)找不到org.apache.flink.table.planner.delegation.PlannerBase類(lèi)。所以不要試圖“升級(jí)嘗鮮”嚴(yán)格鎖定 Flink 1.18.0 CDC 3.0.0 組合。另外mysql-connector-java 8.0.31也必須匹配MySQL 8.0.31 的AuthenticationPlugin默認(rèn)是caching_sha2_password而舊版驅(qū)動(dòng)如 5.1.49不支持連接時(shí)會(huì)報(bào)Unknown initial character set index 255。尚硅谷示例里password000000是測(cè)試用生產(chǎn)環(huán)境務(wù)必用?serverTimezoneUTCuseSSLfalseallowPublicKeyRetrievaltrue補(bǔ)全 JDBC URL 參數(shù)否則時(shí)區(qū)錯(cuò)亂會(huì)導(dǎo)致TIMESTAMP字段寫(xiě)入 Doris 后偏移 8 小時(shí)。3.2 Checkpoint 配置不是復(fù)制粘貼而是對(duì)狀態(tài)后端、存儲(chǔ)路徑與 HDFS 權(quán)限的立體校驗(yàn)尚硅谷代碼里這段配置看似標(biāo)準(zhǔn)env.enableCheckpointing(3000L, CheckpointingMode.EXACTLY_ONCE); env.getCheckpointConfig().setCheckpointTimeout(60 * 1000L); env.getCheckpointConfig().setMinPauseBetweenCheckpoints(3000L); env.getCheckpointConfig().enableExternalizedCheckpoints( CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION); env.setStateBackend(new HashMapStateBackend()); env.getCheckpointConfig().setCheckpointStorage(hdfs://hadoop102:8020/flinkCDC); System.setProperty(HADOOP_USER_NAME, atguigu);但實(shí)際部署時(shí)90% 的失敗都卡在這兒。第一HashMapStateBackend只適用于單機(jī)或小規(guī)模測(cè)試生產(chǎn)環(huán)境必須換EmbeddedRocksDBStateBackend否則狀態(tài)超 5GB 就 OOM第二hdfs://hadoop102:8020/flinkCDC這個(gè)路徑HDFS 上必須提前hadoop fs -mkdir -p /flinkCDC且權(quán)限為drwxr-xr-xOwner 是atguigu用戶System.setProperty(HADOOP_USER_NAME, atguigu)就是為此服務(wù)第三setCheckpointTimeout(60 * 1000L)必須大于enableCheckpointing(3000L)的間隔否則 Checkpoint 永遠(yuǎn)來(lái)不及完成就被強(qiáng)制 abort。更隱蔽的坑是如果 Flink 集群的flink-conf.yaml里設(shè)置了state.checkpoints.dir: hdfs://...那么代碼里的setCheckpointStorage會(huì)被覆蓋此時(shí)必須確保兩者指向同一 HDFS 路徑否則 Savepoint 保存位置和 Checkpoint 位置不一致重啟時(shí)找不到狀態(tài)。我一般會(huì)在啟動(dòng)前加一行診斷hadoop fs -ls /flinkCDC | head -5確認(rèn)目錄可寫(xiě)且無(wú)殘留的.crc文件HDFS 的臨時(shí)校驗(yàn)文件有時(shí)會(huì)阻塞寫(xiě)入。3.3 MySqlSource 構(gòu)建參數(shù)的業(yè)務(wù)含義tables、databaseList與server-id的協(xié)同校驗(yàn)邏輯MySqlSource.Stringbuilder()的參數(shù)不是孤立的它們共同構(gòu)成 MySQL Binlog 訂閱的“契約”。databaseList(test)指定監(jiān)控的數(shù)據(jù)庫(kù)名tableList(test.t1)指定具體表二者必須與 MySQL 配置文件/etc/my.cnf中的binlog-do-dbtest完全一致大小寫(xiě)敏感。如果my.cnf里寫(xiě)的是binlog-do-dbTEST而代碼里寫(xiě)testCDC 會(huì)靜默失敗TaskManager 日志里只有一行No tables matched for database test根本不會(huì)報(bào)錯(cuò)。server-id更是關(guān)鍵MySQL 主庫(kù)要求每個(gè)從節(jié)點(diǎn)包括 CDC Client必須有唯一server-id范圍是 1~4294967295。尚硅谷示例里沒(méi)顯式設(shè)置是因?yàn)镸ySqlSource默認(rèn)生成隨機(jī)server-id但生產(chǎn)環(huán)境必須顯式指定否則集群重啟后可能分配到重復(fù) ID導(dǎo)致 MySQL 主庫(kù)拒絕連接。正確做法是在 builder 中加上.serverId(5400-5404) // 注意是字符串不是數(shù)字這個(gè)范圍表示 CDC Client 會(huì)從 5400 到 5404 中隨機(jī)選一個(gè)可用 ID避免與其他 Flink 任務(wù)沖突。另外tables參數(shù)支持正則test\\..*表示監(jiān)控 test 庫(kù)下所有表但要注意正則表達(dá)式需雙反斜杠轉(zhuǎn)義且.*匹配的是表名不是庫(kù)名——databaseList已限定庫(kù)tables只管表。4. Flink SQL 方式用 DDL 代替 Java 代碼但別以為這就沒(méi)坑了——SQL 語(yǔ)法糖背后全是狀態(tài)生命周期管理4.1 CREATE TABLE DDL 的 connector 屬性不是配置項(xiàng)而是 Flink TableEnvironment 的元數(shù)據(jù)注冊(cè)契約尚硅谷的 Flink SQL 示例create table t1( id string primary key NOT ENFORCED, name string ) WITH ( connector mysql-cdc, hostname hadoop103, port 3306, username root, password 000000, database-name test, table-name t1 );表面看是標(biāo)準(zhǔn) SQL實(shí)則暗藏玄機(jī)。第一primary key NOT ENFORCED中的NOT ENFORCED是必須的——Flink SQL 的 CDC Connector 不校驗(yàn)主鍵真實(shí)性它只是告訴 Planner“這個(gè)字段我用來(lái)做 Upsert Key”如果寫(xiě)成primary key即 enforcedFlink 會(huì)嘗試在 Source 端驗(yàn)證主鍵約束而 MySQL 的 Binlog 事件本身不帶主鍵校驗(yàn)信息直接報(bào)UnsupportedOperationException。第二database-name和table-name必須小寫(xiě)即使 MySQL 里表名是大寫(xiě)CDC 也只認(rèn)小寫(xiě)形式否則table-nameT1會(huì)匹配失敗。第三WITH子句里的屬性名是硬編碼的比如hostname不能寫(xiě)成hostdatabase-name不能寫(xiě)成databaseFlink 1.18 的MySqlDynamicTableFactory類(lèi)里有明確的requiredContext校驗(yàn)邏輯拼錯(cuò)一個(gè)字母就ClassNotFoundException。4.2 TableEnvironment.execute().print() 的隱藏副作用它會(huì)觸發(fā)流式執(zhí)行但不等同于生產(chǎn)部署本地 IDE 運(yùn)行table.execute().print()看起來(lái)很爽控制臺(tái)實(shí)時(shí)刷出IInsert、-UDelete before、UUpdate after事件但這只是調(diào)試模式。真正部署到集群時(shí)execute().print()會(huì)把結(jié)果輸出到 TaskManager 的 stdout而 stdout 在 YARN 或 Kubernetes 環(huán)境下默認(rèn)不持久化日志滾動(dòng)后就沒(méi)了。生產(chǎn)環(huán)境必須用executeInsert()寫(xiě)入真正的 Sink比如tableEnv.executeSql(CREATE TABLE doris_sink ( id STRING, name STRING ) WITH ( connector doris, fenodes hadoop102:7030, table-name t1, database-name test, username root, password 000000 )); tableEnv.executeSql(INSERT INTO doris_sink SELECT * FROM t1);注意INSERT INTO語(yǔ)句必須顯式寫(xiě)出不能省略doris_sink的字段順序、類(lèi)型必須與t1完全一致否則 Doris Stream Load 會(huì)因column count mismatch失敗。另外executeSql()返回的是TableResult其await()方法會(huì)阻塞主線程直到作業(yè)提交成功但不保證數(shù)據(jù)已寫(xiě)入 Doris——它只保證 Flink JobGraph 已提交到集群。4.3 Flink SQL 的 Checkpoint 依賴外部配置代碼里不寫(xiě)不等于沒(méi)用DataStream 方式里Checkpoint 配置全在 Java 代碼里一目了然。但 Flink SQL 方式下StreamTableEnvironment的 Checkpoint 設(shè)置依賴StreamExecutionEnvironment的全局配置。也就是說(shuō)你必須在StreamExecutionEnvironment.getExecutionEnvironment()之后、StreamTableEnvironment.create(env)之前調(diào)用env.enableCheckpointing(...)否則executeSql(INSERT INTO ...)啟動(dòng)的作業(yè)將沒(méi)有 Checkpoint尚硅谷文檔沒(méi)提這點(diǎn)導(dǎo)致很多人本地跑通上集群后一重啟就丟數(shù)據(jù)。正確順序是StreamExecutionEnvironment env StreamExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(1); // ? 必須在這里開(kāi)啟 Checkpoint env.enableCheckpointing(3000L); env.getCheckpointConfig().setCheckpointStorage(hdfs://...); // ? 不能放在這里 StreamTableEnvironment tableEnv StreamTableEnvironment.create(env);5. Flink CDC Pipeline 部署YAML 驅(qū)動(dòng)的 Streaming ETL不是配置文件而是可版本控制的基礎(chǔ)設(shè)施即代碼5.1 mysql-to-doris.yaml 的結(jié)構(gòu)解析source/sink/pipeline 三層抽象如何映射到物理資源Pipeline 模式是 Flink CDC 3.0 的王牌功能它把 DataStream 和 SQL 的復(fù)雜度封裝進(jìn) YAML讓運(yùn)維同學(xué)也能看懂。我們拆解尚硅谷的mysql-to-doris.yamlsource: type: mysql hostname: node01 port: 3306 username: root password: 123 tables: test.\.* server-id: 5400-5404 server-time-zone: UTC8 sink: type: doris fenodes: node01:7030 username: root password: 000000 table.create.properties.light_schema_change: true table.create.properties.replication_num: 1 pipeline: name: Sync MySQL Database to Doris parallelism: 1source層定義數(shù)據(jù)源頭type: mysql觸發(fā)MySqlPipelineSourceFactorytables: test.\.*是正則\.轉(zhuǎn)義點(diǎn)號(hào).*匹配所有表名server-id同樣需范圍指定。sink層定義目標(biāo)type: doris對(duì)應(yīng)DorisPipelineSinkFactoryfenodes是 Doris FE 的 HTTP 地址不是 MySQL 的 JDBC 地址table.create.properties.*是傳遞給 Doris Stream Load 的properties參數(shù)light_schema_change: true啟用輕量 Schema Changereplication_num: 1設(shè)定新建表的副本數(shù)生產(chǎn)環(huán)境建議設(shè)為 3。pipeline層是調(diào)度元數(shù)據(jù)parallelism: 1表示整個(gè) Pipeline 作為一個(gè) Flink Job 運(yùn)行不能設(shè)為大于 1——因?yàn)?MySQL Binlog 是單線程寫(xiě)入多并發(fā)消費(fèi)會(huì)導(dǎo)致事件亂序Doris 端 Upsert 語(yǔ)義失效。這是 Pipeline 模式與 DataStream 的根本區(qū)別DataStream 可以對(duì)不同表開(kāi)多個(gè) Source 并行讀Pipeline 是單 Job 全局協(xié)調(diào)。5.2 flink-cdc.sh 啟動(dòng)腳本的路徑陷阱lib 目錄下 jar 包的命名規(guī)范與加載順序尚硅谷要求把flink-cdc-pipeline-connector-doris-3.0.0.jar和flink-cdc-pipeline-connector-mysql-3.0.0.jar放到 Flink CDC 的lib/目錄下。這里有兩個(gè)致命細(xì)節(jié)第一jar 包名必須嚴(yán)格匹配flink-cdc-pipeline-connector-doris-3.0.0.jar不能簡(jiǎn)寫(xiě)成doris-connector.jar否則flink-cdc.sh啟動(dòng)時(shí)ServiceLoader找不到PipelineSinkFactory實(shí)現(xiàn)類(lèi)報(bào)No provider found for interface com.ververica.cdc.connectors.pipeline.sink.PipelineSinkFactory第二flink-cdc.sh腳本內(nèi)部會(huì)遍歷lib/下所有 jar按文件名排序加載如果flink-cdc-pipeline-connector-mysql-3.0.0.jar和flink-cdc-pipeline-connector-doris-3.0.0.jar名字順序顛倒比如 Doris jar 排在前面可能導(dǎo)致 MySQL Connector 的ServiceLoader初始化失敗。我的習(xí)慣是lib/目錄下只放這兩個(gè) jar且用ls -1 lib/確認(rèn)順序?yàn)閒link-cdc-pipeline-connector-mysql-3.0.0.jar在前flink-cdc-pipeline-connector-doris-3.0.0.jar在后。5.3 Doris 端建庫(kù)建表的前置條件FE/BE 啟動(dòng)狀態(tài)、數(shù)據(jù)庫(kù)權(quán)限與 Stream Load 白名單Pipeline 啟動(dòng)前Doris 必須處于可服務(wù)狀態(tài)。尚硅谷步驟里bin/start_fe.sh和bin/start_be.sh是基礎(chǔ)但常被忽略的是BE 節(jié)點(diǎn)必須注冊(cè)到 FE且狀態(tài)為Alive。驗(yàn)證命令mysql -uroot -p000000 -P9030 -hhadoop102 -e SHOW PROC /backends; | grep Alive如果返回空說(shuō)明 BE 未成功加入集群。另外Doris 默認(rèn)關(guān)閉 Stream Load 的跨域訪問(wèn)需在 FE 的fe.conf中添加enable_stream_load_cors: true并重啟 FE。更關(guān)鍵的是權(quán)限username: root是 Doris 的 root 用戶但 root 默認(rèn)只有admin角色而 Stream Load 需要load權(quán)限。必須執(zhí)行GRANT LOAD ON test.* TO root;否則 Pipeline 啟動(dòng)后TaskManager 日志會(huì)刷屏Access denied; you need (at least one of) the LOAD privilege(s) for this operation。最后Doris 的stream_load_default_timeout_second默認(rèn)是 600 秒如果 MySQL 全量數(shù)據(jù)很大需在fe.conf中調(diào)大否則 Stream Load 請(qǐng)求超時(shí)中斷。6. 避坑指南那些讓你凌晨三點(diǎn)還在查日志的 5 個(gè)真實(shí)踩坑記錄6.1 現(xiàn)象Pipeline 啟動(dòng)后TaskManager 日志顯示No tables matched for database test但show databases確認(rèn)庫(kù)存在原因MySQL 配置文件/etc/my.cnf中binlog-do-dbtest的test與代碼/YAML 中的test大小寫(xiě)不一致或 MySQL 實(shí)際庫(kù)名是TESTLinux 文件系統(tǒng)區(qū)分大小寫(xiě)MySQL 庫(kù)名默認(rèn)小寫(xiě)但某些安裝方式會(huì)保留大小寫(xiě)。解決登錄 MySQL 執(zhí)行SHOW DATABASES;確認(rèn)真實(shí)庫(kù)名修改/etc/my.cnf中的binlog-do-db為完全匹配的大小寫(xiě)并sudo systemctl restart mysqld重啟 MySQL。6.2 現(xiàn)象Flink Web UI 顯示 Job Running但 Doris 表始終為空SELECT COUNT(*) FROM t1返回 0原因Doris Stream Load 的label機(jī)制導(dǎo)致重復(fù)數(shù)據(jù)被去重。Pipeline 默認(rèn)為每次請(qǐng)求生成唯一 label但如果 Flink Job 因 Checkpoint 失敗重啟會(huì)重發(fā)相同數(shù)據(jù)Doris 依據(jù) label 去重新數(shù)據(jù)被丟棄。解決在 YAML 的sink配置中顯式關(guān)閉 label 去重sink: type: doris # ... 其他配置 properties.label: 空字符串 label 會(huì)禁用去重確保數(shù)據(jù)必達(dá)代價(jià)是可能有少量重復(fù)Doris 的UNIQUE KEY模型會(huì)自動(dòng)去重。6.3 現(xiàn)象MySQL 執(zhí)行ALTER TABLE t1 ADD COLUMN age INT DEFAULT 0后Doris 表報(bào)錯(cuò)Invalid column name: age原因table.create.properties.light_schema_change: true僅對(duì)新增列生效但要求 Doris 表必須是UNIQUE KEY或AGGREGATE KEY模型DUP KEY模型不支持動(dòng)態(tài)加列。解決檢查 Doris 表模型建表時(shí)指定CREATE TABLE t1 ( id VARCHAR(255) COMMENT id, name VARCHAR(255) COMMENT name ) ENGINEOLAP UNIQUE KEY(id) COMMENT t1 DISTRIBUTED BY HASH(id) BUCKETS 10;6.4 現(xiàn)象Pipeline 啟動(dòng)時(shí)報(bào)java.lang.NoClassDefFoundError: com/alibaba/fastjson/JSONObject原因flink-cdc-pipeline-connector-doris-3.0.0.jar依賴 FastJSON但 Flink CDC 的lib/目錄下缺少fastjson-1.2.83.jarFlink CDC 3.0.0 編譯時(shí)排除了傳遞依賴。解決下載fastjson-1.2.83.jar放入lib/目錄或修改flink-cdc.sh腳本在java -cp參數(shù)中顯式添加 fastjson 路徑。6.5 現(xiàn)象Flink JobManager Web UI 顯示 Checkpoint 成功但hdfs://hadoop102:8020/flinkCDC目錄下無(wú)文件原因HDFS 的core-site.xml和hdfs-site.xml未正確配置到 Flink 的conf/目錄下導(dǎo)致 Flink 無(wú)法識(shí)別 HDFS URICheckpoint 實(shí)際寫(xiě)到了本地磁盤(pán)/tmp/flink-checkpoints。解決將 Hadoop 集群的core-site.xml和hdfs-site.xml復(fù)制到$FLINK_HOME/conf/并確保hadoop classpath命令能輸出 HDFS 配置路徑。7. 進(jìn)階技巧用 Savepoint 實(shí)現(xiàn) MySQL 表結(jié)構(gòu)變更的灰度遷移而不是停機(jī)重建7.1 Savepoint 不是備份而是 Flink Job 的“時(shí)間膠囊”它凍結(jié)了狀態(tài)、位點(diǎn)與拓?fù)涞耐暾煺蘸芏嗳税?Savepoint 當(dāng)作 Checkpoint 的加強(qiáng)版其實(shí)不然。Checkpoint 是 Flink 內(nèi)部的容錯(cuò)機(jī)制自動(dòng)觸發(fā)、自動(dòng)清理Savepoint 是用戶手動(dòng)觸發(fā)的、帶語(yǔ)義的快照它包含三要素1所有 Operator 的狀態(tài)二進(jìn)制數(shù)據(jù)2MySQL Binlog 的精確消費(fèi)位點(diǎn)GTID 或 File/Position3JobGraph 的拓?fù)浣Y(jié)構(gòu)Source/Sink 的并行度、算子鏈。這意味著當(dāng)你在 MySQL 執(zhí)行 DDL 前先bin/flink savepoint jobId hdfs://...就相當(dāng)于給整個(gè) CDC 鏈路拍了一張“此刻的全身照”。后續(xù)無(wú)論 MySQL 如何變更只要從這個(gè) Savepoint 重啟就能回到變更前的狀態(tài)繼續(xù)消費(fèi)。7.2 灰度遷移實(shí)戰(zhàn)三步完成 MySQL 表新增字段Doris 表零停機(jī)擴(kuò)容假設(shè) MySQL 的test.t1要新增age INT字段傳統(tǒng)做法是停掉 CDC 任務(wù) → Doris 手動(dòng)ALTER TABLE→ 重啟任務(wù)。而用 Savepoint可以做到無(wú)縫Step 1在 DDL 執(zhí)行前創(chuàng)建 Savepointbin/flink savepoint 78a3b1c2-d4e5-4f67-8901-23456789abcd hdfs://hadoop102:8020/flinkCDC/save_pre_alterStep 2執(zhí)行 MySQL DDL并觀察 Pipeline 是否自動(dòng)適配ALTER TABLE test.t1 ADD COLUMN age INT DEFAULT 0;由于light_schema_change: trueDoris 會(huì)自動(dòng)在t1表中新增age列類(lèi)型為INT默認(rèn)值NULL。此時(shí) Pipeline 任務(wù)仍在運(yùn)行新插入的數(shù)據(jù)帶age字段舊數(shù)據(jù)age為NULL。Step 3驗(yàn)證無(wú)誤后從 Savepoint 重啟可選用于回滾如果發(fā)現(xiàn) Doris 新列數(shù)據(jù)異常比如age全為NULL立即bin/flink cancel jobId然后bin/flink run -s hdfs://hadoop102:8020/flinkCDC/save_pre_alter -c com.ververica.cdc.pipelines.PipelineMain ./flink-cdc-3.0.0-bin/flink-cdc-3.0.0.jar job/mysql-to-doris.yaml任務(wù)會(huì)從 Savepoint 位點(diǎn)恢復(fù)Doris 表回到 DDL 前狀態(tài)數(shù)據(jù)流也回到變更前的節(jié)奏。7.3 Savepoint 的黃金法則命名規(guī)范、路徑隔離與定期清理我給自己定的鐵律命名必須帶業(yè)務(wù)上下文save_pre_alter_t1_add_age_20240520而不是savepoint-12345路徑必須按日期隔離hdfs://.../flinkCDC/save/20240520/避免混雜每周清理過(guò)期 Savepoint用hadoop fs -ls /flinkCDC/save/ | grep 2024051[0-3] | xargs -n1 hadoop fs -rm刪除上周的。因?yàn)?Savepoint 文件會(huì)持續(xù)增長(zhǎng)狀態(tài)數(shù)據(jù)不清理會(huì)導(dǎo)致 HDFS 磁盤(pán)告警。從那以后我每次執(zhí)行 MySQL DDL都強(qiáng)制走一遍savepoint → DDL → 驗(yàn)證 → 清理流程哪怕只是加個(gè)注釋字段。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取