日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

TimescaleDB高可用實(shí)踐:Docker Compose部署PostgreSQL流復(fù)制集群

TimescaleDB高可用實(shí)踐:Docker Compose部署PostgreSQL流復(fù)制集群 之前幫一個(gè)監(jiān)控平臺(tái)搭時(shí)序存儲(chǔ)單節(jié)點(diǎn)TimescaleDB跑得挺好查詢響應(yīng)都在毫秒級??僧?dāng)業(yè)務(wù)提出要加一套只讀副本做實(shí)時(shí)看板、同時(shí)防止宿主機(jī)宕機(jī)導(dǎo)致數(shù)據(jù)不可用時(shí)我就意識到不能再靠單庫硬扛了。TimescaleDB雖然強(qiáng)在時(shí)序壓縮和超表能力但它底子還是PostgreSQL要做副本、做容災(zāi)走的還是PostgreSQL流復(fù)制Streaming Replication這條路。但很多人對流復(fù)制的經(jīng)驗(yàn)停留在裸機(jī)手工部署換到docker-compose之后配置文件、權(quán)限、初始化順序到處是坑一個(gè)不小心從庫就起不來。這篇文章把我實(shí)際跑通的TimescaleDB(PostgreSQL)流復(fù)制集群容器化部署方案完整拆一遍從WAL同步原理、主從配置、pg_basebackup初始化到故障切換和踩坑細(xì)節(jié)都會(huì)講到。適合已經(jīng)在用TimescaleDB但沒有HA經(jīng)驗(yàn)、或者想用docker-compose快速搭一套本地時(shí)序集群的團(tuán)隊(duì)參考。方案不追求復(fù)雜架構(gòu)一主一從最常規(guī)跑通之后再加只讀節(jié)點(diǎn)、做讀寫分離都很容易。1. 時(shí)序數(shù)據(jù)場景下為什么我不建議繼續(xù)用單機(jī)TimescaleDB1.1 單機(jī)在監(jiān)控?cái)?shù)據(jù)面前的兩個(gè)真實(shí)瓶頸很多團(tuán)隊(duì)最開始用TimescaleDB都是看中它的超表Hypertable能力。一張表按時(shí)間自動(dòng)分chunk冷熱數(shù)據(jù)自動(dòng)管理時(shí)序聚合查詢比原生PostgreSQL順手很多。單節(jié)點(diǎn)在數(shù)據(jù)量幾千萬、上億的時(shí)候依然能跑這也是TimescaleDB的賣點(diǎn)。但單節(jié)點(diǎn)的瓶頸不只在數(shù)據(jù)量而在“可用性”和“業(yè)務(wù)架構(gòu)”兩個(gè)層面。第一宿主機(jī)一掛整個(gè)監(jiān)控大盤就沒數(shù)據(jù)了對線上業(yè)務(wù)來說這是不可接受的第二業(yè)務(wù)想看板、要做報(bào)表、要做一些偏重的分析查詢這些查詢會(huì)和寫入搶CPU、搶IO單庫扛不住。流復(fù)制集群解決不了性能橫向擴(kuò)展的全部問題但能解決“只讀流量分離”和“故障時(shí)快速切換”這兩個(gè)最剛需的問題。所以我的建議很清楚TimescaleDB做主寫節(jié)點(diǎn)一臺(tái)從庫專門扛讀查詢和看板日常還能拿從庫做數(shù)據(jù)分析這是一套性價(jià)比很高的架構(gòu)。1.2 流復(fù)制解決的是可用性問題不是性能擴(kuò)展這里必須把預(yù)期放正。很多文章會(huì)把流復(fù)制描述成“集群”實(shí)際上它本質(zhì)上是“主庫持續(xù)把WAL日志送到備庫并重放”的數(shù)據(jù)保護(hù)機(jī)制。從庫不是負(fù)載均衡集群里的worker而是一份完整的數(shù)據(jù)副本。所以它解決的是主庫宕機(jī)后數(shù)據(jù)不丟、業(yè)務(wù)能切到從庫繼續(xù)跑讀請求可以從從庫走減輕主庫壓力。如果你的目標(biāo)是寫性能水平擴(kuò)展那需要的是讀寫中間件分片或TimescaleDB分布式版而不是流復(fù)制。這個(gè)邊界搞清楚后面遇到問題才不會(huì)慌。1.3 為什么復(fù)制節(jié)點(diǎn)也必須加載TimescaleDB擴(kuò)展這是大家最容易忽略的點(diǎn)。TimescaleDB不只是幾張表它通過shared_preload_libraries在PostgreSQL啟動(dòng)時(shí)加載鉤子函數(shù)在后臺(tái)維護(hù)chunk、壓縮、連續(xù)聚合等一系列邏輯。從庫通過WAL重放拿到的是物理數(shù)據(jù)塊不是邏輯SQL。也就是說從庫如果沒加載TimescaleDB擴(kuò)展數(shù)據(jù)文件雖然都在但查詢超表時(shí)數(shù)據(jù)庫根本不知道這張表是超表也無法正確路由到對應(yīng)chunk。我見過有人從庫配好后SELECT * FROM sensor_data直接報(bào)錯(cuò)或者查不到數(shù)據(jù)最后發(fā)現(xiàn)就是擴(kuò)展沒加載。2. 流復(fù)制鏈路里WAL是怎么從主庫“流”到從庫的2.1 從walsender到walreceiver的完整鏈路理解流復(fù)制不需要把源碼讀完但幾個(gè)關(guān)鍵角色必須知道。主庫側(cè)有一個(gè)walsender進(jìn)程負(fù)責(zé)把WAL數(shù)據(jù)通過網(wǎng)絡(luò)傳給備庫。備庫側(cè)有兩個(gè)關(guān)鍵進(jìn)程walreceiver負(fù)責(zé)接收WAL流startup進(jìn)程負(fù)責(zé)把收到的WAL重放到數(shù)據(jù)文件里。整個(gè)鏈路是異步的備庫時(shí)刻追著主庫的WAL末尾跑。PostgreSQL 15之后流復(fù)制相關(guān)的函數(shù)和視圖名字有些變化。比如pg_stat_wal_receiver是備庫視角查的是接收狀態(tài)pg_stat_replication是主庫視角查的是每個(gè)walsender連接的復(fù)制狀態(tài)。部署完成后我習(xí)慣在主庫和備庫各查一次這兩個(gè)視圖能快速判斷鏈路是否正常。2.2 復(fù)制槽不是可有可無的復(fù)制槽Replication Slot是流復(fù)制里的一個(gè)關(guān)鍵設(shè)計(jì)。主庫的WAL文件是循環(huán)使用的如果備庫斷了一會(huì)兒主庫可能已經(jīng)把備庫還沒拿走的WAL覆蓋了那備庫重新連上時(shí)就沒法繼續(xù)同步只能重新全量初始化。復(fù)制槽會(huì)讓主庫保留從庫還沒消費(fèi)的WAL保護(hù)備庫追上來。代價(jià)是如果備庫掛了很久沒消費(fèi)主庫的WAL會(huì)一直累積磁盤會(huì)被撐爆。所以復(fù)制槽設(shè)計(jì)是個(gè)雙刃劍要么做好監(jiān)控要么用wal_keep_size加物理保留策略配合使用。在pg_basebackup初始化從庫時(shí)指定一個(gè)永久復(fù)制槽是最穩(wěn)妥的這也是我下面腳本里的做法。2.3 同步提交與異步復(fù)制的選擇流復(fù)制默認(rèn)是異步的主庫提交事務(wù)后不需要等備庫確認(rèn)性能損耗極小。異步復(fù)制的風(fēng)險(xiǎn)是主庫宕機(jī)瞬間最后少量已提交事務(wù)可能還沒到備庫切換后會(huì)有數(shù)據(jù)丟失。PostgreSQL的同步復(fù)制通過synchronous_commit控制備庫確認(rèn)方式可以是remote_write、remote_apply等。同步復(fù)制能保證主備數(shù)據(jù)一致但每次寫入都要等網(wǎng)絡(luò)往返寫入性能明顯下降。時(shí)序場景寫入頻繁一審量級的數(shù)據(jù)同步流量非常大我日常部署默認(rèn)用異步業(yè)務(wù)方如果明確要求RPO0再單獨(dú)討論同步方案。這里給一個(gè)經(jīng)驗(yàn)值單機(jī)寫入10000條/秒左右的監(jiān)控?cái)?shù)據(jù)內(nèi)網(wǎng)環(huán)境下異步流復(fù)制的延遲通常在幾十毫秒以內(nèi)肉眼幾乎看不出差異。3. 部署前必須定下的版本、目錄和網(wǎng)絡(luò)規(guī)劃3.1 鏡像版本如何鎖TimescaleDB tag與PG主版本的綁定關(guān)系TimescaleDB鏡像的tag很有講究它是和PostgreSQL主版本綁定的。比如timescale/timescaledb:latest-pg16最后的pg16表示基礎(chǔ)鏡像的PostgreSQL大版本。你不能只看TimescaleDB版本而忽略PG版本因?yàn)閮蓚€(gè)節(jié)點(diǎn)如果PG主版本不一致pg_basebackup拉過來的數(shù)據(jù)目錄根本沒法啟動(dòng)。我的建議是開發(fā)環(huán)境可以用latest-pg16圖省事生產(chǎn)環(huán)境一定要鎖具體版本。比如timescale/timescaledb:2.17.2-pg16這樣鏡像拉取、重建、回滾都可控。鏡像tag一變一旦TimescaleDB做了兼容性調(diào)整主從兩個(gè)節(jié)點(diǎn)版本不一致重放WAL時(shí)很容易報(bào)FATAL: could not start WAL stream。為了統(tǒng)一管理版本我用一個(gè).env文件放在項(xiàng)目根目錄POSTGRES_MAJOR16 TIMESCALEDB_TAG2.17.2-pg16 POSTGRES_USERpostgres POSTGRES_PASSWORDpostgres123 REPLICATION_USERreplicator REPLICATION_PASSWORDreplicator123 REPLICATION_SLOTreplica_slot3.2 目錄結(jié)構(gòu)與配置掛載方案整個(gè)項(xiàng)目目錄我習(xí)慣這樣組織timescaledb-cluster/ ├── .env ├── docker-compose.yml ├── master/ │ ├── postgresql.conf │ ├── pg_hba.conf │ └── init/ │ └── 01-create-replication-user.sql ├── replica/ │ ├── postgresql.conf │ ├── pg_hba.conf │ └── init-replica.sh └── data/ ├── master/ └── replica/主庫和從庫的配置文件一定要分開不要共用一份。原因有兩個(gè)第一從庫的primary_conninfo、primary_slot_name這些連接主庫的參數(shù)主庫配置里不該有第二主庫和從庫雖然大部分參數(shù)一致但將來你很可能需要給從庫調(diào)不同的work_mem、max_connections共用一份文件會(huì)讓兩個(gè)節(jié)點(diǎn)互相污染。數(shù)據(jù)目錄用bind mount掛到宿主機(jī)data/下方便排查問題。但要注意權(quán)限容器內(nèi)postgres用戶默認(rèn)uid是999掛載目錄后宿主機(jī)目錄歸屬如果不是999容器啟動(dòng)時(shí)會(huì)遇到權(quán)限拒絕。一個(gè)簡單的辦法是創(chuàng)建目錄后執(zhí)行mkdir -p data/master data/replica chown -R 999:999 data3.3 自定義網(wǎng)絡(luò)與固定IPdocker-compose默認(rèn)會(huì)創(chuàng)建一個(gè)網(wǎng)絡(luò)但容器重啟后IP可能變化。流復(fù)制場景下primary_conninfo里寫的主庫host建議用服務(wù)名timescaledb-masterdocker內(nèi)部DNS會(huì)自動(dòng)解析IP變不變其實(shí)問題不大。但我還是習(xí)慣給集群指定一個(gè)獨(dú)立網(wǎng)段和固定IP理由有兩點(diǎn)一是pg_hba.conf里如果要按IP限制訪問固定IP可以精確控制二是后續(xù)如果有其他中間件容器要接入這個(gè)集群固定IP比容器名更好排查網(wǎng)絡(luò)鏈路。網(wǎng)絡(luò)規(guī)劃如下networks: cluster: driver: bridge ipam: config: - subnet: 172.28.0.0/24主庫分配172.28.0.10從庫分配172.28.0.11端口映射上主庫映射宿主機(jī)5432從庫映射5433這樣宿主機(jī)上兩個(gè)庫都能訪問只讀流量走5433寫流量走5432。4. 主庫配置和初始化復(fù)制用戶、hba與復(fù)制槽4.1 主庫postgresql.conf的關(guān)鍵參數(shù)主庫的postgresql.conf不需要面面俱到但和流復(fù)制相關(guān)的參數(shù)必須正確。下面是完整配置listen_addresses * hba_file /etc/postgresql/pg_hba.conf wal_level replica max_wal_senders 4 max_replication_slots 4 wal_keep_size 512MB shared_preload_libraries timescaledb synchronous_commit off wal_log_hints on逐個(gè)說明一下。wal_level replica是流復(fù)制的最低要求它保證WAL里包含足夠的信息供備庫重放。max_wal_senders和max_replication_slots決定了最多能連接幾個(gè)備庫一主一從設(shè)4足夠如果你以后想加到3個(gè)從庫也能扛住。wal_keep_size 512MB是PG15之后的參數(shù)相當(dāng)于給主庫額外保留512MB的WAL防止備庫短暫斷開后因?yàn)閺?fù)制槽沒建好導(dǎo)致追不上。wal_log_hints on是為將來可能用pg_rewind做時(shí)間線回退準(zhǔn)備的現(xiàn)在不開啟以后想開還需要重啟。最后一行shared_preload_libraries timescaledb是整個(gè)方案的核心。主庫靠它加載TimescaleDB從庫的配置文件里也必須有一模一樣的配置。4.2 pg_hba.conf里replication條目為什么單獨(dú)寫pg_hba.conf是很多人的盲區(qū)。流復(fù)制連接走的是replication偽數(shù)據(jù)庫它在pg_hba.conf里不是普通數(shù)據(jù)庫條目必須單獨(dú)寫。我的配置如下local all all trust host all all 0.0.0.0/0 md5 local replication all trust host replication replicator 0.0.0.0/0 md5注意最后一行我限定只有replicator用戶允許從任意IP發(fā)起復(fù)制連接而且只能用md5密碼認(rèn)證。不要用trust去放行replication否則任何能連通5432端口的人都能拖走你全庫數(shù)據(jù)。這里如果配置漏了從庫pg_basebackup時(shí)會(huì)直接報(bào)FATAL: no pg_hba.conf entry for replication connection from host。4.3 復(fù)制用戶與物理復(fù)制槽的創(chuàng)建主庫第一次啟動(dòng)時(shí)官方鏡像會(huì)執(zhí)行/docker-entrypoint-initdb.d/目錄下的所有.sql和.sh腳本。我利用這個(gè)機(jī)制創(chuàng)建復(fù)制用戶-- master/init/01-create-replication-user.sql CREATE ROLE replicator WITH REPLICATION LOGIN PASSWORD replicator123;這里給replicator角色加了REPLICATION權(quán)限這是它執(zhí)行pg_basebackup和建立復(fù)制流的必要條件。物理復(fù)制槽我選擇放在從庫初始化腳本里動(dòng)態(tài)創(chuàng)建而不是寫死在主庫的init目錄。原因很直接如果從庫數(shù)據(jù)卷被我清掉重新初始化腳本可以在不手動(dòng)登錄主庫的情況下自動(dòng)補(bǔ)建slot省去一次人工操作。主庫的init目錄只需要保證復(fù)制用戶存在slot由從庫腳本用SQL檢查后再創(chuàng)建。5. 從庫初始化腳本pg_basebackup拉取與自動(dòng)拉起5.1 官方entrypoint沒法直接干這件事docker官方postgres鏡像有一個(gè)特點(diǎn)如果容器啟動(dòng)命令不是postgres它不會(huì)自動(dòng)執(zhí)行initdb。這個(gè)特性正好可以被我們用來做自定義從庫初始化但也意味著我們需要自己處理數(shù)據(jù)目錄的創(chuàng)建、權(quán)限、初始化這三件事。很多人一開始的思路是給從庫也掛docker-entrypoint-initdb.d指望鏡像幫你把pg_basebackup跑了。這個(gè)思路有一個(gè)致命問題官方entrypoint在跑initdb.d腳本之前已經(jīng)執(zhí)行了initdb數(shù)據(jù)目錄里已經(jīng)生成了一套完整數(shù)據(jù)這時(shí)候你再pg_basebackup去覆蓋它容易留下臟文件而且腳本執(zhí)行環(huán)境也別扭。我的做法更干凈從庫啟動(dòng)命令直接指向一個(gè)自定義腳本數(shù)據(jù)目錄為空時(shí)跑pg_basebackup非空時(shí)直接正常啟動(dòng)。5.2 init-replica.sh完整腳本拆解先看完整腳本再逐步解釋#!/bin/bash set -e MASTER_HOSTtimescaledb-master MASTER_PORT5432 REPLICATION_USER${REPLICATION_USER:-replicator} REPLICATION_PASSWORD${REPLICATION_PASSWORD:-replicator123} REPLICATION_SLOT${REPLICATION_SLOT:-replica_slot} export PGPASSWORD${POSTGRES_PASSWORD} # 1. 等待主庫復(fù)制用戶創(chuàng)建完成 echo [replica] waiting for master replication user... until psql -h $MASTER_HOST -p $MASTER_PORT -U $POSTGRES_USER -d postgres -tAc \ SELECT 1 FROM pg_roles WHERE rolname${REPLICATION_USER} 2/dev/null | grep -q 1; do sleep 2 done echo [replica] creating replication slot if not exists psql -h $MASTER_HOST -p $MASTER_PORT -U $POSTGRES_USER -d postgres -tAc \ SELECT 1 FROM pg_replication_slots WHERE slot_name${REPLICATION_SLOT} | grep -q 1 || \ psql -h $MASTER_HOST -p $MASTER_PORT -U $POSTGRES_USER -d postgres -c \ SELECT pg_create_physical_replication_slot(${REPLICATION_SLOT}); # 2. 準(zhǔn)備數(shù)據(jù)目錄 mkdir -p $PGDATA chown postgres:postgres $PGDATA chmod 700 $PGDATA # 3. 寫.pgpass供后續(xù)流復(fù)制連接認(rèn)證使用 cat /var/lib/postgresql/.pgpass EOF ${MASTER_HOST}:${MASTER_PORT}:replication:${REPLICATION_USER}:${REPLICATION_PASSWORD} EOF chown postgres:postgres /var/lib/postgresql/.pgpass chmod 600 /var/lib/postgresql/.pgpass # 4. 如果數(shù)據(jù)目錄還沒有PG_VERSION就全量拉取主庫數(shù)據(jù) if [ ! -s $PGDATA/PG_VERSION ]; then echo [replica] running pg_basebackup from master... export PGPASSWORD${REPLICATION_PASSWORD} gosu postgres pg_basebackup -h $MASTER_HOST -p $MASTER_PORT -U $REPLICATION_USER \ -D $PGDATA -R -X stream -S $REPLICATION_SLOT -P -v rm -f $PGDATA/postmaster.pid echo [replica] basebackup done else echo [replica] data directory already exists, skip basebackup fi # 5. 進(jìn)入正常啟動(dòng)流程 exec docker-entrypoint.sh postgres -c config_file/etc/postgresql/postgresql.conf幾個(gè)關(guān)鍵點(diǎn)展開說。等待循環(huán)為什么不用pg_isready而用psql查角色表因?yàn)閜g_isready只能判斷端口通沒通而主庫容器首次啟動(dòng)時(shí)會(huì)先跑一個(gè)臨時(shí)postgres執(zhí)行initdb.d腳本這時(shí)候端口已經(jīng)通了但復(fù)制用戶還沒創(chuàng)建完。如果從庫在這個(gè)時(shí)候發(fā)起pg_basebackup會(huì)因角色不存在失敗。所以必須等到pg_roles里能查到replicator。.pgpass是libpq的密碼文件。pg_basebackup用-R參數(shù)生成postgresql.auto.conf時(shí)不會(huì)把密碼明文寫進(jìn)去而是記錄passfile/var/lib/postgresql/.pgpass。如果不提前創(chuàng)建這個(gè)文件從庫容器重啟后流復(fù)制連接會(huì)因?yàn)槟貌坏矫艽a而反復(fù)失敗主庫pg_stat_replication里能看到state一直是startup。很多從庫“莫名其妙連不上”的問題根子都在這里。-X stream表示W(wǎng)AL通過復(fù)制流直接傳輸-S指定復(fù)制槽-R會(huì)生成從庫所需的postgresql.auto.conf里面自動(dòng)寫好primary_conninfo和primary_slot_name。整個(gè)腳本是冪等的。數(shù)據(jù)目錄已經(jīng)有PG_VERSION時(shí)它跳過basebackup直接啟動(dòng)postgres所以從庫容器重啟不會(huì)重復(fù)初始化。5.3 postgresql.auto.conf里的連接信息與同步參數(shù)pg_basebackup執(zhí)行完后從庫數(shù)據(jù)目錄下會(huì)生成一個(gè)postgresql.auto.conf內(nèi)容類似primary_conninfo userreplicator passfile/var/lib/postgresql/.pgpass channel_bindingprefer hosttimescaledb-master port5432 sslmodeprefer sslcompression0 sslcertmodeallow sslsni1 ssl_min_protocol_versionTLSv1.2 gssencmodeprefer krbsrvnamepostgres target_session_attrsany primary_slot_name replica_slot這里要提醒一句primary_conninfo不要手工寫進(jìn)從庫的postgresql.conf因?yàn)閜ostgresql.auto.conf的優(yōu)先級更高你寫半天最后會(huì)被auto.conf覆蓋容易產(chǎn)生“我明明改了為什么沒生效”的困惑。連接信息全權(quán)交給-R生成的auto.conf即可。如果你要啟用同步復(fù)制需要確保primary_conninfo里有application_name并且和主庫配置的synchronous_standby_names對應(yīng)。auto.conf默認(rèn)不帶application_name你可以在pg_basebackup完成后追加一行覆蓋或者在從庫啟動(dòng)前改掉auto.conf里的內(nèi)容。6. docker-compose.yml完整編排與健康檢查設(shè)計(jì)6.1 兩個(gè)service的配置要點(diǎn)docker-compose.yml是全流程的樞紐完整內(nèi)容如下version: 3.9 services: master: image: timescale/timescaledb:${TIMESCALEDB_TAG} container_name: timescaledb-master environment: POSTGRES_USER: ${POSTGRES_USER} POSTGRES_PASSWORD: ${POSTGRES_PASSWORD} PGDATA: /var/lib/postgresql/data volumes: - ./data/master:/var/lib/postgresql/data - ./master/postgresql.conf:/etc/postgresql/postgresql.conf:ro - ./master/pg_hba.conf:/etc/postgresql/pg_hba.conf:ro - ./master/init:/docker-entrypoint-initdb.d:ro command: [postgres, -c, config_file/etc/postgresql/postgresql.conf] healthcheck: test: [CMD-SHELL, pg_isready -U ${POSTGRES_USER} -d postgres] interval: 5s timeout: 3s retries: 20 start_period: 10s networks: cluster: ipv4_address: 172.28.0.10 ports: - 5432:5432 replica: image: timescale/timescaledb:${TIMESCALEDB_TAG} container_name: timescaledb-replica environment: POSTGRES_USER: ${POSTGRES_USER} POSTGRES_PASSWORD: ${POSTGRES_PASSWORD} REPLICATION_USER: ${REPLICATION_USER} REPLICATION_PASSWORD: ${REPLICATION_PASSWORD} REPLICATION_SLOT: ${REPLICATION_SLOT} PGDATA: /var/lib/postgresql/data volumes: - ./data/replica:/var/lib/postgresql/data - ./replica/postgresql.conf:/etc/postgresql/postgresql.conf:ro - ./replica/pg_hba.conf:/etc/postgresql/pg_hba.conf:ro - ./replica/init-replica.sh:/init-replica.sh:ro command: [bash, /init-replica.sh] depends_on: master: condition: service_healthy networks: cluster: ipv4_address: 172.28.0.11 ports: - 5433:5432 healthcheck: test: [CMD-SHELL, pg_isready -U ${POSTGRES_USER} -d postgres] interval: 5s timeout: 3s retries: 20 start_period: 20s networks: cluster: driver: bridge ipam: config: - subnet: 172.28.0.0/24主庫的command用-c config_file/etc/postgresql/postgresql.conf指定我們掛載的配置文件避免用到數(shù)據(jù)目錄里的默認(rèn)配置。從庫因?yàn)橐茏远x初始化腳本command直接指向bash /init-replica.sh。腳本最后會(huì)調(diào)用docker-entrypoint.sh postgres -c config_file...進(jìn)入正常啟動(dòng)流程。6.2 depends_on為什么不夠healthcheck才是關(guān)鍵docker-compose里depends_on默認(rèn)只控制容器啟動(dòng)順序不等應(yīng)用就緒。也就是說從庫容器啟動(dòng)時(shí)主庫可能還在跑initdb復(fù)制用戶都還沒創(chuàng)建。depends_on加condition: service_healthy之后compose會(huì)等主庫healthcheck通過才啟動(dòng)從庫。主庫的healthcheck用了pg_isready這是在dokcer層面做的一次“端口可用性”檢查。但如前面說的主庫臨時(shí)postgres階段端口也是通的所以從庫腳本內(nèi)部還做了一層角色等待。這兩層配合才能保證從庫初始化時(shí)主庫真正可服務(wù)。6.3 啟動(dòng)順序與冪等性設(shè)計(jì)整個(gè)編排有一個(gè)隱藏優(yōu)點(diǎn)從庫腳本天然冪等。docker compose down之后再up從庫數(shù)據(jù)目錄已經(jīng)有了PG_VERSION腳本會(huì)跳過pg_basebackup直接啟動(dòng)從庫復(fù)制鏈路自動(dòng)恢復(fù)。真正需要警惕的是如果你手動(dòng)清掉了從庫數(shù)據(jù)目錄腳本會(huì)重新全量拉數(shù)據(jù)。拉數(shù)據(jù)期間主庫的WAL必須保留足夠多否則pg_basebackup會(huì)報(bào)requested WAL segment has already been removed。復(fù)制槽就是用來解決這個(gè)問題的所以腳本里先確保slot存在再執(zhí)行basebackup是有講究的。7. 部署后的驗(yàn)證復(fù)制狀態(tài)、超表查詢與延遲觀測7.1 復(fù)制狀態(tài)SQL判讀部署完成后第一步不是急著造數(shù)據(jù)而是確認(rèn)復(fù)制鏈路狀態(tài)。在主庫執(zhí)行SELECT pid, application_name, state, sync_state, replay_lag FROM pg_stat_replication;能看到一行記錄state為streamingsync_state為async因?yàn)槲覀儧]開同步復(fù)制說明從庫已經(jīng)追著主庫走了。如果state一直是startup或catchup說明從庫還在初始化或追趕中。從庫上執(zhí)行SELECT pg_is_in_recovery();返回t說明當(dāng)前是備庫處于只讀熱備狀態(tài)。再查SELECT pg_last_wal_receive_lsn(), pg_last_wal_replay_lsn();兩個(gè)值應(yīng)該非常接近甚至完全相等。receive_lsn是從庫已經(jīng)接收到的WAL位置replay_lsn是已經(jīng)重放的位置如果差距持續(xù)增大說明從庫重放速度跟不上寫入速度。7.2 在主庫建超表并寫入從庫同步查詢驗(yàn)證復(fù)制鏈路只是第一步還要驗(yàn)證TimescaleDB擴(kuò)展在主從兩個(gè)節(jié)點(diǎn)都正常工作。在主庫執(zhí)行CREATE TABLE sensor_data ( time TIMESTAMPTZ NOT NULL, device_id INTEGER, temperature DOUBLE PRECISION ); SELECT create_hypertable(sensor_data, time);然后寫入一批測試數(shù)據(jù)INSERT INTO sensor_data SELECT now() - (i || minutes)::interval, i % 10, random() * 30 15 FROM generate_series(1, 10000) i;到從庫上執(zhí)行SELECT time_bucket(1 minute, time) AS bucket, avg(temperature) FROM sensor_data GROUP BY bucket ORDER BY bucket LIMIT 10;能正常返回結(jié)果且數(shù)據(jù)量和主庫一致說明從庫已經(jīng)成功加載TimescaleDB擴(kuò)展WAL重放也正常。如果從庫沒加載擴(kuò)展這一步大概率會(huì)報(bào)錯(cuò)或者只能查到部分?jǐn)?shù)據(jù)這時(shí)回到配置文件檢查shared_preload_libraries。7.3 replay_lag觀測與從庫只讀約束從庫畢竟是只讀節(jié)點(diǎn)如果業(yè)務(wù)誤把寫請求發(fā)到5433端口會(huì)收到明確的報(bào)錯(cuò)ERROR: cannot execute INSERT in a read-only transaction這是預(yù)期行為不用慌。但如果你的應(yīng)用需要從庫提供強(qiáng)一致的讀要注意從庫默認(rèn)存在復(fù)制延遲。時(shí)序場景一般幾毫秒到幾十毫秒可接受。如果延遲突然飆升優(yōu)先看主庫的WAL生成量和從庫的磁盤IO大概率是從庫重放瓶頸。8. 故障切換實(shí)驗(yàn)與把原主庫拉回新從庫8.1 手動(dòng)提升從庫的操作與驗(yàn)證流復(fù)制本身沒有自動(dòng)故障轉(zhuǎn)移能力這一點(diǎn)必須提前跟團(tuán)隊(duì)講清楚。但人工切換很簡單模擬主庫宕機(jī)docker stop timescaledb-master然后進(jìn)入從庫容器提升它docker exec -it timescaledb-replica psql -U postgres -c SELECT pg_promote();再驗(yàn)證SELECT pg_is_in_recovery();返回f從庫已經(jīng)變成新的主庫可以正常接收寫入了。此時(shí)應(yīng)用連接需要切到5433端口也就是從庫映射出來的端口。如果有負(fù)載均衡器把后端摘掉故障主庫即可。8.2 原主庫恢復(fù)為從庫的完整步驟原主庫因?yàn)橹笆侵鲙鞌?shù)據(jù)已經(jīng)和新的主庫分叉了直接啟動(dòng)繼續(xù)跑流復(fù)制是行不通的?;謴?fù)思路只有一個(gè)把它當(dāng)作一個(gè)全新的從庫重新初始化。具體操作是清空原主庫數(shù)據(jù)目錄讓init-replica.sh邏輯重新在新主庫上做一次pg_basebackup。這里有個(gè)細(xì)節(jié)原主庫容器還掛著master/init目錄第一次啟動(dòng)時(shí)會(huì)重復(fù)執(zhí)行01-create-replication-user.sql這會(huì)導(dǎo)致創(chuàng)建角色報(bào)錯(cuò)“already exists”。我在實(shí)際恢復(fù)時(shí)會(huì)把master目錄臨時(shí)改一個(gè)名字或者把它從docker-compose的正常啟動(dòng)流程里摘出來用一個(gè)一次性的初始化容器執(zhí)行從庫腳本再改回配置正常啟動(dòng)。如果你不想動(dòng)目錄結(jié)構(gòu)也可以用另一個(gè)更簡單的思路保留init-replica.sh腳本修改MASTER_HOST為新主庫然后把原主庫的volumes臨時(shí)改成從庫數(shù)據(jù)卷讓它按從庫方式初始化一次再改回來??傊诵氖恰叭恐亟ā辈灰竿鲙炷茉貜?fù)活成從庫。8.3 自動(dòng)故障切換的邊界如果業(yè)務(wù)要求“主庫掛了自動(dòng)切換應(yīng)用無感知”那需要引入Patroni、repmgr或pg_auto_failover這類外部工具。TimescaleDB和PostgreSQL在這件事上一樣流復(fù)制只負(fù)責(zé)數(shù)據(jù)同步不負(fù)責(zé)選主、不負(fù)責(zé)VIP漂移、不負(fù)責(zé)應(yīng)用端連接切換。docker-compose方案最適合的場景是開發(fā)環(huán)境、預(yù)發(fā)環(huán)境、或者人力可以7x24響應(yīng)的小規(guī)模生產(chǎn)環(huán)境。真要做自動(dòng)HA建議在流復(fù)制基礎(chǔ)上疊加Patroni那是另一個(gè)更復(fù)雜的架構(gòu)話題本篇不再展開。9. 實(shí)際運(yùn)維中容易翻車的四個(gè)細(xì)節(jié)9.1 復(fù)制槽殘留導(dǎo)致主庫WAL膨脹這是流復(fù)制集群最高頻的故障。從庫如果被刪除或者長時(shí)間離線主庫上的物理復(fù)制槽還掛著WAL就一直累積不清理最后磁盤寫滿主庫直接宕機(jī)。對策是定期監(jiān)控SELECT slot_name, active, pg_size_pretty(pg_wal_lsn_diff(pg_current_wal_lsn(), restart_lsn)) AS lag_bytes FROM pg_replication_slots;如果發(fā)現(xiàn)某個(gè)slot已經(jīng)不active了確認(rèn)對應(yīng)從庫不會(huì)回來后第一時(shí)間手動(dòng)刪除SELECT pg_drop_replication_slot(replica_slot);這個(gè)操作要謹(jǐn)慎刪早了從庫會(huì)失去WAL保護(hù)。我的習(xí)慣是先看從庫的pg_stat_wal_receiver狀態(tài)確定它真的失聯(lián)了再刪。9.2 同步復(fù)制的APPLICATION_NAME必須匹配如果你啟用了同步復(fù)制主庫參數(shù)變成synchronous_standby_names replica1 synchronous_commit remote_apply那從庫的primary_conninfo里必須帶application_namereplica1。如果名字對不上主庫沒有可用的同步備庫事務(wù)提交會(huì)一直等待你看到的現(xiàn)象就是“寫入hang住”但日志里沒有任何明顯報(bào)錯(cuò)。排查這類問題看pg_stat_replication里的application_name和synchronous_standby_names是否匹配就行。9.3 腳本CRLF和權(quán)限問題從庫初始化腳本是在宿主機(jī)上編輯再掛載進(jìn)Linux容器的。如果你在Windows上編輯過腳本會(huì)帶CRLF換行容器里執(zhí)行會(huì)報(bào)/bin/bash^M: bad interpreter。解決方式很簡單sed -i s/\r$// replica/init-replica.sh另外腳本掛載進(jìn)容器后需要可執(zhí)行權(quán)限在宿主機(jī)上執(zhí)行chmod x replica/init-replica.sh即使compose里的command是bash /init-replica.sh沒有執(zhí)行權(quán)限也能跑但如果有人在容器里想直接執(zhí)行腳本就會(huì)卡住。權(quán)限問題不是大坑但很煩人。9.4 流復(fù)制副本不等于備份最后說一個(gè)很多人容易混淆的概念從庫是實(shí)時(shí)副本但它不是備份。如果主庫上有人執(zhí)行了誤刪除操作這個(gè)刪除會(huì)瞬間同步到從庫兩份數(shù)據(jù)一起丟。流復(fù)制解決的是硬件故障不是邏輯錯(cuò)誤。我現(xiàn)在的習(xí)慣是在流復(fù)制集群之外再定期用pg_dump做邏輯備份或者引入pgBackRest做物理備份。docker-compose方案里可以加一個(gè)定時(shí)任務(wù)容器每天凌晨從從庫那邊做全量備份既不影響主庫業(yè)務(wù)又能在邏輯誤刪時(shí)派上用場。我自己在實(shí)際操作中還有一個(gè)小偏好所有配置文件盡量用LF換行、盡量用latest-pg16跑通后再鎖版本。這套集群我已經(jīng)在不同環(huán)境重復(fù)部署過多次每次踩坑基本都集中在復(fù)制槽殘留、.pgpass文件和healthcheck等待這三個(gè)點(diǎn)上。如果按照上面的步驟從零走一遍大概率能一次跑通。后續(xù)如果你想在這個(gè)基礎(chǔ)上加只讀節(jié)點(diǎn)把replica服務(wù)復(fù)制一份改容器名、IP、端口和slot名就行原理完全一樣。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
男人的天堂无码| 国产精品白领在线观看 | 欧美一级黄片视频在线| caoni国产亚洲av| 最近2019中文字幕国语免费版| 屌色在线97视频| 欧美综合色站| 综合大香蕉美。| 大香蕉久久| 亚洲囯产精品女人久久久| AV一二区| 激情文学网伊人| 黄色av片三级三级三级免费看| 好爽免费视频| 熟妇女伦乱视频| 亚洲欧洲综合视频在线| 91欧美综合| 天天综合网91入口| 久久亚洲婷婷| 精品视频免费在线一区| 欧美日韩国产黄色片| 久久久久国产| 超碰超碰95| 久久久久久久久久久久久久久性生活视频 | 色综合久| 国产成人在线观看网址| 国产一区麻豆免费观看| 亚洲第一无码播放立川理惠| 婷婷超| 蜜臀久久久| 黄色欧美性爱视频| 操比国产| 翔田千里无码一区| 国产成人精品亚洲日本| 嗯嗯啊啊啊好爽| 欧美美女在线高潮999| 国产99 中文字幕日韩小视频| 51国产午夜精品视频| 久久精品熟妇丰满人妻99| 色网亚洲人| 蜜臀久久在线视频| 五月综合视频| 国产欧美日韩精品中文| 高清无码 国产精品| 91av熟女人妻| 91色宗合| 欧美综合网| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 超碰天天操| 五月丁香黄色网| 综合网欧| 亚欧洲日韩国产精品| 99在线无码精品秘 入口黑人| 第四色亚洲色图| 日韩欧美操逼xxx| 久久精品人体| 日本性爰一道本| 久久蜜色情在线视频xxx免费观看| a片久久久久久久久久久久 | 国产精品久久久久久久毛片1| 亚洲AV麻豆Aⅴ无码电影一| 日本高清视频xxxx| 人妻在线视频| 青青国产精品在线| 97日视频| 超碰精品97| 99久久9| 久久久久女教师免费一区| 翔田千里av一区二区三区| 91人妻超碰| 爱妃国产亚洲视频中文字幕| 骚熟女AV网| 日韩人妻一区二区精品| 午夜男女爽爽爽影院视频| 加勒比伊人综合| 亚洲综合九九| 人人玩人人添人人澡免费| 婷婷五月天av| 国产精品秘 福利姬在线观看| 99热超碰| 少妇激情AV| 亚洲日韩久久精品一区| 97久久精品| 亚洲乱码国产乱码精网站| 神马久久久久久伦理片| 久久五月综合| 91美女視頻| 成人七区| 日韩特级毛片免费观看全集| 操熟女91| 亚洲影视高清三级-草1024榴社区入口-品爱AV| 懂色AV中文| 色香综合天天影视综合 | 国产嫩草精品A88AV| 天天舔九色婷婷| 亚洲高潮少妇| 亚洲人成网www| 欧美大香蕉同搞| 久久精品国产亚洲AV先锋| 天天综合青苹果| 一区在线精品中文字幕| 精品国产肉丝袜在线拍国语| 国产精品2020| 美女91av| 欧美日韩传媒| 伊人五月天| 国产乱伦一二三区| 尤物网址| 大香蕉免费3| 中文字幕午夜精品久久久| 欧美综合骚| 日韩精品一区的| 久操网视频| 91丨九色丨国产丨人妻在线| 成人精品在线免费视频| 国产91会所女技师在线观看| 超碰在线欧美性爱激情| 中文字幕一区二区三区字幕| 88xx成人精品视频| 成人热久久精品| 色婷婷日韩精品一区二区三区| 操逼免费视频无码国产| 久久久久久久久久久久黄色| 97精品免费| 日韩中文字幕人妻视频| 亚洲天堂日本| 亚洲精品a人片在线观看视| 久热久一区二区三区| 国产久久久久影院老熟女| 中文字幕精品三级久久久| yirendaxiangjiashipin| 精品久久視頻在线| 91 丝袜在线| 天操天操夜操夜月操月年年操操| 亚洲清纯唯美| 桑老女人九区| 亚洲人妻五月丁香婷婷| 亚欧美色| A片大香蕉在线| 草草草视频在线免费看| 成人小说视频在线精品欧美| 激情抓乳插进去啪啪啪日韩 | 日本理论在线| 美女AV一区二区| 久久久久亚洲三级电影| 无码久| 好属操| 精品91摸| 免费精品AB| 欧美成人综合| 国产熟女高潮一区二区三区| 日韩91网站| 91精品操美女| 精品.99999| 天天拍天天操| 久久黄黄| 人妻夜夜爽天天爽麻豆三区网站| 67914亚洲精品| 久久久久久久久久久久久久久性生活视频| 久草色悠悠在线视频| 伊人精品视频| 在线播放欧洲免费av| 无遮挡一级毛片视频免费的| 日本高清熟女久久一区| 九色97| 插穴性爱视频在线观看| 精品久久久久综合无码| 91新在线欧美| 色婷婷九月| 麻豆久久精品亚洲精品88| 校园春色综合色| 日本在线播放不卡一区| 青草综合| 久久人妻一区二区三区高清| 亚洲国产精品成人久久蜜臀| 久操操AV电影| 亚洲一区中文字幕一区| 欧美亚洲第1页| 免费中文在线| 综合色图亚洲欧美| 九九九精品色乱九九九| 久久精品一区二区| 九九干| 五月丁香影视| 天天激色| 日韩欧美大片免费高清啪啪| 国产精品色哟哟| 国产乱伦亚洲| 国内亚洲高清无码| 精品视频久久| 五月天AV资源| 熟女网站最新| 欧美中文字幕一区 | 欧美乱妇狂野欧美在线视频| 欧亚乱色熟一区二区三四区| 色婷婷99| 精品一区二区三区蜜桃臀赵总 | 超碰97综合| 日本操大逼| 在线视频亚洲无码| 久久欧美性爱视频| 日韩资源网| 亚洲男人天堂视频| 欧美日韩国产另类综合| WWW4虎| 快播久久人人aV| 欧美1区二区三区公司| 欧美性高潮在线| 综合网久久| 中美日韩毛片| 超碰 另类 欧美| 国产 日韩 欧美 人妻 熟女 中文| 亚洲最新a在线观看| 一级片视频啪啪| 99re免费视频精品全部| 91精品久久久| 性爱精品一区| 欧美性爱第一页久久| 日本激情免费大片| 1024午夜激情男人的天堂| 国产日韩精品suv| 大香蕉av在线| 青青在线视频免费| 超碰免费在线| 欧美日韩色| www.av在线观看| 欧美日韩亚洲五月天婷婷| 99久久亚洲精品无码毛片潘甜甜| 97玖玖人妻| 中文 人妻 制服| 九月婷婷久久| 亚洲欧美国产精品久久久久久久| 午夜福利免费精品视频| 加勒比东京热五月天天堂网| 免费在线黄片视频| 成人开心网在线视频| 日韩人成网站在线播放| 九九免费影片| www成人啪啪18秘 免费| 亚洲狠狠入| 国产又色又爽又舒服的三级视频 | 精品日韩产品在线,日韩在线不卡视频,欧美日韩免费专区/久, | 啊啊啊啊啊啊在线观看| 人妻激情另类| 欧美国产精品久久九九| 九九久久久久久爱| 日韩性爱视频在线免费观看 | 日韩欧美蜜桃精品久久中文字幕久久| 国产精品成人蜜臀AV在线| 囯产精品强| 亚洲精品一区二区三区在线播放 | 欧美精品成人一区二区在线观看| 夜夜爽妓女| 69视频入口| 丝袜性亚洲| 国产v片在线免费观看| 97超碰色屌| 特级特黄一级毛片免费| 日本加勒比无码专区一二三| 久99| 97超碰欧美| 欧美日韩淫加| 亚洲一区二区三区播放在线| 天天综合网合集91| 五月婷婷丁香| 亚洲资源一区| 国产丝袜美腿美女麻豆| 99精品成人免费看| 人妻天天爽天天爽三区| 日韩黄色小说| 91男女啊啊啊| 自拍偷拍 高清无码| 大香蕉92| 亚洲情色五月天 | 人人干人人操人人爱| 欧美午夜视频| 欧美色婷婷| 人人操,人人液| 人妻黑丝袜电影| 91人妻PORNY九色大屁股| 一区二区影视| 欧美丝袜美女电影一二三四区| 婷婷色色五月天| 欧美精品久久久久久久丰满| 欧洲一区二区| 粘花网06av视频| 国产www色在线观看| 欧美色图20P| 97人人中文网| 色丁香五月婷婷| 精品人妻中文字幕4399| 日本男人天堂| 国产精品电| 亚洲AV无码| 入口操逼网站| 国产av强奸美女| 欧美综合亚洲综合| 劲爆欧美人妖三区91| 99精品热| 欧美专区日本专区| 亚洲日韩精品久久久久一区壹牛 | 校园春色中文字幕AV| 人妻激情偷乱视频一区二区三区 | 国产操逼视频在线观看| 久久久91| 亚洲日韩狠狠撸视频| 蜜臀久久99精品久久久久免费观| 极品尤物在线观看| 亚洲一区二区三区中文字幕| 亚州综合色| 嫩草 我啊~嗯~在线| 亚洲欧美天堂在线| 嗯嗯啊啊操死我| 柠檬AV导航| 国产精品自拍xxxx| 牛牛AV人人夜夜澡人人爽| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 国产高清精品一区二区三区毛片| 女人综合网| 激情文学亚洲| 久久久久久九九九九九九| 青草香蕉网| 9/A片 | 超碰九色| www.国产高潮精品| 性爱视频免费网址| 国产精品大香蕉| 欧美操逼熟女| 欧美性爱18观看| 精品午夜福利| 欧美综合天堂| 亚洲玖玖爱| 狠狠干2020| 日欧毛片久久| 超碰97最新人妻| 久久不卡一区二区| 无码99| 欧美在线干| wwwcaobibi| jizzjizz欧美| 屁屁影院一区二区三区国产| 日韩欧美中文| 国产一级作爱毛片| 91动漫操逼视频| 日韩国产成人自拍视频| 免费综合亚洲中文| 欧美日韩99| 5月婷婷6月六月丁香| 国产精品探花视频| 国产三区免费在线观看| 被体育老师抱着c到高潮| 亚洲成人久久一区二区| 亚洲偷拍自拍在线视频| 日韩性爱视频免费在线 | 一色网男人的天堂| 加勒比久久综合网高清| 日本天天操| 亚洲日韩美女中文字幕乱| 色成人Www精品永久观看| 精品亚洲黄色片 国产精品导航一区二区| 91深夜夜| 家庭乱伦网站国产| 国产精品秘 福利姬在线观看| 午夜美女诱惑电源网| 91大香蕉伊人| 97视频在线播放| 欧美国产精品久久九九| 久久久久亚洲av综合波多野制衣| a v网站在线播放| 在线强奷到舒服的无码视频| 99爱爱| 五月色综合| 国产日本熟女顶级一区二区三区视频 | 亚洲大色堂| 好舒服视频| 黑人粗大V S日韩女优视频| 东北老熟女| 超碰91在线| 精品欧美不卡在线播放| 国产毛片久久久久久久| 色牛牛AV| 人人手机欧洲亚洲国产人妻| 97频视在线| 亚洲中字慕不卡| 乱伦强奸区日韩| 色综合久久av| 人妻少妇精品一区二区三区| 中文字幕在在线观看网站| 97碰碰日本乱偷人妻中文的| 激情文学小说一区二区| 2020久久免费视频| 97国产成人精品免费视频| 国产少妇肉丝在线观看| 欧美久久久| 日韩精品 欧美激情| 国产91精品在线免费| 亚洲成人日韩小说| 素人播放一区| 国产热av| 欧美日韩在线视频网站| 色一色综合网| 亚洲视频,小说| 18+91网站| 色视频蜜乳| 国产成人无码久久精品| 国产美女91视频| 9精品久久久久| 日韩免费av片高清无码| www.色综合| 大香蕉在线视频重口味毛片在线| 成人一二三区| 国产精品一级特黄aaa大片在线观看| 91狠狠综合久久| 亚洲天堂人人妻| 亚洲97超碰| 国产欧美日韩精品中文| 综合网欧| 操一操摸一摸| 超碰79人人乐| 凹凸 69堂 在线播放| 亚洲欧洲综合av在线| 午夜精品久久久久久久男人的天堂 | 看一级黄色视频| 欧美精品偷拍| 另类图片综合| 久操热| 欧美丝袜美女电影一二三四区| 少妇被c 黄 免费观看| 日韩中文字幕二区| 新精精品久久精品| 日韩精品一区二区高清| 欧美日韩m| 国产搭汕a级片| 国产白嫩漂亮KTV在线| 第45页一区二区| 亚洲成人ab| 丁香色色网| 成人AV在线网站| 九九干| 97超碰逼| 国内精品嫩模A∨私拍小视频| 五月丁香网站| 欧美性色欧美| 亚洲美女精品九九视频| 国产一区二区av综合| 狠狠2050在线观看| 超碰色男人操熟女| 欧美日韩一干二干| 欧美日韩黄片精品在线| 欧美一区二区传媒| 影音先锋乱伦资源| 日韩99神马视频片| 国产亚洲欧美每日在线| 精产国品一区二三产品| 日韩操p| 欧美狠狠弄| 日韩av在线精品观看| 免费视频在线观看啊啊啊啊啊| 色欧洲| 日韩人妻丝袜中文字幕| 色五月婷婷五月天| 99热| 中文一区二区婷婷视频| 久久草草亚洲蜜桃臀| 精品久久久久9999| 日韩免费三级黄片电影| 亚洲网污污污污| 亚洲毛片一级带毛片基地| 亚洲的天堂网| 国产日本久久免费精品| 日韩人妻无码不卡网站| 亚洲日产专区| 欧美中文字幕日韩在线| 国产视频大全| 亚洲激情在线一区二区| 亚洲一区二区av| 亚洲天堂中文字幕无码男同| 精品久久久av无码免费| 青青草精玖玖69精品| 艹精品| 四虎影视永久在线观看精品免费网站| 天天久久久久久| 另类小说五月天| 人妻少妇精品久久久久久久| 麻豆性爱视频在线播放| 午夜精品探花| 欧美色就是色| A男人的天堂| 超碰99热| 黑人精品一区二区在线播放| 色偷偷超碰亚洲| 久久久网站| 亚洲综合小说另类图欧美视频激情小说色五月天 | 中日韩久久久免费看| 操比国产| 淫荡网址| 秋霞午夜视频一区二区| 精品亚洲国产成人av网站| 天天操天天看| 开心五月天激情网| 亚洲无码com| 婷婷另类小说| 美女被艹尤物视频| 试看60秒 爽| 日韩钢筋无码高清啾啾啾| 色yeye成人免费视频| 亚洲欧美校园| 99久久综合| 国产情侣自拍在线播放| 99re免费| 欧美日韩97在线| 长长久久88视频| 色黄污美女啪啪啪免费网站| 九九九九精品在线| 一区二区精品更新提醒| 这里都是精品在线观看| 色哟哟AⅤ| 国产AB视频| 欧美人妻精品| 丝袜美腿制服人妻二区中文字幕| 超碰免费人妻在线| 欧洲性人爱视频| 久久手机视直播| 日韩久久.一级黄色片| 天天综合中文字幕 91| 一区| 日本 成 人 小说 电影 一区二区| 97人人中文网| 欧美极度丰满熟妇hd| www.99色| 上特色A在线| 97在线播放 | 啪啪啪综合网| 久久激情四射婷婷丁香五月天| 久久超碰97中文字幕| 久久丁香| 欧美顶级黄片AAAAA在线免费看| 综合网欧| 国产精品久久久久绯色| 久久女人一区二区三区| 欧美日韩操逼嗦吊| 芊芊操逼视频无码| 天天操人人操狠狠插| 9久精品| 999久久久久久久久| 性交一区二区在线播放| 久干网| 天天日天天舔东京热 | 国产精品久久久久久久久久久久久久吹 | 97干在线| 大香蕉中文在线| 蜜汁欧美| 超碰超碰超碰超碰的大鸡吧操黑丝袜| 久久人妻一区二区三区高清| 97网址97| 久久人体一区二区| 久久成人国产| 久久成人国产| 亚洲少妇综合在线播放| 日本东京热加勒比久久| 精品中文字幕第一页| 偷拍三区| 久久男人精品| 国产传媒操逼视频| 人妻81p| 亚洲免费成人在线高清无码视频| 五十路六十路七十路熟婆| 大香蕉伊人在线成人AV在线观看| 欧美99| 日本三级韩国三级99| 国产激情综合| 天天干天天干天天| 玖色AV| 超碰调教97| 久久久久久久久成人av解说| 秋霞成人做爱| 欧美日韩在线国产在线| 你想操日本小逼吗| 综合啪啪| 国产最新AV| 色女网日韩| 少妇与黑人高潮在线| 一区中文字幕二区日韩| 欧美91在线+|+欧美| 亚洲日韩XXX| 人妻喷水| 色悠久| 久久亚洲中文字幕视频| 操逼天美3区| 97国产高清视频在线观看| 91黑人无码激情在线| 色播丁香| 成人26uuu| av在线观看不卡网站| 黄片com.| 亚洲日韩一区电影| 中文字幕乱碼在线| 99re在线视频| 草草草视频| 九九九精品成人免费视频小说| 亚洲成人在线高清| 亚州AV无码国产精品| 色播五月丁香| 久久97资源 网| 97av在线视频| 91视频国品一二三区| 97超碰免费人人性爱| 中文字幕一区二区三区四五区| 91在线欧美| 国产精品无码在线| 夜夜操av亚洲一区二区| 精品丰满熟妇人妻一区 | 午夜情侣自拍网站| 99精品丰满人妻无码| 亚洲色天| 免费精品福利在线观看| 青青操在线亚洲视频观看欧美在线 | 啊啊啊啊好疼| 精品亚洲国产成人av网站| 激情第四色| 中文字幕人乱码中文字的预防方法 | 蜜臀久久99精品久久久久电影| 婷婷超| 天天干夜夜一操| 久久侵犯人妻爽爽爽| k频道色撸撸| 91夜色| 国产精品亚洲一区二区三区四区| 中文字幕在线观看第二页| 97资源站久久| 五月丁香六月综合缴清无码| 婷婷精品视频| 久久久久九九九| 欧美日韩超碰在线| 夜夜国自区| 1级午夜影院费免区| 天天爽天天| 久久九操在线观看| 国产精品分类在线观看| 欧美性爱五月天| 是还免费视频1727我| 91天天| 亚洲天堂久久| 久久精品高清无码一区| 色屁屁影院www国产| 婷婷色一区| 91爱欧美| 久久久久久精品免费看A级| 欧美久久人妻少妇一区二区| 人人 操人人 操人人| 欧美熟妇精品黑人巨大一二三区| 日韩兔费看黄片| 国内精品999| 亚洲色狠| 久久夜嗨| 午夜一区二区三区国产| 中文字幕第23区| 天天操天天干一区二区| 日日夜夜模| 尤物国产一区在线观看| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 色色毛片| 久久精品国产99国产精品亚洲| 高清无码久操视频| 青青草日本中文字幕| 一类av片在线看| 欧美综合网1| 色综合久| 人妻丝袜二区| 狼人综合婷婷激情四射| 涩综合导航| 亚洲综合性网址| 一区三区啪啪| 国产精品一区二区三区四区五区| 欧美第一页性| 成人无码在线超碰网| 欧美91久久久久| 成人午夜视频免费播放| 国产一区二区在线播放| 日韩少妇丰满亚洲| 国产精品久久成人免费| 狠狠爱夜夜| 少妇天堂网络| 日本一区二区成人在线| 91欧美网| 久久爽爽精品| 99精品久久久久久久婷婷蜜桃| 日本大香蕉综合网| 91欧美美女日韩国产婷婷| 伊人黄色视频免费观看| 国产日韩久久| 欧美精品三区| 国产精品一二三区福利| 中文字幕日韩人妻视频| 日产精品久久久一区二区| 久操99| 国产小黄片在线免费观看 | 亚洲高潮少妇| 亚洲精品一二区| 99热销国产这里有精品| 欧美伦乱爱| 男人天堂一区二区| 91三级理论片播放器| 国产传媒av天美传媒在线| 是还免费视频1727我| 韩国久久97| 国产浮力影院第1页| 大JI巴好深好爽又大又粗视频| 搡老女人老91妇女熟女| 日本一二区免费| 欧美一级黄片免费播放| 另类小说综合网| 天久久久噜噜噜久久国产精品爽爽 | 91色插| nuu12国产麻豆精品| 亚洲AV乱码专区国产噜噜亚洲| av婷婷色婷婷色六月| 国产成人自拍视频视频| 日韩欧美亚洲自拍偷拍| 色九久| 亚洲区小说| 亚洲熟久久| 欧美久久婷| 天天摸,夜夜摸| 免费人成?大片在线播放| 人妻丰满熟妇一区二区三| 国产自制av蜜乳| 亚洲国产天堂| 亚洲中文字幕av | 国产五码丝袜屁眼| 九一亚洲国产免费| 97视频在线免费看| 欧美熟女少妇| 久久极品伊人| 99亚洲精品| 超碰99在线观看| 激情久久av一区av二区av| 日本视频在线观看污污污| 家庭乱伦国产| 免费黄色片。| 亚洲精品一二区| 秋霞网—男女啪啪亚洲免费体验区 | ..日韩av毛片精品久久久| 欧美熟女丝袜| 综精品久久久aaaa| 韩国黄色片精品久久久| 亚洲欧美在线观看无码| 色香欲综合| 狠狠干妹子| 99xav| 久久精品人体| 90后性网国产欧美| 国产东北女人在线视频| 日本久久女同性恋视频| 素人伊尹大香蕉免费下载视频| 蜜桃在线观看一区二区三区| 99热这里只有精品99| 国模艳艳啪啪一区| 91一区二区三区蜜桃| 亚洲美女精品九九视频| 国产精品久久久久久 百度| 亚洲色婷婷久久91| 亚洲国产天堂| 蜜臀99久久精品| 精国久久一区二区三区98| 强上我不卡卡| 久7色| 日韩成人免费电影| 1024人妻熟女一区二区三区| 张柏芝国产一区在线观看| 色欧美在线| 中文字幕久久亚州无码| 97国产亚洲中文在线| 五月丁香啪| 日本网色| 乱伦AVxx| 婷婷涩嫩草鲁丝久久午夜精品| 欧差乱伦二三| 日韩精品一区二区日韩| 国产大学生高潮在线播放| 午夜丁香| 国产精品熟女AV中文字幕在线播放| 中文字幕在线观看AV| 97一区二区三区视频| 人人操人人精品影片| 9久久久久| 91成人高清在线观看| 天天做日日爱夜夜爽| 五月天婷婷久久| 97超碰热线| 四虎免费视频| 日韩精品中文字幕人妻| 日本熟女不卡视频| 日韩不卡a级视频专区| 伊人青青一区成人视频在线观看区| 日本伦理一区二区| 亚洲日韩欧美一区二区| 成人怡红院| 精品九九国产无码| A V少妇特黄三级| 青娱乐蜜桃臀AV色婷| 国产精品在线免费| 免费啪啪av| 五月丁香影院| 精品久久久不卡一区二区| 色噜噜狠狠色综无码久久合欧美| wwwxxx日本爽| 欧美精品成人亚洲| 老司机福利社视频在线观看| 久久精品国产精品一区| 日韩啪啪视频| 亚州综合色图| 无遮挡男女激烈动态图| 最近的最新的中文字幕视频| 91成人国产综合久久精品蜜月| 18+91网站| 亚洲αv一区二区三区| 日韩精品永久在线观看| 综合天天网| 日韩免费中文字幕视频| 亚洲操操操| 四季av一区二区凹凸精品小说| 中文字幕奈奈美被公侵犯| 日韩久久超碰色| 亚洲牲交| 伊人97超碰| 五月天婷婷社区| 人人操人人摸人| 91国内外在线| 日韩中文字幕人妻视频| 欧美se亚洲| 亚洲无码视频免费在线观看网址! J?P?NESEHD熟女熟妇伦 | 日本天堂网| 影音先锋国产精品| 中文字幕精品三级久久久| 久久国产在线一区二区| 色妺妺在线视频| 九九九九精品精| 91综合网在线| 天天爽夜夜爽夜夜爽精| 粉嫩粉嫩一区性色AV片| 九九亚洲视频| 久久9亚洲| 亚洲人码13| 精品人妻一区二区三区不卡断| 3PAV乱伦视频| 国产主播福利| 亚洲一本色道中文无码aV天美| 99这里有精品视频| 美女裸体麻豆天美蜜桃91| 色天堂在线观看| 日本在线伊人啪啪| 在线观看成人性爱免费小视频| 中文字幕黄色片| 亚洲一二三精品久久网| 欧美激情一| 大学生美女口爆| 青青操狠狠撩| 成年男人的天堂| 蜜桃臀久久| 欧美色www亚洲国产阿娇要播| 97人人操人人摸人人爱| 亚洲最大91网| 国产91乱伦| 熟女丰满人妻一区| 亚洲高清在线se| 久一区久久蜜桃| 国产欧美岛国精品一区| 98一区二区精品| 亚洲交换| 丁香九月婷婷| 睡产熟女乱伦| 亚洲男人的天堂AV| 欧美精品黑人猛交高潮| 九九探花视频在线观看| 男人天堂.AB| 亚洲高清少妇| 欧美一级二级三级| 日韩不卡在线一区二区| 97人人中文网| 综合久久欧美| AV色图| 人人人人人人少妇| 影音先锋每日最新资源在线观看 | 亚洲情色一区二区三区| 人妻aa| 青青草AV色| 毛片17S| 91人妻做a观看视频| 91白嫩| 欧美日韩国产电影| 免费毛片在线播放| 国产精品直播在线观看直播| 走光一区92下载| 爱爱60秒免费视频| 国产激情视频一区区三区| 超碰久久精品| 熟妇熟女亚洲天堂网| 成人无码在线超碰网| 韩日欧亚a级| 青青草吊丝| 99久视频| 亚洲第一精品在线视频| 人人妻人人爽一区二区三区| 丰满精品人妻少妇久久字幕| 丁香六月综合激情| 色综合尤物| 免费久久一级毛片大黄| 另类图片五月天| 超碰99热中文字幕| 丁香五月成人| 免费a在线播放v| 超碰成人公开| 超碰91在线| 啊啊啊操死我了| 欧美日韩大陆黑人少妇99| 欧美综合骚| 亚洲欧美在线观看免费| 人人么人人操| 蜜臀久久99精品久久久久久酒店| 激情小说亚洲图片| 国产熟妇一区二区| 日韩精品人妻系列无码天堂| 五月大香蕉| 欧美黄色片AAAAA| 美国精品国产精品| 亚洲av无码成电影在线播放| 日日爱99| 久久9精品| 黑丝制服中文字幕| 小明看看网址| 91激情网| 操逼999| 性色高清在线| 亚洲中文字幕乱码无码一区二区| 中文字幕在线免费观看视频| 在线视频资源| 精品中文一区二区| 亚洲熟妇乱女区二区三区| 91亚洲网| 国产高清免费不卡av| 日韩熟女乱伦中出| 久久久999网站| 久久久久久久极品香蕉视频| 少妇天堂网络| 亚洲色图欧美色图综合| 97亚洲综合影院| 国产www色在线观看| 日本高清电影欧美色图| 亚州综合AⅤ| 日本二三四区| 天天综合网日韩7799| 色婷婷电影网| 丝袜av一区二区三区| 少妇熟女视频一区二区三区| 亚洲黄片免费在线播放| 亚洲熟女中文字幕在线| 久久久久久久久久久久久久9999| 免费草草草草草视频| 啊v在线观看视频| 顶级丝袜熟女一区二区三区 | 深夜激情| 午夜超爽| 偷拍网站久久男女男| 欧美激色| 成人AV超碰免费在线| 91|九色|国产熟女| 日本精品免费一区二区三区四区| 91久久婷婷| 亚洲自拍天堂| 亚洲色图 欧美热图 清纯唯美 另类自拍| 色色青青久久| 中文人妻av高清一区| 另类图片五月| 久久久久久久久久久999| 97国产超碰| 99操视频| 国产诱惑| 少妇人妻好深太紧了vr91| 混色激情av| 大色网久久| 日韩性爱免费视频在线网站| 天天综和| 啪啪啪亚欧美视频| 99久久9| 91国产丝袜美女| 久久91视频| 色大香蕉97N| 中国一级αV| 亚洲色天堂日韩中| 人妻丝袜一区二区三区在线| 亚欧成人中文字幕一区| 蘋果手機免費看成人Av| 激情 欧美 亚洲 小说| 日韩美一区| 欧美牲| 91操碰| 怡红院网站在线视频| 1769一区二区| 久久 久久国内精品亚洲| 五月婷网站| 亚洲综合性网址| 成人97人人超碰人人| 美女淫穴| 99久久精品无码一区二区毛片免费 | 好爽视频在线观看视频| 色噜噜婷婷| 久久香蕉国产线看观看亚洲女人 | 亚洲丝袜少妇在线| 色综合天天| 天天肏天天干| 久久久艹艹艹| 日韩熟女操逼| 热久日综合| 国产精品无码av嫩草| 五月天亚洲网| www.色综合| 超碰97COm中文| caopeng97| 国产男女边吃边摸视频网站| 久久夜嗨| 亚洲成人性爱在线观看| 中文字幕免费在线观看| 第一高清av中文字幕| 成人性交午夜免费片| 天堂九九九九九九九九九| 欧美97| 清清草影| 国产超碰| 国产三级片在线观看| 蜜奶av| 欧美日韩性爱无码| 中文字幕免费在线观看| 啊啊啊好爽快点啊啊啊嗯嗯| 搡老熟女免费视频| 曰本91情色| 国产欧美一区激情交| 久久精品| 欧美熟女妇同| 三级网色| 深喉吞精| 人妻在线中出视频| 欧美1区二区三区公司| 校园春色家庭伦理欧美激情| 五月丁香六月婷| 久操视频在线观看| 亚洲综合图色在线| 密乳AV免费观看| 日日玩天天干| 福利风月五月天影院| 国产人伦a片信息免费片| 久伊人网78| 日本日日色视频| 欧美精品999| 黄色片A级一区二区三区| 欧美洲精品一级| 美女露胸露奶头| 玖玖玖玖精品国产剧情| 9久热这里只有精品| 久久超碰大香蕉| 99热这里只有精| 成人无遮挡毛片免费看| 亚洲色图 91| 麻豆天美制片厂网站视频| 日韩免费看黄片| 欧美一级AAAAAAA| 蜜臀网址在线| 久久欧洲| 色蜜AV| 亚洲黄色网址视频| A 天堂| 国产美女91| 91天射| 亚洲欧洲小说图片视频 | aaa亚无码专区| 日韩成人人妻网站| 欧美72网页| 奸色色 男人天堂 天天射| 精品一区二区综合熟妇| 午夜男女爽爽大片免费观看| 97资源站国产精品| 欧美情色男人的天堂| 九九热九九热| 婷婷久久久| 天天色天天干天天射| 亚洲无码视频免费在线观看网址!| 蜜臀va69| 久久只有精品一区二区三区| 亚洲一区二区麻豆影院| 99ri在线视频| 91天堂色男人的天堂| 欧美日韩大香蕉| 国产深夜福利| 97这里有精品| 青青草女人天天干| 99日免费视频中文字幕| 精品小视频在线| 日产国产精品中文久久婷婷| 91 刺激在线| 亚洲激情AV| 国产精品国产拍高清AV| 日韩精品黄片免费观看| 在线免费观看日韩一区| WWW操逼| 精品国产一区探花在线观看| 超碰97中文| 97视频免费播放| 一区二三区四区视频大全套| 亚洲 另类 丝袜 自拍 动漫| 国产成人主播| 久久久久ab| 精品国产99| 操逼精品视频| 九九九久久久久| 五月天伊人| 国产精品网站www| 色九九九九| 日本超碰97日韩精品人妻| 亚洲av热热色| 一牛一区二区三区久久| 天天碰操中国年青熟妇| 久久久精久久久| 97玖玖超碰| 亚洲欧美精品久| 国产妇女精品视频青青草| 欲射影视| 97亚洲国产| 欧美日韩妖精91com| 大香蕉伊人75| 欧美AB在线| 蜜乳中文字幕a在线| 色屁屁影院www国产| 九九精品无码专区免费| 又大又长又粗又爽又黄| AV乱伦专区| 亚州免费啪啪视频| 亚洲AV无码成人精品久久| 99熟女| 亚洲 欧美都市激情| 欧美黑人与女人91~| 精品乱码久久久久| 欧美线天码中字| 日比av无码| 秋霞午夜成人福利片片| 久久黄色视频一区二区三区 | 色天堂在线观看| 欧美做爰无码A片视频| 成年女人18级毛片毛片免费观看| 激情综合五| 欧美日韩理论一区| 性爱欧美五月| 欧美三四五区| 国产老太乱伦一区| 人人操人人插人人摸人人干| 国模无码一区二区三区在线| 超碰久热| 国产91精品久久久久久久网曝门| 久久偷偷色综合蜜桃| 9美女超碰在线免费观看| 人妻色偷色噜|