日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

ARMv8/v9 Generic Timer虛擬化深度解析:從硬件到KVM實(shí)現(xiàn)

ARMv8/v9 Generic Timer虛擬化深度解析:從硬件到KVM實(shí)現(xiàn) ARMv8/v9 Generic Timer虛擬化架構(gòu)拆解做虛擬化平臺(tái)的老哥們應(yīng)該都有同感時(shí)間不對(duì)一切白給。無(wú)論是虛擬機(jī)的時(shí)鐘漂移、線程調(diào)度延遲還是容器網(wǎng)絡(luò)的超時(shí)重傳底層都是定時(shí)器在撐著。而ARM平臺(tái)上這個(gè)定時(shí)器地基就是Generic Timer。今天這篇不聊泛泛的架構(gòu)概念直接進(jìn)到ARMv8/v9 Generic Timer在虛擬化場(chǎng)景下的內(nèi)部機(jī)制從硬件視圖、軟件分層到KVM落地實(shí)現(xiàn)一整套拆開(kāi)揉碎講清楚。先說(shuō)清楚這文章解決什么問(wèn)題如果你正在做KVM虛擬化開(kāi)發(fā)、BSP適配、或者排查虛擬機(jī)時(shí)鐘異常類問(wèn)題這篇文章能幫你建立起從硬件定時(shí)器到KVM虛擬中斷的完整鏈路認(rèn)知。如果你只是聽(tīng)說(shuō)過(guò)Generic Timer想入門跟著走一遍也能搞清楚它的核心機(jī)制后面遇到問(wèn)題至少知道去哪一層排查。標(biāo)題里V-15和A-40是我們內(nèi)部項(xiàng)目對(duì)虛擬化和架構(gòu)兩塊內(nèi)容的編號(hào)不必糾結(jié)具體含義下面直接進(jìn)正題。1. 定時(shí)器虛擬化的三個(gè)核心難題1.1 時(shí)間在虛擬化世界里為什么這么難虛擬化最容易被低估的復(fù)雜度就是時(shí)間。CPU、內(nèi)存、設(shè)備都可以通過(guò)硬件虛擬化擴(kuò)展來(lái)加速唯獨(dú)時(shí)間這個(gè)東西它的設(shè)備是每顆CPU核心自帶的而且它的讀取頻率極高——操作系統(tǒng)的時(shí)鐘節(jié)拍、調(diào)度器的tick、協(xié)議棧的超時(shí)計(jì)算全都在高頻讀時(shí)間。想象一下你有一個(gè)物理鬧鐘現(xiàn)在要把它分給10個(gè)人用每個(gè)人都想在自己的時(shí)間線上設(shè)置鬧鈴、讀取當(dāng)前時(shí)間而且互相不能干擾。更麻煩的是每個(gè)人虛擬機(jī)還希望自己可以隨意撥快撥慢手表修改系統(tǒng)時(shí)間但不能影響別人。這就是定時(shí)器虛擬化的本質(zhì)難題。具體拆解成三個(gè)問(wèn)題來(lái)看時(shí)間來(lái)源一致性所有虛擬機(jī)看到的當(dāng)前時(shí)間必須有一個(gè)統(tǒng)一的基準(zhǔn)不能每顆CPU各說(shuō)各話否則遷移和多核場(chǎng)景直接崩。虛擬時(shí)間隔離每臺(tái)虛擬機(jī)需要自己的時(shí)間線這個(gè)時(shí)間線的起點(diǎn)可以不同比如虛擬機(jī)剛啟動(dòng)時(shí)時(shí)間是2010年宿主機(jī)已經(jīng)是2024年而且虛擬機(jī)修改自己的時(shí)間不能影響宿主機(jī)和其他虛擬機(jī)。定時(shí)中斷路由每臺(tái)虛擬機(jī)要能設(shè)置自己的鬧鐘時(shí)間到了要正確觸發(fā)對(duì)應(yīng)的虛擬中斷并且要精確到微秒級(jí)別不能靠軟件輪詢。這三個(gè)問(wèn)題ARM Generic Timer的虛擬化架構(gòu)就是專門為它們?cè)O(shè)計(jì)的。1.2 ARM沒(méi)有給定時(shí)器單獨(dú)開(kāi)一條虛擬化捷徑這里要說(shuō)一個(gè)容易誤解的點(diǎn)。ARM在虛擬化上做了很多硬件加速比如GIC (Generic Interrupt Controller) 對(duì)虛擬中斷的直接注入MMU有Stage-2地址轉(zhuǎn)換。但定時(shí)器這個(gè)模塊ARM并沒(méi)有提供一個(gè)虛擬定時(shí)器設(shè)備讓你直接操作。它采用的方式是提供一組精心設(shè)計(jì)的硬件機(jī)制讓Hypervisor用trap-and-emulate的方式來(lái)實(shí)現(xiàn)虛擬定時(shí)器但是把這個(gè)過(guò)程的開(kāi)銷壓縮到極低。為什么不像PCIe直通那樣直接把定時(shí)器直通給虛擬機(jī)因?yàn)槎〞r(shí)器不是獨(dú)立設(shè)備它是CPU核心的一部分而且多個(gè)虛擬機(jī)共享同一顆物理CPU。直通等于讓一個(gè)虛擬機(jī)霸占硬件資源其他虛擬機(jī)就沒(méi)法用定時(shí)器了。所以說(shuō)ARM Generic Timer的虛擬化架構(gòu)本質(zhì)上是一個(gè)硬件輔助的軟件虛擬化方案。理解這一點(diǎn)后面看KVM的代碼邏輯就會(huì)順很多。2. Generic Timer硬件機(jī)制全景拆解2.1 系統(tǒng)計(jì)數(shù)器整個(gè)時(shí)間世界的基準(zhǔn)ARM Generic Timer的頂層是一套系統(tǒng)級(jí)的計(jì)數(shù)器叫System Counter。這個(gè)計(jì)數(shù)器是唯一的、全局的、單調(diào)遞增的整個(gè)SoC上所有核心看到的值都是一樣的。它通常由主板上的晶振驅(qū)動(dòng)頻率一般在1MHz到50MHz之間。System Counter在軟件側(cè)體現(xiàn)為兩個(gè)寄存器視圖CNTPCT物理計(jì)數(shù)器和CNTVCT虛擬計(jì)數(shù)器。這兩個(gè)寄存器都是64位的單位是tick。但是注意ARM的spec規(guī)定軟件不能直接讀System Counter本身必須通過(guò)每個(gè)核心上的CNTPCT/CNTVCT寄存器來(lái)讀。為什么要區(qū)分物理和虛擬兩套計(jì)數(shù)器視圖答案很簡(jiǎn)單物理計(jì)數(shù)器給宿主機(jī)用虛擬計(jì)數(shù)器給虛擬機(jī)用。虛擬計(jì)數(shù)器 物理計(jì)數(shù)器 - Offset這個(gè)Offset由Hypervisor設(shè)置。這就是前面說(shuō)的虛擬時(shí)間線的實(shí)現(xiàn)基礎(chǔ)。2.2 每個(gè)核心上的定時(shí)器組件結(jié)構(gòu)每個(gè)ARM核心上有兩組重要的定時(shí)器組件一組是給非安全世界的一組是給安全世界的。我們做虛擬化主要關(guān)注非安全世界也就是EL1和EL2這兩層下面的結(jié)構(gòu)以這套為主。每個(gè)核心上有四種定時(shí)器物理定時(shí)器 (Physical Timer)通常用于EL1/EL0非安全世界中斷號(hào)是PPI 13。虛擬定時(shí)器 (Virtual Timer)通常用于給虛擬機(jī)提供定時(shí)中斷中斷號(hào)是PPI 14。EL2物理定時(shí)器 (EL2 Physical Timer)給Hypervisor自己用的定時(shí)器中斷是PPI 26。安全物理定時(shí)器 (Secure Physical Timer)給TrustZone安全世界用的虛擬化場(chǎng)景一般用不到。每一種定時(shí)器都有自己的一組寄存器CompareValue比較值、Control控制、Status狀態(tài)。定時(shí)器的原理很簡(jiǎn)單當(dāng)前計(jì)數(shù)值 CompareValue 的時(shí)候觸發(fā)一次中斷。2.3 關(guān)鍵寄存器與作用域劃分把寄存器按訪問(wèn)權(quán)限和虛擬化角色拆開(kāi)看落實(shí)到代碼和調(diào)試上會(huì)更有操作性寄存器訪問(wèn)層級(jí)虛擬化角色CNTPCT_EL0EL0/EL1可讀物理計(jì)數(shù)器Hypervisor讀物理時(shí)間用CNTVCT_EL0EL0/EL1可讀虛擬計(jì)數(shù)器虛擬機(jī)讀當(dāng)前時(shí)間CNTVOFF_EL2僅EL2可寫虛擬計(jì)數(shù)器偏移量虛擬機(jī)時(shí)間線原點(diǎn)CNTP_TVAL_EL0EL0/EL1可寫物理定時(shí)器的遞減計(jì)數(shù)值CNTP_CTL_EL0EL0/EL1可寫物理定時(shí)器控制使能、屏蔽、狀態(tài)CNTP_CVAL_EL0EL0/EL1可寫物理定時(shí)器比較值CNTV_TVAL_EL0EL0/EL1可寫虛擬定時(shí)器的遞減計(jì)數(shù)值CNTV_CTL_EL0EL0/EL1可寫虛擬定時(shí)器控制CNTV_CVAL_EL0EL0/EL1可寫虛擬定時(shí)器比較值CNTHP_TVAL_EL2僅EL2EL2物理定時(shí)器CNTHP_CTL_EL2僅EL2EL2物理定時(shí)器控制CNTHP_CVAL_EL2僅EL2EL2物理定時(shí)器比較值CNTHCTL_EL2僅EL2控制EL0對(duì)計(jì)數(shù)器和定時(shí)器的訪問(wèn)權(quán)限CNTKCTL_EL1EL1可寫控制EL0對(duì)內(nèi)核定時(shí)器寄存器的訪問(wèn)這張表建議存一下排問(wèn)題的時(shí)候會(huì)反復(fù)用到。特別是CNTVOFF_EL2和CNTHCTL_EL2這兩個(gè)是整個(gè)虛擬化的樞紐。2.4 計(jì)數(shù)器讀路徑為什么虛擬機(jī)讀時(shí)間也要被攔截這里有一個(gè)很多初學(xué)者沒(méi)注意到的設(shè)計(jì)點(diǎn)虛擬機(jī)執(zhí)行CNTVCT_EL0讀取時(shí)間在KVM的默認(rèn)配置下是不需要trap到EL2的。ARM通過(guò)硬件機(jī)制讓CNTVCT_EL0直接讀出來(lái)一個(gè)已經(jīng)減去了CNTVOFF_EL2的值整個(gè)過(guò)程發(fā)生在硬件層面虛擬機(jī)根本不知道偏移的存在。但是有一個(gè)例外當(dāng)虛擬機(jī)運(yùn)行在32位模式而Hypervisor需要讀取CNTPCT的時(shí)候情況就變得復(fù)雜了。32位guest訪問(wèn)CNTPCT會(huì)拆成兩次32位load高32位和低32位這中間可能發(fā)生高低位不一致的問(wèn)題。KVM內(nèi)核對(duì)這個(gè)問(wèn)題有專門的patch處理路徑后面在常見(jiàn)問(wèn)題部分會(huì)講到。3. KVM定時(shí)器虛擬化架構(gòu)設(shè)計(jì)3.1 分層模型Host Timer和Guest TimerKVM在arch/arm64/kvm/arch_timer.c中實(shí)現(xiàn)了完整的定時(shí)器虛擬化邏輯。整套設(shè)計(jì)圍繞兩條時(shí)間線展開(kāi)Host時(shí)間線基于CNTPCT物理計(jì)數(shù)器KVM用它來(lái)調(diào)度vCPU的執(zhí)行、計(jì)算虛擬機(jī)的運(yùn)行時(shí)間。Guest時(shí)間線基于CNTVCT虛擬計(jì)數(shù)器虛擬機(jī)里的操作系統(tǒng)看到的時(shí)間。兩條時(shí)間線之間的橋梁就是CNTVOFF_EL2。KVM在加載vCPU到物理CPU上的時(shí)候?qū)懭脒@個(gè)寄存器vCPU切走的時(shí)候不需要恢復(fù)因?yàn)橄聜€(gè)vCPU加載時(shí)會(huì)重新寫這個(gè)操作在關(guān)鍵路徑上只有一次MSR寫開(kāi)銷極低。定時(shí)器的虛擬化用到的核心結(jié)構(gòu)體在KVM中分成兩層struct arch_timer_cpu { struct arch_timer_context timers[NR_KTIMERS]; struct hrtimer hrtimer; bool is_timer_running; }; struct arch_timer_context { struct kvm_vcpu *vcpu; enum kvm_arch_timers timer; u64 cnt_cval; u64 cnt_ctl; bool loaded; bool ready; };第一層是per-CPU結(jié)構(gòu)的每個(gè)vCPU一組第二層是具體的物理定時(shí)器和虛擬定時(shí)器各自獨(dú)立的上下文。從結(jié)構(gòu)體上就能看出設(shè)計(jì)意圖物理和虛擬兩個(gè)定時(shí)器分別模擬各自維護(hù)比較值和控制位kvm根據(jù)guest的配置決定用哪個(gè)。3.2 Virtual Timer和Physical Timer的分工策略這是KVM定時(shí)器虛擬化設(shè)計(jì)里最精彩的部分。為什么要有兩套定時(shí)器給guest用表面上看有虛擬定時(shí)器就夠了guest設(shè)鬧鐘就用CNTV_CVAL_EL0時(shí)間到了觸發(fā)PPI 14中斷不就行了嗎真實(shí)原因是某些guest操作系統(tǒng)會(huì)直接操作物理定時(shí)器而不是虛擬定時(shí)器。比如Linux內(nèi)核早期的arch timer驅(qū)動(dòng)它在某些配置下直接使用物理timer。還有32位的ARM guest內(nèi)核某些版本的代碼路徑上會(huì)讀取CNTPCT來(lái)校準(zhǔn)時(shí)間。如果guest運(yùn)行在EL1虛擬機(jī)里它訪問(wèn)CNTP_TVAL_EL0和CNTP_CTL_EL0是會(huì)直接透過(guò)到硬件物理定時(shí)器的在trap沒(méi)有配置的情況下它會(huì)在沒(méi)有Hypervisor掌控的情況下直接產(chǎn)生物理中斷這個(gè)中斷會(huì)直接送進(jìn)guest卻沒(méi)有任何虛擬化層的管理成為一顆無(wú)法關(guān)閉的定時(shí)炸彈。所以KVM的做法是分兩層guest的物理定時(shí)器和虛擬定時(shí)器操作都必須經(jīng)過(guò)KVM的接管和控制。它最終映射到Host側(cè)的實(shí)現(xiàn)是用Host的一個(gè)真正的物理定時(shí)器來(lái)backing guest的某個(gè)定時(shí)器再通過(guò)vGIC把中斷以虛擬中斷的形式注入回guest。具體到實(shí)現(xiàn)上KVM的策略是虛擬定時(shí)器用虛擬計(jì)數(shù)器CNTVCT作為時(shí)間基準(zhǔn)backing hrtimer基于host的CLOCK_MONOTONIC實(shí)際讀取cntpct換算中斷走PPI 14通過(guò)vgic注入。物理定時(shí)器用物理計(jì)數(shù)器CNTPCT作為時(shí)間基準(zhǔn)backing hrtimer同樣基于host時(shí)間中斷走PPI 13通過(guò)vgic注入。兩個(gè)timer的backing hrtimer在host上共用同一個(gè)hrtimer實(shí)體arch_timer_cpu-hrtimer通過(guò)hrtimer_start重新指定到期時(shí)間來(lái)實(shí)現(xiàn)兩個(gè)timer的切換和共享。3.3 中斷的虛擬化路徑從硬件中斷到Guest IRQ定時(shí)器中斷是整個(gè)虛擬化鏈路里最長(zhǎng)的路徑之一值得完整走一遍Host物理定時(shí)器超時(shí)觸發(fā)host的timer中斷handler。KVM的timer handlerkvm_timer_irq_handler被調(diào)用。這個(gè)handler識(shí)別中斷來(lái)源是backing timer到期。KVM檢查對(duì)應(yīng)的arch_timer_context確認(rèn)是否應(yīng)該向guest注入中斷。如果要注入調(diào)用kvm_timer_update_irq通過(guò)irqchipvgic設(shè)置對(duì)應(yīng)的虛擬中斷為pending狀態(tài)。vCPU在下一次進(jìn)入guest模式時(shí)vgic會(huì)把pending中斷通過(guò)list register注入guest在EL1收到中斷。這里面有一個(gè)容易被忽略的關(guān)鍵細(xì)節(jié)KVM在判斷是否應(yīng)該向guest注入中斷的時(shí)候不是簡(jiǎn)單看hrtimer到期就注入而是要對(duì)比當(dāng)前的虛擬計(jì)數(shù)器值和guest設(shè)置的定時(shí)器比較值。因?yàn)閔rtimer的精度和實(shí)際timer的精度存在微小偏差KVM需要做一次校準(zhǔn)static bool kvm_timer_irq_can_fire(struct arch_timer_context *timer_ctx) { u64 cnt; u64 cval, ctl; cval timer_ctx-cnt_cval; ctl timer_ctx-cnt_ctl; if (kvm_timer_should_fire(timer_ctx)) return false; cnt kvm_phys_timer_read(); if (cnt cval) return false; return (ctl ARCH_TIMER_CTRL_ENABLE) !(ctl ARCH_TIMER_CTRL_IT_MASK); }注意最后兩個(gè)條件ENABLE位和IT_MASK位。這說(shuō)明KVM嚴(yán)格遵循ARM定時(shí)器的硬件語(yǔ)義即使hrtimer到點(diǎn)了如果guest屏蔽了中斷或者禁用了定時(shí)器也不能硬注入。3.4 KVM如何處理Guest屏蔽定時(shí)器中斷這個(gè)場(chǎng)景在真實(shí)運(yùn)行中經(jīng)常出現(xiàn)而且坑特別多。Guest的Linux內(nèi)核在處理定時(shí)器中斷時(shí)會(huì)先屏蔽中斷設(shè)置IMASK位清掉pending狀態(tài)處理完再重新使能。如果KVM在guest屏蔽中斷期間直接把hrtimer停了guest重新使能時(shí)會(huì)發(fā)現(xiàn)定時(shí)器已經(jīng)沒(méi)有在走時(shí)間直接卡住。KVM的處理方式是即使guest屏蔽了中斷hrtimer也要繼續(xù)跑因?yàn)閔rtimer的到期只是一個(gè)信號(hào)真正的是否注入中斷還要看guest的屏蔽狀態(tài)。而且KVM在hrtimer到期時(shí)如果發(fā)現(xiàn)guest屏蔽了中斷會(huì)通過(guò)編程硬件定時(shí)器的比較值讓它在下一個(gè)預(yù)期的到期點(diǎn)再次觸發(fā)形成輪詢等待的效果。這個(gè)繼續(xù)跑、不注入的策略保證了guest重新使能定時(shí)器后馬上就能收到一個(gè)pending的中斷時(shí)間線不會(huì)斷。但是代價(jià)是host側(cè)會(huì)多次觸發(fā)定時(shí)器中斷增加一定的CPU開(kāi)銷。這塊在性能敏感場(chǎng)景值得做profile看看是不是有大量的spurious wakeup。4. 定時(shí)器的生命周期管理與vCPU調(diào)度聯(lián)動(dòng)4.1 vCPU加載與卸載時(shí)定時(shí)器狀態(tài)保存KVM在vCPU切入和切出時(shí)對(duì)定時(shí)器有明確的狀態(tài)管理。切出的場(chǎng)景是vCPU被搶占、運(yùn)行時(shí)間片到期或者需要退出到用戶空間處理IO。切入的時(shí)候KVM做這么幾件事void kvm_timer_vcpu_load(struct kvm_vcpu *vcpu) { struct arch_timer_cpu *timer vcpu_to_timer(vcpu); struct arch_timer_context *vtimer vcpu_vtimer(vcpu); struct arch_timer_context *ptimer vcpu_ptimer(vcpu); kvm_timer_update_state(vcpu); if (timer-is_timer_running) return; timer-is_timer_running true; /* Set the offset for the virtual timer */ timer_set_voffset(vcpu-kvm, vcpu-arch.timer_irq.offset); kvm_timer_vcpu_load_nogic(vcpu); kvm_timer_unblock(vcpu); }關(guān)鍵在于寫入CNTVOFF_EL2把這條vCPU的虛擬時(shí)間線切到自己的坐標(biāo)。更新vtimer和ptimer的硬件寄存器讓guest看到的定時(shí)器狀態(tài)連續(xù)。如果backing hrtimer已經(jīng)啟動(dòng)過(guò)切回來(lái)時(shí)不需要重新啟動(dòng)hrtimer它一直在跑只是到期事件可能因?yàn)関CPU不在而錯(cuò)過(guò)了。這里有一個(gè)補(bǔ)課機(jī)制后面講。切出的時(shí)候邏輯對(duì)稱但要額外注意void kvm_timer_vcpu_put(struct kvm_vcpu *vcpu) { struct arch_timer_cpu *timer vcpu_to_timer(vcpu); struct arch_timer_context *vtimer vcpu_vtimer(vcpu); /* If the timer has expired, inject the interrupt */ if (kvm_timer_should_fire(vtimer)) kvm_timer_update_irq(vcpu, true, vtimer); if (!timer-is_timer_running) return; timer-is_timer_running false; timer_save_state(vcpu); timer-hrtimer.cancel(cancel_phys_timer); }這里有一個(gè)設(shè)計(jì)亮點(diǎn)即使vCPU被切出hrtimer也不是被cancel掉取消而是保留。如果guest設(shè)置的定時(shí)器到期時(shí)間還沒(méi)到hrtimer留在host的timer wheel里到期時(shí)照樣觸發(fā)如果guest設(shè)置的到期時(shí)間已經(jīng)過(guò)了那么在切出的時(shí)候KVM會(huì)立刻把虛擬中斷的pending狀態(tài)置上等vCPU下一次進(jìn)入時(shí)直接處理。這就是為什么虛擬機(jī)的定時(shí)器即使在高負(fù)載宿主上也不會(huì)出現(xiàn)明顯漂移——因?yàn)镵VM用的是host的硬件定時(shí)器來(lái)保證到期精度而不是依賴vCPU的調(diào)度。4.2 補(bǔ)課機(jī)制Guest錯(cuò)過(guò)定時(shí)器中斷怎么辦展開(kāi)講一下上面提到的補(bǔ)課機(jī)制。場(chǎng)景是這樣的guest的定時(shí)器在10ms后到期但是host負(fù)載很高vCPU在8ms的時(shí)候被切出了物理CPU直到20ms后才重新被調(diào)度回來(lái)。如果沒(méi)有補(bǔ)課機(jī)制這10ms的定時(shí)器事件就丟了guest醒來(lái)后發(fā)現(xiàn)時(shí)間已經(jīng)過(guò)去了20ms但它的定時(shí)器中斷一個(gè)都沒(méi)收到所有依賴定時(shí)器的邏輯全都錯(cuò)亂。KVM的補(bǔ)課邏輯在kvm_timer_vcpu_load里static void kvm_timer_update_state(struct kvm_vcpu *vcpu) { struct arch_timer_cpu *timer vcpu_to_timer(vcpu); struct arch_timer_context *vtimer vcpu_vtimer(vcpu); struct arch_timer_context *ptimer vcpu_ptimer(vcpu); if (kvm_timer_should_fire(vtimer) ! vtimer-irq.level) kvm_timer_update_irq(vcpu, !vtimer-irq.level, vtimer); if (kvm_timer_should_fire(ptimer) ! ptimer-irq.level) kvm_timer_update_irq(vcpu, !ptimer-irq.level, ptimer); timer-hrtimer_active false; }kvm_timer_should_fire會(huì)做一次當(dāng)前虛擬計(jì)數(shù)器和比較值的大小判斷。如果vCPU回來(lái)時(shí)發(fā)現(xiàn)當(dāng)前時(shí)間已經(jīng)超過(guò)了guest設(shè)置的值就把中斷狀態(tài)更新為pending。因?yàn)檫@段時(shí)間guest的定時(shí)器中斷本質(zhì)上一直在pendingKVM通過(guò)這此判斷來(lái)模擬這個(gè)狀態(tài)。這個(gè)機(jī)制背后反映的設(shè)計(jì)哲學(xué)是定時(shí)器中斷本質(zhì)上是一個(gè)事件攜帶的機(jī)制只要最終狀態(tài)正確中間的丟失可以用狀態(tài)同步來(lái)彌補(bǔ)不需要逐個(gè)事件追溯。這與中斷控制器虛擬化中l(wèi)evel trigger的處理思路一脈相承。4.3 32位Guest的特殊處理與CNTPCT陷阱談32位guest之前先解釋一下為什么會(huì)有trap問(wèn)題。當(dāng)虛擬機(jī)運(yùn)行在32位模式AArch32ARM架構(gòu)規(guī)定訪問(wèn)某些64位寄存器的行為會(huì)primary變化。比如32位guest訪問(wèn)CNTPCT_EL0會(huì)被trap到EL2。為什么因?yàn)?2位guest無(wú)法一次完成64位load只能拆成兩次32位load兩次之間的高32位值可能已經(jīng)變了。如果不做trap處理guest會(huì)讀到撕裂的時(shí)間值。KVM的處理是接受這個(gè)trap然后模擬讀取用一次原子的64位讀拿到CNTPCT再拆成高32位和低32位返回給guest。所以這里多出來(lái)的開(kāi)銷是必然的不是KVM實(shí)現(xiàn)的問(wèn)題。但這里有一個(gè)嚴(yán)重的性能隱患如果guest的Linux內(nèi)核在時(shí)鐘校準(zhǔn)里頻繁讀CNTPCT每次都會(huì)有trap整個(gè)系統(tǒng)時(shí)間校準(zhǔn)路徑會(huì)變得特別慢。實(shí)際的KVM在arch/arm64/kvm/hyp/hyp-entry.S中有對(duì)應(yīng)的handlertableel0_32_pc: ... el0_32_cntpct: ...它做了這樣的處理在hyp階段直接讀出CNTPCT拆成兩個(gè)32位值設(shè)置好返回寄存器后直接eret回guest全程不退出到host kernel。這個(gè)路徑把多次trap的開(kāi)銷降到了單次trap一次內(nèi)存讀算是在架構(gòu)限制下的最優(yōu)解。我記得還有一處是CNTVCT的訪問(wèn)在ARMv8.0的某個(gè)勘誤表里有提到32位guest讀CNTVCT_EL0也可能產(chǎn)生詭異的撕裂值個(gè)別內(nèi)核版本會(huì)在head.S里做一次重讀校準(zhǔn)這里就不再展開(kāi)了。5. KVM定時(shí)器實(shí)驗(yàn)復(fù)現(xiàn)搭建一個(gè)最小觀測(cè)環(huán)境5.1 環(huán)境準(zhǔn)備與內(nèi)核配置要點(diǎn)紙上談兵沒(méi)用。我自己的調(diào)試環(huán)境是QEMU KVM跑ARM64 guesthost是樹(shù)莓派的Ubuntu Server內(nèi)核5.15和另外一臺(tái)鯤鵬920服務(wù)器兩邊邏輯一致只是性能差很多。要復(fù)現(xiàn)本文講的定時(shí)器虛擬化行為需要確認(rèn)以下配置項(xiàng)CONFIG_KVMyCONFIG_KVM_ARM_HOSTy這個(gè)不用多說(shuō)。CONFIG_ARM_ARCH_TIMERyARM的arch timer驅(qū)動(dòng)。CONFIG_ARM_GIC_V3y中斷控制器的v3版本。CONFIG_HZ_250或者CONFIG_HZ_1000guest里配置的時(shí)鐘頻率會(huì)影響定時(shí)器中斷頻率方便觀察差異。調(diào)試輸出方面建議打開(kāi)tracefs的timer相關(guān)事件mount -t tracefs tracefs /sys/kernel/tracing echo 1 /sys/kernel/tracing/events/kvm/kvm_timer_update_irq/enable echo 1 /sys/kernel/tracing/events/kvm/kvm_hrtimer_start/enable echo 1 /sys/kernel/tracing/events/kvm/kvm_hrtimer_cancel/enable cat /sys/kernel/tracing/trace_pipe這三個(gè)trace event能完整還原KVM定時(shí)器的生命周期全貌從hrtimer啟動(dòng)到中斷注入全鏈路可見(jiàn)。實(shí)測(cè)里面kvm_timer_update_irq的觸發(fā)頻率和guest的HZ配置強(qiáng)相關(guān)可以直觀看到虛擬定時(shí)器的tick節(jié)奏。5.2 一個(gè)觀測(cè)腳本確認(rèn)CNTVOFF在不同VM間隔離要驗(yàn)證CNTVOFF_EL2確實(shí)起到了虛擬機(jī)時(shí)間隔離的作用可以這樣操作在宿主機(jī)寫一個(gè)內(nèi)核模塊讀取CNTVCT_EL0和CNTPCT_EL0的差值不過(guò)這需要root權(quán)限和內(nèi)核模塊不是每個(gè)環(huán)境都方便更輕量的方式是跑一個(gè)只讀虛擬計(jì)數(shù)器的小程序#include stdint.h #include stdio.h #include time.h static inline uint64_t cntvct_read(void) { uint64_t val; asm volatile(mrs %0, cntvct_el0 : r (val)); return val; } static inline uint64_t cntpct_read(void) { uint64_t val; asm volatile(mrs %0, cntpct_el0 : r (val)); return val; } int main(void) { struct timespec ts; clock_gettime(CLOCK_MONOTONIC, ts); uint64_t v cntvct_read(); uint64_t p cntpct_read(); printf(CNTVCT%lu CNTPCT%lu diff%ld tick\n, v, p, p - v); return 0; }在宿主機(jī)上編譯運(yùn)行diff會(huì)是一個(gè)固定值0或者某個(gè)常數(shù)取決于kernel啟動(dòng)時(shí)是否設(shè)置了CNTVOFF為0在虛擬機(jī)里編譯運(yùn)行同一個(gè)程序diff就是KVM設(shè)置的CNTVOFF_EL2值。兩個(gè)VM看到的diff不同這就能非常直觀地驗(yàn)證虛擬時(shí)間線的隔離。實(shí)測(cè)中diff值通常是一個(gè)非常大的隨機(jī)偏移這就是KVM為每個(gè)VM分配的獨(dú)立時(shí)間原點(diǎn)。5.3 用ftrace驗(yàn)證hrtimer與注入的因果關(guān)系更深入地驗(yàn)證中斷注入路徑可以同時(shí)打開(kāi)kvm和timer的trace事件echo 1 /sys/kernel/tracing/events/kvm/enable echo 1 /sys/kernel/tracing/events/timer/enable cat /sys/kernel/tracing/trace在guest里跑一個(gè)高頻率的定時(shí)器程序比如nanosleep 1msguest產(chǎn)生的定時(shí)器中斷會(huì)導(dǎo)致host側(cè)對(duì)應(yīng)的backing hrtimer反復(fù)到期。trace里可以看到hrtimer_expire_entry到kvm_timer_update_irq之間通常只有幾微秒的延遲這說(shuō)明中斷注入路徑是硬實(shí)時(shí)鏈路沒(méi)有經(jīng)過(guò)workqueue之類的延遲機(jī)制。如果發(fā)現(xiàn)hrtimer到期到中斷注入之間出現(xiàn)了超過(guò)100微秒的間隔那就要懷疑是不是host上有其他高優(yōu)先級(jí)中斷搶占了CPU或者vCPU沒(méi)有在物理CPU上運(yùn)行導(dǎo)致hrtimer回調(diào)無(wú)法及時(shí)執(zhí)行。這個(gè)時(shí)候要改成per-cpu的hrtimerHRTIMER_MODE_ABS_HARD來(lái)保證硬中斷上下文中處理后面調(diào)優(yōu)部分會(huì)講怎么改。6. 高頻問(wèn)題排查與性能調(diào)優(yōu)實(shí)錄6.1 虛擬機(jī)時(shí)鐘漂移最快排查清單虛擬機(jī)上最常被人吐槽的問(wèn)題就是時(shí)鐘漂移本來(lái)以為是網(wǎng)絡(luò)問(wèn)題查半天發(fā)現(xiàn)是時(shí)間不對(duì)導(dǎo)致TCP時(shí)間戳錯(cuò)亂。遇到時(shí)鐘漂移按以下順序排查現(xiàn)象可能原因排查方法guest時(shí)間比host慢CNTVOFF配置異常host讀CNTVCT與guest讀CNTVCT對(duì)比guest時(shí)間跳變遷移后CNTVOFF未正確恢復(fù)檢查migration代碼路徑確認(rèn)寫入CNTVOFF_EL2guest時(shí)間完全不動(dòng)CNTFRQ未設(shè)置或異常dmesg看arch_timer驅(qū)動(dòng)初始化日志定時(shí)中斷抖動(dòng)大hrtimer模式不是HARD查/sys/kernel/debug/tracing看hrtimer回調(diào)上下文32位guest時(shí)間異常CNTPCT trap路徑問(wèn)題strace guest內(nèi)讀時(shí)間函數(shù)看是否有頻繁trap最坑的一次經(jīng)歷是某個(gè)guest內(nèi)核版本里CNTKCTL_EL1的配置有bug導(dǎo)致guest無(wú)法在EL0訪問(wèn)CNTVCT_EL0結(jié)果guest的vDSO里的時(shí)鐘讀取全部走了系統(tǒng)調(diào)用性能掉了一個(gè)量級(jí)。這種問(wèn)題靠監(jiān)測(cè)是看不出來(lái)的要學(xué)會(huì)用perf trace去看guest內(nèi)時(shí)間系統(tǒng)調(diào)用的頻率是否異常。6.2 中斷風(fēng)暴問(wèn)題hrtimer空轉(zhuǎn)與RESCHED經(jīng)常有老哥反饋宿主機(jī)負(fù)載不高但CPU0的中斷占用率很高irqtop里看arch_timer中斷每秒觸發(fā)幾萬(wàn)次。大概率是guest里的定時(shí)器配置了過(guò)高的頻率比如1000Hz而且guest處于idle狀態(tài)不斷進(jìn)入WFI。KVM對(duì)guest的WFI處理會(huì)直接退出到host讓vCPU線程睡在hrtimer上等到下次虛擬定時(shí)器到期再喚醒。如果guest設(shè)置了非常短的定時(shí)器間隔vCPU就會(huì)不停地醒來(lái)再睡每次醒來(lái)都要走一遍完整的vCPU加載流程開(kāi)銷非常大。調(diào)優(yōu)方向有兩個(gè)在guest里調(diào)低HZ從1000降到250能減少3/4的中斷觸發(fā)頻率絕大多數(shù)服務(wù)器場(chǎng)景完全夠用。在host側(cè)確認(rèn)hrtimer的HRTIMER_MODE_ABS_HARD配置是否正確。KVM默認(rèn)對(duì)timer hrtimer用的是hard模式在硬中斷上下文執(zhí)行hrtimer回調(diào)如果降級(jí)成了soft模式回調(diào)會(huì)進(jìn)softirq延遲會(huì)明顯增加。同時(shí)要檢查KVM是否開(kāi)啟了irqchip in-kernel模式。如果使用userspace irqchip比如老的kvmtool或者某些嵌入式場(chǎng)景虛擬中斷要通過(guò)eventfd通知到用戶空間再寫回每次注入都是兩次ioctl的開(kāi)銷性能會(huì)差幾十倍。6.3 遷移場(chǎng)景下的定時(shí)器連續(xù)性保障vCPU熱遷移時(shí)定時(shí)器狀態(tài)遷移是一塊特別容易出bug的地方。KVM的遷移相關(guān)代碼在arch/arm64/kvm/arch_timer.c里有如下關(guān)鍵函數(shù)int kvm_timer_get_state(struct kvm_vcpu *vcpu) int kvm_timer_set_state(struct kvm_vcpu *vcpu)這兩個(gè)函數(shù)負(fù)責(zé)把當(dāng)前vCPU的定時(shí)器狀態(tài)比較值、控制位保存到kvm_timer_context里然后在目標(biāo)機(jī)上恢復(fù)。正常情況下遷移流程是源端暫停vCPU。kvm_timer_get_state保存vtimer和ptimer的cnt_cval、cnt_ctl。用戶空間QEMU/kvmtool把這些狀態(tài)傳給目標(biāo)端。目標(biāo)端kvm_timer_set_state恢復(fù)這些狀態(tài)。目標(biāo)端vCPU啟動(dòng)后在kvm_timer_vcpu_load時(shí)把cval寫入硬件寄存器。這里的坑在于目標(biāo)機(jī)的CNTVCT值和源機(jī)的CNTVCT值不一樣因?yàn)閮膳_(tái)機(jī)器的CNTVOFF_EL2不同。恢復(fù)狀態(tài)時(shí)必須把源機(jī)的cval換算成目標(biāo)機(jī)的cval換算公式是new_cval old_cval (new_vo - old_vo)。KVM在kvm_timer_set_state里會(huì)調(diào)用timer_set_voffset重新設(shè)置新VM的偏移然后根據(jù)偏移差調(diào)整cval。如果這一步做錯(cuò)了guest遷移后定時(shí)器要么立即觸發(fā)一次虛假中斷要么延后好久才觸發(fā)。調(diào)試這個(gè)問(wèn)題的辦法是在遷移前后各打印一下kvm_timer_get_state和kvm_timer_set_state出的cval和offsetecho 1 /sys/kernel/tracing/events/kvm/kvm_timer_get_state/enable echo 1 /sys/kernel/tracing/events/kvm/kvm_timer_set_state/enable對(duì)比兩份日志里的cnt_cval差值應(yīng)該和兩邊的CNTVOFF差值完全一致如果不一致就是換算邏輯出了問(wèn)題。6.4 從KVM向pKVM/槍口式虛擬化演進(jìn)的影響ARMv9開(kāi)始力推的CCAConfidential Compute Architecture和pKVMprotected KVM對(duì)定時(shí)器虛擬化的架構(gòu)影響值得提前關(guān)注。pKVM里Hypervisor本身被拆成了兩個(gè)世界root world高特權(quán)控制所有硬件和protected world受限的VMM運(yùn)行環(huán)境。這意味著原來(lái)運(yùn)行在EL2的KVM代碼被一分為二其中一部分降級(jí)到EL1。定時(shí)器虛擬化里最重要的CNTVOFF_EL2寫入操作在pKVM下由root world完成protected world的VMM不能再直接操作這個(gè)寄存器。整個(gè)中斷注入路徑也變了定時(shí)器中斷需要經(jīng)過(guò)root world的中轉(zhuǎn)才能到達(dá)protected world的VMM再到guest。這對(duì)系統(tǒng)軟件開(kāi)發(fā)者意味著什么以前在KVM里直接操作timer寄存器做優(yōu)化的代碼路徑需要重新審視。比如原來(lái)用戶態(tài)通過(guò)KVM_CAP_ARM_TIMER控制定時(shí)器行為的方式在pKVM里可能不再可用因?yàn)槟莻€(gè)狀態(tài)不在protected world的掌控范圍內(nèi)。好在ARM在硬件層面考慮了這一點(diǎn)EL2物理定時(shí)器PPI 26就是給hypervisor自己用的它不參與guest的定時(shí)器虛擬化所以hypervisor可以在不干擾guest虛擬定時(shí)器的情況下做自己的調(diào)度計(jì)時(shí)。pKVM也延續(xù)了這套設(shè)計(jì)用EL2物理定時(shí)器做自己的時(shí)間基準(zhǔn)不和guest的時(shí)間線混在一起。7. 寫在最后的個(gè)人經(jīng)驗(yàn)定時(shí)器虛擬化這塊看起來(lái)只是虛擬化體系里的一小塊但它牽扯到硬件架構(gòu)、中斷子系統(tǒng)、調(diào)度器、遷移等多個(gè)方向的交叉知識(shí)。串起來(lái)理解之后再去看其他設(shè)備的虛擬化比如vgic中斷虛擬化、PMU虛擬化很多設(shè)計(jì)思路都是相通的。我個(gè)人在做這套東西的過(guò)程中的幾個(gè)體會(huì)第一別上來(lái)就看KVM源碼先把ARM ARMARM Architecture Reference Manual里Generic Timer那章過(guò)一遍。很多KVM代碼里的常量和不直觀的位操作都是直接從寄存器語(yǔ)義翻譯過(guò)來(lái)的。第二排查時(shí)間相關(guān)問(wèn)題的時(shí)候建立時(shí)間線世界觀特別有用。時(shí)刻問(wèn)自己我現(xiàn)在看的是host時(shí)間線還是guest時(shí)間線CNTVOFF在中間扮演了什么角色一旦把坐標(biāo)系分清楚至少70%的問(wèn)題都能定位到正確方向。第三性能調(diào)優(yōu)不要憑空想。裝好ftrace和perf實(shí)測(cè)幾組數(shù)據(jù)再動(dòng)代碼。很多時(shí)候你以為瓶頸在中斷注入的路徑上實(shí)際測(cè)出來(lái)的結(jié)果可能完全相反。沒(méi)有測(cè)量就沒(méi)有優(yōu)化。最后說(shuō)一個(gè)調(diào)試小技巧如果你需要快速確認(rèn)一個(gè)guest當(dāng)前用的是vtimer還是ptimer只需要在guest里執(zhí)行cat /proc/interrupts | grep -E arch_timer|timer看中斷號(hào)。如果你看到的是一個(gè)外設(shè)中斷號(hào)非13/14說(shuō)明guest代碼里做了自定義處理這時(shí)候就要懷疑它是不是在EL1直接操作物理定時(shí)器繞過(guò)KVM的虛擬化了。這種情況在改裝過(guò)內(nèi)核的安卓環(huán)境里尤其常見(jiàn)值得多留個(gè)心眼。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美男女午夜啪啪| 久久、1234| av日韩手机在线影视| 亚洲成人免费电影| 日韩无码AB| 美女91| 天天影视色香欲综合网小说| 亚洲狠狠入| 女生自91网站| 人妻少妇精品| 天天视频综合在线观看视频| 欧美日韩情色一区二区| 97日亚洲欧美| 怡红院一区二区熟女人妻| 日本一片一区| 99e久久国产精品| 亚洲AV无码久久久国产精品 | 国产精品日韩在线一区| 婷婷久草一区二区三区| 四虎精品亚洲| 久久色情| 午夜色婷婷| 少妇天堂网络| a片偷拍视频| a级成人毛片免费视频高清| 东北女人| 欧美日日操| 91久热这里只有精品| 综合久久97| 六月色婷婷| 九99久久| 日本九九九九| 欧美亚洲图片| 高清不卡一二三区视频......| 亚洲图片91| 无码又爽又硬又激情免费视频| 亚洲天堂美臀在线| 欧美不卡二区| 大香蕉日韩欧美| 午夜福利视频在线一区| 天天在线91| 懂色av色欲av蜜臀av| 丝袜综合| 国产精品老师| 91精品丝袜久久久久久| 亚洲精品亚洲人成人网| 女优大全 - 91n| ′ !γ}丶。。久久精品欧美一区二区三区 | 特级毛片特黄久久免费看| JULIA人妻风俗店中出电影| 亚洲国产丝袜熟女av| 五月天婷婷欧美三区| 亚洲少妇视频| 女生自91网站| 97色婷| 啊啊啊啊操死我| 无码国产精品午夜不卡(| 蜜臀99精品国产高清在线观看| 亚洲综合中文字幕有码 | 欧美春色| 美女淫穴| 人妻av在线| 91狠狠| 亚洲熟女国产综合另类| 日韩性爱人人爱人人操| 久久成人东京热人妻| 日本在线不卡123| 亚洲美女av无码| 久久综合女优| 色婷婷网| 久久69精品久久久久久久| 天天享受天天看| 成人免费看吃奶视频网站| 精品制服美女中文一区二区三区| 另类图片五月| 久久成人国产精品| 玖色av| 日本污ww视频网站| 一级AV性爱| 日本不卡免费二区| 国产精品久久久777| 五月丁香六月婷综合成人综合| 午夜福利国产欧美日韩夜夜| 最新精品久久蜜桃 | 久综合国内精品自在自线| 91+欧美| 中国国国产一级特黄毛片| 国产精品播放| 97超碰巨乳| 五月综合久久| 亚洲人妻AV| 久操凹凸视频| 国产高清视频无码在线| 欧美成人性活片| 是还免费视频1727我| 97爱免费插| 亚洲偷拍自拍在线视频| 亚洲一曲日韩精品| 亚洲日韩人妻中文字幕一区| 亚洲资源站| 欧美日本视频一区| 91AV天堂| 神马久久69| 91扒丝袜综合在线| 欧美 亚洲 大香| 中文字幕在线免费观看视频| www色色com| 日韩不卡毛片Av免费高清| 日本成人A片网站| 白丝一区| 17c嫩草51久久91嫩草| AV在线资源| 蜜桃色色网站视频三区| 久久久久密| 欧美色性爱| 蜜乳视频网站| 1级黄色夫妻对换性交免费看| 欧美日韩中文视频播放| 天天综合网在线91| 中文字幕一区二区无码成人| 久久蜜桃一区二区| 九九九九九九九九九九九九九九九女| 久久久久久久久久久久久久久性生活视频 | 91久青| 9色在线| 国模吧 一区二区三区| 国产亚洲欧美每日在线| 精品国产91内射久久| 超碰欧美97| 欧美日韩亚洲天堂| 国产精品视频91久久| 色欲av国内精品久久久久久| 欧美翘臀视频网站一区二区三区| 欧美性爱一区二区三区| 怡春院久久| 特级大荫道BBwBBwBBW| 国产三级中文有码在线视频| 啪一啪免费视频| 一本一道vs波多野结衣| 国产综合永久精品日韩鬼片| 日本亚洲熟女视频| 婷婷中文字幕| 91女在线观看| 日韩av熟女一区二区三区成人| 亚洲天堂色图| 欧美性生活内射| 成人片在线播放| 日本熟妇浓毛hdsex| 日韩熟女乱伦中出| 精品九九| 91午夜无码| 天久久久噜噜噜久久国产精品爽爽| 日本孕妇一区二区视频操逼免费看 | 污电影在线观看| 国模精品娜娜一二三区 | 亚洲91射| 国产97综合| 后入合集| 国产强奸乱伦第1页| 亚洲国产综合图区中文字幕| 久久性爱视频免费看| 综合久久少妇中文字幕| 亚州免费啪啪视频| www99热| 欧美日不卡| 啊啊啊好湿久久| 一本一首道人妻少妇免费久久| 国产精品视频| 久热这里| 欧美色图20P| 熟女精品日韩一区二区三区 | 加勒比人妻综合| 999熟女精品| 少妇高潮99p| 99国产精品在线观看| 加勒比日本在线| 亚洲青青草| 日日爱99| 啪啪综合网| 在线视频五十市| www.狠狠干.coom | 开心五月深爱五月| 麻豆av一区二区三区| 亚洲少妇激情视频| 激情视频图片| 三级日本一区二区三区| 91精品国产高清久久久久久,亚洲成人 | 国产不卡片| av麻豆啪啪| 精品国产乱码久久久影院| 天天澡天天爽日日AV| 欧美日韩日产免费网站看| 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 99色在线| 熟妇国产免费一区| 无码不卡八戒| 色蜜AV| 亚洲精品97中文字幕| 亚洲天天在线| 久久婷婷色| 亚洲 欧美 小说| 美女骚尻视频| 日韩高清黄片| 男人的天堂不卡一区二区| 亚洲成人色情五月天丁香花| 中文字幕乱码在线观看| 高清有码一区二区| 超碰色男人操熟女| 91人人爽人人爽人人人,gav福利视频导航,日韩欧美亚洲国产字幕四区 | 黄色成年| 开心激情婷婷| 国产一区二区三区精品观看啪| 久久久久久久一级黄色打同平台| 久久久久久中文| 乱伦日本中文自拍| 精品无码久久久| 国产激情在线| 亚洲伊人久久综合97| 在线不卡视频| 久久中文字幕女同性恋一区| 97超碰色| 超碰调教97| 日韩在线国产字幕| 久久綜合很很很| 黄色欧美性爱视频| 青草影院内射高潮| jk白丝没脱就开始啪啪| 在线视频97| 亚洲精品乱码久久久久久蜜桃麻豆| 精品四五区| 美女91网| 国产精品视频精品一二| 亚洲熟女乱综合一区二区三区| 激情小说亚洲| 91人妻爽爽人人做人人澡| 99热这里都是精品| 国产高清精品一区二区三区毛片| 欧美97在线观看| 丝袜美腿av女优在线| 国产日韩欧美三级片| 欧美亚洲se91| 国产精品一级毛片不卡视| 神马久久久久久久久久| 中文有码9| 色综合尤物| 超碰在线在公开超碰在线在公开| 伊人网综合在线视频| 一区二区三区成人| 人人妻人射| 激情啪啪视频| 日本综合久久| 97久久国产精品女不卡| 韩国女主播青草福利视频| 色97综合中文字幕| a久久| 亚洲欧美不卡线| 色性综合| 色色毛片| 香蕉99秘 精品一区丁香| 五月婷亚洲精品天堂| 观看免费区二区三区二| 国产二区三区免费视频| 超碰97资源大奶| 亚洲一区在线观看欧洲| 999九九精品| 亚洲制服欧美另类内射| 97亚洲中文| 五月丁香六月婷| 九久9精品| 精品一区二区三区最新| 国产精品亚洲天堂网址| 日韩中文9| 亚洲日韩精品在线播放| 蜜臀久久99精品久久久久| 日日干日日操五月天伦理视频| 午夜无遮挡男女啪啪视频| 330Dv国产女人终合视频极品人与兽| 国产美女在线精品免费看| 污污污8888| 久久久久亚洲Aⅴ无码| AV中文字幕三四五| 男人的天堂成人的社区| 狠狠色噜噜狠狠狠狠狠色综合久久| 91熟女视频网| 五月天伊人| 国产精品自在线发布| 东京太热男人的天堂久久久| 性色高清在线| 任你草| 久久草草亚洲蜜桃臀| 97视频新免费| 天天影视网综合少妇| 干我久操| 久草精品在线| 一区二区三区蜜桃成人撸久久东京热| 亚洲 欧美 手机在线观看| 桑老女人九区| 丁香婷婷激情五月天无毒不卡| 久久精品国产免费观看99| 热99这里有精品综合久久 | 水野优香在线观看| 一起草日韩| 9997se| 欧美一区二区三区大综合| 丝袜熟女一区二区三区| 午夜男女爽爽爽影院视频| 免费国产| 校园春色中文字幕AV| 蜜桃久久综合视频| 亚洲国产高清福利视频| 99e久久国产精品| 欧美人人天天网| 天美精品av| 无码精品人妻一区二区三区妖精 | 97国产天堂岛| 欧美日韩色图片| 九色在线熟女国产黑人| 久久无码一区二区二三区性色| 情色图区| x97av| 精品国产72| 亚洲黑丝在线| 亚洲成A∨人影院在线欢看| 欧美97爱| 又黄又硬又粗又长国产视频| 日本中文字幕一区| 伊人 俄罗斯 a v| 九九九九九九亚洲| 蜜臀久久久久久999| 8050无码八戒| 人人人人插| 亚洲欧洲日本精品中文a∨| 麻豆熟妇乱妇熟色A片在线看| 精品久久九| 国产婷婷一区| 日本九九久久99播| 欧美综合97www| 色婷婷久久| 中国国国产一级特黄毛片| 日韩字幕一区| A片大香蕉在线| 美女天天干| 亚洲 暴爽 AV人人爽日日碰| 啪啪自拍九九综合| 欧美日韩制服| 免费国产| 91在线一起| 欧美日韩亚洲少妇寂寞影院正在播放 | 八戒午夜福利理论片| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 很狠操| 91丝袜熟女| 怡红院成人av| 黄日韩| 国产精品高潮久久AV| 天天综合欧美综合| 日日噜噜夜夜久久亚洲一区二区| 青青伊人加勒比海| 欧美天堂日韩三级国产传媒| 超碰久久性爱| 国产精品熟女AV中文字幕在线播放| 久久久久久久少妇| 情色五月天久久久| aaa淫乱视频| 中国黑人三级片网站上区| 欧美色图成人网一区二区 | 亚洲日韩av专区无码| 国产又粗又大硬免费色网视频| 热99这里有精品综合久久 | 97天天在线| 91N综合网在线| 青青青草伊人精品| 一本色道熟妇| 国产91精品在线免费| 青青草成人视频在线观看二区| 高清国产av无码| 超碰吊日色| 伊人网在线观看| 亚洲精品乱码线路中文字幕| 日韩人妻制服丝袜av| 18禁网站在线播放| 丁香激情网| 天堂九九九九九九九九九| 亚洲精品久| 超碰天天操| 97久久精品不卡| AV有码在线| 国产高清亚洲日韩一区| 亚洲精品国产日韩无码AV永久免| 1769成人国产精品视频| 伦伦成年午夜免费视频| 亚洲成?V人片在线观看福利| 精品免费1| 91麻豆天美国产| 欧洲精品欧洲精品| 97国产人人| 久久中文字幕一区不卡| 国产精品视频精品一二| 操我啊啊啊啊啊| 人人澡综合涩| 人人妻人人爽一区二区三区| 9国产超碰| 精品一区二区人妖| 九月丁香婷婷| 蜜桃午夜视频一区二区 | 人人妻人人澡人人爽人人精品浪潮| 国产白丝AV| 黄色片一区二区三区四区五区| 欧美十八禁在线看| 欧美一区二区日韩传媒搭讪精品| 欧美爱国产综合、| 肏逼视频日本| 成人午夜视频免费播放| 亚洲色91C| 精品天堂| 国产免费内射视频| 国产精品麻豆成人av| 欧美偷拍区| 91骚熟女| 2019天天干天天操| 操逼片中文| 综合一区中亚洲国产成人综合精品 | 在线人成亚洲视频免费观看| 亚洲一区操| 大香蕉中文| 日韩AV无码网站| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 黄页视频网站野外| 无色无码| 日本精品一区三区| 亚洲一区二区在线观看91| 久久久久久久久一区二区三区| 97综合国产| 欧美精品成人一区二区在线观看 | 色999亚洲人成色| 五月丁香激情四射| #NAME?| 人妻一区二区三区熟女| 日韩A优精品在线观看| 日本成人A片网站| 992这里有精品| 4虎在线视频| 6080yy午夜理论三级一区二区三区无码| 99色婷婷中文字幕乱色| 欧美高潮| 97av在线观看| 亚洲AV无码AV吞精久久久久| 天天综合~91入口| 欧美色图亚洲色,麻豆| 大象AV在线| 黄页视频网站野外| 91色图片| 69精品| 久久男人精品| 一区二区三区免费岛国片| 久久久少妇诱惑精品视频| 一本正道久久熟女| 久久久成人精品| 超碰性爱97| 久久精品国产亚洲粉嫩| 激情专区综合| 青青草公开在线免费不卡视频| 91操操操操| 亚洲精品国产精品乱码不99| 五月开心久久AV官网| 可乐操亚洲蜜911| 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 老司机天天操| 中文字幕一区 二 区 三 四 五 区日 日 骚 | 操久久久久久| 欧美97在线观看| 精品综合久久久久久五月天| 久久精品人人做人人看| 久久鲁夜| 亚洲最新av无码成人精品区| 午夜无码熟妇丰满人妻| 亚洲中文字母在线播放| 一本色道久久综合狠狠操| 91新在线欧美| 操啊国产| 亚洲综合性感在线| 国语对白露脸XXXXXX | 97资源站国产精品| 色香色欲天天综合网天天来吧| 精品国产乱码久久久兰草影视| 亚洲欧洲激情卡通另类文学四射小说网站| 精品九区| 在线色导航| 丰满熟女一区二区三区在线播放| 日韩性爱人人爱人人操| 色男人色天堂东京热| 日韩精品亚洲专区在线影视| 亚洲男人的天堂网| 国产97色在线| 狠狠操使劲操| 欧美色图私拍91| 中国AV美女| 青青草大香蕉在线视频| 岛国大片国产| 91 亚欧| 91动漫操逼视频| 亚洲女人91| 天美av在线观看| 91精品丝袜久久久久久| 91精品国产91久久久久久久久久久久| av一区二区三区四区| 国产成自自拍在线观看| 超碰在线人妻| 97欧美资源| 天天爽天天爽| 色欲天天综合久久久无码网中文| 亚州免费啪啪视频| 神马久久啊啊| 大香蕉综合| 午夜激情成人在线观看| 性欧美999| 五月天丁香欧洲日韩| 日逼逼免费看| 久久久少妇诱惑精品视频| 91久久久久免| 少妇一级婬片免费放一级a性色.| 91成人无码| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 久久毛卡| 久久亚洲色图中文字幕| 欧美疯狂做爰xxxx| 99久久精品无码一区二区毛片免费| 亚洲 欧美都市激情| 精品人妻av在线播放| 大香蕉视频啪啪啪啪| 怡红院成人av| 99超级碰免费视频| 玖玖资源综合在线视频| 999久久久免费精品国产牛牛| 精品久操| 国产精品久久久久久久免牛肉蒲团 | 国产91丝袜在线播放蜜月| 91日韩| 国产人伦a片信息免费片| 91欧美另类| 天堂射| 欧美韩日精品资源| av九九| 少妇色| 伊人久久国产免费观看视频| 妇女视频网站| 九九自拍伦理| 欧美亚洲丝袜美女电影| 91殴美大片| 97超碰国产亚洲精品资源| 国产AV超爽| 亚洲精品性爱片| 精品国产Av无码久久久亚洲| 热99这里有精品综合久久 | 久久久久幕乱码| 日韩 欧美 另类 人妻| 20cm女自慰在线日韩欧美| 精品国产72| 亚洲国产精品成人综合| 久久久久99999| 偷拍五区| 成人aⅴ一区二区三区| 乱伦日本色图AⅤ| 91九九| 亚洲成人一区二区精品| 色情综合网| 97人人干| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 欧美日不卡| 无套内射性感少妇视频| 青青网三级视频| www.夜夜操| 久久精品国产精品一区| 国产欧美日产一区二区三区 - 国产欧美日 | 日本视频在线观看污污污| 中国AV美女| se吧提供国产乱老熟视频胖女人| 亚洲AV成人无码一二三久久| 欧美人人操人人插| 91久久免费视频互動交流| 欧美日韩国产成人高清| 亚欧免费观看视频| 影音先锋日本乱伦| 91天天| 97中文热色| 欧美在线第五页| 国产精品一区二区麻豆| 亚洲中文字幕av | 东京成人一区| 久久久久ab| 有码免费观看| 国产精品久久久视频| 国产精品制服丝袜中文字幕日韩一区二区三区 | 亚洲日韩成人性爱视频| 青青青国产| 久久久九| 香蕉热人人精品| 啊啊啊 在线观看| yy少妇精品久久| 久草热制服丝袜在线观看 | 欧美亚洲涩涩| 91精品久久久久久久久久| 99热99re6国产在线播放| 国产乱码久久久| 天天综合网~91| 国内毛片热久久思思热| 两女互慰AV高潮喷水在线观看| 国产精品女生av| 亚洲二区精品在线观看| 天天日天天操心| 哈哈操电影AV| 色亚州人久干视频在线观看免费版| 国产蜜臀在线| 精品熟女呻吟久久91| 中文字幕三四区| 一起草三级AV电影在线观看| 曰韩操B| 欧美久热| 亚洲区限制级| 九99久久| 91欧洲国产成人久久精品网站| 少妇无码av专区线| 狠狠色婷婷| 闷骚老熟女15P| 噜噜瑟| 富女玩鸭子一级毛片| 一区二区三区免费岛国片| 爽爽淫人网| 国产精品suv一区| 青青草色AV| 精品高潮| 欧美超碰在线| 亚洲AV无码国产精品久久久久| 久久久久久久久久久久久久久性生活视频 | 国产精品青草综合久久| 国产性感在线观看| AV女资源| 日日日日做夜夜夜夜无码| 亚洲av影院在线观看| 青青网三级视频| 四虎精品一区| 成人精品久久久午夜福利| 伊人99热| 亚洲日本天堂| 影音先锋日本乱伦| 亚洲中文字幕噜噜噜久久久| 精品乱码在线观看| www.亚洲黄色| 啊v视频在线观看| 熟妇艹鸡八| 亚州男人天堂| 柠檬AV导航| 日韩美女高潮喷水视频| 精品九九| 深爱五月婷婷| 日韩毛片9| 色综合天天| 2025亚洲男人天堂| 日韩97P| 操婷婷逼| 影音先锋一区二区在线资源| 人妻天天爽天天爽三区| 大香蕉免费中文| 欧洲自拍第一页| 日本欧美一区二区三区免费| 大香蕉99热| av激情亚洲五月天| 99re9在线| 欧洲精品二区| 亚洲一区日韩| 曰本特级特黄特色黄色A级网站高清在线免费看 | 超碰 另类 欧美 | 亚洲精品国产av天美传媒| 国内一区二区免费| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 日本三级R| 久久精品视频28| 97在线免费观看| 欧美婷婷五月天| 伊人网在线视频| 国产综合在线视频网站| 91天天综合网,天天综合网| 日本影视久久免费| 欧洲免费一区二| 欧美se综合| 岛国片在线播放| 色情亚洲日本成人| 国产色综合亚洲色综合吹潮| 日本不卡码黄色 | 日韩在线地址一| 老熟女熟妇| 妇女性内射冈站HDWWWCOM| 91最新综合| 东北毛片| 欧美五区| 中文字幕五月婷婷免费| 嗯嗯啊啊操死我| 日韩熟女操逼| 日日日啊啊啊| 亚洲色图尤物视频| 久久国语| www欧美性爱| 青青草在线视频播放器| 亚洲蜜桃V妇女| 久99在线免费观看视频| 婷婷操逼| 蜜臀久久99精品久久久电影| 五月激情天| 超碰2017| 亚洲永久AV无码精品秋霞| 日韩Va亚洲va欧美Ⅴa久久| 久久成人午夜狠狠| 久久五月视频| 视频不卡中文字幕| 国产精品麻豆成人AV艾秋| 久久久一区二区三区麻豆| 成人夜夜爽| 99e久久国产精品| 五十路人妻在线| 天天做日日做| 五月天日日操夜夜操| 操少妇很爽av| 一本精品日本在线视频精品| 青青操在线亚洲视频观看欧美在线| www.伪伪| 欧美色图99| 欧美精品在线观看| www.久久最新地址| 国内毛片四区| 密臀在线免费观看| 插穴性爱视频在线观看| 天天躁日日躁狠狠狠躁| 精品一区96| 家庭乱伦国产| 嗯嗯啊好大| 色婷婷久久| 亚洲成人激情小说视频| 99啪啪视频| 免费看久久久性性| 美熟女逼导航AV操逼| 极品销魂美女一区二区 | 国产精品不卡一区二区三区| 国产超碰在线| 亚洲精品xxx| 深夜国产福利| 中出后入| 五月激情在线| 久久91精品国产9丨久久分亭 | 日韩啪啪视频| 亚洲综合射| 九色 人妻 大香蕉| 操逼不卡中文字幕| 欧美牲| 加勒比伊人影院| 精品91摸| 国产区性爱在线视频秋霞豆 | 青青免费在线视频一区 | 天天影视91看看| 中文伊人大香蕉视频| 国产毛片毛片4p懂色| 校园春色美腿丝袜 | 男人的天堂不卡一区二区| 国产一进一出视频网站| 色综91| 亚州色国| 大奶啊啊好爽| 无码高清专| 亚洲国产精品成人综合| 超碰地址久久| 91精品在线播放| 欧美精品偷拍| 大鸡巴久久久| 97婷婷色| 亚洲免费成人在线高清无码视频 | 岛国视频免费在线观看| 欧美高清无码免费视频高清版| 狠狠色五月亚洲91| 欧美熟女逼久久久久久| 欧美亚洲第1页| 成人综合久久精品色婷婷| 一级性爱啪啪视频| 一起草三级AV电影在线观看| 欧美激情 亚洲色图| 欧中美三级一区二区三区| 国产欧美亚洲精品a第2页| 亚州日韩97| 国产欧美精选自拍一区| 亚洲91网。| 啊啊啊好爽快点啊啊啊嗯嗯| 精品99999久久久久久| 男人亚洲天堂| 欧美大片91| 成人在线日韩| 天天干天天舔| 无卡一区=区| 久久成人国产精品| 欧美激色| 久操视频资源站公开| 暖暖精品二区三区观看| 午夜男女爽爽爽在线视频 | 色噜噜人妻av中文字幕| 无码最新| 人人操人人摸人人看人人插| 天天视频黄| 91综合色噜噜| 亚洲国成人情色好看电影| 美女尤物人人操| 久久偷拍人| 亚洲综合精品国产一区| 超碰中文字幕人妻草一区| 懂色中文一区二区三区| 伊人欧美大香蕉视频| 久久久久熟女| 东北夫妻性偷拍| 国内自拍 日韩激情 99| 国产家庭乱伦表演| 欧美专区17页| 97精品97久久| 日韩伦理久 久久 清纯| 午夜国产成人福利视频| 国语国产操逼伊人AV网| 国产精品国产自产高清AV| 亚洲天天操| 国语精品对白| 亚洲天堂电影网99999| 成人综合色网| a久久| 91av熟女人妻| 精品九九九| 97在线观看免费| 国产精品在线一区二区| 91女网站| 天天操夜夜嗨| 日语五十路和六十路亚洲国产精品 | 亚洲 中文 欧美 日韩 在线| 九九热午夜欧亚国产视频| 超碰在线在公开超碰在线在公开| 亚洲少妇自拍中文字幕懂色| 亚州性色| AVE乱伦| 巨爆乳肉感一区二区三区竹菊影视 | 天天做天天爱夜夜爽毛片试看| 亚州综合色| 中文字幕乱妇免费视频| 91性感在线| 熟人人妻少妇精品久久| 日韩av性爱在线播放| 日韩超碰精品综合| 九九九九免费视频| 亚洲无码免费看| 色啪网| 日本九九九九| 天天肏美女| 少妇精品久久久| 女性91网站| 精品一区二区成人动漫| 2020视频1区2区3区| 欧美中字不卡| 一级性爱视频免费在线| WWW啪啪的com| 天美国产精品| 色97国产69香蕉| 一区二区三区亚洲| 天美AV片| 97人人操人人干| 青青草久久一区网| 青青草国产欧美非洲黑人| 亚欧国产无码精品在线| 操逼999| 快灬快灬 一下爽蜜桃在线观看 | 一本一首道人妻少妇免费久久| 亚洲性猛| 欧美姓爱综合网| 国产精品女同| 日韩精品一二三四| 自慰白浆在线观看| 啊啊啊啊啊啊在线看| 91丨精品丨国产丨丝袜| 97精品全部| 操人人| 国产一区二区欧美日本| 夜夜影视四色| 天天日B狠狠操| 欧美色图 人妻| 久久中文字幕人妻熟av女蜜柚| www.亚洲黄色| 深田咏美亚洲精品福利社| 婷婷国产精品九区| 97亚洲精品超碰| 亚洲AV成人在线| 丝袜性亚洲| 久久人体一区二区| 无码不卡八戒| 91neishe| 97在线/亚洲| 黄页视频网站野外| 日韩激情视频| 欧美狠狠| 九九无码视频| 欧美传媒一区| 翔田千里一区二区三区奶水| 久久黄色网址| 三四中文字幕| 动漫爆乳3D奶水一区在线观看| 熟妇高潮一区二| 天堂v无码免费视频| 五月激情小说| 久久成人午夜狠狠| 男人天堂黄片| 亚洲色9| 久久精品国产亚洲5555| 天天色综合图片| 99久久久| 丁香五月激情婷婷| 国产午夜激片Av毛片不卡| 怡红院一区二区熟女人妻| 国产久久一区二区午夜| 一本色道久久综合精品婷婷| 国产 热久久久久国产精品| 东北女人的毛片| 亚洲福利影院一区久久| 91校园春色长篇| chaopen97久久| 国产第25页在线观看| 精品九九九九九九九九九| 乱操乱伦AV| 色九月综合| 网站A V在线| 五月天黄色av| 天天干天天操天天操夜夜操天天操 | 人人色人人操在线| 狠狠97| 中日韩久久久| 午夜后入| 国产精品视频一区二区三区八戒| 欧美成人色| 亚洲一区二区三区不卡国产欧美| 东北女人| 国产探花精品在线| 天天爱综合网| 91精品丝袜在线观看| 自拍啪啪视频| 五月天激情视频| 亚洲三级。日韩三级| 丰满人妻-区二区三区免费| 日韩无码一区二区三区| 91人妻丝袜无码| 日本人妻中文字幕精品| 国产久久久9999| 丁香九月 婷婷| 我中文字幕6区 | 国产高清精品一区二区三区毛片 | 国产精品不卡一区二区三区av| 97这里都是精品| 国产精品久久久久久照片| 亚洲五区熟女| 操高情无码| 啊啊啊水好多| 亚洲人精品久久久喷水| 九九精品无码专区免费| a片亚洲一本通视频| 亚洲日韩精品在线播放| 丰满人妻-区二区三区| 嗯嗯啊啊操死我| 黄页视频网站野外| 亚洲男人在线观看天堂| 成人欧美一区二区三区黑人一| 嗯啊啊啊轻点视频| 一级毛片久久久久久久女人18| 北条麻妃性愛视频| 亚洲精品a人片在线观看视| 日韩熟女精一区二区三区不卡| 夜夜夜夜夜夜夜夜夜狠狠狠狠狠狠狠| 日本孕妇一区二区视频操逼免费看 | 欧美成人性爱视频在线播放| 夜夜嗨绯色| 99日韩| 97无码视频在线播放| 色天欧美| 天综合网| 亚洲综合网电影91| 91艹逼精品| 国产97色在线| 91AV入口| 亚洲色天堂九9| 亚洲熟妇图片| 特级丰满少妇一级AAAA爱毛片| 久久精品无码专区| 熟妇高潮一区二| 日韩人妻播放| 狠狠躁久久躁| 九九热视频这里只有精品| 日本高清有码网址视频| 天天欧美| 夜夜 中文视频rt| 91色综| 日本天天操| 18+91网站| 九九视品黄色| 亚洲成人福利电影免费 | 家庭乱伦国产精品| 夜夜嗨老熟女AV一区二区三区| 精品国产嫩穴视频| 屁屁影院一区二区三区国产| 热99这里有精品综合久久| 91天天c| 免费的黄片wwwwww| 久久国产在线一区二区| 亚州高清AV| 中文字幕片| 色综合网1| 91香蕉视频在线观看免费| 97在线免费看视频| 女生自91网站| 91久精品| 婷婷91| 日韩乱伦影音先锋| 日本爽爽爽爽爽爽免费视频| 午夜啊啊| 色香91| 亚洲天堂,男人| 福利在线黄片| 中文字幕高清精品一区| 人妻少妇精品视频一区二区三区| 9 7超碰在线免费观看| 久久久A∨| 亚洲乱熟女一区二区三区大香蕉| 久热影视| 日韩9区| 97jingpin| 一区,二区,三区网站| 夜夜操2028| 综合啪啪| 久久‘黄片视频| 91c色| 日韩三A大片在线观看| 人人人干干人人干| 久操免费观看| 一区二区视频你懂的| 欧美色图私拍91| 91在线视频免费中出| 校园春色综合| 一区二区三区在线资源| 色色色欧美| 妺妺跟我一起洗澡没忍住| 92性色国产午夜福利在线661| 天天日天天干天天操| 国产美女自拍视频| 天堂射| 超碰97最新人妻| 美女超碰978| 日本欧美成人片AAAA| 92午夜免费福利视频| 国产不卡免费在线视频| 人人看人人爰人人操| 国产白丝AV| 欧美性夜| 九九九九九九九九九国产精品 | 综合色图,成人综合网| 大香樵伊人网| 蜜桃成人1区2区3区| 人妻啊啊人妻啊啊| 欧州色图区| 中日无幕一二三四区| 日产狠狠干| 欧洲无码一区二区| 九九视品黄色| 亚洲男人的天堂V| 老熟女区| 人妻在线大香蕉| 试看福利| 欧美精品 - 91爱爱| 亚洲色五月| 玖色AV| 中文字幕精品丝袜| 亚洲免费97免费| 91久久久老司机| 婷婷15月天青娱乐| 男人天堂网手机版婷婷| 蜜臀va69| 欧州91高潮| 91热| 青青在线视频免费| 大肥女高潮bbwbbwhd视频| 性爱综合一区二区| 国产精品婬乱一级毛片彝族| 一区二区三区精品久久| 99九九精品| 成人三级片无码| 中文字幕第页| 91色黑人少妇| 我爱搞逼综合网| 精品大全99999| 天天射日日干| 欧美v日韩v亚洲v最新在线| 最新日日夜夜天天干干| 性久久久| 5278欧美一区二区三区| 五月天激情网站| 日韩久久三区| 综合网欧| 日本最新1区2区3区| 精品人妻一区二区蜜桃视频 | 久久久男人的天堂| 日本二区不卡| 色欲天天综合久久久无码网中文| 日本三级一区二区 在线| av资源在线观看少妇| 午夜大香蕉| 91粉芽高清在线一区二区| 六月丁操逼| av橘色网站| 国产粉嫩蜜臀av一区二区三区| 又粗又长又爽在线观看| 婷婷五月成人| www.操| 婷婷国产精品九区| 性欧美另类高清| www.婷婷六月天| 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | 美欧色综合| 玖玖爱视频网站| 久久成年片色大黄全免费网站| 欧美日本中字另类在线| 天天摸,夜夜摸| 日日噜噜夜夜久久亚洲一区二区| 伊人午夜福利视频| 在线视频亚洲无码| 小情侣高清国产在线视频| 久久熟女人| 60秒免费视频| 99婷婷一区二区| 97人人模人人爽人人| 乱码熟妇人妻久久久| 国产精品另类| 亚洲国产成人综合碰碰三级经典| 超碰人妻天天干| 俺去久久| 玖玖爱伊人玖玖爱| 人妻无一区二区三区| 欧美黄片视频在线观看免费| 超碰人人妻| 日韩综合第八区国产精品| 无遮挡一级毛片视频免费的| 欧美一区二区亚洲天堂| 玖玖爱一区在线| 91夜色| 日韩午夜精品一区二区三区电影| 欧美性战999| 三及片网站| 乱伦av麻豆| 999狠狠综合| 日韩欧美久久婷婷网站| 一区AV| 欧美美女自慰一区二区三区| 欧美成人精品一区二区男人蜜臀 | www.av不卡中文字幕| 亚洲影院成人| 口爆综合网| 精品日韩产品在线,日韩在线不卡视频,欧美日韩免费专区/久, |