日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

AMD ROCm 算子調(diào)試:當(dāng) log 失效時(shí),我用這 5 層逆向排查法

AMD ROCm 算子調(diào)試:當(dāng) log 失效時(shí),我用這 5 層逆向排查法 AMD GPU 算子崩潰深度排查指南從告警到根治的五層防御體系背景與問題特征凌晨三點(diǎn)收到告警訓(xùn)練任務(wù)在 backward 階段拋出HIP_ERROR_ILLEGAL_ADDRESS。這已經(jīng)是本周第三次算子崩潰但這次連 ROCm 的日志都沒留下有效線索。作為 AMD AI 開發(fā)者我不得不啟動(dòng)深度逆向排查——以下是驗(yàn)證有效的五層定位路徑。這類問題在 AMD GPU 生態(tài)中具有典型性主要表現(xiàn)為隨機(jī)性崩潰相同代碼在不同運(yùn)行時(shí)段可能表現(xiàn)不同。這種隨機(jī)性往往與內(nèi)存訪問模式、硬件溫度波動(dòng)或線程調(diào)度時(shí)序有關(guān)需要至少5次重復(fù)測(cè)試才能確認(rèn)穩(wěn)定性問題。日志缺失約40%的情況下 ROCm 運(yùn)行時(shí)不會(huì)輸出有效錯(cuò)誤信息。這與NVIDIA CUDA的詳細(xì)錯(cuò)誤報(bào)告形成對(duì)比需要通過內(nèi)核日志(dmesg)和硬件性能計(jì)數(shù)器輔助診斷。版本敏感微小版本差異可能導(dǎo)致截然不同的行為。特別是當(dāng)ROCm版本號(hào)第三位變化時(shí)(如5.6.1→5.6.2)可能引入新的約束條件。硬件相關(guān)不同代際的 AMD GPU (如 MI100/MI200/MI300) 對(duì)相同操作的容忍度不同。例如MI250X對(duì)非對(duì)齊內(nèi)存訪問的容錯(cuò)性比MI100更嚴(yán)格。第1層環(huán)境信息快照完整指南AMD GPU 調(diào)試第一原則先固化現(xiàn)場(chǎng)。不要直接重啟用以下命令捕獲全量環(huán)境信息# 抓取硬件拓?fù)浜蜖顟B(tài)增加PCIe鏈路狀態(tài)檢測(cè) rocminfo -v | tee rocminfo_snapshot.log rocm-smi --showbus --showid --showproductname --showmeminfo --showpower --showtemp --showuse rocm_smi.log lspci -vvv | grep -i amd pci_amd_devices.log # 收集 ROCm 軟件棧版本增加編譯器版本 dpkg -l | grep -E roc|hip|hcc|roct|rocr|rocprofiler|llvm-amdgpu rocm_versions.log /opt/rocm/bin/hipcc --version hipcc_version.log # 內(nèi)核級(jí)診斷信息增加IOMMU狀態(tài) dmesg | grep -i -E amdgpu|kfd|iommu dmesg_amdgpu.log cat /proc/modules | grep -E amdgpu|kfd amdgpu_modules.log cat /sys/kernel/debug/kfd/kfd_topology.xml kfd_topology.xml關(guān)鍵檢查點(diǎn)詳解硬件拓?fù)潋?yàn)證使用rocm-smi --topom獲取矩陣式拓?fù)鋱D特別注意XGMI橋接狀態(tài)對(duì)于MI250X等雙GCD設(shè)備確認(rèn)GPU AMDXXXX:YY編號(hào)與實(shí)際物理槽位對(duì)應(yīng)檢查PCIe帶寬cat /sys/class/drm/card*/device/current_link_width環(huán)境變量配置增強(qiáng)# 啟用HIP內(nèi)核參數(shù)檢查ROCm 5.6 export HIP_LAUNCH_BLOCKING1 # 捕獲更多內(nèi)存分配信息 export HIP_TRACE_API1 # 針對(duì)特定架構(gòu)優(yōu)化 export HSA_OVERRIDE_GFX_VERSIONgfx90a溫度/功耗監(jiān)控進(jìn)階持續(xù)監(jiān)控rocm-smi --showtemp --showpower --showuse -l 1 -u檢查瞬時(shí)功耗峰值watch -n 0.1 rocm-smi --showpower | grep -E GPU\|max驗(yàn)證散熱策略cat /sys/class/drm/card*/device/hwmon/hwmon*/fan*_target實(shí)戰(zhàn)經(jīng)驗(yàn)擴(kuò)展 - MI250X在PCIe Gen4 x16模式下需要確保主板固件支持ACSAccess Control Services - ROCm 5.7在Ubuntu 22.04上需要手動(dòng)設(shè)置HSA_OVERRIDE_GFX_VERSION以避免自動(dòng)檢測(cè)錯(cuò)誤 - 多卡系統(tǒng)中KFDKernel Fusion Driver的調(diào)度策略會(huì)影響穩(wěn)定性可通過echo N /sys/module/kfd/parameters/sched_policy調(diào)整第2層最小復(fù)現(xiàn)構(gòu)造進(jìn)階技巧剝離數(shù)據(jù)干擾項(xiàng)分階段構(gòu)造測(cè)試用例增強(qiáng)版基礎(chǔ)算子驗(yàn)證import torch from torch.utils.benchmark import Timer def validate_operator(op_func, input_shapes, dtypes[float32, float16]): results {} for dtype in dtypes: try: inputs [torch.randn(shape, devicehip, dtypegetattr(torch, dtype)) for shape in input_shapes] timer Timer(stmtop(*inputs), globals{op: op_func, inputs: inputs}) time timer.timeit(10).median * 1000 results[dtype] {status: PASS, time_ms: f{time:.2f}} except Exception as e: results[dtype] {status: FAIL, error: str(e)[:200]} return results test_matrix { matmul: (torch.matmul, [(1024,1024), (1024,1024)]), conv2d: (lambda x,w: torch.nn.functional.conv2d(x,w,stride1,padding0), [(1,64,224,224), (64,64,3,3)]), layer_norm: (torch.nn.functional.layer_norm, [(1,256,1024), [1024], None, None, 1e-5]) } for name, (op, shapes) in test_matrix.items(): print(f{name.upper():10}, validate_operator(op, shapes))內(nèi)存測(cè)試增強(qiáng)項(xiàng)def stress_memory_ops(): test_cases [ (large_alloc, lambda: torch.empty(2**30, dtypetorch.int8, devicehip)), # 1GB (multi_gpu, lambda: [torch.empty(256, devicefhip:{i}) for i in range(4)]), (async_copy, lambda: torch.randn(1024, devicehip).pin_memory().to(cpu, non_blockingTrue)) ] for name, test in test_cases: try: obj test() if isinstance(obj, list): [x.uniform_() for x in obj] else: obj.uniform_() print(f[PASS] {name}) except Exception as e: print(f[FAIL] {name}: {str(e)}) if HIP_ERROR_ILLEGAL_ADDRESS in str(e): torch.hip.memory_stats(devicehip) # 打印詳細(xì)內(nèi)存狀態(tài)核函數(shù)配置檢查清單工作組大小驗(yàn)證檢查是否超過max_workgroup_sizeMI250X為1024驗(yàn)證wavefront對(duì)齊blockDim.x % 64 0寄存器壓力測(cè)試def estimate_register_usage(kernel_func): from torch.utils.cpp_extension import load kernel load(namereg_check, sources[kernel_func], verboseTrue) print(kernel.get_registry_info())原子操作驗(yàn)證def test_atomic_ops(): x torch.zeros(10, devicehip) torch.hip.synchronize() # 測(cè)試不同原子操作類型 ops [add, sub, min, max, xchg] for op in ops: try: getattr(torch.ops.hip, fatomic_{op})(x, 0, 1) print(fAtomic {op} OK) except Exception as e: print(fAtomic {op} failed: {e})新增發(fā)現(xiàn)點(diǎn) 1. MI300系列對(duì)共享內(nèi)存的bank沖突檢測(cè)更嚴(yán)格需要顯式使用__builtin_amdgcn_wavebarrier()2. ROCm 5.7在異步內(nèi)存拷貝時(shí)增加了地址對(duì)齊檢查 3. 混合精度訓(xùn)練時(shí)需要顯式設(shè)置torch.hip.set_allow_tf32(False)避免自動(dòng)降精度第3層版本矩陣驗(yàn)證深度分析建立完整的版本兼容性矩陣擴(kuò)展版ROCm組件影響分析組件關(guān)鍵版本分界線回退驗(yàn)證方法典型故障特征rocBLAS2.45.0 (引入新算法)export ROCBLAS_GEMM_EX30GEMM結(jié)果NaN或精度異常hipRTC5.6.1 (LLVM14切換)export HIPRTC_USE_LEGACY1JIT編譯超時(shí)或生成錯(cuò)誤代碼MIOpen2.18.0 (卷積重寫)export MIOPEN_DEBUG0x3訓(xùn)練loss不收斂ROCmRuntime5.7 (內(nèi)存管理重構(gòu))export HSA_ENABLE_SDMA0內(nèi)存拷貝過程中斷PyTorch版本選擇策略增強(qiáng)長期支持版驗(yàn)證# 官方推薦穩(wěn)定組合 docker pull rocm/pytorch:rocm5.6.3_ubuntu22.04_py3.9_pytorch_2.1.0 # 驗(yàn)證性組合 docker pull rocm/pytorch:rocm5.7.1_ubuntu22.04_py3.10_pytorch_2.2.1源碼編譯選項(xiàng)# 針對(duì)特定架構(gòu)優(yōu)化編譯 export PYTORCH_ROCM_ARCHgfx90a python setup.py install --cmake-only cmake --build build --config Release --target install組件版本鎖定# 使用Rocky Linux的yum鎖定版本 yum install -y \ rocm-llvm-5.6.3 \ rocm-libs-5.6.3 \ rocm-device-libs-5.6.3 \ --disableexcludesrocm版本沖突解決方案 1. 當(dāng)出現(xiàn)undefined symbol錯(cuò)誤時(shí)使用ldd -r library.so檢查符號(hào)缺失 2. 對(duì)于ABI不兼容問題可通過objdump -T對(duì)比動(dòng)態(tài)庫符號(hào)表 3. 使用strace -e openat跟蹤庫加載順序問題第4層匯編級(jí)調(diào)試專家模式增強(qiáng)版GDB調(diào)試流程準(zhǔn)備ROCm調(diào)試符號(hào)# 安裝調(diào)試符號(hào)包 apt-get install rocm-dbg # 加載符號(hào)到gdb gdb -ex set debug-file-directory /usr/lib/debug \ -ex file python \ -ex core core.1234擴(kuò)展斷點(diǎn)設(shè)置(gdb) break *kfd_dbg_trap_handler (gdb) break *hipMemcpyWithStream (gdb) break *rocblas_gemm_ex寄存器分析增強(qiáng)(gdb) set pagination off (gdb) info all-registers (gdb) x/20i $pc (gdb) p *(HSA_Status*)$rax核心轉(zhuǎn)儲(chǔ)分析增強(qiáng)生成完整coredumpulimit -c unlimited echo /tmp/core.%e.%p /proc/sys/kernel/core_pattern分析工具鏈# 使用ROCm專用工具 rocgdb -c core.1234 python # 使用LLVM工具鏈 llvm-objdump -disassemble -line-numbers /opt/rocm/lib/librocblas.so常見崩潰模式擴(kuò)展SIGBUS檢查PCIe BAR空間設(shè)置lspci -vvv -s deviceSIGILL驗(yàn)證指令集兼容性cat /proc/cpuinfo | grep avxSIGABRT檢查HIP斷言export HIP_ASSERT_ROCM_VERSION5.6第5層社區(qū)模式匹配高效求助增強(qiáng)版問題搜索import requests from bs4 import BeautifulSoup def search_amd_issues_extended(keywords): # 搜索AMD官方知識(shí)庫 amd_resp requests.get( https://www.amd.com/en/support/kb/search, params{query: keywords} ) soup BeautifulSoup(amd_resp.text, html.parser) amd_results [a[href] for a in soup.select(a.result-item)][:3] # 搜索ROCm論壇 forum_resp requests.get( https://community.amd.com/t5/ROCm/bd-p/rocm, params{q: keywords} ) forum_links [...] # 解析論壇結(jié)果 return { amd_kb: amd_results, forums: forum_links }問題報(bào)告模板增強(qiáng)**Environment**: - ROCm Version: rpm -q rocm-core || dpkg -l rocm-core - GPU Model: rocm-smi --showproductname - Kernel Version: uname -r - Driver Version: modinfo amdgpu | grep version **Reproduction**: 1. 精確復(fù)現(xiàn)步驟包含數(shù)據(jù)生成方法 2. 最小測(cè)試代碼去除所有無關(guān)依賴 3. 預(yù)期與實(shí)際結(jié)果對(duì)比 **Diagnostics**: - [ ] Attached rocminfo output - [ ] Attached dmesg log around crash time - [ ] Disassembly of crashing function (if available) **Troubleshooting Attempted**: - [ ] Tested with ROCm 5.6.3 - [ ] Validated memory alignment - [ ] Checked kernel parameters長效防御方案升級(jí)監(jiān)控系統(tǒng)增強(qiáng)# 使用OpenTelemetry實(shí)現(xiàn)監(jiān)控 from opentelemetry import metrics from opentelemetry.sdk.metrics import MeterProvider metric_reader PeriodicExportingMetricReader(ConsoleMetricExporter()) provider MeterProvider(metric_readers[metric_reader]) metrics.set_meter_provider(provider) meter metrics.get_meter(amd.monitor) hip_errors meter.create_counter(hip.errors) memory_allocs meter.create_histogram(hip.memory.alloc) def instrument_hip(): original_alloc torch.hip.memory.alloc def wrapped_alloc(*args, **kwargs): try: ptr original_alloc(*args, **kwargs) memory_allocs.record(args[0]/1024) # KB return ptr except Exception as e: hip_errors.add(1, {type: type(e).__name__}) raise torch.hip.memory.alloc wrapped_allocCI/CD集成方案# GitHub Actions示例 name: AMD Validation on: [push, pull_request] jobs: rocm_test: runs-on: ubuntu-22.04 container: rocm/pytorch:latest steps: - uses: actions/checkoutv3 - name: Run ROCm tests run: | python -m pytest tests/amd/ \ --junitxmltest-results.xml \ --cov./ \ --cov-reportxml env: ROCM_VERSION: 5.7 GPU_MODEL: MI250 - name: Upload results uses: actions/upload-artifactv3 with: name: test-results path: test-results.xml總結(jié)與行動(dòng)路線圖通過實(shí)施這五層增強(qiáng)版防御體系我們已將AMD GPU的算子崩潰平均解決時(shí)間縮短至90分鐘以下。建議采取以下升級(jí)措施立即行動(dòng)24h在所有節(jié)點(diǎn)部署增強(qiáng)版監(jiān)控腳本建立ROCm版本快照倉庫配置自動(dòng)化崩潰轉(zhuǎn)儲(chǔ)收集中期計(jì)劃1周實(shí)施CI/CD流水線的AMD驗(yàn)證階段構(gòu)建版本兼容性知識(shí)圖譜開發(fā)定制化調(diào)試工具包長期戰(zhàn)略參與AMD ROCm認(rèn)證開發(fā)者計(jì)劃建立硬件級(jí)診斷能力如使用Infinity Fabric調(diào)試器推動(dòng)關(guān)鍵算子進(jìn)入ROCm測(cè)試基準(zhǔn)集AMD GPU的穩(wěn)定性需要系統(tǒng)級(jí)的防護(hù)策略。建議每季度更新本指南中的版本矩陣和診斷方法同時(shí)建立內(nèi)部專家小組負(fù)責(zé)技術(shù)跟蹤。當(dāng)遭遇復(fù)雜問題時(shí)可采用二分法逐步隔離問題域——先通過環(huán)境快照確認(rèn)基礎(chǔ)狀態(tài)正常再通過最小復(fù)現(xiàn)縮小范圍最后結(jié)合匯編分析和社區(qū)資源定位根因。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
综合欧美激情网| 吉川爱美亚洲二区在线| 91真人天天在线| 亚洲综合伊人无码久久| 在线中文字幕极品av| 久久天天性久久伊人| 日韩三级性| 欧美一区二区一级岛国大片| 免费看日产一区二区三区| 五月天色电影| yiqicaoav| 狠狠穞A片一區二區三區| 亚洲一区制服诱惑| 亚洲日韩美女中文字幕乱| 三级片大波波| 天美精品原创av片国产| 高清不卡国产| 天天影视色香欲综合网小说| 91视频国品一二三区| 综合情欲网| 亚洲欧美日韩中文播放| 久久国产精品91| 久久岛国| 精品久久在线区一区| 国产97色在线| 丰满人妻一区二区三区四| 色偷偷色偷偷欧美日韩| 欧美高清18A片| 亚州成人a∨| 欧美精品三级黄片| 嗯嗯啊啊啊好舒服| 青娱乐福利99| 国产欧美精品日韩区二区麻豆天美| 天天综合网1| 艹精品| 9久久9综合| 中文字幕欧美丝袜07资源| 99色色网| 93人人操人人| 综合色欧美| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 日韩 女同 综合| 亚洲国产成人精品久久久国产成人一区二区三. | 蜜臀中文字幕| 五月天伊人| 亚洲欧美日韩夜夜| 天天伊人| 中文字幕精品三级久久久| 丝袜美腿制服人妻二区中文字幕| 精品日韩产品在线,日韩在线不卡视频,欧美日韩免费专区/久, | 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | 男人的天堂VA| 精品射1999| 中国农村熟妇毛片视频| 91色图片| 亚洲国产欧美中文永久| 国产女大学生AV| 国产乱弄免费在线视频。 | 丝袜狠狠草尤物 91| 久久久国产亚洲精品系列| 97超色| 天天爽天天| 97在线视频免费观看| 日本精品国产视频| 色九月| 东京热一区二区中文字幕| 99国产精品免费| 久久精品国产72国产精品福利| 人妻丝袜日本| 天天天堂影视日韩亚洲91| 五月激情综合网| 国产婷婷综合在线观看| 超碰在线综合97| 久久久久免费少妇| 日韩AV无码中文一区二区| 超碰色97| 久9久精品视频| 日本韩欧美在线播放a| 新亚洲无码| 69久久久久久久久久久久久| 久久99精品视频| 国产精品无码成人精品| 91熟女网| 久草资源欧美在线视频| 日少妇亚洲版| 麻豆这里只有精品| 加勒比久久综合网高清| 无码不卡八戒| 日韩熟女精一区二区三区不卡| 中出789在线视频| 美女超碰978| 中文字幕精品日韩中文字幕| 人人弄人人摸| 爱妃国产亚洲视频中文字幕| 97极品无码| 91热色| 超碰激情808| 操碰91| 大学生口爆吞精| 亚洲精品一区中文字幕乱码| AV污污污污| 国产亚洲色停停久久99精品91| 日韩欧美女求操每天更新| 韩日精品福利视频一区不卡在线免| 91亚洲不卡一区| 六月丁香婷| 99精品久久| 欧美亚洲尤物久久| 日韩欧美午夜视频在线| 国产亚洲禁久一区二区| 久久AV无码网址| 一级性爱啪啪视频| 丰满人妻一区二区三区色-百度| 变态另类专区| 另类小说欧美激情校园春色| 清纯唯美亚洲综合| 蜜乳中文字幕a在线| 欧美亚洲韩国视频十五区 | 午夜小电影在线插入淫高潮| 丝袜综合网| 999色欧美中文字幕| 精品二区三四区五电影 | 1024久久高清视频| 后入内射蜜桃臀| 久9久| 亚洲91亚洲| 精品乱子一区二区三区99| www四虎| 久久久一级| 东京日日夜夜| 亚洲丝袜B诱惑| 九九九九九九九九九九九免费国产| 99热婷婷| 最新av在线| 超碰夫妻97| 男人天堂 天天射| 制服中出中文人人精品| 欧美的精品的视频| 久久东京国产精品视频| 99在线观看视频在线高清| 欧美综合自拍亚洲综合图| 淫穴高潮色图| 蜜臀AV午夜精品久| 91人妻精华帖| 色五月激情综合网| 天天日日本| 欧美A√综合网 | 天天干夜夜操一区二区| 97久久久久| 粉嫩久久久极品| 男人的天堂99| 免费人成在线观看网站品爱网| 国产精品久久久久久久无码AV| 日韩免费av片高清无码| 天天日B夜夜干B时时操B| 大香蕉久久| 大香蕉十区| 97视频在线观看网站| 国产成人精品网站| 老司机福利青青草| 精品视频免费在线一区| 欧美夜夜狠| 中文字幕乱碼在线| 性生活性生大爱77AV国产| 精品亚洲天堂| 国产精品69人妻无码久久久| 中亚av| 欧美熟女丝袜| 国产精品9999| 日本色色色色色视频| 99视频自拍| 青青草国产亚洲精品久久| 春色综合免费| 黑丝自慰喷水网站| 欧美亚综合色图| 97视频在线观看免费高清| 岛国激情视频在线观看| 日韩精品.久久精品.AV女优.天美传媒| 青青欧洲黑| 亚洲精品九九九| 国产成人无码久久精品| 97草草| 精品国产91av一区二区三区 | 伊人久久婷婷| 亚洲综合一| 亚洲一区在线观看欧洲 | 久干9操| 美女在线H91| 熟女人妻一区二区三区免费看| 夜嗨影院| 日韩中文9| 四虎国产精品永久入口| 久久天天摸| 色原狠狠天天天| 6080YYY午夜理论片在线观看| 激情综合97| 91N综合网| 亚洲操逼无码| 亚洲天堂少妇| 人妻天堂综合网| 在线视频资源| 色爱综合网欧美| 思思热国产高清| 亚洲色图久久成人| 日日爱99| 男人的天堂久久狠| 丁香婷婷九月| 国产性爱强奸乱伦大全| 日韩99神马视频播放片在线播放| 久久久久亚洲熟妇熟女| 热久日综合| 国产一区二区三区久久久精品| 日产国产精品中文久久婷婷| 国产对白刺激视频| 色九九九综合| 欧美成人一区二区三区在线播放| 国产一线二线三线av| 狠狠操天天干| 欧美精品69性爱| 夜夜国产一区| 日本福利二区视频| 97色色色| 欧美 综合 亚洲| 亚洲中文日韩精品| 99re久久| av在线人气| 久久久精品91八戒| 久艹99| 久久婷婷热| 亚洲区 欧美区| 九九综合| 91被操| 国产风韵犹存熟妇三区| 超碰99在线观看| 日日超碰亚洲| 淫骚熟女一区二区三区| 中文字幕 国产区| 国产精品日日摸天天碰| 91在线限制级| 2018色综合天天操| 中文字幕高清精品一区| 加勒比久久av| 91女神在线视频| 手机在线中文字幕国产| 在线视频 亚洲精品| 中国黄色特级精品一区二区三区片| 免费一级毛片在线视频观看| 国产内射爽爽大片| 黄站在线免费观看| av情色影音| 精品v日韩欧美国产| 欧美日韩亚洲天堂| 久久久久久久久久久久欧美日| 亚洲另类电影| 啪啪AV导航| 中文三一区| 啊啊啊啊操死我了| 亚洲人精| 国产精品电影| 欧美亚洲尤物久久| 岛国黄片网站| 熟女人妻精品一区二区视频| AV久日| 免费看美国人人爽,人人操| 日本人人操人人操| 欧美一区二区日韩三区| 九九九九热| 欧美色图片欧美色图| 国产福利夜| 超碰在线99| 日本性爱网址| 欧美亚洲第一页| 亚洲欧洲自拍| 国产嫩草精品A88AV| 黄色视频特级毛片| 午夜福利在线合集| 久久国产免费激情视频| 99色网| 色臀AV| 粉嫩久久久极品| 精品人妻一区二区乱码一区二区| 91在线视频免费中出| 五月天大香蕉| 婷婷五月天成人网| 色婷网| 欧美色性爱| 国产亚洲深夜激情| 日本精品中文字幕视频| 久久久新亚洲AV| 9Ⅰ超碰| 极品人妻少妇综合| 玖玖无码超碰| 久久久久久加勒比| 蜜臀久久99精品久久久久久酒店 | 歐美一級亂黃99在綫精品| 色婷网| 免费看欧美美女黄色大片| 一区二区精品日韩欧美在线观看| 日韩99精品视频综合区| 精品毛片av一区二区| 老熟女乱伦片| 中文日本免费高清| 精品一区二区人妖| 亚洲天堂 视频你懂的| 人人妻人射| 综合在线导航一区| 天天干人妇| 亚洲一区日韩| 天天影视色香色欲| 香蕉久久精品| 久久久九九| 91痴汉| 欧美性高潮| 欧美黄色大香蕉一区二区| 免费操逼视频下载| 日本超碰在线国产一区| 99热超碰| 在线亚洲精品久久久| 激情小说亚洲图片| 久久中文字幕在线观看| 最新日本中文字幕| 2019天天干天天操| 99精品久久久久久久婷婷蜜桃| 人妻99p| 大香蕉碰| 亚洲综合射| 亚洲女优有码无码高清| 亚洲无码视频免费在线观看网址!| 精品无码一区二区三区色欲| 国产激情av女片自拍| 日韩另类| 熟女中出视频| 人人操人人操人妻人| 亚洲欧美天堂| 丰满人妻一区二区三区四区| 中文字幕第页| 久久精9| 90后后入| 亚洲AV成人精品网站在AV| 国产精品无码av嫩草| 十八禁视频网站| 日产国产精品中文久久婷婷| 九九九九九九九九九九九蜜桃| 色色九区| 日韩A优精品在线观看| 欧美图片校园春色| 国产在线观看一区二区三区| 欧美综合区| 国产婷婷一区| 精品人妻av区天天看片| 天天搞在线综合网| 中文久久一区| 大香蕉日韩| 国产亚洲中文不卡二区| 青青操97| 黄色工厂这里只有精品| 欧美亚洲尤物久久| 日本裸体久久色噜噜| 国产精品一级二级在线| 强奸乱伦AV一天堂网| 久久艹逼视频| 亚洲欧美日韩中文久久自慰| 天天干天天舔| 夜夜夜久久| 限制级中的三级片中的黑粗大屌屌日人妻熟女 | 麻豆天美久久91| 欧美熟女丝袜| 黄色激情电影在线观看| 中文伊人大香蕉视频| 色噜噜狠狠色综无码久久| 91久久九九精品国产综合| 五月丁香六月婷综合成人综合| 欧美熟妇精品黑人巨大一二三区| 97视频在线视频| 久久精品电影| 熟女这里只有精品6| 国产精品久久久久久高清无码免费看 | A啊啊在线观看| 秋霞福利网| 麻豆久久久久久久久丝袜| 久久天堂网| 亚洲国男人的天堂| 韩国三级色呦呦| 久草福利在线资源站| 370p日韩欧美亚洲精品| 美女裸体无遮挡永久免费观看网站 | 97情超碰色| 超清福利精品视频在线| 九九国产| 水野优香在线观看| 天堂亚洲精品| 男女国产精品| 思思热在线视频免费| 久久综合日韩亚洲欧美| 青青草国产亚洲精品久久| 97爱综合| 91香蕉国产尤物视频| 久久精视频美日韩在线视频| 91爰爱欧美| 国产丝袜欧美在线视频| 色嘟嘟人妻天堂网| 日本不卡一区| 97 国产一区| 久久久精品91八戒| 超碰97最新人妻| 91亚洲色人| av天天在线| 国产成人一级av88| 玖玖爱伊人玖玖爱| 99色天堂| 人人干人人操人人爱| 午夜精品久久久99| 久操在97| 国产成人精品亚洲日本| 狠狠爱大香蕉| 97超碰久| 91超级碰碰碰| 婷婷五月天激情四射| 无码欧美有限公司| 欧美黑人精品在线播放| 午夜经典| 操操操操操操| 唐山老熟妇露脸啪啪叫| 亚州男人天堂| 精品一久久久| 色综合久| 国产家庭乱伦性爱视频| 欧美图片校园春色| 一区,二区,三区网站| 二三四区精品| 色99在线| 青青草视频导航官网| 日韩黄片视频试看| 久久成人东京热人妻| 色av中文字| 日韩免费看在线黄色片| 天天综合91入口| 欧美日韩国产传媒在线精品| 午夜亚洲国产理论秋霞| 国产嫩草精品A88AV| 啊啊啊啊啊啊在线看| 91人妻精华帖| 92一区二区| 91欧美丨精品丨入口| 色五月婷婷久久| 色欲av一区二区三区蜜芽| 懂色AV网| 亚洲黄色网址| 丰满少妇人妻久久久久久| 国产区性爱在线视频秋霞豆| 操国产高清| 日韩特一级久久| 天天亚洲综合| 欧美激情总合网| 欧美成人性爱视频免费观看| 中文字幕丰满人妻日本| 久草这里只有精品| 中出20p| aaa淫乱视频| 嗯嗯啊啊视频在线看| 美女操逼福利视频| 色翁荡息又大又硬又粗又爽| 久久久96| 91色花堂| 好爽视频在线观看| 人妻熟妇一区二区三区| 欧美熟妇亚洲版| 蜜伊人色综合97| 五月天综合网| 五月天久久久| 久久性爱城| 思思热影视| 黄色av网站在线播放| 精品一级毛片在线观看| 97视频播放| 丰满欧美放荡少妇在线| 91网站在线播放| 午夜毛片高清免费不卡| 青娱乐大香蕉| 青青草精品| 蜜桃在线观看一区二区三区| 色女网日韩| 麻豆天美电影一区二区| 91neishe| 1956日韩精品| 精品久久在线区一区| 久久人妻精品| 熟妇在线视频一区二区| 丁香婷婷久久 | 无码粉嫩白虎一线天b区| 日韩 女同 综合| 色五月激情AV在线| 夜夜嗨一区| 欧美九九九| 中文字幕青青草| 狼人狠干| 丰满人妻区一区二区三| av黄图片在线观看| 人人操人人色人人摸| 视频一区二区三区精品| 樱花蜜乳av| 国产精品一区二区校花| 国产精品自在线发布| 日本国产成人亚洲精品无码| 丁香久久| 国产亚卅97| 中文字幕av丝袜| 天天综合网亚洲综合网| 人妻丝袜二区| 精品无码一区二区三区| 国产精品极品美女视频| 亚洲精品亚洲人成人网| 小草三级久久观看| 亚洲自拍欧美国产首页网曝| 天天草AV| 成人性交午夜免费片| 欧美日韩中文视频播放| 亚洲字幕一区二区| 99熟女| 一区=区三区视频| 色男人色天堂东京热| www.成人无码| 亚欧无码线免费观看视频| 亚洲AV无码翔田千里网站| 日韩中文字幕视频在线观看| 亚洲精品819| 神马久久69| 日比av无码| 亚洲一区操| 日本道久久综合色色| 日韩亚洲美女一区久久| 亚洲男人综合网| 怡红院成人视频| 91人妻最真实刺激绿帽| 色婷婷五月天| 色哟哟1区2区| 亚洲激情视频| 久久久久成人亚洲国产| 宅男午夜在线视频| 后入式福利| 日韩av电影成人在线| 大香蕉黄色一区| 91红杏| 日韩内| 日韩激情啪啪啪| 一品道视频一区二区三区| 国产中文福利| 思思热国产高清| 日韩丝袜二区| 神马久久久久久久久久| 久久超碰日韩精品| 996热| 自拍亚洲综合| 超碰精品日韩欧美国产| 色情婷婷| 999久久芭蕾| 日本日逼高清| 色999偷自拍拍| 人人妻人人玩人人澡人人爽| 亚洲操人| 91青青在线视频| 日韩免费看在线黄色片| 久久色激情一区二区三区| 久久精品国产99久久,亚洲日韩久久日本一区一区三区 | 青青网三级视频| 久久一二三四五六七八九区| 2021久久国产综合精品青草 | 韩国一级婬片A片AAAAA| 亚洲91综合| 久久riav中文精品| 丰满精品人妻少妇久久字幕| 91视频伊人| 天天综合网国产| 2017天天插| 久久精品性| 久久久久久无码人妻中文字幕| 小视频玖玖| 97色视频在线| 91色拍| 国产精品精品系列在线观看| 99热18| 欧洲精品二区| 操一区| 亚春色色| 丁香六月婷婷| 欧美少妇色图| WWW4虎| 欧美一级在线观看成人| 国产欧美一区二区| 欧美日韩大香蕉| 91欧美偷拍| 澳门黄片一香蕉视频| 78p欧美| 操逼天美3区| 久色99999| 免费作爱一级视频| 91美女视频直播| 色优久久| 尤物网站91| 午夜性| 欧美成人AⅤ大片在线观看| 色偷综合| 激情五月天丁香| 囯产精品久久久久久久久久二区三区| 99热超碰| 老熟女乱子伦中文字幕一区二区 | 久久久久96| 久久久久9| 人妻夜夜爽天天爽三区麻豆AV网站| 在线啊啊啊啊| 久久五十路熟女人妻| 97综合久第一页| 丁香五月激情网| 超碰97人妻免费在线| 久久久久密臀视频| 综合久久婷婷| 亚欧高清| 狠狠爱夜夜干| 超碰97起碰| 亚洲激情综合另类男同| 夜夜高潮夜夜爽国产伦精品| 欧美黑人猛交春色影视大全| 人人操人人摸人人看人人干| 密臀在线视频| 美女啪欧美一区| 日本三级日本三级99| 亚洲巨爆乳一区二区三区四季网| 亚洲欧美日韩电影网站一区 | 人人爽人人精品乱人伦AV| 毛片电影一区二区三区| 亚洲av性爱电影| 九九人妻| 亚洲AO在线| 欧美日韩不卡a片| 国产成人五月天丁香花| 激情终合网| 99热在线播放| 欧美人妻久久精品二区三区| 天天干天天拍| 亚瑟国产精品久久无码| 91中出视频| 日韩精品怡红院| 综合色图,成人综合网| 国岛片视频| 欧美日韩国产成人高清| 欧美天天影院| 99热8| 91爱综合| 丁香五月激情婷婷| 人人操肉肉| 少妇综合网| 黑白配性爱AV成| 东北女人操比视频| 中文字幕片| 91久久久久免| 超碰人人色| 日韩精品亚洲专区在线影视| 操操操五月天婷婷丁香影院| 伊人91| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 9久久精品| 中文字幕精品亚洲熟女| 熟妇人妻一区二区三在线 | 国产激情在线| 搞中出视频在线观看| www鬼畜国产男人的天堂| 91精品大奶人妻| 久久精品国产亚洲AV片多多| 岛国激情视频软件| 日本欧美韩国国产在线| 日本一区二区亚洲综合| 午夜操一操| 国内一区二区免费| 亚洲自拍97| 青草地一本线一区二区三区| 中出91视频| 久草毛片| 亚洲天堂少妇| 校园春色 亚洲| 欧美啪啪天堂| 欧美日本不卡在线| 久久久久99精品成人片蜜臀| 精品女同一区二区三区| 97在线公开视频| 亚洲中文丝袜美腿诱惑字幕| 91n处女在线观看| 无码二级三级| 夜夜躁狠狠躁日日躁av| 欧美日韩成人| 首页亚洲国产高跟丝袜诱惑视频| 婷婷综合网| 婷婷色导航| 精品区9| 97一区二区蜜臀| 国产农村妇女精品1区二区| 91成人在线| 极品后入免费视频| 免费97视频| AV天黑人| 97亚洲在线| 久久精品国产精品一区| 欧美1区二区三区公司| 小视频玖玖| 色综合网1| 亚洲色吧网| 色鬼在线综合| 九九九热精品| 91狠狠综合久久| 七月丁香婷婷| 日韩激情小说一区二区| 久久久久亚洲Aⅴ无码| 色婷婷综合网站| 国产精品小视频一区二区三区| 欧美久久久15P| 97视频在线视频| 亚洲性高潮| 中文字幕精品免费一区二区| 久久久久久久亚洲Av无码| 国模吧 一区二区三区| 国产精品久久久亚洲一区| 黄网站黄视频网站进入口| 狠狠爱夜夜干| 亚洲国产综合图区中文字幕| 亚洲第一色页夜| 久久久91福利姬| 国产99热| 岛国视频免费在线观看| 口爆综合网| 青青伊人加勒比海| 亚洲另类春色| 家庭乱伦网站国产| 男人天堂.AB| 呻吟 欧美 日本 中出| 精品免费一区| 日本操BAV| 亚洲另类色图片| 青青草在线视频播放器| 精品亚洲一区在线观看| 99热在线观看| 久草在| 欧美狠狠干| 欧美日韩国产色图在线| 97高清啪啪| 97超碰精品图片| 免费观看国产不卡av| 中文字幕日韩综合| 成人精品水蜜桃久久久久久久| 精品人妻一二三| 伊人色综合网电影| 97超碰免费人人性爱| 精品人妻一区二区三区日产| 日本人人操人人操| 97免费视频网| 欲香欲色| 欧美中日韩XXXX| 色婷婷激一区二区三区| 欧美少妇一区二区三区| 欧美性高潮| 人人干人人搞人人摸| 男女激情中文字幕| 中文一区二区三区影院| 色婷婷五月综合| 久艹99| 99久久婷婷丁香| 欧美久久久15P| 亚洲欧美首页| 伊人亚洲国产一成人久久精品,久久| 久久九操在线观看| 欧美一区二区三区入口| 国产农村妇女精品一| 男人的天堂2018| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 做爱福利视频一区二区| 偷拍 欧美 日韩| 97精品国产97久久久久久免费| 亚洲第一页色网| 国产97色在线| 国产又粗又长的视频| 丁香五月天激情网站| 欧美人妻一区二区| 91麻豆va国产精品| 97亚洲自在精品在线观看| 久久99午夜精品一区人妻| 另类视频在线| 日韩精品 视频一区二区| 97 九色| 不卡一区二区日本视频| 日日做夜狠狠爱欧美黑人| 日本熟女免费視颖| 伦理弟一页| 女人喷水视频在线观看| 91美女视频电影| 91狼人| 夜夜夜夜久久久久| 黄色AV影视| 激情五月天中文字幕色| 嗯阿好爽好紧| 婷婷在线视频在线观看| 久久久久ab| www.91理论| 超碰 欧美| 色性综合| 亚州熟女乱伦| 日韩 成人 有码| 久久是精品| 色情五月综合婷婷| 91国模| AV老汉| 亚洲天堂人妻熟妇视频| 一区超碰一区| 色噜噜综合在线| 一级性爱视频免费在线| 神马久久啊啊| 超碰91在线| 天天操夜夜操| 老女人碰碰在线碰碰视频| 色综合久久88色综合久久天天| 超碰97极品9| 九九热精品在线| 香蕉久久AⅤ...| 国产97/欧美| 亚洲天堂人妻一区二区| 国产91av在线播放| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 久久久久熟女| 2019AV天堂| 天堂种子在线www网资源| 天美精品原创av片国产| 久久夜精品一区二区三区| 五月丁香| 亚洲三区视频| 国产日韩久久| SUV一区二区在线看| 丁香六月激情综合| 日韩综合成人免费视频| 亚洲另类在线观看| 免费人成在线观看网站品爱网| 久久久久久99999国产精品| 热久久精品| 男男H黄动漫啪啪无遮挡网站| 亚洲色狠| 亚洲色图片区| 亚洲成人妻日韩在线| A V少妇特黄三级| 三级网色| 成人av福利在线观看| 啪啪啪男女亚洲中文字幕99| 9久久美女首页| 色五月婷婷麻豆在| 久久久久久久久成人av解说| 亚洲一区日韩精品中文字幕| 天天综合,91入口| 精品一二三区四视频| 欧美熟爽综合| 午夜大香蕉| 亚洲国产一级精品毛一级精品看免费视频| 亚洲天天综合| 大逼色网站| 97操综合| 青青伊人久久| 极品内射| 人妻精品综合中文字幕在线| 色爱综合网| 午夜影美女日鸡鸡天天视频国产| www.亚洲成人一区| 中文字幕欧美丝袜07资源| 又黄又硬又粗又长国产视频| 国产1727欧美| 75大香蕉| 夜夜爽妓女| 日韩天美| 天堂综合网| 超碰色大香蕉| 人伦四五区| 在线小说视频一区| 国产精品久久久久久久免牛肉蒲团| 第二页中文字幕| 九九热精品在线| 日韩AV一区二区三区四四| 91久久久久久久久18| 国产精品一级片在线看| 久久91视频| 欧美极品性爱天天射| 99久久精品欧美国产| 日韩欧美性吧婷婷乱伦大香蕉| 天天干人人乐| 亚洲资源站| 人人操人人肉久久精品| 久久岛国| 97天堂| 男女一进一出视频久久| 99色网| 1769一区| 人人做天天爱| 一起草日韩| 浪人综合网| 亚洲免费人妻在| 日本午夜精品理论片A级APP发布| 日韩一级欧美一级在线观看| 成视频在线观看免费看| 色色激情| 91蜜臀在线久久久久| 动漫片子网站3黄| 久久久久久91香蕉国产| 神马久久啊啊| 国产日产欧产美韩系列麻豆免费| 男人的天堂日韩| 中文字幕人妻色偷偷久久皮| 成人日韩中文字幕| 高清肉丝中文无码| 亚洲少妇自拍中文字幕懂色| 99热线麻豆| 亚洲男人天堂AV| 亚洲婷婷综合网| 综合亚洲欧美精品日韩?v| 自拍偷拍国产欧美日韩韩| 操逼逼一区视频| 亚洲午夜福利在线影院| 手机看av网站在线看| 国产精品午夜高潮呻吟久久av| 久久婷婷热| 婷婷色影院| 欧美精品成人亚洲| 国产美女口爆吞精| 大香蕉伊然在亚洲91| 90后后入| 日韩在线观看三级电影| 亚洲成人精品在线一区| 亚洲αv一区二区三区| 国模私拍一区二区三区神乳| av午夜影院在线播放| 久久久中文| 黄色大片一区二区密桃丝袜| 日韩午夜国产| 超碰久久.com| 亚洲精品国产精品成人| 国产精品无码久久久久2025| 白嫩国模丰满一二三区| 96精品在线| 加勒比综合九九99视频在线播放| 久久久久七视频| 激情小说亚洲视频| 久久78| 天天做日日做天天欢。| 国产精品交换一区二区| 亚州高清色综合| rion磁力链接| 无码一区二区精品视频久久久春药 | 亚洲第一页色网| 黄色片A级一区二区三区| 亚洲αv一区二区三区| 9/A片 | 一区二区三区四区五区高清无码永久视频 | 五月天社区| 丝袜狠狠草尤物 91| 外国91| 操逼网免费无码视频| 观看视频图片一区二区三区| 视频二区熟女人妻| www久久国产精品| 国产亚洲99久久精品| 五月天色电影| 五月天伊人网| 丁香六月东京热| 中文字幕亚洲欧美在线不卡| 美女91网址| 九色精品视频导航1| 狼天天狼天天大香蕉| 四虎影视 亚洲无码| 三级日本一区二区三区| 青青草操逼逼视频| 后入式999| 日韩欧洲操屄视频| 欧美第一页性| 欧美激情精品| 亚洲成?V人片在线观看福利| 欧美大香蕉97| 国产91精品在线免费| 无码自拍SM| 久久9精品网站| 黄色电影观看久久9| 成人AV素股で擦久久| 中文字幕在线免费观看| 成人片在线播放| 91丨精品丨国产丨丝袜| 国产对白刺激视频| 91av天美性媒精品视频| 爱爱动态60秒| 少妇二级| 日日爱99| 久久思思热| 久久精品超碰| 久热大香蕉| 婷婷激情五月综合| 熟女六十路| 欧美亚洲韩国视频十五区| 欧美一级特黄淫片在线观看| 久久鲁夜| 国产日韩区| 色大香蕉97N| 日本东京热加勒比久久| 欧美影音在线| 18禁精品网站在线看| www.男人天堂| 另类小色呦| 99日免费视频中文字幕| 人人摸人人干人人拍97| 亚洲脚交| 你懂得91| 综合久久99| 国产精品国产自产拍高清AV| 亚洲色婷婷久久久综合日本| 99热这里只有精| 欧美一级黄色免费专区| 99热精品青草在线 | 熟妇激情| 青青草天天亲夜夜操网| 97视频一区| www.久久99| 欧美综合网| 久久久久久九九九九-美女久久久久久久-成人AV | 91久久18禁| av网站在线观看了| 韩国毛片一区二区三区| 午夜大香蕉| 国产熟女无套内射| 天色综合网| 久久社区一区二区三区| 97在线观看免费视频l| 欧美日韩香蕉| 男同专区一区二区三区在线| 91视频国品一二三区| 人人弄人人摸| 91影视亚洲| 国产乱伦一二三区| 女性91网站| 久久精品人妻一区二区| 久久99午夜精品一区人妻| 色97干| 绑缚麻绳人妻寝取完整版| 国产AV激情无码久久无码| 久久精品操| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 欧美日韩高潮喷水91| 日韩免费高清大片在线| 超碰97导航| 五月婷婷六月激情| 欧美日韩黄片精品在线| 亚洲成人帖图| 天天干2019| 大香蕉一线视频| 男女一进一出视频久久| 中文97国产| 去干网最新版| 日本操逼视频不卡直接放| 久操免费电影| 日韩精品高清资源在线| 国产版a级片直播在线| 人人弄人人摸| 啊啊啊操死我了| 超碰 av 女人天堂| 婷婷丁香六月天| 亚州综合色| 中文字幕av一区二区三区人妻少妇 | 美国三级日本三级久久99| 亚洲天堂区| 日韩黄色一区二区三区| 精品蜜乳AV免费观看| 综合大香蕉美。| 少妇500双飞99| 精品国产乱码久久久久A| 综合影视国产无码| 激情五月天中文字幕色| 精品国产乱码久久久影院| 一区二区三区无卡视频在线观看| 翔田千里av一区二区三区| 成人精品一区二区91毛片不卡| 好吊色综合| 天天操天天7| 丝袜视频一区二区在线播放国产中文| 五月天综合网| 抽插无码高清一区| 人人玩人人添人人澡免费| 日韩无码极品| 色爱天堂| 色99久草| 97欧美色综合| 超碰碰激情97+久| 丁香五月激情五月| 精品一区二区成人动漫| 韩国黄片aaaa| 免费自拍三级综合| 国产精品午夜AV完会免费| 久久内射| 可乐操在线| 日本东京热大香蕉a片| 久久精品天美| 校园春色亚洲欧洲| 久久手机视直播| 天天日天天舔天天喷天天射| 五月丁香综合啪啪| 免费看日产一区二区三区| 欧美色人| 亚洲综合影院| 狠狠婷婷亚洲中文综合久久| 色九久| 中文字幕一区二区三区人妻不卡| 青青草华人在线欧美在线| 久久久久久无码人妻中文字幕| 黄色片G G G| 久久香蕉超碰97国产精品 | 日韩草久视频| 亚洲色吧网| 花野真衣| 久久久9品一区二区三区| 亚洲人成网www| 天天透伊人| 少妇毛片久久| 亚洲一二三精品久久网 | 色婷亚洲五月在线观看| 在线国产探花| 99热这里| 18一区二区三区| 天天淫人人妻日日色| 9热9热综合网| 青青草字幕AV| 九九人妻| 综合色久欲| 99热这里都是精品| 性综合网| 岛国激情视频在线观看| 国产日韩欧美操逼视频| 3d成人精品一区二区| A片 AV一级在线播放观看免费 | 国产精品久久久久久久无码AV| 欧美不卡在线一区二区| 国产亚洲精品精AV.| 精品久久久久久中文| 5278欧美一区二区三区| 久久性爱网站| 玖玖爱免费观看视频| 婷婷丁香在线| 91九久| 性色av一区二区| 久久久久久中文| 视频不卡中文字幕| 亚欧性爱无码| 國產尤物AV尤物在線觀看| 婷婷99| 亚洲五区熟女| 国产亚热在线久久| 91 天天综合| 欧美一区二区一级岛国大片| 国语精品内射在线观看| 开心五月深爱五月| 色精品极品| 啊啊啊好疼| 搡老女人老91妇女老熟女| 在线岛| 五月天色色网站|