日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

cachebench 實(shí)戰(zhàn):MB/s 曲線定位 L1/L2/L3 和內(nèi)存帶寬

cachebench 實(shí)戰(zhàn):MB/s 曲線定位 L1/L2/L3 和內(nèi)存帶寬 簡介LLCbench 緩存性能測試工具包面向 Linux 平臺下從事處理器緩存層次分析、體系結(jié)構(gòu)實(shí)驗(yàn)與平臺性能對比的開發(fā)者、教師和學(xué)生核心集成 MPBench、CacheBench 與 BLASBench其中 CacheBench 側(cè)重考察不同緩存層級、工作集大小和訪存模式下的性能變化可用于課程實(shí)驗(yàn)、硬件選型、編譯優(yōu)化驗(yàn)證及論文實(shí)驗(yàn)數(shù)據(jù)采集等場景測試模塊可單獨(dú)編譯選用。壓縮包共 81 個(gè)文件、約 83KB以 C 源碼與頭文件承載測試主體配合多套 Makefile 及 sys 平臺配置模板適配不同 Linux/Unix 環(huán)境另有 shell 腳本、ps 與 gp 繪圖腳本、HTML 說明和 README 文檔目錄按 cachebench、mpbench、blasbench、doc 等模塊劃分源碼、配置與說明文檔相互配套體量輕便而結(jié)構(gòu)完整。已有 873 人學(xué)習(xí)下載適合希望獲得可編譯的緩存基準(zhǔn)代碼、復(fù)現(xiàn)緩存性能實(shí)驗(yàn)并借助腳本生成結(jié)果圖表的讀者參考通過結(jié)果圖表可直觀比較不同平臺和編譯選項(xiàng)的緩存表現(xiàn)幫助定位訪存瓶頸也能為性能測試方案設(shè)計(jì)提供可復(fù)用的配置與排錯(cuò)線索。1. 新機(jī)器跑分和老機(jī)器持平我為什么又翻出 cachebench 這包老代碼上個(gè)月給一臺新裝的機(jī)器做處理器性能測試單核浮點(diǎn)分?jǐn)?shù)漲了快一半可一跑真實(shí)業(yè)務(wù)里的查表邏輯吞吐幾乎沒動(dòng)。這種“算力漲了、訪存沒跟上”的場面見得太多了最后能一句話說清問題的還是 cachebench 這種老派 linux 開源工具——喂它一個(gè)從 1KB 到幾百 MB 的數(shù)組它把每一檔的讀寫帶寬用 MB/s 打出來拐點(diǎn)在哪、L3 有多大、內(nèi)存實(shí)際能喂多快一眼就能看出來。llcbench.tar.gz 就是這套東西的源碼包里頭不止 cachebench還帶著單機(jī)浮點(diǎn)算力和多進(jìn)程消息傳遞兩套測試。適合誰要給出機(jī)器性能結(jié)論的人、要做選型對比的人、以及懷疑自己程序被內(nèi)存卡住卻拿不出證據(jù)的人。2. 解包到跑通把 llcbench.tar.gz 編成三個(gè)可執(zhí)行文件的完整路徑2.1 先看骨架再動(dòng)手別上來就 make拿到 tar 包第一件事不是編譯是看結(jié)構(gòu)。這類九十年代風(fēng)格延續(xù)下來的 C 工程不同人打包時(shí)目錄層級會變有可能頂層就是一個(gè)llcbench/也有可能解壓出來直接是一堆并列的子目錄編譯入口可能是頂層Makefile加一堆Makefile.arch模板也可能是一個(gè)make.def讓你改。先花三十秒看清結(jié)構(gòu)比后面make報(bào)錯(cuò)十次再去猜要快得多。包里三個(gè)主要工具分工很明確我一般按“先 cachebench、需要時(shí)再補(bǔ)另外兩個(gè)”的順序推進(jìn)子目錄名稱以實(shí)際解包為準(zhǔn)測什么什么時(shí)候必須跑cachebench單一地址流下的讀、寫、拷貝、memset 帶寬按數(shù)組尺寸逐檔輸出每次都要跑是判斷緩存層級的核心blasbench單機(jī) BLAS 級別的浮點(diǎn)算力單線程/多線程各一份需要把“算力”和“訪存”拆開歸因時(shí)mpbench多進(jìn)程之間消息傳遞的延遲與帶寬多路機(jī)器懷疑跨節(jié)點(diǎn)擴(kuò)展性時(shí)才需要Makefile / make.def 之類各架構(gòu)編譯模板復(fù)制一份改成自己的別直接改原文件# 不解壓也能看結(jié)構(gòu)先確認(rèn)頂層目錄名叫什么 tar tzf llcbench.tar.gz | head -40 # 解壓到獨(dú)立目錄避免污染工作區(qū) mkdir -p ~/bench tar xzf llcbench.tar.gz -C ~/bench cd ~/bench ls -la # 找編譯入口頂層 Makefile、各架構(gòu)模板、以及可能的 make.def find . -maxdepth 2 \( -iname Makefile* -o -iname make.def -o -iname *.mk \) | sort這段的目的只有一個(gè)確定“編譯入口文件名”和“產(chǎn)物會落在哪個(gè)目錄”。tar tzf只列名字不落盤幾百 KB 的包秒出結(jié)果find的-maxdepth 2是刻意的這類老工程子目錄里常有一堆測試腳本也叫 Makefile搜太深反而干擾判斷。如果find出來的模板里有Makefile.linux基本就是它了只有make.def的話通常是先改make.def里的CC、CFLAGS再回頂層make。2.2 編譯選項(xiàng)定死為什么我把 -O3 換成了 -O2壓測程序最怕的事情是編譯器比你還聰明。cachebench 的讀測試本質(zhì)上就是“把數(shù)組從頭到尾讀一遍把結(jié)果攢起來”如果編譯器判定這個(gè)循環(huán)的最終結(jié)果沒人用它會直接刪掉——你測出來的“帶寬”其實(shí)是空循環(huán)的速度。這類工程內(nèi)部一般會用一些手段防止被優(yōu)化掉把結(jié)果寫進(jìn)全局變量、提供保留結(jié)果的開關(guān)但你的-O3會額外打開向量化和更激進(jìn)的循環(huán)變換讓讀循環(huán)一次搬 32 字節(jié)甚至 64 字節(jié)測出來的數(shù)就變成了“SIMD 寬度測試”跨機(jī)器一比全是噪聲。所以我的固定做法是統(tǒng)一-O2不用-marchnative把gcc --version和uname -a一起寫進(jìn)報(bào)告。-marchnative在同一臺機(jī)器上自測很爽但只要涉及兩臺以上機(jī)器對比編譯選項(xiàng)不一致數(shù)據(jù)就沒有可比性——這是血淚經(jīng)驗(yàn)不是潔癖。另外注意 32 位與 64 位構(gòu)建指針寬度變了數(shù)組內(nèi)部地址計(jì)算的指令序列也會變同一個(gè) size 下的帶寬能差出百分之十幾。# 環(huán)境快照先落盤后面寫報(bào)告直接引用省得回頭補(bǔ) { uname -a gcc --version | head -1 lscpu | grep -Ei model name|mhz|cache|numa free -g } ~/bench/env.txt # 編譯優(yōu)先用頂層入口失敗再退回模板 make clean /dev/null 21 make # 若提示需要指定架構(gòu)改成 make linux 或 make -f Makefile.linux # 產(chǎn)物一般在各子目錄下按可執(zhí)行權(quán)限篩一遍 find . -maxdepth 2 -type f -perm -ux -name *bench* -print這段里make clean先跑一遍很關(guān)鍵老工程的 Makefile 常常不寫頭文件依賴改過配置后不清理會鏈接到上一次的.o癥狀是“明明改了選項(xiàng)結(jié)果一點(diǎn)沒變”。find那條是按可執(zhí)行權(quán)限加名字雙重過濾比ls */靠譜因?yàn)椴糠职姹緯旬a(chǎn)物放在bin/或上一級。編譯失敗最常見的兩類原因一是模板里的編譯器名寫死成了某個(gè)廠商的cc改CCgcc即可二是 64 位環(huán)境下老代碼里的指針強(qiáng)轉(zhuǎn)報(bào) warning 被-Werror升級成 error去掉-Werror就好不用去修代碼。2.3 先跑一次 smoke test把用法抄下來不同打包版本的參數(shù)集合會有出入所以第一步永遠(yuǎn)是“不帶參數(shù)跑一次”讓它自己把 usage 打出來。把 usage 存進(jìn)文件后面寫腳本時(shí)對著抄比記 memo 靠譜。# 不帶參數(shù)多數(shù)版本會打印用法后退出把 usage 留檔 cd ~/bench/llcbench # 目錄名以實(shí)際解壓結(jié)果為準(zhǔn) ./cachebench 21 | head -30 | tee ~/bench/usage.txt # 最小一次可跑只做讀測試最大數(shù)組給 64MB taskset -c 2 ./cachebench -r -s 67108864 | tee ~/bench/read_smoke.txt-r是讀測試-s給的是“掃到多大為止”的上限而不是單點(diǎn)尺寸——這一點(diǎn)最容易誤解很多人以為-s是“測一個(gè) 64MB 的數(shù)組”結(jié)果看到輸出里一長串不同尺寸的行就懵了。taskset -c 2把進(jìn)程釘在 2 號核上是為了排除調(diào)度器在核間搬進(jìn)程帶來的抖動(dòng)具體綁哪個(gè)核要看lscpu -e盡量避開 0 號核很多系統(tǒng)中斷默認(rèn)落在 0 號。跑完先別急著看圖head -20 read_smoke.txt人工確認(rèn)兩件事第一列到底是不是字節(jié)數(shù)、最后一列到底是不是 MB/s。這個(gè)確認(rèn)動(dòng)作只花十秒但決定了后面解析腳本寫得對不對。3. cachebench 的四種訪存模式讀、寫、拷貝、memset 的掃參與落盤3.1 四種模式分別對應(yīng)什么真實(shí)負(fù)載讀、寫、拷貝、memset 這四種模式不是湊數(shù)的它們對應(yīng)四類完全不同的訪存路徑。讀測試走的是 load 通路最接近查表、遍歷、哈希探測這類邏輯寫測試走 store 通路現(xiàn)代 CPU 上寫往往是“寫分配”會先把 cache line 讀進(jìn)來再改所以寫帶寬經(jīng)常比讀低一截看到這個(gè)不要以為機(jī)器有問題拷貝測的是memcpy類路徑同時(shí)吃讀寫兩條通路還要看有沒有非臨時(shí)存儲指令參與memset 則是純寫、且可以整行覆蓋硬件能做寫合并通常跑出來是四個(gè)里最“好看”的一個(gè)。如果你只跑一個(gè)-r很容易得出“這臺機(jī)器內(nèi)存帶寬 20GB/s”的結(jié)論但這個(gè)數(shù)字換到 memcpy 密集的場景完全不成立。我的習(xí)慣是四個(gè)模式一起跑落成四份原始文本后面既畫單條曲線也畫四條疊在一起的對比圖。mkdir -p ~/bench/raw # 固定綁核 固定最大尺寸四個(gè)模式各跑一遍-x 是每個(gè)尺寸的重復(fù)次數(shù) for mode in r w b f; do taskset -c 2 ./cachebench -$mode -s 268435456 -x 3 \ ~/bench/raw/${mode}.txt 21 done # 順手把每份輸出的前幾行打出來確認(rèn)格式?jīng)]變 for f in ~/bench/raw/*.txt; do echo $f; head -5 $f; done-x 3是每個(gè)尺寸重復(fù)三次取其中的最好值或中位數(shù)不同版本策略不同看輸出里是不是出現(xiàn)多列。重復(fù)的意義在于壓制瞬時(shí)噪聲后臺的一次日志刷盤、一次中斷就能讓某一個(gè)尺寸點(diǎn)掉 15%單次采樣根本分不清是噪聲還是真實(shí)的層級跌落。-s 268435456給到 256MB是為了確保一定能跨過 L3 落到內(nèi)存——現(xiàn)在不少服務(wù)器 L3 就有 32MB 到 64MB上限給小了曲線只到 L3 就結(jié)束了看不到內(nèi)存那一段。注意-s的單位在不同版本里可能按字節(jié)、也可能按元素個(gè)數(shù)解釋。跑完先看輸出的尺寸列最大值是不是接近你給的數(shù)字對不上就按元素個(gè)數(shù)理解乘以元素大小換算回來。3.2 想要更細(xì)的采樣點(diǎn)就改進(jìn)尺寸遞增步長這類工具內(nèi)部通常是按 2 的冪往上翻1KB、2KB、4KB……一路翻到上限。粗粒度掃的時(shí)候夠用但拐點(diǎn)會被夾在兩個(gè)點(diǎn)中間你只能得出“L2 在 256KB 到 512KB 之間”這種模糊結(jié)論。更麻煩的是純 2 的冪會引入組相聯(lián)索引沖突這個(gè)在 4.2 節(jié)單獨(dú)說。想細(xì)化就去源碼里找那條遞增語句把翻倍改成 1.25 倍。# 定位尺寸遞增的位置常見寫法是 size 1 或 size * 2 grep -n -E | ?1|\* ?2|size ?\* cachebench/*.c | head -20改之前把原文件備份一份改完重新make。步長改成 1.25 倍之后采樣點(diǎn)數(shù)會從十幾個(gè)漲到六十幾個(gè)單次運(yùn)行時(shí)間大概是原來的三四倍但拐點(diǎn)位置能精確到一個(gè)窄區(qū)間值得。改完記得在報(bào)告里注明“步長經(jīng)過修改”否則別人拿原版跑出來的點(diǎn)數(shù)和你對不上會以為你數(shù)據(jù)有問題。3.3 把文本表格變成 CSV解析腳本與列校驗(yàn)原始輸出是給人看的要做對比就得轉(zhuǎn)成表。不同版本的列數(shù)和列序有差異所以解析腳本不能寫死列號我的做法是“取行內(nèi)第一個(gè)數(shù)字當(dāng)尺寸、最后一個(gè)數(shù)字當(dāng)帶寬”再加一道合理性校驗(yàn)異常行直接丟掉并在日志里計(jì)數(shù)。import re import csv import pathlib # 版本間列序有差異用寬松策略首個(gè)數(shù)字尺寸(字節(jié))末個(gè)數(shù)字帶寬(MB/s) NUM re.compile(r[-]?\d(?:\.\d)?) rows, dropped [], 0 for p in sorted(pathlib.Path(raw).glob(*.txt)): for line in p.read_text(errorsignore).splitlines(): s line.strip() if not s or s.startswith(#): # 跳過注釋與空行 continue nums NUM.findall(s) if len(nums) 2: dropped 1 continue size, bw float(nums[0]), float(nums[-1]) # 合理性校驗(yàn)尺寸遞增、帶寬為正且不超過 1e7 MB/s if size 0 or bw 0 or bw 1e7: dropped 1 continue rows.append({mode: p.stem, size_bytes: int(size), mb_per_s: bw}) rows.sort(keylambda r: (r[mode], r[size_bytes])) with open(cache_curve.csv, w, newline) as f: w csv.DictWriter(f, fieldnames[mode, size_bytes, mb_per_s]) w.writeheader() w.writerows(rows) print(f保留 {len(rows)} 行丟棄 {dropped} 行) for r in rows[:5]: # 人工核對前幾行 print(r)這段的邏輯說明errorsignore是因?yàn)閭€(gè)別版本會在輸出里混入非 UTF-8 的控制字符不忽略會直接拋異常nums[-1]取最后一個(gè)數(shù)字而不是固定列是為了兼容“帶寬前面還有一列耗時(shí)”的版本bw 1e7這個(gè)上限看著隨意實(shí)際非常有用——解析錯(cuò)位時(shí)經(jīng)常把行號或時(shí)間戳當(dāng)成帶寬讀進(jìn)來會出現(xiàn)上千萬的荒謬值用一條上限就能整行攔掉。最后打印前五行是強(qiáng)制的人工校驗(yàn)環(huán)節(jié)絕不能省。提示把dropped打進(jìn)日志。如果丟棄比例超過兩成說明輸出格式和你預(yù)期不符先回去看原始文件別硬跑。4. 處理器性能測試的讀數(shù)MB/s 曲線怎么對上 L1、L2、L3 和內(nèi)存4.1 拐點(diǎn)的判定方法以及各層的典型量級把size_bytes取對數(shù)做橫軸、mb_per_s做縱軸畫出來是一條階梯最左邊平、然后掉一檔、再平、再掉最后到內(nèi)存段變成一條緩坡。判拐點(diǎn)我不用肉眼用相鄰點(diǎn)的衰減比bw[i]/bw[i-1] 0.85就記一次“掉層”記錄下來那個(gè)尺寸區(qū)間再和lscpu報(bào)的 cache 容量對照。層級典型容量單線程讀帶寬量級曲線特征L132KB64KB數(shù)十 GB/s 到上百 GB/s全程最平最高的一段尾部開始抖L2256KB2MB幾十 GB/s第一次明顯跌落跌幅常在三成以上L38MB64MB部分型號更大十幾到幾十 GB/s第二次跌落坡度變緩但不消失內(nèi)存按實(shí)際裝機(jī)單線程常見幾 GB/s 到十幾 GB/s緩坡尺寸再翻倍帶寬也基本不動(dòng)要強(qiáng)調(diào)的是“單線程”這三個(gè)字。cachebench 是單線程的量出來的內(nèi)存帶寬只代表一個(gè)核能拉起來的部分跟廠商宣傳的整機(jī)峰值帶寬差好幾倍是正常的。拿這個(gè)數(shù)去和整機(jī)峰值比然后得出結(jié)論“內(nèi)存性能不達(dá)標(biāo)”是新手最容易犯的錯(cuò)。4.2 2 的冪尺寸會造出假拐點(diǎn)這是我在這個(gè)工具上踩過最隱蔽的坑。數(shù)組尺寸全部取 2 的冪而且起始地址又是對齊的那么步長和 cache 的組相聯(lián)索引之間就會形成固定關(guān)系地址低位截出來的組號總是落在很少的幾個(gè)組上L1 或 L2 里明明還有空間卻因?yàn)闆_突缺失被迫反復(fù)回下層取數(shù)。表現(xiàn)在曲線上就是“本該在 L2 段的位置提前掉了一檔”你會誤判 L2 只有一半大。識別方法很簡單把起始地址人為錯(cuò)開。要么改步長3.2 節(jié)的 1.25 倍遞增要么在數(shù)組前面多申請幾十個(gè)字節(jié)做偏移。做完這兩件事其中一個(gè)如果那一檔突然回升就確認(rèn)是沖突而不是容量。我現(xiàn)在的固定做法是步長用 1.25 倍并加偏移兩條都上省得事后懷疑。注意不要用-O3加手動(dòng)改源碼的方式“優(yōu)化”這個(gè)問題動(dòng)了訪存循環(huán)測出來的就不是同一件事了。4.3 和 perf、blasbench 交叉驗(yàn)證確認(rèn)你測的是緩存單一工具的數(shù)字再漂亮也只是自證。我的驗(yàn)證辦法是用perf stat掛在同一次運(yùn)行上看 LLC 相關(guān)的計(jì)數(shù)有沒有隨尺寸同步變化。# 在帶寬明顯跌落的尺寸上掛一次 perf看末級緩存缺失是否同步跳起 perf stat -e cycles,instructions,cache-references,cache-misses,LLC-loads,LLC-load-misses \ taskset -c 2 ./cachebench -r -s 33554432 # 算力側(cè)對照blasbench 拉一遍單線程浮點(diǎn)確認(rèn)算力不是瓶頸 cd ../blasbench taskset -c 2 ./blasbench 21 | tail -20判讀邏輯如果尺寸剛從 L3 跨到內(nèi)存LLC-load-misses占LLC-loads的比例應(yīng)該同步升高同時(shí) cycles 里等待訪存的比例上升。反過來如果帶寬掉了但 LLC 缺失率沒動(dòng)說明你測的可能不是緩存層級而是被別的因素頻率降了、頁沒駐留、進(jìn)程被搶干擾了。blasbench 那一側(cè)的作用是排除法算力分?jǐn)?shù)正常而 cachebench 曲線異常問題就落在訪存路徑上方向立刻收窄。5. 避坑與排查五個(gè)讓緩存測試數(shù)據(jù)白測的坑5.1 讀帶寬高得離譜而且整條曲線是平的現(xiàn)象-r跑出來每一檔都在同一個(gè)極高的數(shù)值上從 1KB 到 256MB 幾乎不掉看著像“這臺機(jī)器沒有緩存層級”。 原因讀循環(huán)被編譯器優(yōu)化掉了或者結(jié)果被判定為無用而整段刪除測到的是空循環(huán)速度。老代碼里防優(yōu)化手段有限遇上新一代編譯器就頂不住。 解決先降到-O2重編如果依然平看工具是否提供“保留結(jié)果”的開關(guān)usage 里常有一個(gè)類似的選項(xiàng)并打開再不行就手動(dòng)在循環(huán)末尾把累加結(jié)果賦給一個(gè)全局變量重編后再跑。驗(yàn)證方式是整條曲線的絕對值應(yīng)該落在合理量級而不是高出十倍。5.2 同一份二進(jìn)制兩次運(yùn)行差出百分之二十現(xiàn)象什么都沒改連跑兩遍內(nèi)存段的帶寬一次 12GB/s 一次 9GB/s。 原因多次運(yùn)行之間變量太多——CPU 頻率還在爬升、頁表還沒熱、進(jìn)程被調(diào)度到別的核、鄰居進(jìn)程在搶 LLC。第一次運(yùn)行尤其吃虧大量缺頁發(fā)生在測試過程中。 解決先空跑一輪作為預(yù)熱并丟棄結(jié)果用taskset把進(jìn)程釘死在一個(gè)核上把-x重復(fù)次數(shù)提高取重復(fù)里的穩(wěn)定值跑之前確認(rèn)機(jī)器上沒有別的重負(fù)載。做完這四件事兩次運(yùn)行的差異一般能壓到 5% 以內(nèi)。5.3 拐點(diǎn)位置和 lscpu 報(bào)的 cache 容量對不上現(xiàn)象lscpu顯示 L2 是 1MB曲線卻在 256KB 就掉了一檔。 原因多半是 4.2 節(jié)的索引沖突少數(shù)情況是透明大頁把相鄰頁合并改變了實(shí)際的地址映射或者數(shù)組沒有按大頁對齊。 解決先把步長改成 1.25 倍、給數(shù)組加偏移重測仍然對不上就臨時(shí)把透明大頁設(shè)為madvise并確認(rèn)進(jìn)程沒有主動(dòng)使用大頁最后檢查是不是把“每核 L2”看成了“整顆 L2”多核機(jī)器的lscpu輸出容易看串行。5.4 大尺寸段的帶寬低到不像內(nèi)存像磁盤現(xiàn)象數(shù)組開到 512MB 以上帶寬掉到幾百 MB/s且抖動(dòng)極大。 原因申請的數(shù)組超過了可用物理內(nèi)存或者第一次觸碰觸發(fā)大量缺頁測試過程里混進(jìn)了換頁和頁清零。 解決把-s的上限壓到物理內(nèi)存的一半以內(nèi)free -g先看一眼可用量測試前確認(rèn)vmstat 1里si/so一直是 0如果機(jī)器上還跑著別的服務(wù)換一臺干凈的機(jī)器測這種測量對內(nèi)存壓力非常敏感。5.5 多進(jìn)程那套工具起不來或者只跑了一個(gè)進(jìn)程現(xiàn)象想順手驗(yàn)證多核擴(kuò)展性結(jié)果進(jìn)程數(shù)始終是 1或者直接報(bào)連接錯(cuò)誤。 原因多進(jìn)程部分需要一個(gè)啟動(dòng)器來拉起多個(gè)實(shí)例單獨(dú)執(zhí)行可執(zhí)行文件只會跑單進(jìn)程另外 MPI 環(huán)境沒配對時(shí)進(jìn)程間握手會直接失敗。 解決先看該子目錄里有沒有配套的啟動(dòng)腳本按腳本里的參數(shù)格式傳進(jìn)程數(shù)確認(rèn)mpirun之類的前置環(huán)境可用且版本一致實(shí)在跑不通就先放棄它c(diǎn)achebench 的單線程結(jié)論已經(jīng)足夠支撐大部分判斷不必為了“跑全”卡在這里。6. 進(jìn)階把一次性的緩存測試做成可回歸的基線單次測量只能回答“現(xiàn)在是多少”真正省事的是把它變成一條能對比的基線。我的做法是把第 3 章的采集腳本和第 3.3 節(jié)的解析腳本串起來一次跑完輸出一個(gè)帶環(huán)境指紋的 CSV文件名里帶日期和 CPU 型號內(nèi)容第一行寫uname -r、gcc版本、-s上限、是否改過步長。以后任何人問“這臺機(jī)器緩存是不是變慢了”拿兩份 CSV 對齊size_bytes做差值就行不用重新組織測試。對比的時(shí)候必須設(shè)閾值否則你會被噪聲牽著走。我的經(jīng)驗(yàn)閾值是同一尺寸兩次測量差異在 5% 以內(nèi)視為一致5% 到 15% 之間需要復(fù)測一次再判斷超過 15% 才認(rèn)為發(fā)生了變化。這個(gè)閾值不是拍腦袋是按 5.2 節(jié)把預(yù)熱、綁核、重復(fù)次數(shù)都做到位之后實(shí)測殘留的波動(dòng)范圍定的。# 一鍵基線采集 解析 打指紋產(chǎn)物可直接進(jìn)版本庫 STAMP$(date %Y%m%d)-$(lscpu | awk -F: /Model name/{gsub(/^ /,,$2); print $2} | tr -d ) bash sweep.sh python3 parse.py mv cache_curve.csv baseline-${STAMP}.csv sha256sum baseline-${STAMP}.csv baseline.sha256這套東西跑順之后還有個(gè)額外收益換編譯選項(xiàng)、換內(nèi)核、換固件這類變更只要跑一遍基線就能看出訪存路徑有沒有受影響比等業(yè)務(wù)側(cè)反饋“最近好像慢了”要早得多。綁核那一步別偷懶我吃過虧——有次忘了taskset曲線整體平移了 8%排查了半天以為是驅(qū)動(dòng)問題最后發(fā)現(xiàn)是進(jìn)程被搬到了另一個(gè) NUMA 節(jié)點(diǎn)的核上。從那以后我每次跑基線都強(qiáng)制走一遍taskset綁核加一輪預(yù)熱丟棄腳本里寫成默認(rèn)行為不給自己留手動(dòng)省略的機(jī)會。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
综合五月天| 亚洲精品97久久中文字幕| 91伊人久久在线| 加勒比性爱成人在线| 日韩天天本| 中韩中文字幕在线观看| 国产精品不卡一区二区电影| 日韩一级片在线看| 操人妻逼91| 色区97| 色色香蕉| 夜夜操2028| 制服中出中文人人精品| 96久久久精品| 欧美美女自慰一区二区三区| 综合网色| 精品久久99| 超碰98综合网| 天天视频黄| 99色婷婷| 欧美A片中文字幕| 亚洲精品三| 99操逼| 五月天综合网| 日欧操屄| 噜噜噜狠狠色综合| 女性91网站| 亚洲欧美精品一区天堂久久 | 国产精品视频在线观看| 黄色av一区二区在线| 亚洲影视第一页| 国产精品4p在线观看| 婷婷五月丁香五月| 精品国模无码| 狠色婷婷久久一区二区三区_| 天天爽夜夜爽夜夜爽精| 日韩丨制服丨中文|在线| 精品偷拍13p欧美dodk视频| 97超碰免费人人性爱| 三级特黄60分钟播放| 操香逼| 大学生口爆吞精| 老熟女中文字幕高清| 日韩一级成人毛片免费观看 | 91爽啪| 中国一级操逼视频| 伊人亚洲综合| 亚洲最大黄网| 色综合久久久久| 自拍大香蕉乱插| 亚洲āv网址在线观看| 五月丁香六月激情| 婷色五月| 色天使亚洲综合在线观看| 欲色综合| 丰满人妻一区二区三区免费| 骚女高跟AV在线| 国产精品岛国片在线观看| 91精品人妻一区二区三区蜜桃| 日韩av色图| 色综合美国| 333kkkk·亚洲com久久| 日本欧美不卡| 九九操久久国产免费视频| 熟妇操花| 亚洲欧综合另类无码一区| 我爱操| 亚洲中文字母在线播放| 欧美人人AAA| 国内精品久久人妻性色av| 黄页av| 性性欧美| 欧美疯狂做爰xxxx| 午夜精品久久久久久久男人的天堂 | 丝袜美腿操av| 日逼97| 超碰色97| 亚洲天堂精品日韩电影| 97超碰欧美| PMv在线观看| 国产一区二区成人av在线播放| 一区二区三区免费岛国片| 亚洲色图 欧美| 亚洲av青草久久一区二区| 日产精品久久久一区二区| 天天干天天日天天射黄色大片| 成人五月天色网| 99啪| 99热欧美| 麻豆91熟妇人妻中文字幕茄子| 五月天我淫我色av| AV污污污污| 欧美性爱1080p| www超碰| 又摸又舔在线观看网站| 日欧美色| 国产久久久久影院老熟女| 内射黑丝袜| 男人的天堂99| 欧美成人性爱视频在线播放| 国产AV无码AV| 国产美女激情| 欧美在线播放| 浪人综合网| 亚洲毛片基地专区| 无色无码| 久久爽爽精品| 99999这里都精品| 国产精品直播在线观看直播| 国产视频三区四区| 高精欧美色| 无码精品久久久久久亚洲| 亚洲 日韩 丝袜 熟女 变态| 国产精品欧美激在线| 日本精品一区二区不卡| 超碰在线香蕉| 午夜精品久久久久久久99热影院 | 国内精品99999| 综合在线导航一区| 亚洲综合 欧美| 视频分类 国内精品| 1区2区3区在线视频| 清纯唯美亚洲综合| 一个人在线看的黄色电影网站| 丁香六月激情| 在线 制服丝袜中出 人妻| 性爱欧美五月| 深夜国产一区二区三区在线看| 日本天堂网| 亚洲第一页色网| 黄色免费网页无码| 中文字幕AV片| 午夜人人操| 国产视频小说| 国产农村妇女一区二区| 亚洲中文一区二区三区| 蜜桃久久一区| 国产精品久久久久亚洲av| 啊啊啊啊操死我| 嫩草影院在线观看精品| 插入综合网| 国产成人精品无码久久| 日韩精品-原创伙伴| 欧美精品三区| 国产白领连续中出在线观看| 色五天伊人| 四虎视频在线观看| 色狠狠 - 百度| 中文字幕狠狠玩| 九七毛片九九毛片| 黑人与人妻| 日韩亚洲Av人人夜夜澡人人爽| 97精品免费视频网站| 天天操人人操骚逼网站| 亚洲骚女一区二区三区| 亚洲av淫乱| 亚洲人妻日日日| 亚洲中文字幕噜噜噜久久久| a片自拍直播视频| 淫穴高潮色图| 啊啊啊啊,啊啊好多水| 黄资源| 1234区中文字幕在线观看_青青草国产在线_日韩一区二区 | 亚洲成人免费电影| 色色五月天婷婷| 亚洲色 国产 欧美 日韩| 传媒在线观看一区二区三区| 日本中文字幕一区| 亚洲图片欧美制度| 日本色色色视频| 日韩啪啪视频| 夜夜性| 亚洲第一视频 欧美风情 日韩| 熟女自慰久久久| 91美女丝袜诱惑视频| 91 亚洲 欧美 日韩 国产 综合| 老司机深夜18禁污污网站| 国产免费小视频| 日本高清一本二本免费不卡| 天美传媒AV在线播放| 99久草| 久久婷色| 日韩ab网| 91 刺激在线| 欧美 亚洲| 男人的天堂,欧美亚洲另类国产日韩,日本高清一区二区 | 最新三级网址| 老熟女熟妇| 精品少妇一区二区三区在线视频| 欧美人妻久久精品二区三区| 久9久| 在线视频日韩欧美国产| 国产无码久久高清| 凹凸 69堂 在线播放| 99re这里只有精品中心播放| 久久五月天婷婷| 中文乱码字幕观看| 四虎免费在线播放| 亚洲天堂电影网99999| 4141514逼喷水三级片| 人人做天天爱| 伊人九九九| 国产乱人妻精品入口| 秋霞影音一区二区三区| 丁香婷婷五月| 岛国天天午夜影院传媒网| 色欲人妻一区二区在线| 岛国艾薇凹凸视频天堂| 日小BB小视频| 中文字幕日韩电影人妻| 激情黄色五月天| 精品国产72| 97视频在线免费看| 中文字幕在线观看网页| 日本不卡高清免v欧美日韩在线观看| 成人日本视频人妻在线| 日本女人操逼| 国产精品亚洲一区二区三区四区| 人人摸人人添人人操| 亚洲阿v天堂无码z2018| 亚洲男人天堂网| 国产精品无码久久久久2025| 男人的天堂啪啪啪啪啪蜜桃不卡| 亚洲日本大香蕉1| 人妻9117c| 亚洲图片欧美制度| 熟妇xxxxx性春色| 青青青青草av在线观看| 2017人人操,人人摸| 99re69综合| gogogo免费高清看中国国语| 久久久少妇诱惑精品视频| 久久精品国产亚洲AV高级北京| 国产 亚洲 一二三四| 国产浮力影院第1页| 97超碰超欧美。| 日本成熟少妇A∨网站| 欧美成人精品一区二区三区| 国产91 丝袜在线播放00-百度| 大香蕉免费中文| 日韩在线观看三级电影| 顶级少妇BT天堂| 麻豆综合一区av| 成人在线午夜视频一区| 天天爱天天操| 欧美日韩性爱电影在线| 蘋果手機免費看成人Av| www.99中文字幕| 精品丰满熟妇人妻一区| 美女刺激久久国产欧美| 热无码中文亚洲H一道本一区二区| 欧美亚洲厕所精品偷拍91| 亚洲AV无码AV吞精久久久久| 在线天堂999| 1禁看欧美黄片免费看| 粉嫩久久久久| 激情文学网伊人| 亚洲av噜噜噜噜噜噜| 色月天AV导航| 亚洲中文字幕网| 日韩色香| 97在线资源| 国产亚洲国产超碰| 中文字幕1区2区| 亚欧精品久久久久久久久久久| 欧美中文字幕日韩在线| 96精品一区| 91精品人妻一区二区-全集完整版免费正片国语-B02AV | 无码又爽又硬又激情免费视频| 亚洲宅男天堂| 色综合久| 骚货| 特色a在线上| 熟女人妇一区二区三区| 久久久内射良家| 乱人伦 国语对白:视频直接看| 人人天天欧洲| 亚洲日本大香蕉1| 欧美爆操91| 国产精品com| 荡小穴在线观看| 狠狠操夜夜| 午夜精品久久久久久久男人的天堂 | 噜噜噜在线视频| 亚洲午夜AV| 强被迫伦姧在线观看无码网站| 亚洲Av噜噜一区二区三区妖精| 日本三级韩三级99久久| 0755午夜福利视频| 欧洲亚洲人人爽爽视频| 久久久久久久久久9| 欧洲黄色网| 国产一区二区三区白丝| 99视频只有精品| 亚欧美综合网。| 午夜视频久久久| 精品国产乱码久久久久久久久久毛片 | 欧美另类自拍 | 桑老女人九区| 国产家庭乱伦性爱视频| 五月天激情国产综合婷婷婷| 欧美72网页| 一本大道久| 东京热视频网| 操逼操网| 亚洲se电影| 精品国产一区二区三区在线播出| 亚洲国男人的天堂| 激情另类激情| a片 xxxx受爽视频| 国语精品内射在线观看| 天天摸天天插天天日| 久久久9品一区二区三区| 久久久中文版| 99精品在线| 九九亚洲色在线观看| 操逼天美3区| 91美乳| 亚洲国产一级黄色视频| www.欧精品| 蜜桃精品视频一区二区三区| 国产对白刺激视频| 天天操女人| 国产精品白领在线观看| 18一区二区三区| yiqicaoav| 91熟女综合| 亚洲国产精品无码AV在线| 午夜寂寞欧美| 97se亚洲综合自| 天天射,天天操,天天爽-国内精品一区二区三区-成人AV | 一级特级aaaa毛片免费观看| 人妻少妇久久久| 久久区| 99色在线| 日本一区视频在线观看| 2019天天操天天爽天天拍| 亚洲综合九九| 国产精品情侣啪啪| 欧美性爱91| 久久国99999| 天天操天天舔| 老外又粗又长一晚做五次| 五月丁香大香蕉| 亚洲日韩精品久久久久一区壹牛| 91视频综合在线| 欧美中文字幕男人天堂久久精品 | 欧美不卡在线一区二区| 亚洲蜜臀精品视频久久| 亚洲日韩AV视色| 精品视频免费在线一区| 日韩内| 久久国产精品91| 伊人黄色视频免费观看| 精品熟妇视频一区二区| 少妇69中文| 夜夜嗨一区二区| 在线色导航| 超碰97资源网亚洲| 色娱乐色呦呦夜夜夜夜av| 午夜性生活av免费在线看| 天天干一区二区| 国产内射爽爽大片| 日本二三四区| 超碰97男女| 免费9 1久久| 欧美自拍偷拍免费观看| 尤物视频一区| 91丨人妻丨国产丨丝袜| 91黑丝露脚| 欧美综色欧| 97视频在线视频| 岛国黄色大片网站| 9Ⅰ老熟女| 久久日本熟女精品一区| 91久久久久久久久18| 2018色综合天天操| 久久精品国产久精国产| 极品色综合| 粉嫩在线一区二区懂色| 999久久久九| 欧美天天射| 调教熟妇 久久久久久| 天美一区在线| 99久久e免费热视| 少妇六月天| 欧亚成人在线视频| 97碰久久| 美女超碰978| 春色91| 日韩中文字幕二区| 国产AV线| 天美麻花大全视频| 欧美综色欧| 开心激情婷婷| 国产精品久久久久婷婷二区次| 九色视频91| 97神马久久| 国产四虎在线| 性久久| 欧美色道啊| 色官网在线| 99国产女人| 日日骚 av| h无码动漫在线观看| 日韩91网| 91新在线欧美| 强奸抽插av| 大乔未久88一区| 成人免费视瓶| 91精品91久久久久77777| 精品视频久久| 国产黄色小视频网站| 蜜乳AV一区二区三区四| 96精品在线| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 一区二区播放| 精品少妇99| 久久春色| 一区操逼| 人人干人人操人人..com| 玖玖玖玖精品国产剧情| 精品婷婷| 97超视频在线观看| 成人精品久久| 蜜乳中文字幕a在线| 国产综合永久精品日韩鬼片| 野狼激情网| 日韩精品一区二区三区四虎影视| 久久久99999久网站| 中文字幕久久亚州无码| www.超碰在线| 日韩成人高清一区二区| 97精品97久久| 综合网欧美在线| 午夜福利国产欧美日韩夜夜| 91美女国产在线| 久久久草成人网站久久久草成人久久久草久久久| 亚洲成人ab| 欧美色图偷拍另类| 五月婷婷五月天| 欧美日日操| 欧美性高潮在线| 熟女自慰久久久| 色婷婷激情| 国产av激情无码久久天堂| WWW美腿丝袜香蕉中文| 亚洲色图久久成人| 大伊香蕉在线视频免费| 日日操免费视频| 天天天干977| 欧美综合色,www| 天堂8在线新版官网| 国产一线二线三线av| 亚洲性少妇| 尤物av网站| 亚洲人成网www| 日本日逼视频网| 欧美精品成人在线播放| 啊啊啊啊嗯嗯在线久久久| 女生自91网站| 日本啊啊啊啊啊视频| 99re只有精品| 91天天综合在线| 深夜视频| 在线播放一级无码视频| 国人欧美精品一区二区| 啪啪91| 九九热精品| 97人妻碰碰中文无码久热丝袜| 日韩av在线播放不卡| 超碰人妻天天干| 色牛牛AV| 欧美少妇性爱网站| 精品一区二区亚洲国产| 97香焦色区| 亚洲精品国产AV天美传媒| 九九视品黄色| 亚洲国产欧美一区二区潘金莲| 久久天堂| 东京热双插| 视频二区美腿制服人妻欧美| 亚洲图片 欧美电影| AV色五月| 久久啊啊| 极品销魂美女一区二区| 乱伦av麻豆| 欧美熟女逼久久久久久| 久日综合网| 丝袜色综合| 91国产丝袜美女| 天久久久噜噜噜久久国产精品爽爽| 干B| 夜夜国自区| 亚洲日韩欧美一区二区| 极品色www影院| 国产精品久久久视频| 亚洲无码一区成人免费午夜| 综合天天网| 男人的天堂.com| 禁十八久久| 91女网站| 性色aV一区二区三区噜噜| 插欧洲美女欧美精品| 欧美性天天影院| 久久riav中文精品| 国产美女口爆吞精| www.伪伪| 欧美色综合图片| 国产激情av女片自拍| 人妻人久久精品中文字幕| 午夜欧美女人操逼| 强奸乱伦中文字幕AV| 粉嫩在线一区二区懂色| 99色| 91N综合网| 97在线青| 97亚洲性爱| 99色在线| 亚洲 在线| 国产熟女完整版中字| 91处女视频在线观看| 人人操人人摸avav| 欧美亚洲日本激情在线| 亚洲精品影视老司机| 爽爽爽免费视频| 91精产一区二区三区| 97超碰中文| 极品美女嘿咻| 蜜乳成人AV| 日本操BAV| 特污免视频| 亚洲日韩资源| 午夜乱轮操逼视频免费看| 成人影 天天操 亚洲| 97精品97| 超碰无码五月97| 东京热双插| 国产97视频免费观看| 91在线美女| 欧美色图偷拍另类| 碰碰97| 国产综合操逼高清| 国产伊人自拍| 色在线综合| 欧美亚洲另类在线蜜桃| 黑人天8A∨高清网站| 俞拍久久国应视频| 婷婷丁香五月综合| 美女啊啊啊啊啊啊| 中文字幕丝袜美腿| 18禁无码永久免费无限制| 九色精品视频导航1| 久久久性爱视频| 男人天堂网址| 一本久道久久综合狠狠爱| 99热线麻豆| 黄色片一区二区三区四区五区| 亚洲不卡不卡中文字幕不卡 | 色欧洲97| 亚洲免费在线探花| 日韩欧美偷拍美女视频| 国产无码成人无码| 美女的肌被草喷水视频| 欧美天天干| 嗯嗯啊啊啊啊轻点视频| 激情综合婷婷| 九九精品热| 亚洲欧洲日产国产综合网| 无码人妻一区二区三区免费九色| 伊人久久国产免费观看视频| 亚洲 欧美 色图| 丁香激情网| 国产999精品久久久| 伦理片秋霞免费影院| 色路综合| 精品亚洲成人免费在线| 蜜臀AV成人精品蜜臀AV久久| 正在播放国产精品一区| 日韩特一级久久| 旡码电影特区| 欧美黑人精品一区二区| 98人妻精品一区二区色欲| 国产成人精品一区| 精品视频123区小说区| 亚洲国产欧美一区二区潘金莲| 亚洲AV资源| 最新亚洲黄色免费电影| 大屁股熟女一区二区三区| 丝袜加勒比| 夜夜爽夜夜操| 探花精品 一区二区| 色婷婷激一区二区三区| 亚洲欧美精品一区天堂久久 | 超碰视97中文| 激情四射婷婷四五月天| 国产精品一级毛片不卡视| 亚洲天天操| 国产一二三福利视频网| 国产免费久久精品99re韩国| 99热免费| 黄色AAAAAAAAAAA大片| 国产日本顶级一区二区三区| 亚洲诱惑天堂 | 校园春色中文字幕AV| 熟女日韩| 玖玖久久久| 四虎884| 老色鬼成人精品视频下载大在线观看| 亚洲激情 欧美色图| 日韩美女久久一区二区三区| 国产精品久久妻无码网站| 97国产超碰| 亚洲激情片| 色噜噜狠狠色综无码久久合欧美| 中欧人妻丝袜中文字幕| 殴洲老熟女| 国产无遮挡| 91青视频| 97精品在线| 激情视频图片| 9丨久久九九九 | 国产99精品一区二区三区免费| 在线观看AV片| 亚洲无码99| 熟妇艹鸡八| 久久久久久久久久久久久9999| 蜜臀亚洲综合一二三四区| 亚洲男人综合网| 男人天堂无码| 永久免费观看的毛片的网站| 亚洲āv网址在线观看| 亚洲 自拍偷拍 欧美| 欧美伊人久久综合网| 国产日韩色综合| 尤物视频一区| 花野真衣| 欧美日韩人妻精品一区二区三区| 一起草高清无码| 日本成熟少妇A∨网站| 九九九网页| 91蜜臀熟女| 99国产在线 精品 视频| 自拍偷拍国产欧美日韩韩| 亚洲色婷婷| 韩国一级婬片A片AAAAA| 欧美天堂第二区| 久久久亚洲Av| 久久精品72| 国产综合日韩伦理| 欧美性,色九九| 91美女视频。| 99色热| 欧美大色交| 香蕉久久AⅤ...| 91爱看| 天美传媒精品一区二区| 96AV精品| 欧美色图片| 日本淫穴在线| 欧美内射少妇| 搡老女人老91二区| 激情五月天婷婷| 天美传媒精品一区二区| 有码免费观看| 91xingse| 久久一二三四五六七八九区区| 玖玖爱综合网| 亚洲最新a在线观看| 午夜天堂精品久久久久91| 97欧美日韩| 人妻在线臀日韩| 操国产逼| 久草成人影片| 亚洲麻豆精品二区三区| 国产欧美在线观看免费观看| 婷婷激情五月天小说网| 狠狠躁伊人中文字幕| 久久只有精品一区二区三区| 性爱AV天堂| 96超碰网| 日韩美女操b| 日本三级韩国三级美三级91| 天天插天天射| 国产精品九九九| 91国产丝袜美女| 人妻在线臀日韩| 国产一区二区欧美日本| 欧美经典一区二区三区| 国产黄色小视频网站| 高清不卡 中文 人妻| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 久操电影网| 密臀在线免费观看| 岛国色情视频在线观看| 日本一道在线播放高清| 国产精品农村妇女精品| 国产日韩欧美| 97视频免费| 91在线限制级| 青青草原狼av| 丁香五月天啪啪| 午夜理论片在线观看免费| 囯戸精品高潮呻吟旡码| 日本操逼无码| 麻豆人妻偷人精品无码视频| 天天摸天天碰天天添青青| 综合激情五月天| 国产第12页| 久久亚洲欧美中文字幕国语| 亚洲国产精品V?在线播放| 欧美爱国产综合、| 午夜福利 成人 91| 精品美女少妇一区二区| 91天堂丝袜美腿| 性爱AV天堂| 欧美激情一区| 亚洲狼狼干综合1| 中文字幕88av在线| 熟妇高潮一区二区免费视频| 留下AⅤ黄色片| 热思思免费视频| 操操逼视频| 国产白丝av| 大香蕉免费3| 久久人人爽爽人人爽人人片αV| 中文字幕乱在线伦视频中文字幕乱码在线 | 精品国产一区二区三区四区在线看 | 天天干天天日天天射黄色大片| 91成人无码| 日本特黄f c2| 婷婷丁香一区二区三区| 91精品少妇搡搡搡| 欧美熟妇视频| 青娱乐老司机视频| 成人亚欧免费视频| 天天综合网~69| 青青草玖玖爱| 爱妻综合网| 被男人吃奶很爽的毛片| 国产精品黄色三级av| 婷婷中文网| 精品人妻1237| 激情综合二| 芊芊操逼视频无码| 天堂精品在线| 欧美少妇高潮久久91| 麻豆一区二区三区在线看 | 91处女视频在线观看| 日韩电影中文字幕| 成人日本片久久久蜜桃| 国产辣妈在线视频福利| 91粉嫩萝控精品福利网站_精品影音先锋国 | 东方亚洲在线操逼天堂| 啊啊啊好想要| 日韩精品一区的| 久久九精品| 亚洲 欧美 制服 另类 自拍| 日韩电影中文字幕| 天天插夜夜操| 国产一区二区三区中文字幕| 激情婷婷黑人91| 一区二区三区美女超清| 熟妇人妻一区二区三区| 99少妇内射| 唯美清纯 妖精视频| 国产 无码 一区二区| 91大学精品激情戏| 亚洲青青草| 日韩一级欧美一级国产一级台湾 | 欧美淫乱视频| av毛片aaaaa免费看| 亚洲国产日韩欧美熟妇在线| 久久香蕉国产线看观看亚洲女人 | 白丝一区| 成人在线日韩| 熟妇人妻一区二区三在线| 日逼视频日本| 欧洲亚洲天堂精品| 亚洲乱色视频一区、二区在线| 91美女片在线| 亚洲激情在线观看一区| 欧美大片天天看| 性爱综合网| 99色热| 免费人成?大片在线播放| 做爱福利视频一区二区| 老熟女91| 综合97| 黄片无码在线制服| 麻豆 欧美 日韩| 91成人久久| 91美女视频在线观看| 日韩去日本高清在| 亚洲欧美日韩电影网站一区 | 黄色一区三区| 韩国三级理论在线| 欧美性爱超碰97| 亚洲资源网| 免费又黄又裸乳的视频| 啊啊啊啊在线观看网址| 岛国片在线播放| 天天肏美女| 高潮毛片无遮挡高清免费| 成人草草视频| 97久久精品国产| 亚洲国产丝袜熟女av| 国产第25页在线观看| 欧美少妇高潮久久91| 91第一页| 秋霞一级鲁丝片A片| 久久欧美按摩999| 亚洲加勒比| 天天色综合天天操| 国产人妻精品一区二区三区秋霞| 久久av一级av少妇av高潮| 蜜臀亚洲中文| 国产粉嫩蜜臀av一区二区三区| 久久久久久久久久久久久9999| 日本影视久久免费| 五月综合视频| 欧美日韩婷婷中文| www.黄色在线| 99在线视频播放| 亚州色站 日韩电影| 在线视频一区二区传媒| 欧美一级欧美三级在线观看| 大鸡吧尹人在线| 97超碰亚洲| 国产亚洲日本| 日本视频在线中文字幕| 国产极品馒头逼| 狠狠五月天| 一区在线精品中文字幕| 国产精品无码久久久久2028| 五月天婷婷久久| 天天色综亚洲91污| 97干在线| 最新av在线| 九月AV| 免费看污网址| 精品美女人人干| 亚洲日韩美女丝袜美腿人妻视频| 国产午夜精品理论片一二三区区| 日本人妻最新在线中| 国产高清亚洲日韩一区| 女人高潮抽搐喷水视频网站| 久久久艹艹艹| 国产精品网址| 久久中文字幕在线观看| 人妻丝袜一区二区三区在线| 国产人伦a片信息免费片| 亚洲黄色影视| 日韩精品影视| 国产又色又爽又舒服的三级视频| 久久亚洲一区女同性恋中文字幕| 91 国产丝袜在线放观看| 太久视频| 九九热男人天堂| 酒色综合网| 亲子敌伦对白在线播放| 国产丝袜视频| 天堂涩涩| 亚洲欧美国产精品久久久久久久| 热久久无毒不卡| 国产亚洲深夜激情| 在线人人人人人人精品超| 新91视频.cmp| 97超碰久| 五月天综合在线| 强奸乱伦免费网站| 就去色综合| 青青草字幕AV| 五月天婷婷色色| 日韩精品资源专区二区| 外国免费性情大片| 蜜臀一二三| 黄色成品网站| 九九热精品| 亚欧成人中文字幕一区| 国内精品久9| 去干网最新版| 你懂的在线观看区国产| 国产久久日| 五月天激情国产综合婷婷婷| 国产 亚洲 丝袜 制服| 你懂的在线观看区国产| 欲色综合| 91 手机在线播放 绯色| 国产精品第一区第一页| 精品久| 亚洲综合另类色图| 亚州欧美总和| 桃色人妻在线视频| 97视频620| 日本视频在线观看污污污| 欧美精品一区二区少妇免费A片| 午夜成人爽爽爽爽A片李冰冰| 精品天堂| 午夜一区| 成人小电影网站tex| 蜜桃视频啊啊啊啊| 国产熟女二区| 欧美91精彩| 91精品人妻一区二区-全集完整版免费正片国语-B02AV | 久久久久久久97| 视频二区美腿制服人妻欧美| 天天综合网视频91| 久久精品女同亚洲女同13| 国产三级中文字幕粉嫩| 后入精品| 欧美视频一区二区三区| 一本久久久精品| 少妇色欲综合网2| 97超级久久| 久久久久久少妇| 97av,com| 天堂精品| 免费久久9999| 亚洲色图欧美另类在线| 欧美在线视频99| 欧美亚洲一级在线观看| 色五月激情网| 欧美性天天| 国产欧美岛国精品一区| 日本久久久久久久久久| 欧美日韩天堂| 最近的最新的中文字幕视频| 99在线精品视频| 久久亚洲一区二区色婷婷| 亚洲自拍欧美国产首页网曝 | 久久伊人影院| 中文字幕国产精品1区| 开心激情站| 亚洲一区中文精品| 女生久久网| 人人妻人人澡人人爽人人精品浪潮| 青娱乐手机日韩在线视频| 性色一线| 色噜噜国产在线| 欧亚乱色熟一区二区三四区| 天天综合网久久ww| 久操婷婷| 欧美有码激情视频一区二区三区| 欧美日韩淫加| 婷婷久久综合| 日韩超碰精品综合| 乱老女人一区二区视频| 青青在线视频日韩欧美| 蜜臀一二三| 久久综合久色欧美综合狠狠| 啊啊啊好想要| 激情色播| 99性爱| 欧美性爱另类综合| 伊人青青一区成人视频在线观看区| 天天天天做夜夜夜夜做| 丰满少妇精品一区二区| 欧美欧美啪啪视频| 99婷婷| 性爱综合网| 综合 亚洲 欧美| 日本不卡五区| 天天综合~91| 韩美日操逼| 人人操人人摸人人看人人干| 99re免费视频精品全部| 九九热最新| 日韩人妻中文视频| 99精品久久久久久久婷婷蜜桃| 欧美制服网站美腿丝袜| 鸥美极品| 欧美一区二区三区不卡高清视频| 日韩亚洲精品一区二区| 激情久久久| 中文字幕在线24| 性色国产东北露脸精品视频| 日韩成人小视频| 岛国在线免费视频| 日本伦理一区二区| 无套后入双马尾| 99综合视频一体| 天堂网 主播 亚洲| 中文字幕一区电影在线观看| 伊人97超碰| 久久熟女嫩草成人片免费| 亚洲色婷婷综合久久一区二区三区| 九九热在线精品视频| 欧美日韩国产黄色片| 欧美97日韩精品| 男人久久天堂| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 国产一级特黄大片处女| 熟女精品一区二区在线观看| 精品亚洲国产成人AV制服丝袜| 久久久久久9999| 久久av一级av少妇av高潮| 日韩在线人妻网站| 色婷婷色99国产综合精品| 91亚.色| 综合久久9| 9久久美女首页| 日韩字幕一区| 欧美激色| 色综合久| 黄片www视频免费| 老司机午夜福利视频一区二区| 综合久久少妇中文字幕| 亚洲射综合网| 极品销魂美女一区二区| 欧美与日韩97| 在现视频女上位好爽| 精品成人亚洲午夜电影| 色综合天天爱去电影网| 欧美一区二区日韩传媒搭讪精品| 黄片色区软件| 欧美v日韩v亚洲v最新在线| 国产热av| 乱码熟妇人妻久久久| 日本3级一区二区免费| 在线播放成人高清免费视频| 久草精品在线| 香蕉色网| 久草在| 一区二区三区网站日日骚| 色情五月综合婷婷| 日日噜噜夜夜狠狠视频无| 大肥女高潮bbwbbwhd视频| 久久超碰天天| 五月天久久人妻| 色婷婷一区二区三区久久午夜成人不| 天天弄欧美| 综合久草| 久视频在线观看| 花野真衣| 一区麻豆 高清中文字幕| 国产综合网站在线播放 | 欧美劲爆视频一区二区| 91亚洲综合| 国产偷拍网站| 欧美成人性爱视频在线播放| 97超碰欧美| 电家庭影院午夜69久久夜色精品国产69乱 | 日韩欧美天天爽爽爽天天爽爽 | 97爱爱| 国产成人亚洲精品无| 日韩一级欧美一级国产一级台湾| 九色黄站| 久久五十路熟女人妻| 国产日韩在线播放av| 人人操 欧美| 思思热国产在线视频| 国产91久久九九免费精品无码| 亚洲最新a在线观看| 婷婷六月天| 人人插人人搞人人操| 在现视频女上位好爽| 天天插夜夜爽| 四季av一区二区凹凸精品小说| 九九九久久久| 97亚洲精品| 久久久久久久国产a∨| 十八禁的黄污污免费网站| 成人精品在线观看| 亚射在线| 国产美脚女优尤物在线观看| 久热久操| av亚欧| 四虎影视永久在线观看精品免费网站| 青青青在线高清视频在线一二三四区| 亚洲熟女综合网| 精品国产av一区二区三区四区入口| 中文字幕一区二区三区高清| 精品免费1| 在线视频资源| 99re免费视频精品全部| 操91| 国产麻豆91欧美一区二区久久婷婷国产精品 | 日韩操逼性鲍| 嗯啊啊啊轻点视频 | 99性爱视频| 亚洲人成网www| 日韩欧美中文字| 国产精品永久免费10000| 无码国产Av| 久久、1234| 园内精品自拍视频在线播放| 青青草密桃在线播放| 麻豆亚洲AV成人无码久久精品| 欧美另类综合久久| 天天澡天天爽日日av| 91精品人| 人妻夜夜爽天天爽麻豆三区网站 | 999精品女人| 99天堂网| 丁香九月婷婷| 国产精品老熟女一区二区| 久久人| www鬼畜国产男人的天堂| 97干在线视频| 在线视频免费播放一区| 久久宗合亚洲| 国产成人精品日本视频| 国语精品对白| 国产女s强制榨精视频| 大香伊人在线一区| 人妻日日干| 久久老熟女| 精品国产肉丝袜在线拍国语 | 成人乱人伦一区二区| 欧美另类色| 欧美黄色大片在线观看 | 超碰97COm中文| 亚洲成人无码影院| 欧美伦乱| 激情丁香五月婷婷| 国产在线播放成人免费| 日本天天干天天搞一区| www.狠狠| 97资源站日韩| 青青草精品| 一区二区三区四区色图| 91国产操逼视频| 亚洲吊色| 加勒比在线视频| 亚洲无码AV九九九| 欧美中文字幕日韩在线| 久草电影网| 日产123区精品免费观看| 嗯嗯啊啊啊好舒服| av国产无码| 无码 黑人一区二区三区| 偷偷人人精品女女久久| 亚洲在高跟鞋自慰久久在色线| 欧美性爱91| 牛牛AV人人夜夜澡人人爽| 91色欧美| 久久精品无码不卡| 国产精品高潮久久AV| 99re69综合| 久久久久久久久久久久久久久乱码| 怡红院成人视频| 国产中文大片资源中文字幕| 男人久久天堂| 国产精品成人午夜福利| 九久久精品| 青草伊人久久| 精彩久久中文| 夜夜操中文字幕| 国产视频第2页| 狠狠躁日日躁夜夜躁A| 97香焦色区| 亚洲狼狼干综合1| 天天摸天天舔天天操| 伊人久久大香蕉线AV五月天| 欧美久久久15P| 91久久久视| 91夜夜蜜桃臀1区2区3区| 99热在线不卡| 97丝袜亚洲在线播放|